Skip to content

CSMAR提供了一个python的数据接口,但是存在两个限制:1)单次只能读取200,000条数据;2)同样条件的查询30分钟内只能进行一次。于是为了能够更方便的获取数据,编写了一个python代码来规避这两个限制。

Notifications You must be signed in to change notification settings

C-X-Lu/CSMAR-Python-api-without-restriction

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 

Repository files navigation

CSMAR-Python-api-without-restriction

最近发现CSMAR原来提供了一个python的接口,终于不用每次都去网站上下数据了。
但是这个接口存在两个限制:1)单次只能读取200,000条数据;2)同样条件的查询30分钟内只能进行一次。于是为了能够更方便的获取数据,编写了一个python代码来规避这两个限制。
具体的实现方法为,将超过200,000条的数据拆分获取,每次读取200,000条,并通过灵活的修改查询条件来规避第二个限制。
本代码的独特之处在于这两个规避的实现是完全自动的,从而无需再手动调整数据获取与查询条件。

ps

这个接口仅能给已购买CSMAR的数据库的用户使用,具体参考CSMAR提供的文档: https://data.csmar.com/ 服务与支持-数据接口文档。

About

CSMAR提供了一个python的数据接口,但是存在两个限制:1)单次只能读取200,000条数据;2)同样条件的查询30分钟内只能进行一次。于是为了能够更方便的获取数据,编写了一个python代码来规避这两个限制。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages