本应用是一个基于Spring boot 实现的股票指数爬虫工具,数据来源于:
同花顺
新浪财经
雪球
上交所
深交所
东方财富
❗ 👉 本项目初衷纯属技术交流,勿作商业用途❗
☑️ 指数更新
☑️ 股票数据范围:目前只支持深市和沪市(A股)
☑️ 市盈率,市净率,ROE ,所属行业
☑️ 历史数据:市盈率,市净率 ,分红,净资产收益率
☑️ 公司基本信息、前10大股东信息
🔗 点我查看效果 (demo版) 🔗
- develop 正在开发版本(不稳定)
- master 发布版(稳定)
- 1.x 1.x版本代码(稳定)
- 2.x 将要发布的2.0版本,正在开发中(不稳定)
#web
# 项目在哪个端口启动
server.port = 80
# 你的mongodb 数据库名称
spring.data.mongodb.database=istock
# 你的mongodb 数据库地址
spring.data.mongodb.host=
# 你的mongodb 服务监听端口
spring.data.mongodb.port=27017
# 爬虫超时抓取时间
spider.timeout=8000
# 爬虫模拟用的useagent头部信息
spider.useagent=Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3346.9 Safari/537.36
# 雪球网token 非常重要 要有token才能爬取雪球网信息 【往下翻介绍获取方法】
xueqiu.token=
# 东方财富网token 【往下翻介绍获取方法】
eastmoney.token=
#tushare token 非常重要【往下翻介绍获取方法】
tushare.token=
# spring boot 健康检查管理端口
management.server.port=80
# spring boot 健康检查管理前缀
management.endpoints.web.base-path=/admin
# spring boot 健康检查 帐号【自定义】
spring.security.user.name=root
# spring boot 健康检查管理密码【自定义】
spring.security.user.password=
登录雪球网:https://xueqiu.com/ 按下浏览器F12 在cookie 里找到key : xq_a_token 把这个token复制到application.properties里
- 1.点击这个链接注册帐号
- 2.然后https://tushare.pro/user/token 在这个页面可以拿到token
- 3.把token复制到application.properties
登录网站:http://data.eastmoney.com/rzrq/total.html 即可获取token
此项目为个人兴趣之余开发,很多地方不完善,很抱歉时间有限。没办法跟产品相比。但是本人不接受吐槽, 前面一段时间遇到很多网友直接对我进行人身攻击,指责。另外如果遇到问题,请客气跟我沟通,语气难听的 一概无视。谢谢! 个人无偿开源小项目,不容易。望大家多多包含。如无法理解,请绕道。谢谢!
请勿用于商业用途!!!
spring.data.mongodb.host=你的mongodb服务器地址
xueqiu.token=上文介绍的雪球token
eastmoney.token=上文介绍的东方财富token
tushare.token=上文有介绍
spring.security.user.password=程序管理密码 自定义
因为项目是爬虫项目,是严格按照时间逻辑去执行的,并且频率并发有严格的控制(请求过高,网站有反爬虫 策略,会封锁ip),另外istock 项目更新股票价格是在证券交易时间内进行的,也就是说是周一~周五 上午9:30 - 11:30 下 午 13:00 ~ 15:00 这段时间内才会更新股票价格等指标。所以如果当前时间不是在交易时间内请修改windows时间让程序立马初始化。
让istock 程序挂机运行,所有数据完成初始化一般4个小时左右,第一次数据初始化比较麻烦,往后就好了。 往后都是自动化,让程序挂在那就好。会每天自动更新数据。
不用,运行程序自动生成
因为有在雪球网爬取数据,雪球网有反爬虫机制,要登录后才能取数据,token就是绕过验证环节
如果遇到控制台输出dy 403就是雪球token过期了,你重新登录雪球网,换新的token就好。一般一个星期换一次吧。
会的,这个项目我会一直做下去的,只是我业余时间不多,我会尽量多用业余时间多写的。
如果你觉得此项目还不错,可以随意打赏,收到款项将用于istock 服务器部署费用 。打赏超50元 可加微信回答一切关于istock的问题。