Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

行情查看图形态默认是全选,K图形被遮挡问题 #9

Closed
johnsonhongyi opened this issue Apr 21, 2023 · 18 comments
Closed

行情查看图形态默认是全选,K图形被遮挡问题 #9

johnsonhongyi opened this issue Apr 21, 2023 · 18 comments

Comments

@johnsonhongyi
Copy link

1.遇到查看行情形态默认是全选,,尝试修改,实在没能找到哪里可以存储特定形态,或者默认不显示形态,手选点选也没法应用,不知道这个功能是否方便修改.
2.股票行情没有创业板和科创,已手动iscode部分修改30,688,可以自动更新到数据库.
如能加入ETF部分的会更完善,方便关注到板块联动股票联动.
新的docker容量减少很多,部署方便很多.谢谢
@myhhub
Copy link
Owner

myhhub commented Apr 22, 2023 •
edited

1.遇到查看行情形态默认是全选,,尝试修改,实在没能找到哪里可以存储特定形态,或者默认不显示形态,手选点选也没法应用,不知道这个功能是否方便修改. 2.股票行情没有创业板和科创,已手动iscode部分修改30,688,可以自动更新到数据库. 如能加入ETF部分的会更完善,方便关注到板块联动股票联动. 新的docker容量减少很多,部署方便很多.谢谢

建议很好。添加了设置visualization.py pattern_is_show = False 形态缺省是否显示，以后会考虑把基金加进来

@johnsonhongyi
Copy link
Author

已更新最新的Docker,测试后遇到启动后出现四个instock/job/execute_daily_job.py进程,占用很高,内存占用也高了不少,小主机,从之前的130%cpu增加到350%,内存占用也提高. 按理周末应该不需要更新数据了,昨天已做了收盘数据和形态扫描.

@myhhub
Copy link
Owner

myhhub commented Apr 23, 2023

已更新最新的Docker,测试后遇到启动后出现四个instock/job/execute_daily_job.py进程,占用很高,内存占用也高了不少,小主机,从之前的130%cpu增加到350%,内存占用也提高. 按理周末应该不需要更新数据了,昨天已做了收盘数据和形态扫描.

前天的镜像确实有这个bug，昨天的镜像已经消除bug。

排查一下，是否更新成功。

sudo docker exec -i InStock bash
cat /data/InStock/supervisor/supervisord.conf

是否和下面一样：
[program:run_job]
command=/data/InStock/instock/bin/run_job.sh
autorestart=false #不自动重启

cat /var/spool/cron/crontabs/root

是否和下面一样：
30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly # 工作日17：30启动

@johnsonhongyi
Copy link
Author

排查一下，是否更新成功。

sudo docker exec -i InStock bash
cat /data/InStock/supervisor/supervisord.conf

是否和下面一样： [program:run_job] command=/data/InStock/instock/bin/run_job.sh autorestart=false #不自动重启

cat /var/spool/cron/crontabs/root

是否和下面一样： 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly # 工作日17：30启动

已更新的docker,重新pull 最新latest的docker:
docker exec -it inStock /bin/bash
root@03b9b1505a36:/data# cat /data/InStock/supervisor/supervisord.conf
[program:run_job]
command=/data/InStock/instock/bin/run_job.sh
autorestart=false
priority=100

root@03b9b1505a36:/data# cat /var/spool/cron/crontabs/root
SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
*/30 9,10,11,13,14,15 * * 1-5 /bin/run-parts /etc/cron.hourly
30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly
30 10 * * 3,6 /bin/run-parts /etc/cron.monthly
30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly
30 10 * * 3,6 /bin/run-parts /etc/cron.monthly

▶ inStock 4182890aefd6 304% 2G /
后台查询有四个execute_daily和一个web进程.设计的4个守护进程?
ps aux|grep /data/InStock|grep -v grep|grep -v super
root 458786 0.0 0.0 3900 244 pts/0 S 10:32 0:00 /bin/bash /data/InStock/instock/bin/run_web.sh
root 458787 0.0 0.0 2484 0 pts/0 S 10:32 0:00 /bin/sh /data/InStock/instock/bin/run_cron.sh
root 458788 106 16.5 14250424 438652 pts/0 Sl 10:32 10:29 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 458789 7.4 0.7 8770424 19792 pts/0 Sl 10:32 0:44 /usr/local/bin/python3 /data/InStock/instock/web/web_service.py
root 458808 107 17.7 14009064 470348 pts/0 Sl 10:32 10:38 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 458829 106 15.9 14331448 424152 pts/0 Sl 10:32 10:30 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 458867 105 17.1 14298576 454076 pts/0 Sl 10:32 10:21 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py

@johnsonhongyi
Copy link
Author

刚检查了下,可能是重构后cache数据丢失了,会重新下载.已尝试将cache持久化.等跑完数据应该会恢复

@johnsonhongyi
Copy link
Author

已经恢复正常了,2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 #######
2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 #######
2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 #######

@myhhub
Copy link
Owner

myhhub commented Apr 23, 2023 •
edited

已经恢复正常了,2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 ####### 2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 ####### 2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 #######

这个初始化数据运行了3遍，前天非正常的镜像。正常只运行一遍。头尾对应一下:

head -n 20 /data/InStock/instock/log/stock_execute_job.log 
tail -f 20 /data/InStock/instock/log/stock_execute_job.log

head -n 20 /data/InStock/instock/log/stock_execute_job.log
2023-04-23 12:09:53,800 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-23 12:09:56,217 Initializing backend: None ak_cache
2023-04-23 12:09:56,217 Initialized SQLiteDict with serializer: SerializerPipeline(name=pickle, n_stages=2)
2023-04-23 12:09:56,219 Opening connection to /tmp/ak_cache.sqlite:responses
2023-04-23 12:09:56,224 Initialized SQLiteDict with serializer: None
2023-04-23 12:09:56,226 Opening connection to /tmp/ak_cache.sqlite:redirects
2023-04-23 12:09:57,496 ######## 任务执行时间: 2023-04-23 12:09:57.496520 #######
2023-04-23 12:09:57,500 数据库不存在，将创建。执行信息：(1049, "Unknown database 'instockdb'")

1623766962675 HTTP/1.1" 200 19382
2023-04-23 12:11:40,312 http://push2his.eastmoney.com:80 "GET /api/qt/stock/kline/get?fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf116&ut=7eea3edcaed734bea9cbfc24409ed989&klt=101&fqt=1&secid=0.002148&beg=20200421&end=20500101&_=1623766962675 HTTP/1.1" 200 19713
2023-04-23 12:13:39,758 Starting new HTTPS connection (1): datacenter-web.eastmoney.com:443
2023-04-23 12:13:40,364 https://datacenter-web.eastmoney.com:443 "GET /api/data/v1/get?sortColumns=NET_BUY_AMT%2CTRADE_DATE%2CSECURITY_CODE&sortTypes=-1%2C-1%2C1&pageSize=5000&pageNumber=1&reportName=RPT_ORGANIZATION_TRADE_DETAILS&columns=ALL&source=WEB&client=WEB&filter=%28TRADE_DATE%3E%3D%272023-01-21%27%29%28TRADE_DATE%3C%3D%272023-04-21%27%29 HTTP/1.1" 200 None
2023-04-23 12:17:56,871 ######## 完成任务, 使用时间: 479.3746862411499 秒 #######

@myhhub
Copy link
Owner

myhhub commented Apr 23, 2023

还会发现下面异常：
2023-04-23 12:09:59,627 http://vip.stock.finance.sina.com.cn:80 "GET /q/go.php/vLHBData/kind/ggtj/index.phtml?last=5&p=5 HTTP/1.1" 200 None
2023-04-23 12:09:59,668 stockfetch.fetch_stock_top_data处理异常：[Errno 32] Broken pipe

akshare的龙虎榜数据接口有bug，已经反馈给他们了，docker版看不到龙虎榜。

@myhhub
Copy link
Owner

myhhub commented Apr 23, 2023

排查一下，是否更新成功。

sudo docker exec -i InStock bash
cat /data/InStock/supervisor/supervisord.conf

是否和下面一样： [program:run_job] command=/data/InStock/instock/bin/run_job.sh autorestart=false #不自动重启

cat /var/spool/cron/crontabs/root

是否和下面一样： 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly # 工作日17：30启动

已更新的docker,重新pull 最新latest的docker: docker exec -it inStock /bin/bash root@03b9b1505a36:/data# cat /data/InStock/supervisor/supervisord.conf [program:run_job] command=/data/InStock/instock/bin/run_job.sh autorestart=false priority=100

root@03b9b1505a36:/data# cat /var/spool/cron/crontabs/root SHELL=/bin/sh PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin */30 9,10,11,13,14,15 * * 1-5 /bin/run-parts /etc/cron.hourly 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly 30 10 * * 3,6 /bin/run-parts /etc/cron.monthly 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly 30 10 * * 3,6 /bin/run-parts /etc/cron.monthly

▶ inStock 4182890aefd6 304% 2G / 后台查询有四个execute_daily和一个web进程.设计的4个守护进程? ps aux|grep /data/InStock|grep -v grep|grep -v super root 458786 0.0 0.0 3900 244 pts/0 S 10:32 0:00 /bin/bash /data/InStock/instock/bin/run_web.sh root 458787 0.0 0.0 2484 0 pts/0 S 10:32 0:00 /bin/sh /data/InStock/instock/bin/run_cron.sh root 458788 106 16.5 14250424 438652 pts/0 Sl 10:32 10:29 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py root 458789 7.4 0.7 8770424 19792 pts/0 Sl 10:32 0:44 /usr/local/bin/python3 /data/InStock/instock/web/web_service.py root 458808 107 17.7 14009064 470348 pts/0 Sl 10:32 10:38 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py root 458829 106 15.9 14331448 424152 pts/0 Sl 10:32 10:30 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py root 458867 105 17.1 14298576 454076 pts/0 Sl 10:32 10:21 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py

这个是前天有问题的镜像。
正常的是：
UID PID PPID C STIME TTY TIME CMD
root 3094 3074 0 12:09 pts/0 00:00:02 /usr/local/bin/python /usr/local/bin/supervisord -n -c /data/InStock/supervisor/supervisord.conf
root 3124 3094 0 12:09 pts/0 00:00:00 /bin/bash /data/InStock/instock/bin/run_web.sh
root 3125 3094 0 12:09 pts/0 00:00:00 /bin/sh /data/InStock/instock/bin/run_cron.sh
root 3126 3094 5 12:09 pts/0 00:07:12 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 3127 3124 4 12:09 pts/0 00:06:18 /usr/local/bin/python3 /data/InStock/instock/web/web_service.py
root 3130 3125 0 12:09 pts/0 00:00:00 /usr/sbin/cron -f
root 3177 3074 0 12:09 ? 00:00:00 bash

@myhhub myhhub closed this as completed Apr 23, 2023
@myhhub myhhub reopened this Apr 23, 2023
@myhhub
Copy link
Owner

myhhub commented Apr 23, 2023

ETF部分的会更完善,方便关注到板块联动股票联动

纳入了ETF数据

@johnsonhongyi
Copy link
Author

也会出现top_data处理异常：[Errno 32] Broken pipe
另:
2023-04-23 11:16:14,164 ######## 任务执行时间: 2023-04-23 11:16:14.164142 #######
2023-04-23 11:16:14,174 ######## 任务执行时间: 2023-04-23 11:16:14.174617 #######
2023-04-23 11:16:16,328 ######## 任务执行时间: 2023-04-23 11:16:16.328237 #######
未完成后重新构建:
2023-04-23 11:23:49,035 ######## 任务执行时间: 2023-04-23 11:23:49.035578 #######
2023-04-23 11:23:49,064 ######## 任务执行时间: 2023-04-23 11:23:49.064575 #######
2023-04-23 11:23:51,114 ######## 任务执行时间: 2023-04-23 11:23:51.113904 #######
2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 #######
2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 #######
2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 #######
完成后3v3匹配最后后台保留3个Exec进程
2023-04-23 18:22:19,431 ######## 任务执行时间: 2023-04-23 18:22:19.430466 #######
2023-04-23 18:22:19,452 ######## 任务执行时间: 2023-04-23 18:22:19.451956 #######
2023-04-23 18:22:21,221 ######## 任务执行时间: 2023-04-23 18:22:21.221333 #######
数据已完成后,重启尝试查看系统状态,后还有3个初始化进程后台占用.未完成.

更新ETF docker 后启动为四个任务执行
2023-04-23 18:41:29,727 ######## 任务执行时间: 2023-04-23 18:41:29.727601 #######
2023-04-23 18:41:29,739 ######## 任务执行时间: 2023-04-23 18:41:29.738994 #######
2023-04-23 18:41:31,431 ######## 任务执行时间: 2023-04-23 18:41:31.429764 #######
2023-04-23 18:41:34,460 ######## 任务执行时间: 2023-04-23 18:41:34.460456 #######

已更新ETF 新版docker,谢谢
1.是否方便在stockfetch.py添加300股票创业板.
2.系统完成收盘以及数据分析后,docker重启后仍会重新跑一次数据校验么,后台任务也还在执行ing

@johnsonhongyi
Copy link
Author

出现的一个异常
2023-04-23 19:06:42,456 klinepattern_data_daily_job.prepare处理异常：cannot access local variable '_db' where it is not associated with a value

@pi159265
Copy link

你这个非常棒， 我自己一直在找这个。

请问时候可以添加市盈率，ROE模块选股模块？

@myhhub
Copy link
Owner

myhhub commented Apr 24, 2023 •
edited

johnsonhongyi

也会出现top_data处理异常：[Errno 32] Broken pipe 另: 2023-04-23 11:16:14,164 ######## 任务执行时间: 2023-04-23 11:16:14.164142 ####### 2023-04-23 11:16:14,174 ######## 任务执行时间: 2023-04-23 11:16:14.174617 ####### 2023-04-23 11:16:16,328 ######## 任务执行时间: 2023-04-23 11:16:16.328237 ####### 未完成后重新构建: 2023-04-23 11:23:49,035 ######## 任务执行时间: 2023-04-23 11:23:49.035578 ####### 2023-04-23 11:23:49,064 ######## 任务执行时间: 2023-04-23 11:23:49.064575 ####### 2023-04-23 11:23:51,114 ######## 任务执行时间: 2023-04-23 11:23:51.113904 ####### 2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 ####### 2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 ####### 2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 ####### 完成后3v3匹配最后后台保留3个Exec进程 2023-04-23 18:22:19,431 ######## 任务执行时间: 2023-04-23 18:22:19.430466 ####### 2023-04-23 18:22:19,452 ######## 任务执行时间: 2023-04-23 18:22:19.451956 ####### 2023-04-23 18:22:21,221 ######## 任务执行时间: 2023-04-23 18:22:21.221333 ####### 数据已完成后,重启尝试查看系统状态,后还有3个初始化进程后台占用.未完成.

更新ETF docker 后启动为四个任务执行 2023-04-23 18:41:29,727 ######## 任务执行时间: 2023-04-23 18:41:29.727601 ####### 2023-04-23 18:41:29,739 ######## 任务执行时间: 2023-04-23 18:41:29.738994 ####### 2023-04-23 18:41:31,431 ######## 任务执行时间: 2023-04-23 18:41:31.429764 ####### 2023-04-23 18:41:34,460 ######## 任务执行时间: 2023-04-23 18:41:34.460456 #######

已更新ETF 新版docker,谢谢 1.是否方便在stockfetch.py添加300股票创业板. 2.系统完成收盘以及数据分析后,docker重启后仍会重新跑一次数据校验么,后台任务也还在执行ing

你docker的问题，除了龙虎榜(他不处理akfamily/akshare#3703)
，软件镜像其他一切正常。
这是我能告诉你的

sudo docker container stop InStock InStockDbService
sudo docker container prune
sudo docker rmi mayanghua/instock:latest
sudo docker rmi -f $(docker images | grep "none" | awk '{print $3}')

@myhhub
Copy link
Owner

myhhub commented Apr 24, 2023

你这个非常棒， 我自己一直在找这个。

请问时候可以添加市盈率，ROE模块选股模块？

不太明白，把详细的想法说出来，如果不方便邮件yh_ma@qq.com

@myhhub
Copy link
Owner

myhhub commented Apr 24, 2023

默认添加了创业板股票

@myhhub
Copy link
Owner

myhhub commented Apr 24, 2023

docker版抓到johnsonhongyi同样的错误了，问题一定会解决的。

2023-04-24 08:59:19,620 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-24 08:59:20,318 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-24 08:59:23,180 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-24 08:59:30,996 ######## 任务执行时间: 2023-04-24 08:59:30.996580 #######
2023-04-24 08:59:31,031 执行信息：数据库不存在，将创建。
2023-04-24 08:59:31,070 ######## 任务执行时间: 2023-04-24 08:59:31.070898 #######
2023-04-24 08:59:32,543 ######## 任务执行时间: 2023-04-24 08:59:32.543433 #######

@myhhub
Copy link
Owner

myhhub commented Apr 24, 2023

也会出现top_data处理异常：[Errno 32] Broken pipe 另: 2023-04-23 11:16:14,164 ######## 任务执行时间: 2023-04-23 11:16:14.164142 ####### 2023-04-23 11:16:14,174 ######## 任务执行时间: 2023-04-23 11:16:14.174617 ####### 2023-04-23 11:16:16,328 ######## 任务执行时间: 2023-04-23 11:16:16.328237 ####### 未完成后重新构建: 2023-04-23 11:23:49,035 ######## 任务执行时间: 2023-04-23 11:23:49.035578 ####### 2023-04-23 11:23:49,064 ######## 任务执行时间: 2023-04-23 11:23:49.064575 ####### 2023-04-23 11:23:51,114 ######## 任务执行时间: 2023-04-23 11:23:51.113904 ####### 2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 ####### 2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 ####### 2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 ####### 完成后3v3匹配最后后台保留3个Exec进程 2023-04-23 18:22:19,431 ######## 任务执行时间: 2023-04-23 18:22:19.430466 ####### 2023-04-23 18:22:19,452 ######## 任务执行时间: 2023-04-23 18:22:19.451956 ####### 2023-04-23 18:22:21,221 ######## 任务执行时间: 2023-04-23 18:22:21.221333 ####### 数据已完成后,重启尝试查看系统状态,后还有3个初始化进程后台占用.未完成.

更新ETF docker 后启动为四个任务执行 2023-04-23 18:41:29,727 ######## 任务执行时间: 2023-04-23 18:41:29.727601 ####### 2023-04-23 18:41:29,739 ######## 任务执行时间: 2023-04-23 18:41:29.738994 ####### 2023-04-23 18:41:31,431 ######## 任务执行时间: 2023-04-23 18:41:31.429764 ####### 2023-04-23 18:41:34,460 ######## 任务执行时间: 2023-04-23 18:41:34.460456 #######

已更新ETF 新版docker,谢谢 1.是否方便在stockfetch.py添加300股票创业板. 2.系统完成收盘以及数据分析后,docker重启后仍会重新跑一次数据校验么,后台任务也还在执行ing

提了很多建设性的意见，很好！

重复执行已解决，配置问题。你测试一下

@myhhub myhhub closed this as completed Apr 24, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@johnsonhongyi @myhhub @pi159265