Repository navigation
0.23.0 · 供应商占位 0 改为空值,日线等数据集改为按月存放
供应商占位 0 改为空值,日线等数据集改为按月存放
CNEquity 0.23.0 已发布至 PyPI。开源 A 股本地数据湖,用于量化研究、回测与 AI Agent。
python -m pip install --upgrade cnequity==0.23.0-
升级步骤:
pip install -U cnequity后重启cne serve和已在运行的cne mcp。daily_bars、adj_factors、margin_trading、valuation_metrics升到 schema 版本 2:列和主键不变,分区从按日改为按月(目录trade_date=YYYY-MM)。旧湖先cne migrate预览,再cne migrate --apply。本版迁移为daily-bars-month-partitions、adj-factors-month-partitions、margin-trading-month-partitions、valuation-metrics-month-partitions、limit-prices-month-partitions、fund-flow-tushare-month-partitions、chip-distribution-month-partitions(历史改写成月文件,行不变)和vendor-zero-nulls(把供应商用来占位的 0 改写成空值)。迁移前cne audit会报告stored_value_placeholders;月文件和旧的日目录并存时,每周体检会报mixed_partition_granularity。直接读 Parquet 的程序对这几张表要关掉 Hive 分区推断,按文件里的日期列过滤。说明见contracts/migrations/0.23.0/。extends = "builtin"的配置不用改;完整展开的旧配置运行cne config upgrade,把name_history加进 core 组。新增的 Tushare 数据集需要自己的令牌,多数只由cne backfill采集、不进日更。升级前中断且尚未跑完的sector_bars回补,用cne backfill sector_bars --force重跑一次。日更曾写出没有对应公司行为的因子跳变时,用cne repair adj-factors --apply改写整段历史。停牌行的 ST 标记用cne derive trading_status --start <日期> --end <日期>按年更新。配置里有集合项时,升级后第一次运行会得到新的config_fingerprint,此后不变。 -
MCP
run_sql在 DuckDB 2 上可以计数了:Relation 不再提供fetchone(),总数改为取limit(1).fetchall()的一行。DuckDB 1.5 照常可用。新安装会解析到 DuckDB 2,此前这条命令直接报query failed。 -
旧版本清理恢复自动运行:只要登记过的引用目录(湖的
meta/和private/)里有任何文本文件改动,清理就一直报Reference inventory changed而什么都不删,自 10-31 起每天如此。现在清理前会自动重新扫描引用目录,给其中提到的每个版本加上保留,再按保留代数清理;重新扫描只增加保留、从不解除,所以不会删掉任何仍被引用的版本。新增cne storage refresh可手动执行同样的扫描。Tushare 权限缓存(meta/tushare)也不再计入引用扫描,它每次体检都会被改写。 -
新增
cne snapshot delete <名称>:删除快照,并解除由快照内文件带来的、已失效的保留引用。手动保留和来自其他位置的引用照旧保留;快照曾保住的旧版本会在下次清理时回收。删除前需要确认,--yes可跳过。此前快照只能创建不能删除,只能手动删除目录后再逐个解除保留。 -
新增
cne storage release <版本…> --note <说明>,用来解除不再需要的版本保留。它只去掉手动保留,以及引用文件已删除或不再提到该版本的引用保留;案例依赖和仍然有效的引用照旧保留,并会列在输出里。每次解除都会记入保留登记表。此前保留只能增加、无法解除,被保留的旧版本永远无法被清理。 -
供应商用 0 表示“没有值”的字段,统一存为空值,不再当作真实数值:可转债日线的开高低收和前收、同花顺/东财人气榜的价格、筹码分布的价位、
fund_flow_ths_tushare和limit_events的收盘价、涨跌停价、一致预期目标价、卖方预测的目标价区间、回购价格区间,以及原有的估值指标和东财/中证指数权重。此前这些 0 会被当作价格读出,例如跨过收盘价为 0 的一天算收益率会得到 −100%;同花顺可转债、ETF、港美股和板块榜单上 99% 的价格都是 0。可转债没有成交的交易日保留该行,开高低收为空。规则写在数据集注册表里,在统一的写入和读取校验中执行,不再由各个 adapter 和看板各自维护:读取时立即生效,已有的湖升级后运行一次cne migrate --apply(迁移vendor-zero-nulls),把存量的 0 改写为空值并作为新版本发布;迁移前cne audit会报告stored_value_placeholders。可转债日线也开始执行与日线相同的价格合理性检查。 -
看板按交易日判断缺口、日期选择和热力图的数据集改由注册表决定:除原有的几个外,
index_bars、adj_factors、industry_index和market_breadth也按交易日判断,此前它们按年或按月目录判断,缺了某一天看不出来。 -
cne backfill announcement_index改为逐日拉取、逐日入库(#58):此前每个约 31 天的窗口要整月拉完才写入,中途停止时已拉的页全部作废,下次要向巨潮重新拉取,公告密集的 4、8、12 月一次中断就损失数小时。现在每天单独请求、单独留证、拉完即暂存,中断最多损失正在拉的那一天,重跑时自动跳过已入库的日期;某一天失败也不再连带重拉同一窗口的其他日期。没有公告的日子每天多一次请求。 -
逐日回补(
margin_trading、limit_prices、fund_flow_tushare、broker_forecasts、market_breadth、各 Tushare 补充数据集、futures_bars、option_bars等)按 Ctrl-C 或被终止时,先把已拉完的日期写入再退出:这些回补每 60 天写入一次,此前中断会丢掉最近一次写入后已拉的最多 59 天,下次要重新请求;拉取出错时本来就会先写入,中断现在与之一致。 -
financial_statement_items、share_structure、shareholder_counts、top_holders的回补中断后重跑,不再从头重拉:此前已完成的“报告期 × 报表”或时间窗只在同一次运行内跳过,重新执行cne backfill会从 2001 年起全部重新请求,而这些数据入湖时又会被去重。现在 7 天内已入湖的单元会被跳过(按 schema 版本和证券范围区分,限定证券的修复不会代替全市场),财报的完整性检查对跳过的报告期按湖里已有的数据判断。cne backfill <名称> --refetch可忽略这些记录、全部重拉。 -
cne backfill financial_statement_items不再在 F10 现金流表处报invalid report unit …|RPT_F10_FINANCE_GCASHFLOW退出(#57):0.21.0 起回补会拉取 F10 四张现金流表(取期末现金),但回补校验只认原来的四张报表,第一个 F10 单元就让整次回补中止。现在校验直接按拉取的报表清单判断,以后新增报表也不会再出现这个问题;日更不受影响。 -
派生
adj_factors时,share_structure也算作输入:股改窗口的因子要读它,但它此前不在输入清单里,计算期间它发布了新版本也照常发布结果,它的部分覆盖状态也不会传到adj_factors。现在它和其他输入一样会被记录、校验和传递;派生和因子修复共用同一份输入清单。 -
网页控制台(
cne serve)补齐 29 个数据集的中文名称:此前这几个版本新增的数据集(多为 Tushare 数据集,以及limit_prices、name_history)只显示英文 ID,按中文名也搜不到。健康页 TDX 探针的覆盖列表补上corporate_actions、trading_calendar和minute_bars_5m。 -
sector_fund_flow_ths的行业行往前补到 2024-09-10:来自 Tusharemoneyflow_ind_ths,标source=tushare,每天附原始响应作证据;金额只精确到 1 亿元,比同花顺页面的 0.01 亿元粗。 -
再新增十三个可选的 Tushare 数据集,同样只由
cne backfill采集、不排日更:游资名录与每日交易(hot_money_traders、hot_money_trades)、可转债赎回、转股与票息(convertible_bond_calls、convertible_bond_conversions、convertible_bond_coupons)、同花顺与东财人气榜(popularity_ranks)、连板天梯(limit_ladder)、最强板块(strongest_sectors)、开盘啦涨停榜(kpl_limit_ups)、同花顺口径分单资金流(fund_flow_ths_tushare)、互动问答(investor_qa)、董监高与薪酬持股(executives、executive_compensation)。 -
巨潮公告回补的续传断点改为压缩存储(有 zstd 时用 zstd,否则用标准库 gzip):一个长时间窗口的断点包含所有已整理的分页,原来是明文 JSON、每抓一页就整份重写一次,单个文件达 239 MB,全部合计 7.2 GB;zstd 压缩后约小 19 倍,回补时的写入量也相应减少。旧的明文断点照常读取,下次写入时替换。超过有效期(默认 7 天)的断点不会再被续用,公告步骤运行时会自动删除;有效期设为不限时不删除。
-
margin_trading、valuation_metrics、limit_prices、fund_flow_tushare、chip_distribution也改为按月分区:合计约 2.4 万个日文件改写为约 1,060 个月文件,读取单只股票的完整历史从 0.3–0.7 秒降到 0.05–0.3 秒。看板对这几个数据集的缺口、日期选择和热力图仍按交易日判断。cne repair repartition修复估值口径(valuation-basis)时改为按数据中的交易日读取日线,按日或按月存放都能正确处理。已有的湖升级后运行一次cne migrate --apply,五个迁移(*-month-partitions)逐个把历史改写为月文件并作为新版本发布,数据不变。 -
adj_factors也改为按月分区:8,758 个日文件改写为约 430 个月文件,体积从约 225 MB 降到约 81 MB;带adjust="hfq"读取单只股票的完整历史从约 0.9 秒降到约 0.2 秒。复权因子派生改为按分区周期读写,按月存放时仍从最新一个月的数据里读出已派生到哪天,日更只追加新的交易日。已有的湖升级后运行一次cne migrate --apply(迁移adj-factors-month-partitions),历史逐月改写并作为一个新版本发布,数据不变。 -
新增五个可选的 Tushare 数据集,只由
cne backfill采集、不排日更:limit_events(2020 起每日涨停、跌停与炸板)、futures_member_positions(2010 起各交易所期货会员成交量与多空持仓排名)、earnings_forecasts(2004 起业绩预告)、business_segments(2004 起按产品、地区、行业的主营业务构成)和investor_visits(2021-08 起机构调研)。 -
daily_bars改为按月分区:历史从 1.1 万个日文件(平均 44 KiB)改写为约 430 个月文件,读取单只股票的完整日线历史从约 0.9 秒降到约 0.12 秒,DuckDB 按股票或按日查询从约 1 秒降到 0.1 秒以内;每日整理把当天合并进当月文件,多花约 30 毫秒。已有的湖升级后运行一次cne migrate --apply(迁移daily-bars-month-partitions)把历史改写为月文件:逐月改写并作为一个新版本发布,数据不变;改写前新写入的月文件会与旧的日目录并存,读取不受影响,但每周体检会报mixed_partition_granularity。 -
cne snapshot create对发布过多个版本的数据集不再报dataset contains unsupported link or special file(s):0.21.0 起,各版本之间未改动的文件用硬链接共享。快照此前只在复制版本目录时放行硬链接,在复制数据集当前目录时仍拒绝它们,所以真实湖上的daily_bars等数据集无法做快照。现在这些文件按普通文件逐个复制成独立文件;符号链接和特殊文件仍被拒绝,快照包里的硬链接在校验时也仍被拒绝。 -
cne repair repartition对已发布(有版本)的数据集改为逐个周期重写历史并作为一个经过发布闸门的新版本提交;此前它直接替换工作目录,读取方看到的仍是旧版本,下一次整理还会把改写覆盖掉。重写只合并同一主键的重复行(与整理一致),不改动数据,每次只在内存中保留一个周期。 -
读取单只股票的完整日线历史快了一半多:
load("daily_bars", symbols=[...])在本机湖上从约 2.3 秒降到约 0.9 秒(同一进程里的后续读取),带adjust="hfq"从约 4.1 秒降到约 1.6 秒。日线的 1.1 万个日分区文件有新旧两种列结构(早期缺pre_close),按日期交错,读取时原来要拼接约 4,000 段扫描;现在一次扫描补齐缺列,同一进程内也不再重复读取每个文件的元数据。返回的数据逐行一致。 -
修订回执和湖快照里记录的
config_fingerprint不再每次运行都变:配置里像[datasets] best_effort这样的集合项此前按进程随机的顺序参与哈希,同一份配置每次算出不同指纹,来源记录看起来像是配置一直在改。现在先排序再哈希;含集合项的配置在升级后的第一次运行会得到一个新指纹,此后保持不变。 -
MCP
query_dataset不再为一页结果把整个数据集读进内存:一次调用要读的 Parquet 超过 64 MiB、又没有给 20 个以内的 symbol 时,直接拒绝,并说明这个数据集覆盖的日期和能装下的最近窗口(如start=2023-03-29 end=2026-11-03 fits)。此前不带日期范围调用会先加载全部数据再切出 200 行:margin_trading要占约 2.6 GB 内存,option_greeks约 4.8 GB,trade_ticks则根本装不下。带日期范围或少量 symbol 的调用不受影响。 -
新增 7 个可选的 Tushare 数据集,都需要你自己的 Tushare 令牌,只由
cne backfill <名称>采集,不进任何日更组;没有令牌时不发请求:convertible_bonds:可转债与可交换债条款(cb_basic+cb_issue),每只债一行;conversion_price是读取时的转股价,不是历史。convertible_bond_bars:可转债日线(cb_daily),2004 起;价格按每 100 元面值,量为张、额为元。holder_trades:重要股东与高管增减持公告(stk_holdertrade),2006 起;源里逐字重复的行只留一行,event_id为全部字段的哈希。share_repurchases:回购进展公告(repurchase),2005 起,每个阶段一行。pledge_stats:每周股权质押统计(pledge_stat),2014-03 起;股数换算为股。chip_distribution:Tushare 的筹码分布估计(cyq_perf),2018 起;是模型结果,不是交易所数据。northbound_top10:沪深股通每日十大成交股(hsgt_top10),2014-11-17 起;2024-08-16 后交易所不再公布净买入、买入、卖出额,这三列为空。
-
等待湖锁时会说明是谁占着:
compact.lock和各运行锁被占用时,日志的“waiting for …”一行、超时报错和“运行已被锁定”的提示现在写出持有者的进程号、正在跑的步骤、开始持有的时间和命令行,例如held by pid 4242, step derive_option_greeks, since … (12m03s)后接命令行;排队结束后再记一行实际等了多久。此前只能看到“被另一个进程占用”,一次等满 1 小时超时失败的运行事后查不出是谁占的锁。持有者信息记在锁旁的<锁名>.holder.json,释放锁时删除;进程崩溃留下的会被忽略,并随过期锁文件一起清理。Windows 上不再把已退出进程的说明当成仍有人持有。 -
cne serve和cne mcp --http的访问日志不再记下令牌:URL 里的/mcp/<token>和?token=会写成<redacted>,此前令牌原样出现在每一行访问日志里,也会进入转发 stdout 的隧道或代理日志。用 URL 传令牌的接入方式照常可用。 -
MCP
run_sql不再能读到未发布的数据:原始read_parquet只放行各数据集已提交的版本目录,此前整个curated/都可读,能读到未发布或被隔离的候选数据;目录前缀也不再误放行同名开头的其他数据集。查询结果只取当前页,总数单独计数,返回字段不变。query_dataset不给日期范围时仍会全量加载。 -
整理发布中某个数据集提交失败时,排在它前面、已经发布的数据集会照常更新覆盖台账和水位,然后再报错:此前这些数据集读取方已能看到新版本,台账却仍把那些日期记为缺失。失败的数据集及其后的数据集保持待补,重试仍会处理;全部提交成功时行为不变。
-
futures_bars和option_bars并行运行时,一方不会再清掉另一方已记下的被封主机;复用同一份配置的后续运行也不会再沿用上一次运行学到的停牌结论来豁免本次的日线缺口。 -
清理暂存时,台账里已删除运行的暂存记录一并清掉(运行中的不动),
meta/state/<数据集>.json不再随失败或部分整理的运行无限增长。缺失日期台账不受影响,最坏结果只是某天重新抓取一次。 -
DuckDB 视图(MCP
run_sql及直接用 DuckDB 读湖)的daily_bars、index_bars不再返回空的pre_close:同一主键有多条观测、胜出的一条没有前收盘时,视图现在和load()一样用较早观测的值补上。两条读取路径的取行规则改为同一张规则表生成,并有测试逐行对照。 -
单个数据集暂存量达到 256 MiB 的大回填,整理时按分区逐个合并,不再把整个运行的暂存一次读进内存:峰值内存约降为原来的四分之一,耗时相应增加,写出的文件与原路径完全相同。日常运行仍走原路径;分区列不在主键里的数据集和
trading_status始终整份合并。 -
注册两个同名步骤现在直接报错(
DuplicateStepError),此前后注册的静默覆盖前一个。 -
湖放在 exFAT/FAT 移动硬盘或部分网络盘上时,原始响应归档、派息缺口清单和持有人现金证据的写入不再失败:这类文件系统不支持硬链接,此前每个归档原始响应的数据集都会报
Operation not supported而无法写入。现在不支持硬链接时改为“目标不存在才放入”的方式写入,已有文件照旧不覆盖。 -
baostock 长时间扫描中途重新登录时若遇到连接重置等网络错误,已抓到的行会保留并照常落盘,剩余股票留待续跑:此前这类错误会让整次扫描的结果全部丢失。
-
DNS 解析失败、TLS 错误和 curl_cffi 的请求错误现在归为可重试的源端临时故障:它们是
OSError的子类,此前被当成存储故障,既不自动重试,也会跳过后续批次。 -
写入数据文件、派生文件或状态文件时按下 Ctrl-C,不再在目标旁留下隐藏的
.tmp临时文件;原文件本来就不受影响。 -
MCP 表格结果里的 NaN 和 ±Infinity 改为 JSON
null:此前它们以裸NaN/Infinity输出,严格的 JSON 解析器会拒收整个结果。 -
MCP 工具内部的
TypeError不再报成“参数错误”:现在先按工具签名核对参数,只有对不上时才说参数有误,工具自身的故障按TypeError: …报告,免得代理去改本来正确的参数。 -
某个数据集的
meta/state/<数据集>.json损坏时,list_datasets和 MCPdescribe_lake照常返回其他数据集,损坏的那个带上state_error说明原因,不把它的水位显示成“没有”。需要水位的读取仍会直接报错。 -
冷却后的恢复探测进行中按下 Ctrl-C,不再算作探测失败:此前会让该数据源再冷却 5 分钟,现在探测机会原样交还,下次运行立即探测。
-
cne backfill在各批次跑完之后才出错(例如写审计记录时磁盘已满)时,这次运行会立即记为失败并写明原因:此前会一直显示“运行中”,直到超过孤儿运行的宽限期。 -
valuation_metrics回补开头清理“日线里没有的股票”的估值行,现在会发布一个新版本:此前只改了工作目录,读取方看不到,下一次整理发布又把这些行恢复回来,步骤结果却报告已删除。现在清理后读取立即生效,旧版本仍可按版本号读取;清理被发布检查拦下时只记录原因,回补照常进行。 -
重试不再把正常交易的股票标成退市:证券列表的“连续缺席”按不同交易日计数,
cne run retry或同一天再跑一次只是重读同一份 TDX 列表,不再算第二次确认。此前一次不完整的列表经过重试就可能被计两次,股票被写上不会清除的delist_date,从all_a和按股票池过滤的研究读取里消失。 -
sector_bars回补中断后不再丢板块:板块只在本次运行整理发布之后才记为已完成,此前写入暂存就记完成,中断后按提示重跑cne backfill sector_bars会跳过那些只存在于中断运行暂存里、永远不会发布的板块;cne run retry重试同一运行时,新批次也会覆盖旧批次文件。升级前中断过、尚未跑完的sector_bars回补,用cne backfill sector_bars --force重跑一次。 -
corporate_actions新增action_type=exchange_reference:不带分红送转条款,只记录交易所在除权日公布的前收盘(除权除息参考价),reference_price必填。某个除权日已记录的条款与交易所前收盘不符时,复权核验和cne repair adj-factors以它为准,作为与 K 线自带前收盘同等的独立证据;股改期间的送股仍需流通股数佐证,不接受它。历史 K 线没有前收盘,这类行目前由 Tushare 日线的pre_close取证,原始响应随行归档。 -
option_bars和option_contracts收录沪深 ETF 期权:cne backfill option_bars --source tushare用你自己的 Tushare 令牌回补上交所、深交所的全部 ETF 期权(50ETF 自 2015-02-09 起,另有 300ETF、500ETF、科创 50、创业板等),交易所记为SH/SZ,标的为对应 ETF。合约条款直接取自交易所合约清单(Tushareopt_basic),期权合约表的日常重建不再解析、也不改动这些行;成交额从万元换算为元。期权希腊值对 ETF 期权和中金所股指期权一样用平价公式推远期价格。 -
新增可选数据集
fund_flow_tushare:Tusharemoneyflow自算口径的个股资金流,2010 起,小单、中单、大单、特大单的买入和卖出量与额,以及净流入。它和fund_flow的东财口径不同,单独成表、不混用。需要你自己的 Tushare 令牌,只由cne backfill fund_flow_tushare采集;量换算为股,额换算为元。 -
新增可选数据集
limit_prices:Tusharestk_limit每只股票每个交易日的涨停价、跌停价,2007-01-04 起,可据此判断一根 K 线是否触及涨跌停。需要你自己的 Tushare 令牌,只由cne backfill limit_prices采集,默认不排日更;北交所 2024 年前的旧代码换成 920 代码,B 股不写入。实测 2026-11-04 的 5,578 只股票收盘价全部落在当日涨跌停价之内。 -
sector_fund_flow恢复了:配置了自己的 Tushare 令牌时,cne backfill sector_fund_flow用moneyflow_ind_dc(Tushare 转发的东财板块资金流,2023-09-12 起)只补湖里没有的板块,已有的东财行不改;[sources.eastmoney] push2_paused = true时日更直接从 Tushare 取当天(当晚未发布完整时这一步失败,由晚间补采重试,不写半天数据)。实测 2026-09-21 两边 1,000 个行业和概念板块的主力净流入、涨跌幅、名称全部一致。Tushare 行标source=tushare,另有 31 个地域板块(board_type=region),没有换手率(turnover_pct为空)。历史深度不均:2025-02-26 以前只有旧分类的 86 个行业板块,概念和地域板块自 2025-02-26 起,2025-10 起每天约 1,000 个板块。在本机湖上补入 355,862 行,2023-09-12 以来每个交易日都有数据。配置了令牌后,fund_flow和sector_fund_flow不再算作只能逐日积累的快照,日更也就不再为它们归档原始响应。 -
fund_flow可以回补历史了:配置了自己的 Tushare 令牌时,cne backfill fund_flow --start ... --end ...用moneyflow_dc(Tushare 转发的东财同口径个股资金流,2023-09-11 起)补齐。只补湖里没有的股票,已有的东财行一行不改;补入的行标source=tushare,主力、超大单、大单、中单、小单五档净额齐全(东财千股千评备用接口没有中单、小单)。北交所股票在 2024 年前的交易日按旧代码(43/83/87 开头)返回,写入时换成现行的 920 代码,与湖里其他数据一致;B 股和五档净额全为 0 的未交易代码不写入。中断后再跑会跳过已有 Tushare 行的交易日,--refetch则逐日重新请求,仍只补缺。源本身的缺口:moneyflow_dc的北交所股票约从 2024-04 中旬才有,2023-11-22 整天为空;2025 年改过代码的股票(如 302132.SZ,原 300114.SZ)在改码前的交易日也补不上。在本机湖上,2023-09-11 以来有成交的股票日从只有约 4.4% 有资金流,补到约 99%。实测 2026-09-18 两边 5,553 只五档净额全部一致;2026-11-03 补入 378 只当天有成交、湖里却没有的股票(多为近期上市)。没有令牌时fund_flow仍只能逐日积累,cne backfill照旧报能力限制,补缺与过期调度不会去回补它。 -
新增可选数据集
name_history:Tusharenamechange证券名称史,每个简称一行,带起止日、公告日、变更原因,risk_warning由简称的 ST/*ST 前缀读出(含 2005–2007 年的 S、G 前缀形式,PT 不算)。全市场约 1.4 万行,core 组每天整表重读一次(约 8 秒);需要你自己的 Tushare 令牌,没有令牌时这一步跳过、不发请求。名称区间也覆盖停牌期间,所以派生停牌行的risk_warning改为先取这里,查不到时才按停牌前后一致的第一手记录沿用:此前停牌期间被 ST 或摘帽的约 2.7 万个停牌日只能留空,现在有了答案。实测名称推出的 ST 与 baostock 在 1,690 万个有成交的股票日上只有 7 个不一致,都是生效日差 1–4 个交易日;与 Tusharestock_st在 2018-06-29 完全一致。代码变更过的少数股票(如 000043.SZ)记在新代码下,仍按前后记录判断。已有配置用cne config upgrade把这一步加进 core 组,再按年运行cne derive trading_status --start <日期> --end <日期>更新停牌行。 -
停牌日不再把 ST 股票标成非 ST:由日线缺口推出的停牌行,
risk_warning改为看停牌前后最近的第一手记录——两边一致就沿用,不一致(停牌期间被 ST 或摘帽)或缺一边就留空,基金一律为非 ST。此前 2026-08-30 之前写入的停牌行直接写成非 ST,湖里约 48 万个股票停牌日中有约 8.2 万个实为 ST,一个也没标出来(如 2018-06-29 停牌的 10 只 *ST)。以 Tushare 名称变更史为准核对,两边一致时沿用的判断在约 45 万个停牌日上正确率 99.9%,可恢复约 72% 的 ST 停牌日;已有的湖用cne derive trading_status --start <日期> --end <日期>按年重算即可更新。 -
配置了自己的 Tushare 令牌时,审计会把最新交易日与 Tushare 对照:日线、复权因子步长、除权除息、停牌与 ST、市值与总股本、两融、资金流、指数成分。Tushare 只作同级来源,不一致最多报 warning,从不改动数据;结果写入
meta/quality/source_diffs/tushare-peer-<date>.json。每次约十余个请求,账号没有权限的接口先探测并缓存一周后跳过,cne doctor显示缓存的权限。没有令牌时不运行、不发请求。按 2026-11-02 的数据,复权因子步长检查能当天发现那次 45 只股票的假跳变。 -
新增可选数据集
broker_forecasts:Tusharereport_rc卖方盈利预测,一份研报 × 一个预测财年一行,按研报发布日分区,自 2016 起可回补;能按任一历史日期重建当时已知的一致预期(analyst_consensus只是没有历史的当日快照)。需要你自己的 Tushare 令牌,并在[datasets] best_effort中启用;没有令牌时不发任何请求。 -
[sources.tushare]新增可选api_url(默认https://api.tushare.pro),可指向协议相同的其他服务器,行仍标为tushare。所有 Tushare 接口改走同一个客户端:统一分页、重试与限流;令牌无效或没有权限时只报一次不重试,按分钟限流时暂停整个来源,单接口日配额用完只停该接口。 -
日更派生复权因子时不再在最新几天制造假的因子跳变:股改送股等发生在已发布历史之前的因子修正,此前只写进当天新增的几行,历史没改,于是最新交易日凭空多出一步(如 600981.SH 在 2026-11-02 跳 ×1.35,审计报出 45 只“没有对应公司行为”)。现在日更让新行接上已发布的因子,较早的修正作为待处理警告保留,由
cne repair adj-factors --apply改写整段历史。已受影响的湖用这条命令修复即可。 -
回补的数据和湖里已有的一样时,整理发布不再重新核验基金无成交证明:这份核验只看已发布的日线、证券列表和证明文件,这几样都没有新版本时就没有新东西可查。实测在完整湖上,重抓一只股票一天的日线(内容不变),整理发布从约 3.0 秒降到 1.9 秒,整条命令从约 4.6 秒降到 3.5 秒。日线或证券列表发布新版本时照常核验;检查水位是否超前于数据的那一步仍每次都跑。