Repository navigation
0.20.0 · 新增行业层级、支持原始财务报表解析
新增行业层级、支持原始财务报表解析
CNEquity 0.20.0 已发布至 PyPI。开源 A 股本地数据湖,用于量化研究、回测与 AI Agent。
python -m pip install --upgrade cnequity==0.20.0- 升级步骤:
pip install -U cnequity后重启cne serve和已在运行的cne mcp。数据集契约只有兼容变更:industry_members升到 schema 版本 2,新增 6 列层级列(见下文),新写入的东财行industry_code固定为三级行业;按固定层级统计请读l1_*..l3_*。旧湖运行cne migrate预览、再cne migrate --apply,补齐本版四步一次性迁移:industry-levels(在线读取东财当前板块层级)、sw-delisted、offshore-final(在线读取新浪 COMEX 黄金最终日线)和sw-never-listed。基金派生状态行要标为非 ST 的,另按窗口运行cne repair status-traded --start … --end … --apply。时点读取的截点改按北京时间日期判定,as_of=T不再包含 T 日公告。EquityLab 等下游的消费契约无需改动。 load_profile新增pit_mode="published":只认记录了发布时间的值,不用公告日或入湖日代替,且不早于值生效日;cutoff指定截至日的北京时间截点(收盘信号用 15:00),过了截点的发布从下一天起可见。另加canonical(按当日生效代码匹配)、data_root和revision_map(固定版本读取)。- 新增
cnequity.query.load_profile:一次取多只证券、多个截至日的多项时点资料(上市、交易状态与 ST、股本、股东户数、财报科目、申万/东财各级行业),每个值带它描述的日期、最早可知日、来源和时点质量(strict/reconstructed/snapshot_only),缺失的值给出原因(上市前、退市后、超出覆盖、尚未公布、值未知、无时点证据、无记录),过旧的值标stale。每个数据集只读一次。 - 申万行业快照不再包含从未上市的证券:申万在 IPO 审核阶段就给公司定行业,且文件没有剔除日期,IPO 未完成的公司会一直留在之后每个月的快照里。这类代码在证券主表、日线、交易状态和公告里都没有任何记录,东财也不列出。只有四类记录全都没有才剔除;回填时剔除,旧湖用
cne migrate --apply删除。剔除的证券记在meta/sw_never_listed.json,cne verify --industry以excluded_never_listed继续列出。 - 新增
cne migrate一步offshore-final:替换 COMEX 黄金(GC0.CMX)在 CME 交易时段结束前存入的日线。写入端已改为收盘后才写、并重读最近 7 天,但更早的盘中值没有被替换,部分收盘价与新浪最终值不同,个别交易日缺行。迁移在线读取新浪最终日线一次,只改有差异或缺失的行。 - 新增
cne derive industry_crosswalk:在申万与东财都有完整快照的同一天,按层级比较两边行业的成员,写出每对行业的成员数、重叠数、Jaccard、相互包含比例和关系(等价、被包含、部分重叠)到meta/industry_crosswalk.parquet。只用同日证据、只比较两边当天都有的股票;0.20 之前的东财快照层级不全,不作证据。每次运行追加当天证据、保留更早的日期,不合并任何行业。 - 申万行业和国证指数成分按月回填只取已经结束的月份:此前当月最后一个已知交易日也被当作“月末”,周日运行会生成日期为下一个(尚未开盘的)交易日的快照。
- 新增
cne derive industry_taxonomy:为每个行业写一个稳定身份industry_id = 体系:版本:代码到meta/industry_taxonomy.parquet,带层级、名称、上级、首末出现日期和最大成员数。申万 2021 年 7 月换代时复用了代码字符串(两版都有的 161 个三级代码下,只有 54% 的股票代码没变),单凭代码分不清是哪一版,所以版本是身份的一部分:sw:2014:480101与sw:2021:480101是两个行业。东财板块代码在所有快照里名称不变,身份为eastmoney:board:代码。申万文件不发布名称,名称列为空。 - 申万行业历史展开为月度快照时按
instruments的退市日剔除已退市股票:申万文件只有计入日期、没有剔除日期,退市股票的最后一个行业会一直带到之后每个月,退市多年的股票仍带着申万 2014 的旧代码出现在之后的快照里。旧湖用cne migrate --apply删除这些行;东财行是来源当天的实际观察,不改。cne verify --industry新增unexpected_members,按原因(退市后、未知证券、非股票、上市前)列出不该出现的成员;上市前的行是申万在首个交易日前就给新股定了行业,只报告、不判为缺口。CDR 同样计入应有集合。 - 新增
cne verify --industry:只读检查industry_members的完整性。每个分类体系的每个快照对照当天上市的股票(沪深、北交所分开),每个层级的每个行业对照上一个快照,报出成员缺失、整个行业消失或成员减半以上;分类体系整体换代(如申万 2014→2021,2021-07-30 有 66% 股票换码)单独列出,不当作缺失;0.20 之前写入的东财快照层级不全,标为部分快照、不参与行业对比。有缺口时退出码为 1。 - 数据集契约变更:
industry_members升到 schema 版本 2、data_version=v2,新增l1_code..l3_name六列,industry_code/industry_name固定为三级行业。此前东财每只股票的三个行业板块只留一个,留哪个取决于分页顺序,同一只股票逐日在一、二、三级之间跳动,按行业统计时看起来像整组行业漏采。现在三级都保存。旧湖运行cne migrate --apply为已有行补层级列(东财行需在线读取当前板块层级);旧东财行只能补出所存板块及其上级,其余为空。迁移说明见contracts/migrations/0.20.0/industry_members.md。 cne repair status-traded补的 ETF/基金状态行写risk_warning=false:ST 制度不适用于基金,此前写成未知(null),下游把整个基金池当成“ST 未知”。股票行仍为未知。已入湖的基金派生行用同一命令按窗口预览、--apply改正。- 时点(PIT)读取按北京时间日期比较
available_at、source_published_at和观察时间,不再按 UTC 日期。此前巨潮公告标为次日 00:00(北京时间)起可用,却会出现在当天as_of的结果里;修复后as_of=T不再看到 T 日公告。严格模式下,UTC 16:00 以后(即北京时间已到次日)抓取的行,观察日按北京时间算作次日,当天的as_of不再收录。 - 资产负债表恒等式检查改为每个来源各自核对:此前按条目取最新值,会把巨潮原始年报(首次披露)的资产和数据商重述后的权益拼在一起,产生大量误报;改后只报来源自身不平的。
- 巨潮原始报表解析能识别折行的权益标签(「所有者权益(或股东权 / 益)合计」),此前大量报告期因此缺
total_equity,查询视图会把原始年报的资产与重述后的权益配在同一期。已入湖的数据用cne repair financial-originals --reparse --apply补齐。 - 分钟线与日线成交量核对允许整手取整误差:通达信成交量以 100 股为单位,日线截掉零股、每根分钟线各自取整,冷门 LOF 一天只成交几百股时比值会偏离 5% 以上,而成交额完全一致。差额不超过每根有成交的分钟线一手(再加一手)时不再报
minute_bars_daily_outliers。 cne run maintain每天先对欠账里还有键的数据集运行cne backfill <数据集> --outstanding,再做审计和门禁。此前欠账只有手动修复才会重试,来源晚几天才有数据(如 Baostock 停牌记录约晚一周)的键会一直挂着;重试失败只报告,不判维护失败。- 日线覆盖判断停牌时,上市公司自己的停牌公告也算证据:停牌公告与之后 10 个交易日内的进展或复牌公告之间的交易日(不含公告当天)视为停牌,第一手的交易记录仍可否决。push2 不可用期间沪市停牌不再要等约一周后的 Baostock 核对才从欠账里消掉。提示性公告、风险警示停牌、临时停牌和可转债转股停牌不计入;在 2015–2026 全湖上回测,3,929 个由公告推出的停牌日没有一天有成交。
- 数据集来源登记补齐:
adj_factors的派生因子(北交所与基金份额变动)登记为补充来源,financial_statement_items的巨潮原始报表与index_constituents的交易所指数快照登记为修复来源。审计不再对它们报unrouted_source,cne sources列出的条款也包含这些写入方。