Repository navigation
0.19.0 · 强化数据的准确性,提供数据迁移入口
强化数据的准确性,提供数据迁移入口
CNEquity 0.19.0 已发布至 PyPI。开源 A 股本地数据湖,用于量化研究、回测与 AI Agent。
python -m pip install --upgrade cnequity==0.19.0- 升级步骤:
pip install -U cnequity后重启cne serve和已在运行的cne mcp。数据集契约没有变化。旧湖先运行cne migrate预览、再cne migrate --apply补齐一次性迁移(取代已移除的 11 个cne repair迁移命令);调度或脚本里用到下文已移除命令和cne backfill开关的,按对应替代改写。现有完整配置照旧可用,可用cne config upgrade --minimize --dry-run预览改为继承默认值;用scripts/scheduler/的,先运行uninstall_scheduler.sh再cne schedule install。不在项目目录运行时,配置可放在~/.config/cnequity/config.toml,cne config path显示实际使用的配置。 - 移除不再使用的命令与开关(不兼容):
- 11 个一次性
cne repair迁移命令(missing-values、financial-announcements、daily-bar-coverage、fund-factors、fund-listing-dates、valuation-basis、orphan-symbols、stale-suspensions、status-outages、status-listing-window、misdated-valuation):0.17 及更早版本的湖用cne migrate修正; cne derive bse_code_migration和cne derive valuation_orphans(valuation_metrics回填会自动清理孤立行);cne backfill的--eastmoney-bj-repair、--bj-amount-repair、--tdx-volume-repair,以及已迁出的开关(--payment-date-repair等改用cne repair <名称>,--shfe-annual-archive改用cne import shfe-archive,--refresh/--force改用--refetch,--margin-source改用--source,--retry-failed不再需要);- 仓库
scripts/migrations/:分区改写改为随包提供的cne repair repartition(默认预览,--apply改写);0.12 及更早版本写入的湖请先用 0.19 或更早版本迁移再升级。
- 11 个一次性
- 期货/期权最新交易日截面可以证明完整了:交易所有当天的官方合约文件、且文件里当天在市的合约都有行情时判为
OK(此前即使一个不缺也只能是 UNVERIFIED,cne check因此一直 ✗)。默认走新浪的大商所无法证明,作为限制写在结果旁,不判失败;缺当天官方文件时仍为 UNVERIFIED。 cne run maintain检查最近收盘交易日各日更组的运行:[job.maintenance] gate_groups(默认core)失败立即判失败,其他组连续失败soft_fail_max_days(默认 3)个交易日才判失败,与旧日更脚本的规则一致并沿用其计数。- 配置用
steps_remove或enabled = false有意移出调度、且没有别的组再跑的数据集,新鲜度显示为removed(保留真实的最后日期),不再判为 STALE;cne check、cne status --gate、审计、cne run maintain、收尾补抓和控制台对此一致。把 step 加回调度后又会按期判断。 - 新增
[[job.events.schedules]]:在配置里写多条事件流计划,每条有自己的事件组、间隔、随机延迟和北京时间静默时段,打包定时任务按计划运行(cne schedule install --events),控制台只读展示。没写计划时仍用控制台设置的单个事件组。 - 新增
[source_health] vantage:在配置里写一次网络出口标签,源探针、源健康记录和cne run maintain都会带上它;CNE_SOURCE_VANTAGE和--vantage仍可在单次运行时覆盖。 fund_flow_ths/sector_fund_flow_ths默认仍是不判新鲜度的兜底表;配置的日更调度组里排了它们(push2 不可用时用steps_add换入)时,改为要求最近收盘交易日有数据,收尾补抓会重试缺的那天,新鲜度门禁也会报出来。cne backfill只保留通用选项(帮助里的选项从 32 个减到 11 个)。数据集专属的修复改为cne repair子命令,默认预览、--apply运行:payment-dates、delisted-actions、ex-dates、bar-amounts、bar-turnover、bse-tip-turnover、valuation-outage;上期所年度包导入改为cne import shfe-archive。新增通用的--refetch(取代衍生品的--refresh和sector_bars的--force)和--source(取代--margin-source);--retry-failed本来就是默认行为,不再需要。旧开关已移除(见下文)。- 新增
cne migrate:一次找出并运行这个湖还欠的一次性数据迁移(默认预览,--apply运行),结果记在meta/state/lake.json。新建的湖会记下建湖版本,不欠早于它的迁移;cne doctor会提示还没检查的迁移。弃用的一次性cne repair命令改由它统一运行(命令本身已移除,见下文)。 - 新增
cne schedule install|status|remove:在命令行为当前用户安装、查看、移除定时任务(macOS launchd、Linux crontab、Windows 任务计划程序),与cne serve操作页是同一个任务;没给出的选项保留面板里的设置。 - 新增
cne run maintain,定时任务在每个交易日日更后自动运行:运行审计([job.maintenance] full_audit_weekday那天做全湖审计)、新鲜度门禁、源探针与 SLO、运行证据核验、元数据备份和过期预览。此前只有仓库脚本做元数据备份,用cne init --schedule或控制台装定时任务的湖没有 manifest 备份;备份改用 SQLite 备份接口,不再依赖sqlite3命令。 scripts/scheduler/弃用,打包定时任务覆盖它的全部功能(多条事件流计划、出口标签、按日核对的兜底表)并经过验证后才移除;迁移时先运行uninstall_scheduler.sh,再cne schedule install。backup_meta.sh已改为调用同一份备份代码。- 凭证读取顺序改为环境变量 → 文件 → 配置里的值:新增
[sources.tushare].token_file和[sources.ths_official].api_key_file(定时任务读不到 shell 环境变量时用它),环境变量现在优先于配置里直接写的值。cne doctor会提示写在配置里的凭证和其他用户可读的配置文件。 - 修复同花顺官方 API Key 参与配置指纹计算的问题:所有凭证字段只按「是否设置」计入指纹,轮换 Key 不再改变指纹。设置了这个 Key 的湖,指纹会在升级后变化一次。东财代理地址也不再出现在
Config的 repr 里。 - 配置可以继承内置默认值:
cne config create和首次cne init写出的配置只有extends = "builtin"和[data].root,其余设置来自当前安装版本,新版本的设置和调度 step 升级后直接生效,不再需要cne config upgrade。调度组新增steps_add/steps_remove/enabled = false,换掉一个 step 不会冻结整组。没有extends的完整配置照旧工作。 - 新增
cne config show(生效配置,标出文件里写的值,凭证打码;--defaults打印全部设置)和cne config upgrade --minimize(把完整配置改写成继承默认值的形式,先列出加载后会变化的设置,--dry-run只预览,原文件自动备份)。 - 配置查找统一:未给
--config时依次找CNE_CONFIG、当前目录的configs/cnequity.toml、用户级~/.config/cnequity/config.toml(Windows 为%APPDATA%\cnequity\config.toml)。CLI、load()、MCP 用同一套规则,在任何目录运行都指向同一个湖。首次cne init/cne config create在当前目录没有项目配置时写用户级配置;新增cne config path显示实际生效的配置、选中原因和数据目录。 - 配置里的相对路径(
data.root、duckdb.path)改为按配置文件所在目录解析,不再随工作目录变化。旧配置按工作目录写的相对data.root在新位置不存在时继续沿用并警告;运行cne config upgrade会把它固定为原来的绝对路径,湖不会移动。 - 兼容 DuckDB 2.0 与 Polars 2.0:查询结果改用两边都支持的 Arrow 接口(DuckDB 2.0 移除了
.pl()/.arrow()),依赖下限改为duckdb>=1.5。 - 恢复 0.18.0 误删的
cnequity.domain.security_identifiers(证券代码延续注册表)。它是下游直接导入的公开接口,0.18.0 删除后 EquityLab 无法导入;内容与 0.17.1 逐字节相同,见 Python API。 - 东财走本地代理时,代理没启动(如 Clash 随登出退出)导致的连接被拒不再被当作东财拒绝本机 IP:push2 和 datacenter 的熔断器不会触发,报错直接写明代理地址。
- 东财不可用的日更里,
trading_status现在用沪深交易所的基金行情板块给当日有成交的 ETF/LOF 补写normal行(source=exchange)。无成交的基金仍不写行,不会被记为停牌;此前东财不可用时约 2,000 只 ETF 没有状态行,健康检查因此持续报错。已缺失的历史日期仍可用cne repair status-traded补派生行。 - 修复增量
adj_factors派生在停牌期间断档:停牌第二个交易日起,当日只有零成交占位行,派生误判为从未交易而跳过,停牌期 hfq 因子从此缺失,自愈检查也看不到。现在会沿用上一个因子,自愈检查也覆盖停牌占位行;已有缺口在下次日更时自动重取补齐。在补齐之前,load(adjust=...)对这些停牌行沿用最近一个因子,hfq、qfq、total_return 三种口径结果一致(此前 qfq 和 total_return 会按 1.0 回退为原价并标记为不精确)。 - 东财不可用时,
trading_status从深交所行情板块读出的停牌股不再被写成normal:深交所对停牌股的开高低收都填前收、成交量为 0,此前只按开高低为 0(上交所的写法)判断停牌。2026-09-23 起东财不可用期间的深市停牌行会在后续 Baostock 停牌核对中改正,也可对相应日期重跑trading_status。 - 日线「两个独立来源都返回空」和「代码尚未上市」的证据不再在同一次日更里失效:此前证据绑定全市场证券表和
trading_status文件,同一 run 的入湖整理一改写交易状态,证据就作废,cne check因此把已核实无数据的证券(如摘牌当天的 000016.SZ、尚未上市的 001381.SZ)报成覆盖缺口,下一次日更也会把它们重新向各来源请求一遍。现在证据只随该证券自己的上市、退市日期失效;由交易状态推出的无数据证据仍随交易状态文件变化而失效。cne check读取证据时也不再改写状态文件。 - 没有上市日期、也从未成交的新代码,若数据源只返回成交量为 0 的占位 K 线(通达信在上市前按发行价给出),不再被当作已上市写入日线,也不再为窗口内更早的交易日记欠账;这些占位行转入隔离区,代码按「尚未上市」处理。
- 证券从证券列表中消失后推断的
delist_date改为它首次缺席前最后一根日线的日期,即最后一个上市交易日,不再是确认缺席的那次快照日期;此前会晚 1–4 个交易日(如信达证券 10-19 摘牌,最后上市日 10-16,曾记为 10-20)。已记录的日期不自动改写。查询指南中的在市条件更正为delist_date >= trade_date。 - 期货「待补交易日」不再包含补不回的日期:郑商所官方档案缺 2010-06-21、2010-07-01、2010-08-13 三个交易日的文件(当天 404、前后正常),与上期所 2004-06-25、2007-06-04 一样豁免;2019 年起上期能源合约随上期所文件发布,旧路由留下的 INE 回执不再记欠账;交易所文件本身不自洽的行(如 2021-07-28 LU2108 收盘价 3450 高于最高价 3180)仍隔离不入湖,但不再让该交易日一直欠着。
cne audit对已落盘 Parquet 的行情检查改为与写入时同一套规则:新增覆盖minute_bars_15m/30m/60m、pre_close <= 0以及期货/期权 bar 的不变量。旧湖里此前漏检的坏行现在会报出,按提示重取对应分区即可。- 每日交易所状态快照(仅写入快照库,不改变
trading_status的权威来源)现在也记录当日有成交的沪深 ETF/LOF;无成交的基金不写行。 - 东财本地代理探测到未运行后,30 秒内不再逐个请求重复探测;代理恢复后第一次成功响应即解除。
- MCP 的 stdio 与 HTTP 传输使用同一套批量请求规则:空数组
[]返回 JSON-RPC Invalid Request 错误(此前 HTTP 返回 202、stdio 不回复),批量里的非法成员只让该成员报错。 - 东财热门榜中被标成
SZ920xxx的北交所股票按 BJ 代码保留,不再丢弃;榜单不足所需条数时按数据源载荷错误上报。东财 clist 翻页失败保留底层错误类别,运行结果里的失败原因不再统一显示为 execution_error。 - 整数字段转换不再经过浮点,超过 2^53 的整数保持精度,越界值不会被舍入回 Int64 范围内。
- CLI 遇到数据湖生命周期冲突(如
cne clean时引用已变化)只打印原因,不再输出 traceback。 - 移除若干无调用方的内部辅助函数(如
sweep_stock_bars、fetch_adj_factor_series_baostock_many、finish_metrics)。下游公开导入面由测试锁定,见 Python API。