Skip to content

0.19.0 · 强化数据的准确性,提供数据迁移入口

Choose a tag to compare

@github-actions github-actions released this 25 Oct 09:50
· 156 commits to main since this release

强化数据的准确性,提供数据迁移入口

CNEquity 0.19.0 已发布至 PyPI。开源 A 股本地数据湖,用于量化研究、回测与 AI Agent。

python -m pip install --upgrade cnequity==0.19.0
  • 升级步骤: pip install -U cnequity 后重启 cne serve 和已在运行的 cne mcp。数据集契约没有变化。旧湖先运行 cne migrate 预览、再 cne migrate --apply 补齐一次性迁移(取代已移除的 11 个 cne repair 迁移命令);调度或脚本里用到下文已移除命令和 cne backfill 开关的,按对应替代改写。现有完整配置照旧可用,可用 cne config upgrade --minimize --dry-run 预览改为继承默认值;用 scripts/scheduler/ 的,先运行 uninstall_scheduler.sh 再 cne schedule install。不在项目目录运行时,配置可放在 ~/.config/cnequity/config.toml,cne config path 显示实际使用的配置。
  • 移除不再使用的命令与开关(不兼容):
    • 11 个一次性 cne repair 迁移命令(missing-values、financial-announcements、daily-bar-coverage、fund-factors、fund-listing-dates、valuation-basis、orphan-symbols、stale-suspensions、status-outages、status-listing-window、misdated-valuation):0.17 及更早版本的湖用 cne migrate 修正;
    • cne derive bse_code_migration 和 cne derive valuation_orphans(valuation_metrics 回填会自动清理孤立行);
    • cne backfill 的 --eastmoney-bj-repair、--bj-amount-repair、--tdx-volume-repair,以及已迁出的开关(--payment-date-repair 等改用 cne repair <名称>,--shfe-annual-archive 改用 cne import shfe-archive,--refresh/--force 改用 --refetch,--margin-source 改用 --source,--retry-failed 不再需要);
    • 仓库 scripts/migrations/:分区改写改为随包提供的 cne repair repartition(默认预览,--apply 改写);0.12 及更早版本写入的湖请先用 0.19 或更早版本迁移再升级。
  • 期货/期权最新交易日截面可以证明完整了:交易所有当天的官方合约文件、且文件里当天在市的合约都有行情时判为 OK(此前即使一个不缺也只能是 UNVERIFIED,cne check 因此一直 ✗)。默认走新浪的大商所无法证明,作为限制写在结果旁,不判失败;缺当天官方文件时仍为 UNVERIFIED。
  • cne run maintain 检查最近收盘交易日各日更组的运行:[job.maintenance] gate_groups(默认 core)失败立即判失败,其他组连续失败 soft_fail_max_days(默认 3)个交易日才判失败,与旧日更脚本的规则一致并沿用其计数。
  • 配置用 steps_remove 或 enabled = false 有意移出调度、且没有别的组再跑的数据集,新鲜度显示为 removed(保留真实的最后日期),不再判为 STALE;cne check、cne status --gate、审计、cne run maintain、收尾补抓和控制台对此一致。把 step 加回调度后又会按期判断。
  • 新增 [[job.events.schedules]]:在配置里写多条事件流计划,每条有自己的事件组、间隔、随机延迟和北京时间静默时段,打包定时任务按计划运行(cne schedule install --events),控制台只读展示。没写计划时仍用控制台设置的单个事件组。
  • 新增 [source_health] vantage:在配置里写一次网络出口标签,源探针、源健康记录和 cne run maintain 都会带上它;CNE_SOURCE_VANTAGE 和 --vantage 仍可在单次运行时覆盖。
  • fund_flow_ths / sector_fund_flow_ths 默认仍是不判新鲜度的兜底表;配置的日更调度组里排了它们(push2 不可用时用 steps_add 换入)时,改为要求最近收盘交易日有数据,收尾补抓会重试缺的那天,新鲜度门禁也会报出来。
  • cne backfill 只保留通用选项(帮助里的选项从 32 个减到 11 个)。数据集专属的修复改为 cne repair 子命令,默认预览、--apply 运行:payment-dates、delisted-actions、ex-dates、bar-amounts、bar-turnover、bse-tip-turnover、valuation-outage;上期所年度包导入改为 cne import shfe-archive。新增通用的 --refetch(取代衍生品的 --refresh 和 sector_bars 的 --force)和 --source(取代 --margin-source);--retry-failed 本来就是默认行为,不再需要。旧开关已移除(见下文)。
  • 新增 cne migrate:一次找出并运行这个湖还欠的一次性数据迁移(默认预览,--apply 运行),结果记在 meta/state/lake.json。新建的湖会记下建湖版本,不欠早于它的迁移;cne doctor 会提示还没检查的迁移。弃用的一次性 cne repair 命令改由它统一运行(命令本身已移除,见下文)。
  • 新增 cne schedule install|status|remove:在命令行为当前用户安装、查看、移除定时任务(macOS launchd、Linux crontab、Windows 任务计划程序),与 cne serve 操作页是同一个任务;没给出的选项保留面板里的设置。
  • 新增 cne run maintain,定时任务在每个交易日日更后自动运行:运行审计([job.maintenance] full_audit_weekday 那天做全湖审计)、新鲜度门禁、源探针与 SLO、运行证据核验、元数据备份和过期预览。此前只有仓库脚本做元数据备份,用 cne init --schedule 或控制台装定时任务的湖没有 manifest 备份;备份改用 SQLite 备份接口,不再依赖 sqlite3 命令。
  • scripts/scheduler/ 弃用,打包定时任务覆盖它的全部功能(多条事件流计划、出口标签、按日核对的兜底表)并经过验证后才移除;迁移时先运行 uninstall_scheduler.sh,再 cne schedule install。backup_meta.sh 已改为调用同一份备份代码。
  • 凭证读取顺序改为环境变量 → 文件 → 配置里的值:新增 [sources.tushare].token_file 和 [sources.ths_official].api_key_file(定时任务读不到 shell 环境变量时用它),环境变量现在优先于配置里直接写的值。cne doctor 会提示写在配置里的凭证和其他用户可读的配置文件。
  • 修复同花顺官方 API Key 参与配置指纹计算的问题:所有凭证字段只按「是否设置」计入指纹,轮换 Key 不再改变指纹。设置了这个 Key 的湖,指纹会在升级后变化一次。东财代理地址也不再出现在 Config 的 repr 里。
  • 配置可以继承内置默认值:cne config create 和首次 cne init 写出的配置只有 extends = "builtin" 和 [data].root,其余设置来自当前安装版本,新版本的设置和调度 step 升级后直接生效,不再需要 cne config upgrade。调度组新增 steps_add / steps_remove / enabled = false,换掉一个 step 不会冻结整组。没有 extends 的完整配置照旧工作。
  • 新增 cne config show(生效配置,标出文件里写的值,凭证打码;--defaults 打印全部设置)和 cne config upgrade --minimize(把完整配置改写成继承默认值的形式,先列出加载后会变化的设置,--dry-run 只预览,原文件自动备份)。
  • 配置查找统一:未给 --config 时依次找 CNE_CONFIG、当前目录的 configs/cnequity.toml、用户级 ~/.config/cnequity/config.toml(Windows 为 %APPDATA%\cnequity\config.toml)。CLI、load()、MCP 用同一套规则,在任何目录运行都指向同一个湖。首次 cne init / cne config create 在当前目录没有项目配置时写用户级配置;新增 cne config path 显示实际生效的配置、选中原因和数据目录。
  • 配置里的相对路径(data.root、duckdb.path)改为按配置文件所在目录解析,不再随工作目录变化。旧配置按工作目录写的相对 data.root 在新位置不存在时继续沿用并警告;运行 cne config upgrade 会把它固定为原来的绝对路径,湖不会移动。
  • 兼容 DuckDB 2.0 与 Polars 2.0:查询结果改用两边都支持的 Arrow 接口(DuckDB 2.0 移除了 .pl() / .arrow()),依赖下限改为 duckdb>=1.5。
  • 恢复 0.18.0 误删的 cnequity.domain.security_identifiers(证券代码延续注册表)。它是下游直接导入的公开接口,0.18.0 删除后 EquityLab 无法导入;内容与 0.17.1 逐字节相同,见 Python API。
  • 东财走本地代理时,代理没启动(如 Clash 随登出退出)导致的连接被拒不再被当作东财拒绝本机 IP:push2 和 datacenter 的熔断器不会触发,报错直接写明代理地址。
  • 东财不可用的日更里,trading_status 现在用沪深交易所的基金行情板块给当日有成交的 ETF/LOF 补写 normal 行(source=exchange)。无成交的基金仍不写行,不会被记为停牌;此前东财不可用时约 2,000 只 ETF 没有状态行,健康检查因此持续报错。已缺失的历史日期仍可用 cne repair status-traded 补派生行。
  • 修复增量 adj_factors 派生在停牌期间断档:停牌第二个交易日起,当日只有零成交占位行,派生误判为从未交易而跳过,停牌期 hfq 因子从此缺失,自愈检查也看不到。现在会沿用上一个因子,自愈检查也覆盖停牌占位行;已有缺口在下次日更时自动重取补齐。在补齐之前,load(adjust=...) 对这些停牌行沿用最近一个因子,hfq、qfq、total_return 三种口径结果一致(此前 qfq 和 total_return 会按 1.0 回退为原价并标记为不精确)。
  • 东财不可用时,trading_status 从深交所行情板块读出的停牌股不再被写成 normal:深交所对停牌股的开高低收都填前收、成交量为 0,此前只按开高低为 0(上交所的写法)判断停牌。2026-09-23 起东财不可用期间的深市停牌行会在后续 Baostock 停牌核对中改正,也可对相应日期重跑 trading_status。
  • 日线「两个独立来源都返回空」和「代码尚未上市」的证据不再在同一次日更里失效:此前证据绑定全市场证券表和 trading_status 文件,同一 run 的入湖整理一改写交易状态,证据就作废,cne check 因此把已核实无数据的证券(如摘牌当天的 000016.SZ、尚未上市的 001381.SZ)报成覆盖缺口,下一次日更也会把它们重新向各来源请求一遍。现在证据只随该证券自己的上市、退市日期失效;由交易状态推出的无数据证据仍随交易状态文件变化而失效。cne check 读取证据时也不再改写状态文件。
  • 没有上市日期、也从未成交的新代码,若数据源只返回成交量为 0 的占位 K 线(通达信在上市前按发行价给出),不再被当作已上市写入日线,也不再为窗口内更早的交易日记欠账;这些占位行转入隔离区,代码按「尚未上市」处理。
  • 证券从证券列表中消失后推断的 delist_date 改为它首次缺席前最后一根日线的日期,即最后一个上市交易日,不再是确认缺席的那次快照日期;此前会晚 1–4 个交易日(如信达证券 10-19 摘牌,最后上市日 10-16,曾记为 10-20)。已记录的日期不自动改写。查询指南中的在市条件更正为 delist_date >= trade_date。
  • 期货「待补交易日」不再包含补不回的日期:郑商所官方档案缺 2010-06-21、2010-07-01、2010-08-13 三个交易日的文件(当天 404、前后正常),与上期所 2004-06-25、2007-06-04 一样豁免;2019 年起上期能源合约随上期所文件发布,旧路由留下的 INE 回执不再记欠账;交易所文件本身不自洽的行(如 2021-07-28 LU2108 收盘价 3450 高于最高价 3180)仍隔离不入湖,但不再让该交易日一直欠着。
  • cne audit 对已落盘 Parquet 的行情检查改为与写入时同一套规则:新增覆盖 minute_bars_15m/30m/60m、pre_close <= 0 以及期货/期权 bar 的不变量。旧湖里此前漏检的坏行现在会报出,按提示重取对应分区即可。
  • 每日交易所状态快照(仅写入快照库,不改变 trading_status 的权威来源)现在也记录当日有成交的沪深 ETF/LOF;无成交的基金不写行。
  • 东财本地代理探测到未运行后,30 秒内不再逐个请求重复探测;代理恢复后第一次成功响应即解除。
  • MCP 的 stdio 与 HTTP 传输使用同一套批量请求规则:空数组 [] 返回 JSON-RPC Invalid Request 错误(此前 HTTP 返回 202、stdio 不回复),批量里的非法成员只让该成员报错。
  • 东财热门榜中被标成 SZ920xxx 的北交所股票按 BJ 代码保留,不再丢弃;榜单不足所需条数时按数据源载荷错误上报。东财 clist 翻页失败保留底层错误类别,运行结果里的失败原因不再统一显示为 execution_error。
  • 整数字段转换不再经过浮点,超过 2^53 的整数保持精度,越界值不会被舍入回 Int64 范围内。
  • CLI 遇到数据湖生命周期冲突(如 cne clean 时引用已变化)只打印原因,不再输出 traceback。
  • 移除若干无调用方的内部辅助函数(如 sweep_stock_bars、fetch_adj_factor_series_baostock_many、finish_metrics)。下游公开导入面由测试锁定,见 Python API。