Skip to content

asterstore 0.3.0

Choose a tag to compare

@huangbogeng huangbogeng released this 14 Oct 01:33
cfcbadd

asterstore 0.3.0

读、写与运维治理分别决定检查时机。0.3.0 增加整批数据集下线及控制历史归档,默认读取仍保持短路径,核心无第三方运行依赖。

新增能力

  • 可选读写检查:open、register、恢复登记与 commit 支持 none/existence/format/checksum,默认 none;DataCheckError 明确报告提交和持久化状态。
  • 显式候选盘点:inspect_candidate 报告缺失和未知条目,不自动认领或删除文件。默认提交不再递归盘点额外文件,声明新文件的最低安装约束仍保留。
  • 控制历史归档:compact 在显式维护窗口压缩终态控制正文,固定 checkpoint 支持中断恢复;保留 current、历史身份与提交重试语义。
  • 整批下线:decommission 固定 dataset_id 与 generation,逐个原子生效;提供状态与恢复接口,恢复时不下线已推进的新版本。
  • 下线与 GC 分离:retention、未结束候选继续保护对象,registered 外部文件不获得删除权,历史声明保留供审计。

升级边界

  • 保持 format_version=1。仅显式调用 compact/decommission 才启用 control_archive/dataset_decommission 必要功能;启用前须升级所有客户端,旧客户端会拒绝新 feature,不能删 feature 降级。
  • 下线永久结束 dataset_id 的生命周期,不提供重新上线或名称复用。批次不是整体原子事务;complete 只表示没有 pending,调用方还须检查 conflicts。
  • 已有 Binding 不会被撤销,也不保护文件;持续消费者须显式使用对象 retention。collect 是全仓回收,不限于刚下线的批次。
  • 稳定态默认 current open 仍读取 marker/current 两份控制记录。首次下线的并发交错路径可能额外刷新一次 marker;Binding.files 不增加 I/O。

验证

本地 427 项测试通过,独立复审发现的归档检查和首次下线读竞态问题均已修复。覆盖进程中断恢复、保留/回收、协议和旧客户端拒绝;发行流程另外验证 Python 3.11/3.12、Polars 兼容矩阵、wheel/sdist 独立安装及制品哈希。验证范围为本地 Linux/POSIX,不代表真实断电或 NFS 资格。

安装:pip install asterstore==0.3.0;Polars:pip install 'asterstore[polars]==0.3.0'。

参见 读写检查、下线指南和控制历史归档。

发布核验

  • 发布演练与正式发布均通过,目标提交 cfcbadd。
  • PyPI wheel/sdist 的 SHA-256 与正式工作流制品一致;本 Release 附件为同一组文件。
  • 独立 PyPI 安装验证通过:可选检查、数据集下线、控制归档和 Polars 示例。
  • 关联 PR #23;#21 中 current 全量重写、身份记录累积和全量 GC 的剩余扩展性工作保持开放。