Skip to content

Releases: weichencs/dataforge

v2.4.1

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

修复

  • dedupe 滑动窗口 key-set 清理时机(PR #70

⚠️ 已知问题

  • batch_size > 512 仍丢记录(#26),完整修复见 PR #73,临时规避请使用 batch_size <= 512

附 sdist/wheel 与校验和。

v2.4.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

新特性

  • CSV 字段内换行修复
  • 窗口引擎重写(排序稳定)

已知问题

  • #10 仍在排期(见 v2.4.1)

v2.3.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

新特性

  • Avro 输出(PR #68

内部

  • 测试迁移 pytest fixtures(PR #67
  • 窗口排序修复(PR #69

v2.2.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

修复

  • CSV 千分位解析(PR #66

v2.1.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

修复

  • HTTP source 退避上限(PR #65

v2.0.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

破坏性变更

  • df.pipeline() 废弃,改用 df.connect() 链式 API(迁移指南见文档)
  • Python 要求 3.10+

新特性

  • df init 骨架(PR #63
  • sqlite 写锁重试(PR #62
  • nullable schema(PR #64

v1.3.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

新特性

  • jsonl 流式写入(PR #60
  • YAML 锚点(PR #61

最后一个支持 Python 3.9 的版本。

v1.2.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

兼容性

  • pandas 2.0 适配(PR #59

v1.1.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

修复

  • 调度器时区(PR #58

v1.0.0

Choose a tag to compare

@weichencs weichencs released this 07 Aug 04:56

里程碑

  • parquet 输出(PR #57
  • API 稳定承诺:1.x 期间不破坏公开接口。