DataForge

声明式 Python 数据管道框架：source → transform → validate → publish 一站式。

• 内置 csv / jsonl / parquet / avro / sqlite / s3 源汇
• 声明式窗口聚合、去重、schema 校验、调度
• 零外部依赖启动（pandas + pyarrow）

安装

pip install "dataforge>=2.4,<3"

快速开始

import dataforge as df

daily = (
    df.connect()
    .read_csv("s3://warehouse/orders/dt=*/", partition_filter="dt >= '2026-07-01'")
    .filter(lambda r: r["status"] != "cancelled")
    .window(span="1d", key="order_date")
    .agg({"total": "sum", "qty": "sum"})
    .write_sqlite("daily.db", if_exists="replace")
)

相关项目

• 文档站：https://weichencs.github.io/dataforge-docs/（源仓库 dataforge-docs）
• 示例数据集：dataforge-datasets（含可复现生成脚本）
• CLI：dataforge-cli（df init / df run / df status）
• v3 架构草案：{GURL:arch-note}
• 日报管道示例：{GURL:demo-notebook}

路线图

v3.0：列存中间层 + 增量物化（见 讨论 Ideas 区）。