Skip to content

v0.0.1

Choose a tag to compare

View all tags
@Ciciy-l Ciciy-l released this 21 Mar 08:21
v0.0.1
e6bfc2a

DFPipe v0.0.1 Release Notes

DFPipe 是一个灵活、可扩展的 DataFrame 处理管道工具，支持通过配置文件或代码 API 构建数据处理流水线。这个版本是 DFPipe 的第一个正式发布版本。

主要特性

  • 模块化设计：提供数据加载器、处理器和输出器三种基础组件
  • 灵活配置：支持通过 JSON 配置文件或代码 API 构建处理流程
  • 易于扩展：简单的组件注册机制，方便添加自定义组件
  • 丰富日志：详细的处理日志，便于调试和监控

核心组件

数据加载器

  • CSVLoader：支持从 CSV 文件加载数据
    • 支持自定义文件编码
    • 支持文件模式匹配
    • 支持多文件批量处理

数据处理器

  • FilterProcessor：根据条件过滤数据
  • TransformProcessor：对列应用转换函数
  • ColumnProcessor：列操作（添加、删除、重命名）

数据输出器

  • CSVWriter：将数据保存为 CSV 文件
    • 支持自定义输出目录
    • 支持自定义文件名
    • 支持自定义文件编码

使用方式

命令行使用

# 基本用法
python -m dfpipe --input-dir data --output-dir output

# 使用配置文件
python -m dfpipe --config pipeline_config.json

Python API 使用

from dfpipe import Pipeline, CSVLoader, CSVWriter, FilterProcessor

# 创建管道
pipeline = Pipeline(name="MyPipeline")

# 设置加载器
loader = CSVLoader(input_dir="data")
pipeline.set_loader(loader)

# 添加处理器
filter_processor = FilterProcessor(column="age", condition=lambda x: x >= 18)
pipeline.add_processor(filter_processor)

# 设置输出器
writer = CSVWriter(output_dir="output")
pipeline.set_writer(writer)

# 运行管道
pipeline.run()

依赖要求

  • Python >= 3.6
  • pandas >= 1.3.0
  • numpy >= 1.20.0

安装方式

# 从 TestPyPI 安装
pip install --index-url https://test.pypi.org/simple/ dfpipe

# 从源码安装
git clone https://github.com/Ciciy-l/dfpipe.git
cd dfpipe
pip install -e .

许可证

MIT License

后续计划

  • 添加更多数据源支持（数据库、API等）
  • 实现更多数据处理器
  • 添加数据验证功能
  • 添加处理进度监控
  • 优化大数据集处理性能

已知问题

  • 暂无

更新日志

v0.0.1 (2024-03-20)

  • 初始版本发布
  • 实现基础的数据处理管道功能
  • 提供 CSV 文件的读写支持
  • 实现基本的数据过滤和转换功能
  • 添加命令行接口
  • 支持 JSON 配置文件
Assets 4
Loading