Skip to content

Releases: Ciciy-l/dfpipe

Release list

v0.0.3

v0.0.3 Latest
Latest

Choose a tag to compare

View all tags
@Ciciy-l Ciciy-l released this 24 Mar 08:52
v0.0.3
d57f785

[0.0.3] - 2025-03-24

新增功能

  • 新增 FieldsOrganizer 类，用于组织和规范数据字段
    • 支持指定目标字段列表，按指定顺序排列
    • 支持设置字段默认值
    • 增强字段管理的灵活性和规范性

改进

  • 增强 FilterProcessor 和 TransformProcessor 的构造函数
    • 支持更灵活的条件设置
    • 支持更强大的转换函数
  • 优化 ColumnProcessor 的参数验证
    • 增加操作类型的验证
    • 增强参数检查机制
  • 改进测试框架
    • 更新测试数据生成函数，支持更多参数
    • 增强测试的灵活性和可用性

文档

  • 新增英文版文档（README_EN.md）
    • 完整的功能说明
    • 详细的安装指南
    • 快速入门教程
    • 组件使用说明
  • 更新中文文档
    • 新增开发者指南
    • 添加代码风格规范
    • 完善测试覆盖率说明
    • 更新安装说明

开发工具

  • 新增代码风格配置
    • 添加 .pre-commit-config.yaml
    • 配置 Black 和 isort
    • 设置 pre-commit hooks
  • 新增代码覆盖率配置
    • 添加 .coveragerc
    • 更新 .gitignore
  • 新增开发依赖文件 requirements-dev.txt
  • 更新 GitHub Actions 配置
    • 使用最新的稳定 Python 版本
    • 增强测试的可靠性和兼容性
Assets 2
Loading

v0.0.2

v0.0.2

Choose a tag to compare

View all tags
@Ciciy-l Ciciy-l released this 23 Mar 15:53
v0.0.2
a45a76b

DFPipe v0.0.2 Release Notes

DFPipe v0.0.2是一个较小的更新版本，主要聚焦于提升代码质量、完善文档和优化项目结构。本版本在保持核心功能稳定的同时，对项目进行了全面的规范和优化。

主要更新

1. 文档优化

  • 新增英文版README文档，支持中英文双语
  • 优化文档结构，提供更清晰的使用说明
  • 添加详细的组件使用示例和配置说明
  • 完善API文档和类型注解

2. 单元测试增强

  • 新增核心组件单元测试
    • 数据加载器测试
    • 数据处理器测试
    • 数据输出器测试
  • 添加测试数据生成工具
  • 完善测试文档

3. 依赖更新

  • 开发依赖更新：
    • pytest >= 7.0.0
    • pytest-cov >= 4.0.0

4. 兼容性提升

  • 扩展Python版本支持范围：3.6 - 3.12

更新日志

新增功能

  • 新增英文版README文档
  • 新增单元测试框架
  • 新增测试覆盖率报告

改进

  • 优化文档结构和内容
  • 完善类型注解
  • 改进错误处理机制

安装说明

# 从PyPI安装
pip install dfpipe==0.0.2

# 从源码安装
git clone https://github.com/Ciciy-l/dfpipe.git
cd dfpipe
git checkout v0.0.2
pip install -e .

向后兼容性

v0.0.2版本保持了与v0.0.1的API兼容性，现有代码无需修改即可使用。主要更新集中在内部优化和文档完善方面。

已知问题

  • 暂无已知问题

如果您在使用过程中遇到任何问题，或有任何建议，欢迎通过GitHub Issues与我们联系。

Loading

v0.0.1

v0.0.1

Choose a tag to compare

View all tags
@Ciciy-l Ciciy-l released this 21 Mar 08:21
v0.0.1
e6bfc2a

DFPipe v0.0.1 Release Notes

DFPipe 是一个灵活、可扩展的 DataFrame 处理管道工具，支持通过配置文件或代码 API 构建数据处理流水线。这个版本是 DFPipe 的第一个正式发布版本。

主要特性

  • 模块化设计：提供数据加载器、处理器和输出器三种基础组件
  • 灵活配置：支持通过 JSON 配置文件或代码 API 构建处理流程
  • 易于扩展：简单的组件注册机制，方便添加自定义组件
  • 丰富日志：详细的处理日志，便于调试和监控

核心组件

数据加载器

  • CSVLoader：支持从 CSV 文件加载数据
    • 支持自定义文件编码
    • 支持文件模式匹配
    • 支持多文件批量处理

数据处理器

  • FilterProcessor：根据条件过滤数据
  • TransformProcessor：对列应用转换函数
  • ColumnProcessor：列操作（添加、删除、重命名）

数据输出器

  • CSVWriter：将数据保存为 CSV 文件
    • 支持自定义输出目录
    • 支持自定义文件名
    • 支持自定义文件编码

使用方式

命令行使用

# 基本用法
python -m dfpipe --input-dir data --output-dir output

# 使用配置文件
python -m dfpipe --config pipeline_config.json

Python API 使用

from dfpipe import Pipeline, CSVLoader, CSVWriter, FilterProcessor

# 创建管道
pipeline = Pipeline(name="MyPipeline")

# 设置加载器
loader = CSVLoader(input_dir="data")
pipeline.set_loader(loader)

# 添加处理器
filter_processor = FilterProcessor(column="age", condition=lambda x: x >= 18)
pipeline.add_processor(filter_processor)

# 设置输出器
writer = CSVWriter(output_dir="output")
pipeline.set_writer(writer)

# 运行管道
pipeline.run()

依赖要求

  • Python >= 3.6
  • pandas >= 1.3.0
  • numpy >= 1.20.0

安装方式

# 从 TestPyPI 安装
pip install --index-url https://test.pypi.org/simple/ dfpipe

# 从源码安装
git clone https://github.com/Ciciy-l/dfpipe.git
cd dfpipe
pip install -e .

许可证

MIT License

后续计划

  • 添加更多数据源支持（数据库、API等）
  • 实现更多数据处理器
  • 添加数据验证功能
  • 添加处理进度监控
  • 优化大数据集处理性能

已知问题

  • 暂无

更新日志

v0.0.1 (2024-03-20)

  • 初始版本发布
  • 实现基础的数据处理管道功能
  • 提供 CSV 文件的读写支持
  • 实现基本的数据过滤和转换功能
  • 添加命令行接口
  • 支持 JSON 配置文件
Loading