Repository navigation
Releases
Releases · guangl/dm-database-sqllog2db
v3.0.2
[3.0.2] - 2026-10-03
Changed
- dameng-cli 0.3.0 适配:使用
DM_PLUGIN_HOME宿主环境,移除清单中的旧权限字段,更新预编译安装说明,并在 Release 中提供插件二进制及 SHA-256 校验文件。
Added
- dameng-cli 插件兼容:新增
dm-plugin.toml、dm-sqllog2db插件入口与协议测试;保留原sqllog2db独立命令,可通过dm sqllog2db ...使用相同参数、标准流和退出码。 - 插件默认配置文件:
dm sqllog2db run|validate|stats默认使用$DM_PLUGIN_CONFIG_DIR/config.toml,文件不存在时按默认模板自动创建、已存在则复用;dm sqllog2db init同样默认写入该文件,-c/--config 与SQLLOG2DB_CONFIG仍然优先。独立命令保持默认读取./config.toml且不自动创建。为此--help中的[default: ...]在插件模式下显示真实路径。
Fixed
- 配置优先级:显式
-c/--config或SQLLOG2DB_CONFIG即使与插件默认路径相同也不自动创建文件;init的输出路径遵守-o/--output>SQLLOG2DB_CONFIG> 默认路径。 - 配置创建并发安全:首次运行使用原子 create-new 创建配置,避免覆盖其他进程已创建或编辑的文件。
- 稳定版工具链检查:调整空值测试断言,通过当前 stable Rust 的严格 Clippy 检查。
v3.0.1
[3.0.1] - 2026-09-19
Removed
- SQLite、watch 和文件拆分(BREAKING):移除 SQLite 后端与依赖、watch 命令与偏移跟踪、输入切块和 CSV 按行轮转。旧
[exporter.sqlite]、max_rows_per_file配置会报错;导出仅保留 CSV/Parquet 单文件输出。 - jemalloc:移除 CLI 的 jemalloc 全局分配器、分配统计回归测试及相关依赖,恢复使用平台默认分配器。
Changed
- 统一导出流程:CSV 和 Parquet 共用按顺序处理的单写入器、进度条和错误统计。普通文件通过最多两个批次的有界队列重叠解析与写出,stdin 保持同步读取;不再维护 CSV 专用多文件并发和临时结果合并。
- 导出性能:Parquet 直接构建 Arrow 字符串列;CSV 热路径借用输出路径。真实 101 文件、25.32 GiB 输入复测,CSV 耗时降低约 11%,Parquet 降低约 29%,两种输出与旧版逐字节一致。Parquet 峰值 RSS 从约 564 MiB 降至 94 MiB;结果不代表所有输入的进程硬内存上限。
- 项目结构:压平 CLI、引擎、导出器和归一化模块,合并重复转发与小模块;所有单元、集成及 Python 测试统一到
tests/;文档站源文件并入docs/,产物放入target/book/,同步 CI。 - 后端选择:预检查和后端创建共用 Parquet 优先规则,移除重复路由判断。
- 参数回填范围:
[replace_parameters]支持tags,默认仅对SEL回填;可显式增加INS、UPD、DEL。
v3.0.0
[3.0.0] - 2026-09-14
Removed
- SQLite、watch 和文件拆分(BREAKING):移除 SQLite 后端与依赖、watch 命令与偏移跟踪、输入切块和 CSV 按行轮转。旧
[exporter.sqlite]、max_rows_per_file配置会报错;导出仅保留 CSV/Parquet 单文件输出。
Changed
- 统一导出流程:CSV 和 Parquet 共用按顺序处理的单写入器、进度条和错误统计。普通文件通过最多两个批次的有界队列重叠解析与写出,stdin 保持同步读取;不再维护 CSV 专用多文件并发和临时结果合并。
- 导出性能:Parquet 直接构建 Arrow 字符串列;CSV 热路径借用输出路径;非 Windows CLI 使用 jemalloc。真实 101 文件、25.32 GiB 输入复测,CSV 耗时降低约 11%,Parquet 降低约 29%,两种输出与旧版逐字节一致。Parquet 峰值 RSS 从约 564 MiB 降至 94 MiB;结果不代表所有输入的进程硬内存上限。
- 项目结构:压平 CLI、引擎、导出器和归一化模块,合并重复转发与小模块;所有单元、集成及 Python 测试统一到
tests/;文档站源文件并入docs/,产物放入target/book/,同步 CI。 - 后端选择:预检查和后端创建共用 Parquet 优先规则,移除重复路由判断。
- 参数回填范围:
[replace_parameters]支持tags,默认仅对SEL回填;可显式增加INS、UPD、DEL。
v2.0.0
[2.0.0] - 2026-09-12
Added
- Parquet 导出器:新增按 row group 流式写入的 Parquet 输出,支持 ZSTD、Snappy 和不压缩,兼容字段投影与
normalized_sql。
Changed
- 配置按存在启用(BREAKING):replace_parameters 移除 enable,省略配置时不替换参数、不输出 normalized_sql;空配置段即启用。logging 默认输出到 stdout、不写文件,exporter 不再自动选择 Parquet,输入路径不再默认指向 sqllogs。init 仅显式开启输入和导出器,可选功能保持注释。
- 过滤配置收敛(BREAKING):仅接受
[filter.include]/[filter.exclude],SQL 与指标直接写入对应组,配置即生效;删除 enable、旧事务子表、扁平字段和 statements 同义字段,旧字段及未知字段直接报错。Rust 配置结构也同步移除兼容类型。默认模板只展示常用项。 - 事务排除修正:SQL 或指标排除命中后丢弃整笔事务,跨文件仍生效;stdin 降级时会实际逐条应用 SQL / 指标条件。
- 初始化导出格式:
sqllog2db init和交互式向导显式生成 Parquet + ZSTD;Config::default()不配置导出器。 - 统计结果仅终端展示:
stats不再生成 Parquet/CSV 聚合文件或 SQLite 聚合表,且运行时不再要求配置导出器。
v1.21.0
[1.21.0] - 2026-09-11
Added
- CSV 自动分片:新增
max_rows_per_file配置,可按最大行数将 CSV 输出拆分为多个文件,同时支持顺序和并行导出路径。 - stats 终端输出:未配置 CSV 或 SQLite 输出时,
stats可直接在终端展示慢 SQL 与高频 SQL 结果。
Changed
- CLI 架构精简:重组配置、执行引擎、监听和导出模块,缩减 CLI 层职责,保持对外行为不变。
- 依赖更新:升级
clap4.6.6、tokio1.53.1、toml1.1.4、rusqlite0.40.2、serde1.0.229、thiserror2.0.19、env_logger0.11.11、indicatif0.18.6、memchr2.8.3 和glob0.3.4。 - Linux 运行前提:官方预编译 Linux 二进制文件基于 Debian 10(buster)构建,需要 glibc 2.28+,不支持 musl libc。
Fixed
- statement 过滤语义:
statements现在正确按 SQL 日志标签(如SEL/INS/ORA)匹配。 - 并行 CSV 分片:并行路径现在正确遵守
max_rows_per_file,并避免在数据行数恰好整除分片上限时产生空的尾文件。
CI/CD
- 发布质量门禁:新增覆盖率、最低 Rust 1.95、发布包、内存峰值和导出完整性检查;标签发布会对实际候选二进制文件执行内存门禁。
v1.16.1
Release version 1.16.1
See CHANGELOG.md for details.
v1.20.1
Release version 1.20.1
See CHANGELOG.md for details.
v1.20.0
Release version 1.20.0
See CHANGELOG.md for details.
v1.16.0
Release version 1.16.0
See CHANGELOG.md for details.
v1.15.0
Release version 1.15.0
See CHANGELOG.md for details.