Skip to content

【开源自荐】fastalp:最快的通用时序浮点压缩、解压 #147

Description

@x-at-01

GitHub: https://github.com/webc-site/wedb_embed/tree/main/fastalp
Crates.io: https://crates.io/crates/fastalp
Docs.rs: https://docs.rs/fastalp

fastalp 浮点压缩算法全量性能与压缩比横向对比

项目简介:
fastalp 是自适应无损浮点压缩算法(Adaptive Lossless Floating-Point Compression, ALP)的高性能纯 Rust 实现。专为时序数据库、列式存储引擎与向量数据场景设计,提供超高吞吐的压缩与解压能力。

核心亮点:

  • 极致解压吞吐:纯寄存器高效 SIMD 矢量化解码,单核解压吞吐达到 55~77 GB/s(graupel 实测时序解码达到 252 Mpt/s)。
  • 高压缩比与真实数据集实测:ALP 论文 31 个公开标准数据集平均压缩比 2.29x;真实气象水文浮点数据达到 1.225 字节/点(13.1x 压缩比)。
  • 批量端到端编码:编码吞吐达 6.1~23.1 GB/s(graupel 实测单核时序编码达 122 Mpt/s)。
  • 零额外堆分配(Zero-Alloc):提供流式 compress_into 与 decompress_into 接口,支持就地缓冲区写入与栈复用。
  • 保底机制:内置 Raw Fallback 机制,高熵与噪声浮点序列实现零膨胀。
  • 纯 safe Rust 与零第三方运行时依赖,支持 no_std 与嵌入式环境。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions