Skip to content

v6.10.1 CudaAccel — 本机 embedding 强制 CUDA, rebuild 提速 25x

Choose a tag to compare

View all tags
@Neocher Neocher released this 31 Aug 13:26
· 82 commits to main since this release
v6.10.1
2f9364d

v6.10.1 — CudaAccel

  • 本机 embedding 强制 CUDA（config device: cuda），ST bge-m3 占 ~2.2G 显存
  • device=cuda 时跳过 ONNX（ONNX 为 CPU 版）；auto 解析回 cpu 仍走 ONNX 省显存
  • 实测：rebuild 6020 节点 3 分 22 秒（ONNX CPU 84 分钟+ 未完成）
  • 测试 15/15，索引 6020 全量，检索冒烟命中
Assets 2
Loading