Skip to content

v0.2.5 十万级压测 + LSH 向量桶

Choose a tag to compare

@yuannuo233 yuannuo233 released this 19 Nov 12:28
· 12 commits to main since this release

Membrane v0.2.5 — 10 万级压测 + 零依赖 LSH 向量桶

本版把向量检索从"能跑"推到"十万条可用",并且没有引入任何新依赖。

核心:LSH 桶索引

原来向量检索是全表线性扫——10 万条 × 1536 维,每次查询要把所有向量读进内存算余弦。

现在用局部敏感哈希(LSH)分桶:先用随机超平面把向量分到桶里,查询时只扫同一桶的向量。

实测对比(10 万条,1536 维,同一库同一查询):

方式 向量检索耗时 相对
精确全扫 10,912 ms 1×
LSH 分桶 298 ms 36.6× 更快

两种方式 top1Hit 都是 true,即结果一致,只是快了 36 倍。

完整的十万级压测数据

规模 检索方式 FTS 全文 向量 混合
1 万 LSH 11.4 ms 37.3 ms 54.1 ms
10 万 精确 128.0 ms 10,912 ms 10,942 ms
10 万 LSH 125.5 ms 297.6 ms 463.0 ms

内存占用(RSS):1 万条 71 MB,10 万条 91 MB —— 不随数据量线性膨胀。

为什么不用 sqlite-vec / hnswlib / faiss

这三个都能让向量检索更快,但都要编译原生模块,会让 npm install 失败率飙升,违背项目"装完就能用"的底线。

LSH 是纯 JS 实现,零依赖,代价是理论上可能漏召回(分桶有概率把相近向量分到不同桶)。实测 top1 命中一致,但这个风险实存在,已写进 README 的已知局限。

可复现

压测脚本随包发布:

node scripts/bench-scale.mjs --count 100000 --dim 1536

原始结果在 bench/results-*.json,自己跑一遍就能对上数字。

安装

尚未发布到 npm。

git clone https://github.com/yuannuo233/membrane-memory.git
cd membrane-memory && npm install && npm test && npm run build

或下载下方 tgz。需要 Node ≥ 24。

测试:222 个,CI 全绿。