Repository navigation
v0.2.5 十万级压测 + LSH 向量桶
Membrane v0.2.5 — 10 万级压测 + 零依赖 LSH 向量桶
本版把向量检索从"能跑"推到"十万条可用",并且没有引入任何新依赖。
核心:LSH 桶索引
原来向量检索是全表线性扫——10 万条 × 1536 维,每次查询要把所有向量读进内存算余弦。
现在用局部敏感哈希(LSH)分桶:先用随机超平面把向量分到桶里,查询时只扫同一桶的向量。
实测对比(10 万条,1536 维,同一库同一查询):
| 方式 | 向量检索耗时 | 相对 |
|---|---|---|
| 精确全扫 | 10,912 ms | 1× |
| LSH 分桶 | 298 ms | 36.6× 更快 |
两种方式 top1Hit 都是 true,即结果一致,只是快了 36 倍。
完整的十万级压测数据
| 规模 | 检索方式 | FTS 全文 | 向量 | 混合 |
|---|---|---|---|---|
| 1 万 | LSH | 11.4 ms | 37.3 ms | 54.1 ms |
| 10 万 | 精确 | 128.0 ms | 10,912 ms | 10,942 ms |
| 10 万 | LSH | 125.5 ms | 297.6 ms | 463.0 ms |
内存占用(RSS):1 万条 71 MB,10 万条 91 MB —— 不随数据量线性膨胀。
为什么不用 sqlite-vec / hnswlib / faiss
这三个都能让向量检索更快,但都要编译原生模块,会让 npm install 失败率飙升,违背项目"装完就能用"的底线。
LSH 是纯 JS 实现,零依赖,代价是理论上可能漏召回(分桶有概率把相近向量分到不同桶)。实测 top1 命中一致,但这个风险实存在,已写进 README 的已知局限。
可复现
压测脚本随包发布:
node scripts/bench-scale.mjs --count 100000 --dim 1536
原始结果在 bench/results-*.json,自己跑一遍就能对上数字。
安装
尚未发布到 npm。
git clone https://github.com/yuannuo233/membrane-memory.git
cd membrane-memory && npm install && npm test && npm run build
或下载下方 tgz。需要 Node ≥ 24。
测试:222 个,CI 全绿。