- 基于硬盘的位数组
- 使用murmurhash作为hash函数，高效&碰撞率低
- 使用硬盘进行去重，相对于内存型过滤器可扩容千倍
- 自定义容纳元素个数与误差率
- 百亿去重约使用33g硬盘空间（误差率百万分之一情况）
- 支持多进程，多个程序可持有同一文件句柄
- 性能及空间高于数据库去重，单条数据最多占用hash函数个数*1bit空间（误差率百万分之一情况下为19bit）
###测试
| 京东京造 SATA3 | 西部数据SN550 NVME |
|---|---|
| 8k op/s | 5w op/s |
-
Notifications
You must be signed in to change notification settings - Fork 8
dream2333/mmap-bloom-filter
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
基于虚拟内存映射的布隆过滤器，可利用硬盘实现亿万级高效过滤
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published