查询的时候将collection加载到内存，如果特别多的话不会导致内存溢出吗

[rilweic]

[yhmo]

collection数据太多了内存不够的时候load()会报错，目前要求数据都在内存里才能search。以后应该会有优化方案

[zsinba]

那这不是无解了吗？
1000W --40G
2000W -- 80G
4000W --160G
只能做服务器的横向扩展来解决数据增量吗？

[zsinba]

感觉算的不对呀， 1024 维是 4KB； 如果分片大小是 1000 个字符；
那 20 万字占内存
`# Constants
num_segments = 200
memory_per_segment_bytes = 4096

Total memory in bytes

total_memory_bytes = num_segments * memory_per_segment_bytes

Convert bytes to MB

total_memory_mb = total_memory_bytes / 1048576
total_memory_mb
`
存储一个 20 万字的文章，每 1000 个字符作为一个分片，并且每个分片的向量维度为 1024 所需的内存约为 0.78125 MB.
但实际上感觉比这大很多呀

[yhmo]

我只针对向量说的。文章多少个字符切成一块，由使用者自己决定，每条向量的维度由模型决定。你也可以选择1万个字符切一片，向量维度256，这跟我说的例子并无关系。

[yhmo]

数据只增不减，消耗的资源肯定也是只增不减。如果你每次都做全量的检索，而增量无上限，那你应该考虑一下你的业务模式是不是该调整一下了。地球现在能承载80亿人口，那它以后能承载一万亿么？

[zsinba]

数据只增不减，消耗的资源肯定也是只增不减。如果你每次都做全量的检索，而增量无上限，那你应该考虑一下你的业务模式是不是该调整一下了。地球现在能承载80亿人口，那它以后能承载一万亿么？

谢谢