关于milvus数据的去重

[131452099900]

想问下你们milvus有对于数据的一个去重么策略么，比如我有可能添加了10条一摸一样的文字段，我现在检索出来10条的数据可能都是100分数，现在我的话需要去重，不要重复的数据，我是要根据得分来进行判断么，或者有没有什么更好的方案呢。

[yhmo]

去重有两种意思：
一种是主键重复，用upsert可以保证只有唯一主键。对于主键auto_id=true的表，用insert主键也能保证维一主键；但如果auto_id=false，用insert就可能有重复主键。对于相同的主键时，搜索结果只会保留最新的那条。

另一种是向量重复，相同的文本产生相同的向量，搜索出来它们得分一样。你可以结合一些其他的标量字段来辨别，比如10条一样的文本产生10条一样的向量，表里增加若干字段表示额外的属性，比如来自哪本书，什么时间导入milvus的，然乎在搜索结果里做选择。

对于第二种情况，或者干脆在插入数据的时候就去重，步骤如下：

1. 建表，把索引建为FLAT或者IVF_FLAT
2. 每来一条数据，就在表里做一次search，如果最相似的那条是完全相似(L2 =0.0, IP = 1.0)，则认为有重复，就不insert。如果没有完全相似的，就insert

[yesyue]

upsert 大量使用会导致OOM

[xiaofan-luan]

可以尝试在插入之前做一次搜索来进行去重

[xiaofan-luan]

upsert 大量使用会导致OOM

关于这个issue，我们将尝试在#31552 中想办法解决。解决的方式也是先查询后写入