Milvus使用Strong约束，删除某一些数据时，不是即时删除的，需要等一段时间数据才会消失

[Andy-hs]

Milvus使用Strong约束，删除一些数据时，不是即时删除的，需要等一段时间数据才会消失。但是现在需要即时删除，我需要怎么操作，还是说现在的版本功能还不支持

[yhmo]

"即时删除"的具体意思是？

1. client.delete()调用后，存储立刻就没有这条数据，磁盘空间立刻释放？这条是做不到的
2. client.delete()调用后，后续的search/query就立刻看不到这条数据？那么通过设置consistency_level="Strong"就可以实现，consistency_level="Strong"会增加search/query的latency大约200ms ~ 400ms

[Andy-hs]

即时删除的意思是 client.delete()调用后 后续search/query就查询不到这个数据 尽管已经设置了consistency_level="Strong" 但还是在后续search/query查询到已经删除的数据

[Andy-hs]

等待一段时间不操作，数据就会自己消失，这期间没有对该数据做任何操作。

[yhmo]

client.delete()调用后，如果后续search/query设置了consistency_level="Strong"还是能查到被删除的数据，那就是bug，但据我所知目前没有这种bug。

一个简单的验证，建表，插入几条数据，查询某条数据，删除某条数据，再查询(consistency_level="Strong")

import random

from pymilvus import (
    MilvusClient, DataType, CollectionSchema
)

if __name__ == '__main__':
    client = MilvusClient(uri="http://localhost:19530")
    COLLECTION_NAME = "AAA"
    dim = 128
    client.drop_collection(collection_name=COLLECTION_NAME)
    schema = MilvusClient.create_schema()
    schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True, auto_id=False)
    schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=dim)
    schema.add_field(field_name="text", datatype=DataType.VARCHAR, max_length=100)

    index_params = client.prepare_index_params()
    index_params.add_index(
        field_name="vector",
        index_name="vector_index",
        index_type="FLAT",
        metric_type="L2",
    )
    client.create_collection(collection_name=COLLECTION_NAME,
                             schema=schema,
                             index_params=index_params,
                             )

    data = [
        {"id": 1, "vector": [random.random() for k in range(dim)], "text": "a"},
        {"id": 2, "vector": [random.random() for k in range(dim)], "text": "b"},
        {"id": 3, "vector": [random.random() for k in range(dim)], "text": "c"},
        {"id": 4, "vector": [random.random() for k in range(dim)], "text": "d"},
    ]
    client.insert(collection_name=COLLECTION_NAME, data=data)

    res = client.query(collection_name=COLLECTION_NAME,
                       filter="id == 2",
                       consistency_level="Strong",
                       output_fields=["text"])
    print("query before delete", res)

    client.delete(collection_name=COLLECTION_NAME, filter="id == 2")

    res = client.query(collection_name=COLLECTION_NAME,
                       filter="id == 2",
                       consistency_level="Strong",
                       output_fields=["text"])
    print("query after delete", res)

输出，删除前能查到，删除后就查不到了：

query before delete data: ["{'text': 'b', 'id': 2}"], extra_info: {}
query after delete data: [], extra_info: {}

[Andy-hs]

好的，感谢您的解答，这边会继续跟进一下情况，更新一下最新版本，再次尝试

[WANGYUHLS]

我现在遇到了一个困惑我很久的问题，我在做向量化存储时，我将多个文档进行切分，每个文档切分成多个片段，每个片段作为一个实体，插入到milvus集合中，插入完我进行query查询，可以查询到这些实体，但是过了几个小时，会出现同一篇文档的全部实体都查询不到，其他文档的实体可以查询到，每次出现这个情况，可能是任意一篇或多篇文档的全部实体查询不到，有人反馈过这方面问题吗？我该如何解决这个问题呢

[yhmo]

很可能是因为TTL: https://milvus.io/docs/set-collection-ttl.md#Set-Collection-TTL 这个功能设置一个过期时间，凡是过期的数据会被自动删除。

排查步骤 ：

# pymilvus 
info = client.describe_collection(collection_name)
print(info["properties"])   # 看是否有 "collection.ttl.seconds"                                                                                             

查一下你创建集合时（或任何代码/框架里）是否传过 properties={"collection.ttl.seconds": ...}。很多教会顺手带上这个属性。
解决方案：

# 关闭 collection 级 TTL（设置后立即生效）
collection.set_properties(properties={"collection.ttl.seconds": 0}) 
# 或删除该属性
collection.drop_properties(property_keys=["collection.ttl.seconds"])