milvus的etcd受损如何恢复

[lianzom]

我服务器的milvus在使用过程里，受损原因就不提了，我etcd受损，致命错误是 wal: crc mismatch。 但minio是完整的，我把etcd删除，milvus就能正常运行，但数据无法显示。 备份数据也存在受损，为数不多的几个能用的备份，能恢复的数据也没多少。 我想问有没有办法能通过minio恢复etcd或把minio的数据直接写入一个新的集合里，或者minio的数据转成可查看的数据，后面整成xlsx也行。向量化数据可以不要。老数据就一个集合而且我知道对应字段结构。我milvus写入的是纯sring格式数据，外加milvus的动态字段。

[yhmo]

通过minio数据恢复etcd不太现实，只能想办法把minio中的数据导入到新的milvus server里。
你的milvus版本号是？

[lianzom]

milvusdb/milvus:v2.6.0-rc1
minio/minio:RELEASE.2023-03-20T20-16-18Z
quay.io/coreos/etcd:v3.5.18

[yhmo]

milvus v2.6.0-rc1 使用的storage version是v1，从v2.6.1之后的版本都是用的 storage version V2
所以milvus v2.6.0-rc1的数据存储方式和2.5相似，我用v2.5.18来模拟你的这种情况。
假设我之前创建了一张表，表里有3个字段分别是ID(int64), vector(dim=1024), desc(varchar max_length=100)。虽然你的etcd数据搞丢了，在milvus里看不到这张表，但如果你打开minio的管理界面(minio默认端口9091，在浏览器里打开 http://localhost:9001 ) ，则会看到这张表的存储数据。如果只有一张表，在/a-bucket/files/insert_log/ 路径下只会有一个路径，按照 collection_id/partition_id/segment_id/ 的路径组织数据。

如果数据量大的话，collection_id/partition_id/ 下面会有很多子目录，每个子目录都是一个segment。有的segment如果是刚被delete的，则它的子目录仍然会保留一段时间，直到GC逻辑来清理。如果你的表长时间没有什么dml动作的话，剩下的那些子目录应该都是有效数据。

接着，把files这个目录整个download下来，并解压到硬盘上，重命名为 backup_data

接着我启动一个新的milvus standalone，浏览器打开http://localhost:9001/，此时minio是空的。点击upload按钮把那个backup_data目录上传到a-bucket下面：

然后找到那个唯一的表，把它的sement级别目录一个个找到。
然后打开这个Java maven project: restore.zip

根据你的表字段结构，修改里面的建表逻辑，把那些segment目录放进 “List files” 里，然后运行SimpleExample.main()导入数据。它会建立一张新表，然后调用import接口把segment数据一个一个导入，它会输出类似这样的信息：

Importing file: backup_data/insert_log/466875768966479912/466875768966479913/466875768966879939
Import task ID: 466876466586191477
Import state: ImportPending
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportStarted
Import state: ImportCompleted

Process finished with exit code 0

然后用Attu观察，就能看到这张新表。我的示例表只有3个字段：id, vector, desc，只有1个segment，导入了100行数据:

一些说明：

• 由于etcd数据丢失，在minio中的那些segment数据，无法判断出哪个segment是dropped，哪个segment是有效的，所以只能每个都导入。假设你原先那张表里有些segment已经被标记为dropped，但GC还未来得及删除，那么把这种dropped segment导入的话就会产生重复主键的数据。
• v2.6.0-rc1的milvus.yaml中，有个开关控制storage version，默认是false表示v1，如果你之前改成true，那么在那个java程序里，要把String storageVersion改为"v2"，否则导入失败。

common:
  storage:
    enablev2: false

• 之所以用Java是因为只有Java SDK暴露了这个原始接口，pymilvus没有暴露

[lianzom]

非常有效果，我成功恢复数据了。为后来者标注（如果新的milvus启动minio有东西，直接把file删除即可，如果下载到本地不用跟上面一样用上传按钮(文件大一点就卡崩)，直接file文件夹粘贴到a-bucket下并改名backup_data。如果collection_id/partition_id/ 下面有很多子录for循环的里改为.withFiles(Collections.singletonList(file))）