milvus集群在大文件的时候，dataNode执行索引构建任务速度慢

[eyeeye]

milvus版本2.6.21,minio版本：RELEASE.2024-12-18T13-15-44Z
给集合做hnsw索引的时候dataNode读取原始向量数据速度极其慢，大概是1M/s
当前集群是32C96G四台承担minio节点 ,dataNode的配置是32C256G。
集合是995W数据，3个segment文件。每个segment文件480W数据。（由于20个小Segment合并而成，发现合并任务也满耗时的，生成一个40G文件大概要耗时6-8个小时，看了下主要花费的时间都是在milvus读取跟写入 minio集群的数据，真实构建索引耗费时间不足1小时）

这个有什么排查思路吗

[xiaofan-luan]

milvus版本2.6.21,minio版本：RELEASE.2024-12-18T13-15-44Z 给集合所hnsw索引的时候dataNode读取原始向量数据速度极其慢，大概是1M/s

1. minio是本地磁盘么？看过util么？
2. minio的读取有延迟监控？
3. 多少个dataNode，cpu多少？

建议提供更多信息才能排查

[eyeeye]

这6个阶段部署在一个k8s集群中 milvus是采用k8s+helm方式部署的。dataNode构建索引的时候需要拉取原始向量数据，看了下日志速度很慢 只有1M/s。 查看了milvus读取minio的日志，发现GetObject 平均延迟 36.5秒 不太清楚为什么读取速度会这么慢，物理机的磁盘都是ssd

[eyeeye]

刚才有个图没贴成功，我得集合是1000W数据 2176维向量。3个segment索引文件，每个segment文件40G左右的大小。 猜测是不是因为这个问题导致的很慢？ 有什么办法可以调整配置参数提升dataNode读取minio原始数据的速度吗？

另外20个2G小文件合并成大文件的时候 耗费时间要6个小时，感觉跟构建索引是同一个问题，想咨询下有没有什么配置可以调整这个读取速度

[xiaofan-luan]

那你要看你网络盘的问题了。我们建议minio直接部署在本地ssd或者云盘上，或者直接用云厂商的方案。千万不用用nas，性能太差。

[xiaofan-luan]

另外，索引慢是正常的，可以加datanode规格。其他阶段慢，一般都要检查自己的硬件配置。GetObject 36s肯定不合理，通常是百ms级别

[eyeeye]

请问下GetObject函数这么慢有什么排查思路吗，目前看猜测是大文件（40G）导致这个现象特别的明显。如果把dataNode跟minio集群放在同一节点上索引构建可以绕过网络上的传输吧？
测算了下dataNode读取minio集群的数据速度只要5MB/s 对于ssh+万兆网络 这个速度还是太慢了吧

[yhmo]

日志里还会出现#53241 里那种Timeout was reached的报错么？
可以在datanode的pod里用mc cp命令从那个minio下载一个GB级别的文件，看看是不是也只有5MB/s，如果也很慢的话就可以排除不是milvus内部的问题。

[eyeeye]

确实不是Milvus内部的问题，早上找问题了。我这内核版本是Linux 5.15.0-60-generic ；virtio-net TX NAPI 启用。在大流量 TCP 传输，偶发小包乱序、丢包，带宽上不去。我单segment文件设置成40G，放大了这个问题，导致大部分时间都消耗在了对象读写上；
上游补丁： torvalds/linux@d71ebe8