RustFS 4节点集群静默状态下，单节点后台磁盘读 IO 异常偏高

[fangguiwu]

我搭建了 4 节点集群进行试用，在无任何外部读写操作的静默状态下，仅有 1 个节点的 rustfs-worker 进程产生持续的后台磁盘读 IO，导致该节点约 20% 的时间段内磁盘读 IO 飙升至 90% 以上。请问如何进行配置优化

[marshawcoco]

我这边也基于4节点集群做了对比测试：

• 1.0.0-beta.8
• 当前 main

两边都做了较长时间的静默观察，目前还没有复现到“无任何外部读写操作时，仅某一个节点的rustfs-worker持续产生后台读IO，并且约 20% 时间窗口内数据盘 util 超过 90%”这个现象。

当前main上我还额外构造了较重的数据形态，包括versioned bucket、高频PUT/DELETE后留下的数据、深层prefix、未完成multipart upload，并临时缩短scanner cycle。停止前台workload后继续观察scanner-only/idle阶段，也没有看到数据盘持续90%+的读 IO。

为了更接近你的现场，方便的话麻烦补充一下当时的试用条件：

• RustFS 具体版本；
• 4 节点的磁盘布局：每个节点几块数据盘、是否是本地盘；
• bucket 数量、对象数量级、对象大小大概范围；
• 是否开启versioning、lifecycle、replication；
• 静默状态前是否做过大量上传、删除、覆盖写、multipart、heal 或 list/version 操作；
• 高IO出现大概是在集群启动后多久，是周期性出现还是长期持续；
• 90% util对应的是RustFS数据盘，还是系统盘/日志盘；
• 当时如何确认没有外部读写请求，例如是否还有监控、探针、admin、list、mc/rc或其他客户端连接。

如果后续还能复现，建议在出现高IO的时间窗口采集：

iostat -xm 5
pidstat -d 5
df -h
journalctl -u rustfs --since "<开始时间>" --until "<结束时间>"
···
这样可以区分是datascanner/bitrot的后台扫描，还是metacache/list/version、日志输出、系统盘写入等其他链路造成的IO。

[fangguiwu]

我的环境和测试信息如下：

1. 环境

节点 IP	主机名 (Hostname)	CPU	内存	系统盘	数据盘	操作系统	部署方式
172.21.172.19	node1	8C	32GB	100GB	8TB	Ubuntu 22.04	虚拟机
172.21.172.20	node2	8C	32GB	100GB	8TB	Ubuntu 22.04	虚拟机
172.21.172.21	node3	8C	32GB	100GB	8TB	Ubuntu 22.04	虚拟机
172.21.172.22	node4	8C	32GB	100GB	8TB	Ubuntu 22.04	虚拟机

备注：数据盘是独立挂载的一个磁盘

2. rustfs信息

• 版本：

root@node1:/opt/RustFS# rustfs --version
Starting Tokio runtime with configured parameters:
worker_threads: 16, max_blocking_threads: 1024, thread_stack_size: 1048576, thread_keep_alive: 60, global_queue_interval: 31, thread_name: rustfs-worker
**rustfs 1.0.0-alpha.64**
build time   : 2025-10-20 01:59:18 +00:00
build profile: release
build os     : linux-x86_64
rust version : rustc 1.90.0 (1159e78c4 2025-09-14)
rust channel : stable-x86_64-unknown-linux-gnu
git branch   : 
git commit   : 7f24dbda198f4a9c6d73728dcb07710fb1b14c12
git tag      : 1.0.0-alpha.64
git status   :

• 配置：

sudo tee /etc/default/rustfs <<EOF
RUSTFS_ACCESS_KEY=rustfsadmin
RUSTFS_SECRET_KEY=rustfsadmin
RUSTFS_VOLUMES="http://node{1...4}:9000/data01/rustfs"
RUSTFS_ADDRESS=":9000"
RUSTFS_CONSOLE_ENABLE=true
RUST_LOG=error
RUSTFS_OBS_LOG_DIRECTORY="/var/logs/rustfs/"
EOF

• bucket使用信息：

总计：430GiB，单文件大小规格有16KiB、32KiB、64KiB、128KiB、256KiB、512KiB、2MB

备注：这是静默前写入的数据

3. 监控情况

• 情况描述：写入数据后就开始静默，发现其中一个节点独立数据盘经常性的出现高IO读异常，经过增加修改参数RUSTFS_SCANNER_CYCLE=3600、RUSTFS_SCANNER_MAX_CONCURRENT_DISK_SCANS=1、RUSTFS_SCANNER_SPEED=slowest，有所缓解。磁盘IO监控观察如下图

• 调整后的配置：

root@node1:/opt/RustFS# cat /etc/default/rustfs 
RUSTFS_ACCESS_KEY=rustfsadmin
RUSTFS_SECRET_KEY=rustfsadmin
RUSTFS_VOLUMES="http://node{1...4}:9000/data01/rustfs"
RUSTFS_ADDRESS=":9000"
RUSTFS_CONSOLE_ENABLE=true
RUST_LOG=error
RUSTFS_OBS_LOG_DIRECTORY="/var/logs/rustfs/"
RUSTFS_SCANNER_CYCLE=3600
RUSTFS_SCANNER_MAX_CONCURRENT_DISK_SCANS=1
RUSTFS_SCANNER_SPEED=slowest

• 读取IO后台进程

• 异常节点和正常节点对比
  异常节点：

正常节点：

[marshawcoco]

感谢补充版本和集群信息。我根据你描述的场景，在最新main分支上做了一轮相近复现：

• 4节点集群
• 每个节点使用独立数据盘
• 写入以小对象为主，覆盖16KiB、32KiB、64KiB、128KiB、256KiB、512KiB、2MiB等对象大小
• 写入完成后停止外部读写，让集群进入静默状态
• 观察磁盘util、RustFS进程读IO和服务日志

这轮测试里，没有观察到“静默状态下某一个节点持续产生后台读IO，并导致磁盘读IO长时间升到90%以上”的现象。

你当前使用的是1.0.0-alpha.64。这个版本距离当前main已经落后了不少scanner / usage scanner相关改动，升级跨度比较大。alpha.64上scanner的调节主要依赖比较粗粒度的参数，例如：

• RUSTFS_SCANNER_CYCLE
• RUSTFS_SCANNER_MAX_CONCURRENT_DISK_SCANS
• RUSTFS_SCANNER_SPEED

而当前main已经补充了更细的scanner控制和观测能力，包括单轮扫描的时间/对象数/目录数预算、set/disk并发控制、dirty usage wakeup、partial cycle / resume，以及更完整的scanner metrics。现在scanner不再只是简单依赖拉长周期、降低并发、调慢速度来缓解后台压力。

你提到调整下面几个参数后现象有缓解：

• RUSTFS_SCANNER_CYCLE=3600
• RUSTFS_SCANNER_MAX_CONCURRENT_DISK_SCANS=1
• RUSTFS_SCANNER_SPEED=slowest

这说明在alpha.64上，该现象确实可能和旧版scanner的后台扫描行为有关。

如果方便的话，建议你再用最新版本或最新main试一下同样的场景，看看问题是否还会出现。若新版本上仍能复现，麻烦再提供同一时间窗口内的 iostat -xm 5、pidstat -d 5 和RustFS日志，我们可以继续一起定位。

[fangguiwu]

我对原集群进行了升级，由1.0.0-alpha.64升级到1.0.0-alpha.99后，进行了1天多的观察，确实未出现之前的异常读IO问题

root@node1:/opt/RustFS# rustfs --version
rustfs 1.0.0-alpha.99
build time   : 2026-04-25 13:45:13 +00:00
build profile: release
build os     : linux-x86_64
rust version : rustc 1.95.0 (59807616e 2026-04-14)
rust channel : stable-x86_64-unknown-linux-gnu
git branch   : 
git commit   : 81854762d4dc0d9185fa5d3ee2a9b5882fcbb6e8
git tag      : 1.0.0-alpha.99
git status   :

升级时间大约从07/01 16:00开始

[marshawcoco]

感谢反馈和复测！从这次升级后的观察结果看，1.0.0-alpha.64上出现的静默状态异常读IO在升级后没有再出现。这个结果也符合我们前面的判断：该现象大概率和旧版本scanner后台扫描行为有关，后续版本中相关scanner逻辑已有明显改进。

如果后续在更新版本上再次观察到类似问题，欢迎继续补充对应时间窗口的iostat -xm 5、pidstat -d 5 和RustFS日志，我们再继续一起定位。