Checklist / 检查清单
Bug Description / Bug 描述
使用 --cached_dataset 加载数据集出现问题,加载数据集超过5个就会报错
例如:
--cached_dataset $data1 $data2 $data3 $data4 $data5 $data6 就会报错
How to Reproduce / 如何复现
环境:
python=3.10.0
torch=2.7.1
ms-swift4.0.0
megatron_LM_core_v0.12.1
卡:
256张 华为 910b 卡
目标:
使用 ms-swift megatron 对qwen3-VL-30b-a3b 训练
Additional Information / 补充信息
No response
Checklist / 检查清单
Bug Description / Bug 描述
使用 --cached_dataset 加载数据集出现问题,加载数据集超过5个就会报错
例如:
--cached_dataset $data1 $data2 $data3 $data4 $data5 $data6 就会报错
How to Reproduce / 如何复现
环境:
python=3.10.0
torch=2.7.1
ms-swift4.0.0
megatron_LM_core_v0.12.1
卡:
256张 华为 910b 卡
目标:
使用 ms-swift megatron 对qwen3-VL-30b-a3b 训练
Additional Information / 补充信息
No response