在 SFT 微调途中出现报错 #23
Comments
|
应该是你自己的环境问题，检查你登陆的用户在D盘及你的文件路径是否有写权限（右键->属性->安全->选择你登录的用户名->检查是否有写权限，文件夹及D盘都需要检查），我没法复现你的问题。自己写个写文件的python脚本检查一下你的路径
|
|
另外建议先设置一个小的save_step，小的epoch或者小的max_step，几十条数据，把全部流程跑通再开始正式训练，否则训练完了发现没法保存就白干了。 |
|
我已检查且确定我的登陆的用户在D盘及你的文件路径具有写权限： import os
def check_write_permission(path):
try:
# 在指定路径下尝试创建一个临时文件
with open(os.path.join(path, 'test_file.tmp'), 'w') as f:
f.write('Testing write permission.')
# 如果成功创建文件，则写入权限检查通过
print(f"路径写入权限检查已通过: {path}")
return True
except Exception as e:
# 如果创建文件过程中出现异常，则写入权限检查失败
print(f"检查写入权限时出错: {e}")
return False
# 指定路径进行写入权限检查
path_to_check_list = [
r'D:\sj\project\python\ChatLM-mini-Chinese\model_save\sft\checkpoint-5000',
r'D:\sj\project\python\ChatLM-mini-Chinese\model_save\sft\\checkpoint-5000',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft/checkpoint-5000',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft//checkpoint-5000',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft\\checkpoint-5000',
]
for path in path_to_check_list:
check_write_permission(path)得到结果全部通过 值得注意的是，当我直接使用 但是这个路径是程序自动生成的路径吧？ |
|
你上传的权限图，
|
|
我的 我检查了所有用户的权限都是存在写入，且 import os
def check_write_permission(path):
try:
# 在指定路径下尝试创建一个临时文件
with open(os.path.join(path, 'test_file.tmp'), 'w') as f:
f.write('Testing write permission.')
# 如果成功创建文件，则写入权限检查通过
print(f"路径写入权限检查已通过: {path}")
return True
except Exception as e:
# 如果创建文件过程中出现异常，则写入权限检查失败
print(f"检查写入权限时出错: {e}")
return False
def test_create_directory(path):
try:
# 尝试创建一个临时文件夹
os.makedirs(path, exist_ok=True)
# 如果成功创建文件夹，则生成文件夹测试通过
print(f"生成文件夹测试已通过: {path}")
return True
except Exception as e:
# 如果创建文件夹过程中出现异常，则生成文件夹测试失败
print(f"生成文件夹测试时出错: {e}")
return False
# 指定路径进行写入权限测试
path_to_check_list = [
r'D:\sj\project\python\ChatLM-mini-Chinese\model_save\sft\checkpoint-5000',
r'D:\sj\project\python\ChatLM-mini-Chinese\model_save\sft\\checkpoint-5000',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft/checkpoint-5000',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft//checkpoint-5000',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft\\checkpoint-5000',
]
# 指定路径进行目录生成测试
path_to_create_list = [
r'D:\sj\project\python\ChatLM-mini-Chinese\model_save\sft\checkpoint-test0',
r'D:\sj\project\python\ChatLM-mini-Chinese\model_save\sft\\checkpoint-test1',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft/checkpoint-test2',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft//checkpoint-test3',
r'D:/sj/project/python/ChatLM-mini-Chinese/model_save/sft\\checkpoint-test4',
]
for path in path_to_check_list:
check_write_permission(path)
for path in path_to_create_list:
test_create_directory(path)同时在同一个虚拟环境中进行了运行测试（之前也是），还是全部通过 如果用户权限不存在我认为上述的python代码应该也是无法通过才对（因为cmd我甚至没开管理员权限） |
|
好怪啊，我这边是正常的。 我去看了 ....
# output_dir`......../checkpoint-5000`已经存在了，且文件夹不为空
if os.path.exists(output_dir) and len(os.listdir(output_dir)) > 0:
logger.warning(
f"Checkpoint destination directory {output_dir} already exists and is non-empty."
"Saving will proceed but saved results may be invalid."
)
staging_output_dir = output_dir
else:
# 你的代码执行了这一步
staging_output_dir = os.path.join(run_dir, f"tmp-{checkpoint_folder}")
.....
# Then go through the rewriting process, only renaming and rotating from main process(es)
if self.is_local_process_zero() if self.args.save_on_each_node else self.is_world_process_zero():
if staging_output_dir != output_dir: # 因为这两个不等，且staging_output_dir文件夹存在，所以要执行下面的部分
if os.path.exists(staging_output_dir):
os.rename(staging_output_dir, output_dir)
# Ensure rename completed in cases where os.rename is not atomic
fd = os.open(output_dir, os.O_RDONLY) # line 2418,
# 你的代码抛出错误的地方，将tmp-{checkpoint_folder}重命名为output_dir后无法再次打开，原因是没有权限
# 至于为什么没权限，不知道😂
os.fsync(fd)
os.close(fd)
# Maybe delete some older checkpoints.
if self.args.should_save:
self._rotate_checkpoints(use_mtime=True, output_dir=run_dir)你写的测试代码，所有的路径都用 最后建议如下：把 |
|
去掉
重启也试过了，而且两次微调之间都是隔天进行的。 |
|
测试了一下换了个小数据集后一切正常。 另外 |
|
主要是没法复现😂，我这里win11、wsl都正常，总不能是win10的问题吧？我看其他人做sft的也没出现这个问题，#issuecomment-1897843741。 |
|
好， |
|
操作系统：windows 10
在第一次达到save_steps 5000步保存完模型后会出现权限不足报错：
已经尝试两次都是这样，且第二次是以管理员权限运行
The text was updated successfully, but these errors were encountered: