申请入群，运行infer文件报错，想请教一下如何解决！

[moonlight12581]

当我运行infer.py文件时，报错CUDA Setup failed despite GPU being available.但是，torch.cuda.is_available=true，试了很多方法都没能解决这个问题。
When I ran the infer.py file, I reported an error CUDA Setup failed despite GPU being available. However, torch. cuda. is_ Available=true, I have tried many methods but have not been able to solve this problem.
如有小伙伴知晓如何解决，请加我wechat：15665877987，不胜感激！

[s65b40]

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

[woshicqy]

我也遇到了相同的问题，老哥解决了么？

[woshicqy]

问题解决了，你把bitsandbytes那个package uninstall一下就可以了

[moonlight12581]

问题解决了，你把bitsandbytes那个package uninstall一下就可以了

我uninstall后报错了。麻了，你的可以跑了吗

[woshicqy]

可以跑了~

[woshicqy]

是这样的，uninstall之后，可以跑infer.py但是训练的时候，load_in_8bit = False。这样的话，我的4090显存就会溢出了。我昨天po了问题，作者也没有解答 #48

[woshicqy]

作者可以成功部署了么？

[sanitizer84]

我的错误提示和你不一样，但是问题差不多，就是超不到cuda安装路径吧，提示里说了，你要sudo find / -name libcudart.so找到你的cuda所在目录，然后export LD_LIBRARY_PATH=cuda所在目录，这行加到你的~/.bashrc里

[s65b40]

我的错误提示和你不一样，但是问题差不多，就是超不到cuda安装路径吧，提示里说了，你要sudo find / -name libcudart.so找到你的cuda所在目录，然后export LD_LIBRARY_PATH=cuda所在目录，这行加到你的~/.bashrc里

大概率就是这个问题，github上也有更新，针对可能的版本问题做了优化，大家可以尝试一下

[chencoder1]

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

在data/llama_data.json更换了自己的数据后，运行bash ./scripts/finetune.sh然后直接bash ./scripts/infer.sh推理时，是不是使用自己的数据微调后的模型吗？

[s65b40]

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

在data/llama_data.json更换了自己的数据后，运行bash ./scripts/finetune.sh然后直接bash ./scripts/infer.sh推理时，是不是使用自己的数据微调后的模型吗？

fine-tune后进行infer时，需要修改lora的路径再进行infer

[chencoder1]

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

在data/llama_data.json更换了自己的数据后，运行bash ./scripts/finetune.sh然后直接bash ./scripts/infer.sh推理时，是不是使用自己的数据微调后的模型吗？

fine-tune后进行infer时，需要修改lora的路径再进行infer

哥 怎么修改啊？能不能加个微信啊chen2319529093，求求你了哥