加载模型时报错

[sducxh]

LLM模型选择的：chatglm-6b-int4
Embedding 模型：sentence-transformers
错误信息如下：
2023-06-29 15:10:36.834 | ERROR | main:reinit_model:145 - Only Tensors of floating point and complex dtype can require gradients

[river-mz]

相同的问题：
self.gen_model = ChatGlmModel(gen_model_type, gen_model_name_or_path, peft_name=lora_model_name_or_path)
RuntimeError: Only Tensors of floating point and complex dtype can require gradients

[pamdla]

报错: "Torch not compiled with CUDA enabled"

不能使用CPU的嘛?

[shibing624]

可以用cpu的，https://huggingface.co/spaces/shibing624/ChatPDF 就是cpu

[pamdla]

可以用cpu的，huggingface.co/spaces/shibing624/ChatPDF 就是cpu

链接 404 了