-
Notifications
You must be signed in to change notification settings - Fork 416
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
模型推理时遇到的问题 #236
Comments
更新sat和VisualGLM-6B的代码到最新版
|
都是最新的,更新过还是一样的 |
这是你自己写的代码吧,直接运行cli_demo.py呢,我本地是没这个问题的 |
这是readme里模型推理的第二个使用Huggingface transformers库调用模型的代码呀,我就是把模型文件下载到了本地然后改了一下模型路径和图片路径, |
好吧,huggingface版本的不是我维护的,建议使用sat版本,因为huggingface版本也是调用的sat。 |
不好意思我说错了,就是用的sat版本,不是用的huggingface |
试一下装github版本的sat呢:
|
如果其他的都没错,就只会是sat版本的问题吗,有没有可能是模型文件的问题 |
模型文件也有可能,你下载的不是sat的模型文件吗,或者你下载以后自己又改了东西? |
可能是模型文件的问题,我是在huggingface上下载的,请问sat的模型文件在哪里可以下载到本地呀 |
运行cli_demo.py会自动下载 |
请问这个r2://visualglm-6b.zip有一个具体的链接吗,因为我服务器的网络有限制,我想现在外面下载到本地 |
没有具体链接,如果你了解rclone的话也可以用rclone下载,相关配置的参数在这里:https://github.com/THUDM/SwissArmyTransformer/blob/main/sat/resources/download.py#L79 但是还是建议直接运行程序下载,外面下载也可以运行python吧:
from model.visualglm import VisualGLMModel
model, args = VisualGLMModel.from_pretrained('visualglm-6b') 运行上面两行代码就会自动下载了。 |
运行会报错:botocore.exceptions.ProxyConnectionError: Failed to connect to proxy URL:****** |
没有地址,cloudflare对于大文件没有直连地址。 代理按理说也是一样下载的,是你的代理不能连网吗?(至少得找一个能联网的机器吧) |
好吧,可以联网呀,但是我也不知道为什么会报错,总之谢谢你的耐心解答,我再想想其他办法吧 |
如果是代理的话正常来说需要配置一下环境变量,比如你的代码是
|
这串指令没有办法运行呀,配置环境变量应该是在代码中有一个参数可以修改的吧,我没有找到诶 |
好吧,看来你的机器不是linux,那运行这个: import os
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:port'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:port'
from model.visualglm import VisualGLMModel
model, args = VisualGLMModel.from_pretrained('visualglm-6b') |
出现了botocore.exceptions.SSLError: SSL validation failed for https://c8a00746a80e06c4632028e37de24d6e.r2.cloudflarestorage.com/sat/visualglm-6b.zip [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1056) |
试一下安装github最新版的sat:
|
哎呀还是会报同样的错 |
看起来是你需要更新boto3的版本或者python版本 |
我再看看怎么解决吧,再次谢谢你的耐心解答! |
运行下面代码时报错
import argparse
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
from model import chat, VisualGLMModel
model, model_args = VisualGLMModel.from_pretrained('visualglm-6b', args=argparse.Namespace(fp16=True, skip_init=True))
from sat.model.mixins import CachedAutoregressiveMixin
model.add_mixin('auto-regressive', CachedAutoregressiveMixin())
image_path = "your image path or URL"
response, history, cache_image = chat(image_path, model, tokenizer, "描述这张图片。", history=[])
print(response)
response, history, cache_image = chat(None, model, tokenizer, "这张图片可能是在什么场所拍摄的?", history=history, image=cache_image)
print(response)
模型文件都已经下载到本地并且路径都改好了,但是运行时会报错
AttributeError: 'Namespace' object has no attribute 'model_parallel_size'
请问是什么原因导致的呢
The text was updated successfully, but these errors were encountered: