关于 XAgentLlama 使用资源的疑问

[CQxiaocaimi]

我看到你们推出了两个版本的XAgentLlama，34B和7B对GPU要求是多少，它是要下载到本地调用对吧，

[Umpire2018]

非常抱歉，尽管我们最近发布了 XAgentLLaMa ，但在用户指南和其他相关文档方面未能提供充分指导，给您带来了不便。我们深感歉意，并承诺会尽快完善这些资料，以确保您能够顺畅、高效地使用我们提供的大模型。同时，我们欢迎任何反馈和建议，以帮助我们改进服务。再次为给您造成的任何困扰表示歉意，并感谢您的理解与支持。

当前可以分享的信息

1. 模型还没进行量化，34B 在进行推理时使用了80G的显存.
2. 请将模型下载到本地并确保遵循 codellama 的指引.

We sincerely apologize that despite the recent launch of XAgentLLaMa, we failed to provide sufficient guidance in the user manual and other related documentation, causing inconvenience to you. We are deeply sorry and commit to improving these materials as soon as possible, ensuring you can smoothly and efficiently utilize the large model we offer. We welcome any feedback and suggestions to help us improve our services. Once again, we apologize for any trouble caused and appreciate your understanding and support.

Current Information to Share:

1. The model has not yet been quantized, and using 80GB of VRAM for 34B during inference.
2. Please download the model to your local environment and ensure you follow the guidelines from codellama.

[wangjiainchinatelecom]

XAgentLlama 34B我现在下来了 发现没有tokenizer相关文件 是要把codellama/CodeLlama-34b-Instruct-hf的tokenizer放到里面吗?

[AL-377]

感谢您的提醒，现已上传tokenizer相关文件，您可再次下载尝试！

[Umpire2018]

我们预计会在未来两周内完善 #248 (comment) 提及内容。

[samuelchen2015]

希望可以提供XAgentLlama 的llamaccp版 和相应的fastapi 修改，个人还是用不起啊

[lileishitou]

xagentllama-34b-preview 缺少 pytorch_model.bin.index.json, 使用trasformers 库加载报错