这些问题不要在Issue提出，在Discussion中提出

[zRzRzRzRzRzRzR]

以下问题不要在issue中提出，因为：

1. 这个问题是模型的上的功能缺失或者bad case
2. 官方暂时不能解决这个问题

如果你遇到以下问题，请你在Discussion中提出具体的 bad case，这些问题在本版本模型难以解决，更多的bad case将能帮助我们优化出更好的模型。

#393 模型运行的 CUDA error: device-side assert相关问题
#212 工具调用混乱，一些场景被训练为调用工具
#335 多轮对话无法实现正常工具调用
#306 在持续进行对话时候GPU 内存占用飙升
#310 多卡推理不正常,乱码相关问题
#225 中英文混合输出，输出会带英语单词

以下问题，如果非官方代码和官方硬件上的报错，请也在Discussion中提出
#251 Mac环境下的配置和环境准备
#253 微调的各种问题

上述两大类问题请不要 在 Issue提出，否则可能会不被回复或者 直接关闭。
感谢理解

[youyouge]

几个问题想请教一下，
第一：为什么训练出来的模型是问答式的，是因为数据量太少吗，格式和官方给的测试数据集格式一样都是类型#描述类型#描述，训练使用的是./scripts/finetune_pt.sh 参数只改了sourse和target还有step三个数值。
第二：为什么训练完的模型，使用“cd ../composite_demo
MODEL_PATH="THUDM/chatglm3-6b" PT_PATH="path to p-tuning checkpoint" streamlit run main.py”启动UI界面,使用API启动，最终运行的还是原来的chatglm3-6b，不是微调后的模型
第三：数据集的格式“类型#描述类型#描述”，后面只描述一个或多个描述词或者类型词，可以得到回复吗，是经过ChatGLM3-6B思考后的回复还是数据集的内容完全一模一样的回复还是会参考数据集答案的格式来回复。。。。

[kokomidaisiki]

关于懒人包的使用，b站视频来的，抱歉因为技术不行不知道哪里出了问题

[whisky-12]

请问openai_api.py是否会更细关于处理向量的 v1/embedding的接口？

[lostmaniac]

请问openai_api.py是否会更细关于处理向量的 v1/embedding的接口？

直接合并一下别的项目的代码就行了.

[zRzRzRzRzRzRzR]

openai demo 已经更新 支持了embedded

[CNCSMonster]

Discussion是说在这里的comment吗? <---像这样?

[zRzRzRzRzRzRzR]

是在 github disscussion对应的标题讨论

[sunheyang1]

关于懒人包的使用，b站视频来的，抱歉因为技术不行不知道哪里出了问题

可能是权限问题，在C盘下找到Users找到(你的用户名)，右键，选中属性，找到安全选项卡，选择自己的用户，就像这样(看下面)

找到编辑，吧完全控制的勾搭上
重新执行

[langshuocheng]

ASK：

• ChatGLM3是使用BBPE实现分词么？

[itlittlekou]

你好，我在用lora微调过程中，一直卡在
Total optimization steps = 3,000
Number of trainable parameters = 1,949,696
0% 0/3000 [00:00<?, ?it/s]
这个地方不动了是什么原因呀，请教各位大佬指教

[itlittlekou]

你好，在lora微调过程中出现了RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'，这个问题，我提升了pytorch的版本之后，就一直卡在
otal optimization steps = 3,000
Number of trainable parameters = 1,949,696
0% 0/3000 [00:00<?, ?it/s]
这个地方不动了是什么原因呀，请教各位大佬指教

[LiangYong1216]

这个错误通常发生在使用PyTorch框架进行深度学习模型训练时，特别是在尝试使用半精度浮点数（‘Half’，即16位浮点数）进行矩阵乘加操作（addmm）时。半精度浮点数是一种用于加速计算和减少内存占用的技术，但它并不支持所有的操作。
为了解决这个问题，你可以考虑以下几种方法：
使用全精度浮点数（‘Float’）： 将模型和数据类型转换为全精度浮点数，通常是32位浮点数（torch.float32 或 torch.FloatTensor）。这样可以确保所有的操作都是支持的，但是会增加内存使用和计算时间。

例如，将一个张量从半精度转换为全精度

tensor = tensor.to(dtype=torch.float32)

[RexxyWong]

如果出現以下問題要如何解決，我是使用官方我代碼和DATASET試行

RuntimeError: element 0 of tensors does not require grad and does not have a
grad_fn
0%| | 0/3000 [00:01<?, ?it/s]

[lei124215]

你好，在lora微调过程中出现了RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'，这个问题，我提升了pytorch的版本之后，就一直卡在 otal optimization steps = 3,000 Number of trainable parameters = 1,949,696 0% 0/3000 [00:00<?, ?it/s] 这个地方不动了是什么原因呀，请教各位大佬指教

您好，请问问题解决了吗，我也遇到了相同的问题

[NENCAO]

我在使用glm3的时候 embeddings接口一直报如图的错误是为什么呢

[markoov]

请问各位大佬，uvicorn实现api_server时，为什么workers大于1的时候会报错：模型未定义。难道不能实现多进程吗，该怎么解决这个问题？

[FanZhang91]

用main分支代码做finetune, 用inference_hf代码做预测在解析responce中的output时会报错？而且finetune保存的模型，无法直接用composite_demo的形式直接调用？请问如何解决这两个问题？

[zainCSU]

请问使用双卡报错这个有什么办法解决吗

[Mouasea]

请问下chat-glm3-6B的模型参数：Hidden Size、Num Layers、Num Attention Heads、Vocab Size是多少呀？没有在社区中看到有公布这个信息

[jwc19890114]

在本地安装之后，使用streamlit和graido都可以进入界面，但是提问没有反应，这是什么情况啊

[Bule-dog]

为什么从保存点进行微调会报错？

[michaelwind1315]

启动composite_demo之后提问响应极慢，看起来没有启用GPU加速，需要怎么修改启动GPU加速呢？