本地注册加载ChatGLM3-6B模型，回答异常

[LASTLINEK]

不量化、不添加LoRA，加载ChatGLM3-6B模型

回答如下：

显然这些问答是有问题的。

• 回答自己是情感助手，但并没有提示词告知他扮演情感助手
• 异常字符
• 显存占用22GB（这是6B的模型，一张卡显存共24GB)。我了解到可能是由于gpu_memory_utilization=0.9这个参数造成的。

但是！！

• 当使用8bit量化加载后，显存占用约7GB。回答正常。
• 当添加LoRA模块后，量化设置为none，显存占用约13GB。回答正常。

正常回答如下：

Why

我想知道是只有在不添加LoRA模块、不使用量化时才会触发gpu_memory_utilization=0.9参数吗？这个参数与vllm的有关系吗？是什么原因导致模型回答异常？以下是部分日志：

感谢各位回答！