模型输出的坐标高概率错乱

[5101good]

在modelscope部署测试了7b、72b 的dpo模型，客户端在windows和mac也都做了测试，极高概率会遇到模型输出的坐标异常，并且一旦发生无法恢复。可用性非常低。其实从分析和动作来看，理解和规划、定位能力还是挺强的，但是几乎必现操作参数返回异常。是否模型本身有问题，还是modelscope的推理框架有问题？

[JjjFangg]

我们在本地推理的时候没有观察到类似情况，建议优先确认推理框架的问题

[5101good]

我试验了各种方法，也在本地V10卡+vllm部署测试了，依然是几乎必现的，验证指令（win）：“在桌面上新建文本文档”。
同样的配置部署sft模型没有这个问题，dpo模型7b和72b都会出现输出异常：

能否提供一下您的vllm和cuda版本以及GPU型号，还有启动推理框架的详细参数？

[AHEADer]

麻烦把你的复现流程发一下看看？方便包括对应的桌面截图？

[evilwolf1979]

我试验了各种方法，也在本地V10卡+vllm部署测试了，依然是几乎必现的，验证指令（win）：“在桌面上新建文本文档”。 同样的配置部署sft模型没有这个问题，dpo模型7b和72b都会出现输出异常：

能否提供一下您的vllm和cuda版本以及GPU型号，还有启动推理框架的详细参数？

您好，请问坐标偏移错乱的问题您解决了吗？我现在也是碰到这个问题很困扰我，现在推进不下去的。