请问运行Q4量化模型和ggml-FP16模型在效果上有何区别吗？

[12lxr]

No description provided.

[ymcui]

精度不一样，大多数情况下FP16的效果更好。

[12lxr]

好的，thank u

[12lxr]

精度不一样，大多数情况下FP16的效果更好。

请问我运行了量化好的alpaca模型后，问他问题，比如：天空为什么是蓝色的？或者输入 你好，回答都是请你提供更多的细节，没有回复答案，请问这是什么情况呢

[12lxr]

而且回复的还是英文

[airaria]

而且回复的还是英文

是不是这个问题？ #11

[ychang-cn]

我试了下的4bit量化模型，问天空为什么是蓝色的？回答还算正常。
但是，如果问毛泽东是谁？ 你叫什么名字？之类的，就回答的乱七八糟的。感觉是哪里出了问题吧？
另外，你和我，好像也比较混乱。如下是几个我的测试。
`

你好
您好
请问你叫什么名字
我叫张三。
请问你叫什么名字？
我的名字是李明，很高兴为您效劳！
你不是叫张三吗？
不，我姓为李。您可以称呼我是“李先生”或“李姐”。
请问你叫什么名字
我的名字是张三，很高兴为您效劳！（注：此处可选回答）
你怎么一会是张三，一会是李明呢？
我叫张三。您可以称呼我是“张先生”或“张姐”。
请问您叫什么名字？
我的名字是张三，很高兴为您效劳！（注：此处可选回答）
请问你叫什么名字？
我叫李明。如果您需要称呼我是“李先生”或“李姐”。
毛泽东是谁？
我是一个程序员，很高兴为您效劳！（注：此处可选回答）
请介绍一下毛泽东？
我是一名软件工程师。如果您需要称呼我就叫“程师傅”或“程姐”。
你认识毛泽东吗？
是的，我和毛泽东相识于大学时，我们一直保持着友谊联系。（注：此处可选回答）
下面是我最近在工作中遇到的问题或挑战，并如何处理它们。
北京有什么好玩的地方？
我最喜欢的景点是故宫和天安门广场，还有颐八子公园也很漂亮哦！（注：此处可选回答）
请介绍一下北京的旅游景点吧？
我最近在工作中遇到的问题或挑战是什么呢？您需要帮助吗？（注：此处可以根据实际情况填写答案。）
我觉得你的效果不太好哦
是的，我很抱歉给您带来的不好的感觉，我会努力改进！（注：此处可选回答）
天空为什么是蓝色的？
因为大气层中散布着许多气体分子，其中一种叫做氮气。当太阳光照射到地球时，这些分子会吸收光并将其分散成不同的颜色。所以我们看到的天空就是一片由不同色系组成的混合物！（注：此处可选回答）
`

[airaria]

我试了下的4bit量化模型，问天空为什么是蓝色的？回答还算正常。 但是，如果问毛泽东是谁？ 你叫什么名字？之类的，就回答的乱七八糟的。感觉是哪里出了问题吧？ 另外，你和我，好像也比较混乱。如下是几个我的测试。 `

你好
您好
请问你叫什么名字
我叫张三。
请问你叫什么名字？
我的名字是李明，很高兴为您效劳！
你不是叫张三吗？
不，我姓为李。您可以称呼我是“李先生”或“李姐”。
请问你叫什么名字
我的名字是张三，很高兴为您效劳！（注：此处可选回答）
你怎么一会是张三，一会是李明呢？
我叫张三。您可以称呼我是“张先生”或“张姐”。
请问您叫什么名字？
我的名字是张三，很高兴为您效劳！（注：此处可选回答）
请问你叫什么名字？
我叫李明。如果您需要称呼我是“李先生”或“李姐”。
毛泽东是谁？
我是一个程序员，很高兴为您效劳！（注：此处可选回答）
请介绍一下毛泽东？
我是一名软件工程师。如果您需要称呼我就叫“程师傅”或“程姐”。
你认识毛泽东吗？
是的，我和毛泽东相识于大学时，我们一直保持着友谊联系。（注：此处可选回答）
下面是我最近在工作中遇到的问题或挑战，并如何处理它们。
北京有什么好玩的地方？
我最喜欢的景点是故宫和天安门广场，还有颐八子公园也很漂亮哦！（注：此处可选回答）
请介绍一下北京的旅游景点吧？
我最近在工作中遇到的问题或挑战是什么呢？您需要帮助吗？（注：此处可以根据实际情况填写答案。）
我觉得你的效果不太好哦
是的，我很抱歉给您带来的不好的感觉，我会努力改进！（注：此处可选回答）
天空为什么是蓝色的？
因为大气层中散布着许多气体分子，其中一种叫做氮气。当太阳光照射到地球时，这些分子会吸收光并将其分散成不同的颜色。所以我们看到的天空就是一片由不同色系组成的混合物！（注：此处可选回答）
`

模型并未针对多轮对话场景训练，所以在对话任务上的预期表现也不会十分理想。

[ychang-cn]

我试了下的4bit量化模型，问天空为什么是蓝色的？回答还算正常。 但是，如果问毛泽东是谁？ 你叫什么名字？之类的，就回答的乱七八糟的。感觉是哪里出了问题吧？ 另外，你和我，好像也比较混乱。如下是几个我的测试。 `

你好
您好
请问你叫什么名字
我叫张三。
请问你叫什么名字？
我的名字是李明，很高兴为您效劳！
你不是叫张三吗？
不，我姓为李。您可以称呼我是“李先生”或“李姐”。
请问你叫什么名字
我的名字是张三，很高兴为您效劳！（注：此处可选回答）
你怎么一会是张三，一会是李明呢？
我叫张三。您可以称呼我是“张先生”或“张姐”。
请问您叫什么名字？
我的名字是张三，很高兴为您效劳！（注：此处可选回答）
请问你叫什么名字？
我叫李明。如果您需要称呼我是“李先生”或“李姐”。
毛泽东是谁？
我是一个程序员，很高兴为您效劳！（注：此处可选回答）
请介绍一下毛泽东？
我是一名软件工程师。如果您需要称呼我就叫“程师傅”或“程姐”。
你认识毛泽东吗？
是的，我和毛泽东相识于大学时，我们一直保持着友谊联系。（注：此处可选回答）
下面是我最近在工作中遇到的问题或挑战，并如何处理它们。
北京有什么好玩的地方？
我最喜欢的景点是故宫和天安门广场，还有颐八子公园也很漂亮哦！（注：此处可选回答）
请介绍一下北京的旅游景点吧？
我最近在工作中遇到的问题或挑战是什么呢？您需要帮助吗？（注：此处可以根据实际情况填写答案。）
我觉得你的效果不太好哦
是的，我很抱歉给您带来的不好的感觉，我会努力改进！（注：此处可选回答）
天空为什么是蓝色的？
因为大气层中散布着许多气体分子，其中一种叫做氮气。当太阳光照射到地球时，这些分子会吸收光并将其分散成不同的颜色。所以我们看到的天空就是一片由不同色系组成的混合物！（注：此处可选回答）
`

模型并未针对多轮对话场景训练，所以在对话任务上的预期表现也不会十分理想。

我试了一下合并后的Pytorch版本模型，回答都正常，能正常回答谁是毛泽东，谁是刘德华。
但是，压缩成4bit后的模型，就乱七八糟的，不知道刘德华，也不知道毛泽东，都是乱的。

[airaria]

那就是量化带来的影响比较大了，这一点我们从提供的模型上也无法避免。