如何用在custom model上？

[tianyma]

感谢你们的工作！
请问可否用在自定义的模型上，比如Latte？

[GuoYi0]

感谢你们的工作！ 请问可否用在自定义的模型上，比如Latte？

可以的，需要修改一下llama.py那个文件

[tianyma]

感谢及时回复，可否详细解释一下需要修改的地方吗？

[GuoYi0]

感谢及时回复，可否详细解释一下需要修改的地方吗？

这个要看自定义的模型是啥结构，可能需要把llama.py那个文件看懂才行

[chuangzhidan]

感谢你们的工作！ 请问可否用在自定义的模型上，比如Latte？

可以的，需要修改一下llama.py那个文件

非llama，如主流的开源、国内模型也可以？

[GuoYi0]

感谢你们的工作！ 请问可否用在自定义的模型上，比如Latte？

可以的，需要修改一下llama.py那个文件

非llama，如主流的开源、国内模型也可以？

都可以的。这是一个通用量化框架。。接入自定义的量化模型的话，可能需要对自定义的模型结构有一点了解，并且把llama.py这个文件看懂