量化后nan问题

[huyiming2018]

您好，非常好的工作。尝试复现论文中的指标，我的模型是llama2-7b，使用run_llama.sh脚本量化后，模型输出包含大量nan，数据集为c4，类似情况如何解决呢。谢谢！

[GuoYi0]

@huyiming2018 是直接运行的 run_llama.sh那个脚本吗？

[chuangzhidan]

您好，非常好的工作。尝试复现论文中的指标，我的模型是llama2-7b，使用run_llama.sh脚本量化后，模型输出包含大量nan，数据集为c4，类似情况如何解决呢。谢谢！

好奇想问下，你是在跑脚本做eval的时候发现的，还是你对已有的量化模型做了加载和推理后发现的？

[huyiming2018]

run_llama.sh

是的，group_size改成128或64就可以了，默认是per-channel量化

[chuangzhidan]

group_size改成128或64就可以了，默认是per-channel量化

很想知道怎么推理：）