项目链接:https://www.heywhale.com/mw/project/6449f8fc3c3ad0d9754d8ae7 给出了在标准的V100环境中部署量化版本的方法(以Int8为例)。在流程中解决了一些文档中未提到的坑,并进行了量化后模型的简单测试 @xiami2019 @txsun1997 觉得有价值的话可以加到README~ 近几天看到issue中有不少在量化版模型部署上遇到问题的,以此项目作为样例可作为一些疑难问题的解决方案参考 PR:https://github.com/OpenLMLab/MOSS/pull/197