Skip to content

补充单卡V100在线环境部署INT8量化版MOSS教程 #196

@jsl9208

Description

@jsl9208

项目链接:https://www.heywhale.com/mw/project/6449f8fc3c3ad0d9754d8ae7

给出了在标准的V100环境中部署量化版本的方法(以Int8为例)。在流程中解决了一些文档中未提到的坑,并进行了量化后模型的简单测试

@xiami2019 @txsun1997 觉得有价值的话可以加到README~ 近几天看到issue中有不少在量化版模型部署上遇到问题的,以此项目作为样例可作为一些疑难问题的解决方案参考

PR:#197

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions