Skip to content

ChatGLM-MNN fp16 models

Choose a tag to compare

@wangzhaode wangzhaode released this 24 Mar 12:23
· 212 commits to master since this release

ChatGLM-MNN models with fp16 weight.

-权值使用fp16存储,相比fp32模型降低一半;推理时precision=Low则使用fp16;否则使用fp32。

  • fp16权值会相比于fp32基本无损。