6B-模型推理需要多大显存？

[Copilot-X]

6B-模型推理需要多大显存？ 直接加载推理爆显存， 24G不够， 跟chatglm2-3的只需要15G左右不一样么？

[wangye01inf]

@Copilot-X 请问你的运行代码是怎么样的呢？理论上用 bf16/fp16 加载模型只需要 12GB 左右显存

[Liangdi]

我跑了 demo , 加载了模型后 13G 左右显存占用， 推理时候再多 500MB 左右

[Copilot-X]

我跑了 demo , 加载了模型后 13G 左右显存占用， 推理时候再多 500MB 左右

加载推理的代码有么？ 我对比一下看看

[Liangdi]

我跑了 demo , 加载了模型后 13G 左右显存占用， 推理时候再多 500MB 左右

加载推理的代码有么？ 我对比一下看看

就仓库的呀: https://github.com/01-ai/Yi/blob/main/demo/text_generation.py

[learninmou]

目前模型是用bfloat16数据类型，6B模型至少需要13GB左右的显存。

[DumoeDss]

200k上下文的6B与34B模型分别需要多少显存？

[mwmif]

在
Yi\demo\text_generation.py 文件中
加两个参数(需要安装一些依赖库，没安装会报错)后，4G 显存也能跑，但是速度超级慢。
还是要依赖llama.cpp 这种优化方案,否则小显存设备基本没法玩

ChatGLM3 6B 也是使用chatglm.cpp 量化到4 后，才跑的飞起，使用官方量化方案，也基本十几分钟才有回复。

[cutoutsy]

想问下，推理速度有多少tokens / s

[ZhaoFancy]

本次 Chat 版本的发布特地增加了该部分内容。

[garbe-github-support]

按照readme给的代码，用的6B chat 11GB模型，8G显存，显卡是3070Ti
能跑但是很慢很慢，10分钟多了
但是同样的机器我跑chatglm3-6b 也是11GB的模型很快呀，几秒钟就开始输出了，一两分钟就输出完了，
难道是因为这个是一次性输出的？