Skip to content

对微调的Qwen2-7B模型做量化,为什么使用量化后的模型推理时间变慢,显存占用无明显提升? #650

对微调的Qwen2-7B模型做量化,为什么使用量化后的模型推理时间变慢,显存占用无明显提升?

对微调的Qwen2-7B模型做量化,为什么使用量化后的模型推理时间变慢,显存占用无明显提升? #650

Triggered via issue July 22, 2024 07:05
Status Success
Total duration 11s
Artifacts

label_issue.yml

on: issues
label_issue
3s
label_issue
Fit to window
Zoom out
Zoom in