SparseGPT：大规模语言模型可以一次性准确修剪

[ziwang-com]

https://github.com/IST-DASLab/sparsegpt

CML 2023 论文“SparseGPT：大规模语言模型可以一次性准确修剪”的代码。

arxiv.org/abs/2301.00774

具体来说，它提供了脚本和实现，以便：

评估原始维基文本2，PTB和C4子集上的基线和修剪模型。(, ,datautils.pyopt.pybloom.py)
在 OPT 和 BLOOM 模型上执行非结构化、n：m 和稀疏 + 量化的 SparseGPT 压缩。(, ,sparsegpt.pyopt.pybloom.py)
我们注意到这个 SparseGPT 实现是基于我们的开源 GPTQ 代码。