请教一下Chinese-Alpaca-Plus-13B继续做peft微调需要多少显存？

[bash99]

有没有什么量化方法在对微调效果影响不大的情况下，降低显存需求

如果是4个没有NVLink的V100（32G显存），是否实际上只能当成4倍速的32G显存来微调？

[shibing624]

是。使用torch.distributed.launch调用的多卡，本质是模型会加载到每个gpu卡里面，训练数据切分为4份，所以是小于等于4倍速，数据通信还要花点时间。

[bash99]

是。使用torch.distributed.launch调用的多卡，本质是模型会加载到每个gpu卡里面，训练数据切分为4份，所以是小于等于4倍速，数据通信还要花点时间。

那么13B用32G显存能微调吗？

[shibing624]

能。

[stale]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.(由于长期不活动，机器人自动关闭此问题，如果需要欢迎提问)