如何应对LLM微调过程中的“灾难性遗忘”问题？How to deal with the "catastrophic forgetting" problem?

[beyondguo]

欢迎大家在这里集思广益，分享想法、论文、实验！Welcome everyone to brainstorm here, and share ideas, papers, and experiments!

[beyondguo]

知乎大佬”捡到一束光“：试试teacher-student training，训练的时候损失函数用teacher的输出与真实标注一起：

我：之前读过LwF方法，听起来感觉挺像的？

知乎大佬”捡到一束光“：对是这样，但是teacher-student实现比较容易。

[beyondguo]

浙大好友Wenhao：dreambooth.github.io 用于customize text2img比较经典。大致思路是，如果想要学习生成你家的狗S，那么在用S的imgs finetune模型时，也使用别的狗的imgs作为正则进行训练把权重拉过来，这样减轻过拟合和遗忘。

我：哦哦，很合理。我现在做的这里面其实也用了这样的方法，在复习如来语料的时候，混入一些正常对话语料。确实有改善，但还是不够鲁棒[Lol]

浙大好友Wenhao：其实这个比较tricky 正则样本的话是需要和目标样本相似但不同的性质 比如狗S和普通狗 这样可以把狗S区别于普通狗的feature学会 也不影响别的object生成。但在语言上怎么构造这样的pair感觉不是很显然。

[SupritYoung]

混合数据，混多少比较合适呢。有没有人研究过这个比例问题

[ysanimals]

llama-pro 增加block数量，训练时冻结模型原有的block，只训练新增的block

[zw76859420]

llama-pro 增加block数量，训练时冻结模型原有的block，只训练新增的block

llama-pro 测试确实会减轻垂域灾难性遗忘，并且实现也相对简单，但是增加block的比例有待于实验验证。