只用一个任务进行指令精调 #586
Antiman-cmyk
started this conversation in
General
只用一个任务进行指令精调
#586
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
请问有没有人试过只用于一个任务进行指令精调的效果，或者说这样做合不合理呢？我尝试了用不同instructions的表达方式，但是任务监督的目标是一致的，发现这样训练的loss特别小，大概只有零点几，然后大模型的能力都退化了，测试阶段只会做tune过的这一个任务，而且不理解输入的prompt，不管输入什么，都是只做训练的任务，感觉和以前普通的小模型一样，想请教一下有什么改进方式呢？
Beta Was this translation helpful? Give feedback.
All reactions