SFT数据格式

[waltonfuture]

作者您好，我在trinity/algorithm/sample_strategy/mix_sample_strategy.py里面把grpo prompt和sft prompt都print出来，发现grpo的prompt都有<|im_start|>system\nxxx<|im_end|><|im_start|>user\nxxx<|im_end|>\n<|im_start|>assistant\n，但是sft prompt里面没有这些<|im_start|>特殊token，就只有纯question。请问这对训练有影响吗？谢谢！

[garyzhang99]

@waltonfuture 得看一下你的SFT数据集对应选择的格式。如果你的数据集是已经apply好chat_template的话(比如已经有了<|im_start|>这种token)，那么你可以选择对应的SFT数据格式为“plaintext”。如果你提供的数据集是question和answer，那建议选成“messages”的形式去进行训练。可以详见SFT formatter 这里的处理。

按理说我们使用“messages”格式的话，对应的prompt_text项里压根就没有填写对应内容，只填了下面几个域：

对应的token_id里面应该是会有chat_template的信息的。