并非issue，感谢作者提供的思路，以下是我模仿项目写的代码

[yufarui]

github: https://github.com/yufarui/minilm
语雀：https://www.yuque.com/jeffery-zmlmw/sv9x6g/xgqr9u1g7n5ses62#x82IM
我现在训练的模型

1. 在rtx5090下，跑了预训练8g的数据集和sft1g的数据集耗时最起码需要3-天
2. 训练出来的效果也并不是很好，训练中探针测试，也是效果很差。
3. 在预训练中，有时能续写出完整的语句，但是很多情况下还是不断重复
   有交流群吗？我希望能提升训练效果。毕竟训练也花了不少钱哪（偷笑。。。）

[jingyaogong]

“在rtx5090下，跑了预训练8g的数据集和sft1g的数据集耗时最起码需要3-天” 在你的设定下可能是

当前项目在0.2B-A0.06B的RTX 3090训10GB+16GB是30h

“训练出来的效果也并不是很好，训练中探针测试，也是效果很差。”

我没有看到任何case，也不知道你的测试方法，无法给出进一步评价

“在预训练中，有时能续写出完整的语句”

这不符合当前项目现象，建议复现仓库官方代码和数据来给结论，而不作为普遍的issue发出

[yufarui]

我会再次尝试一下，我简明说一下，我的预训练思路

• 我自己训练了tokenizer,tokenizer是从8g预训练数据集 + sft 数据集训练得到
• 我使用了moe模型，总共220M参数，我再想是否应该降到dense
• 预训练时，使用的是，packing策略，将所有话通过<|endoftext|>连接，然后通过分桶策略进行训练
• 我不清楚case是指什么意思，是我训练时的loss 和 正确率吗？这我有记录
  这是预训练时的训练信息

这是eval的loss

[jingyaogong]

贴出问答结果，测试脚本

[yufarui]

我当时没有记录测试脚本的回答结果。
这个得等一会了，我现在的gpu资源不足，我需要申请下资源。

[yufarui]

这是测试结果
sft_test_results.xlsx
这是测试结果截图

这是测试脚本
eval_llm.py
现在给我的感觉就是，模型似乎学到了些东西，但是不太稳定

[jingyaogong]

• eos_token_id 配置不一致，tokenizer 的 eos 是 <|im_end|>，config/config.json 里 eos_token_id=2，明显对不上
• 没实现 prepare_inputs_for_generation，cache / 增量输入路径很可疑
• eval 默认 greedy

原则上不是本仓库代码不应该在此讨论，结合GPT 5.4从训推不一致的角度给出以上问题，可自行排查

[yufarui]

你说的是对的。我会自行排查问题。

• config/config.json 里 eos_token_id=2，是原本参考你代码的思路，而保留下来的。
• 但实际上没有模型前向计算，没有使用到此参数，我之后会擦除它
• 并且为了训练tokenizer更方便，我将special_token都置于词表最后，所以eos_token_id=2，是版本遗留问题。
• 我在tokenizer中，是保留了eos_token = <im_end>，pad_token = , 额外增加了<|im_end|>。尽可能是和qwen系列对齐。
• eval，我也会取消do_sample，默认使用greedy。
• prepare_inputs_for_generation 我会查询一下。但理论上来说，input_ids,attention_mask是对齐的。
• 感谢你的建议。