Skip to content

Release v1.6.1: text_train新选项

Choose a tag to compare

@EthanPeng-2048 EthanPeng-2048 released this 04 Oct 14:39
· 194 commits to main since this release

v1.6.1 — 旗舰开训前置

无破坏性变更:全部新选项可选,默认行为不变。

text_train 新选项

  • --max-steps <n> — 限步训练:跑 N 步即停止并保存模型,用于吞吐实测与分段续训(配合 --resume);停止前强制完成当前梯度累积,不丢半截更新
  • --loss-scope <all|assistant> — 对话 SFT 只对 <|assistant|>…<|end_of_assistant|> 段计算 loss(system/user 轮只作条件不作监督);训练/测试同口径,语料缺对话段直接 fail-fast
  • --beta1 / --beta2 — Adam/AdamW 动量衰减可调(LLM 预训练惯例 β2=0.95)

数据脚本

  • scripts/download_code_dataset.py — 代码语料:The Stack(8 语言白名单)→ codeparrot 回退链
  • scripts/download_math_dataset.py — 数学语料:OpenWebMath 回退链
  • 均为 streaming 拉取、每行一文档的项目预训练格式

同步与验收

  • GUI 新增「loss 范围与限步」区与 β 输入框,GUI↔CLI 审计、文档对齐审计全绿
  • 构建 73/73 · ctest 23/23 · gui_cli_audit PASS · doc_align_audit exit 0