这是一个独立的 trace-native executor 项目,用固定 surface vocabulary 训练一个可执行程序轨迹的 transformer。
当前仓库目标不是通用聊天模型,而是一个专门面向执行轨迹学习的模型工程。项目核心是:
- 固定词表
- canonical program / trace 语法
- teacher VM
- host capability / host runtime
- 预训练数据生成
- transformer 训练入口
- 推理与评测闭环
- 稳定的 checkpoint schema
executor/README.mdexecutor/PRETRAIN_CN.mdexecutor/VOCAB_SPEC_CN.md
生成预训练数据:
python3 -m executor.data_pipeline.dataset_builder \
--mode pretrain \
--output executor/data/pretrain.jsonl \
--count 100000训练:
python3 -m executor.cli.train \
--config executor/pretrain_config.json推理:
python3 -m executor.cli.infer \
--checkpoint executor/out/pretrain_stub.pth \
--program executor/examples/add.prog评测:
python3 -m executor.cli.eval \
--checkpoint executor/out/pretrain_stub.pth \
--program executor/examples/add.prog目前仓库已经收敛到“训练权重可被稳定推理”的协议:
- 训练保存与推理加载使用统一 checkpoint schema
- checkpoint 带
format_version与词表签名 - 推理前有上下文长度检查
- 评测支持 exact match、opcode/event 命中率和
endtrace闭合检查
更详细的工程说明见 executor/README.md。