molecule v2.0

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v2.0（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=2.0 自动发布。

架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
分词：自研字表（约 2500：特殊符 + 256 字节回退 + 标点/数字/英文 + 表情包 + 语料高频中文字/词），零外部依赖。
训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
能力：支持工具调用。

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）