Skip to content

molecule v0.5

Choose a tag to compare

View all tags
@github-actions github-actions released this 19 Oct 18:33
· 58 commits to main since this release
v0.5
9ba9c09

molecule v0.5

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.5（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.5 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Assets 5
Loading