Skip to content

Releases

v3 滚动检查点（自动，勿手动改）

v3 滚动检查点（自动，勿手动改） Pre-release
Pre-release

Choose a tag to compare

View all tags
@codecloud-dev codecloud-dev released this 02 Nov 09:44
v3-checkpoint
d763b18

自动滚动检查点：checkpoint + 时钟 + 语料，供续训 resume。勿手动修改或删除。

Loading

molecule v2.0

molecule v2.0 Latest
Latest

Choose a tag to compare

View all tags
@github-actions github-actions released this 01 Nov 11:49
v2.0
289fd79

molecule v2.0

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v2.0（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=2.0 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：自研字表（约 2500：特殊符 + 256 字节回退 + 标点/数字/英文 + 表情包 + 语料高频中文字/词），零外部依赖。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Assets 5
Loading

molecule v1.0

molecule v1.0

Choose a tag to compare

View all tags
@github-actions github-actions released this 24 Oct 05:01
v1.0
2b9062c

molecule v1.0

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v1.0（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=1.0 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading

molecule v0.9

molecule v0.9

Choose a tag to compare

View all tags
@github-actions github-actions released this 20 Oct 13:56
v0.9
0c5e9c4

molecule v0.9

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.9（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.9 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading

molecule v0.8

molecule v0.8

Choose a tag to compare

View all tags
@github-actions github-actions released this 20 Oct 09:03
v0.8
dd1d574

molecule v0.8

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.8（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.8 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading

molecule v0.7

molecule v0.7

Choose a tag to compare

View all tags
@github-actions github-actions released this 20 Oct 04:14
v0.7
325de1d

molecule v0.7

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.7（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.7 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading

molecule v0.6

molecule v0.6

Choose a tag to compare

View all tags
@github-actions github-actions released this 19 Oct 23:23
v0.6
29a84bb

molecule v0.6

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.6（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.6 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading

molecule v0.5

molecule v0.5

Choose a tag to compare

View all tags
@github-actions github-actions released this 19 Oct 18:33
v0.5
9ba9c09

molecule v0.5

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.5（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.5 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading

molecule v0.4

molecule v0.4

Choose a tag to compare

View all tags
@github-actions github-actions released this 19 Oct 13:37
v0.4
c67ae9e

molecule v0.4

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.4（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.4 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading

molecule v0.3

molecule v0.3

Choose a tag to compare

View all tags
@github-actions github-actions released this 19 Oct 08:45
v0.3
ba7de4e

molecule v0.3

开源语言模型·代号 molecule·由 codecloud-dev 独立开发

版本 v0.3（累积训练发布）

纯 CPU 训练的开源语言模型，单次训练 ≤6h，跨轮续训累积 checkpoints。本版本基于 VERSION=0.3 自动发布。

  • 架构：decoder-only Transformer（约 129M），融合 RoPE-NTK / SwiGLU / RMSNorm+Pre-Norm / QK-Norm / logit soft-capping / DeepNorm / MTP（1 模块）/ 权重共享。
  • 分词：Qwen2.5 tokenizer 裁 32K + 字节级兜底。
  • 训练：Muon+AdamW 混合、WSD、bf16、seed=42、全量 resume。
  • 蒸馏：CI 内 5 个开源教师模型（general / reason / math / code / eq）分领域生成式数据蒸馏。
  • 能力：支持工具调用。

诚实现状

早期累积版本，训练算力有限（纯 CPU、单次 ≤6h），与成熟小模型相比仍有差距，随续训累积持续提升。baseline all_pass=False；详见 artifact eval-baseline / eval_result_baseline.md

权重

  • molecule-q4_K_M.gguf（推荐，体积小、够用）
  • molecule-q8_0.gguf
  • molecule-f16.gguf

快速使用

# llama.cpp
./llama-cli -m molecule-q4_K_M.gguf -p "你好"

（亦可自行转换为 Ollama / llama.cpp server 等。）

Loading