Skip to content

CCCP Launcher 0.9.15 Full Offline

Choose a tag to compare

View all tags
@Value99 Value99 released this 28 Aug 07:44
· 6 commits to main since this release
v0.9.15
c2b3a1e

CCCP Launcher 0.9.15

0.9.15 固化了面向 Qwen、DeepSeek V4、GLM 与 Kimi 的公共 VQ 推理路线，并完成随包 CUDA 13、CPU、Windows GUI/API 与离线封装回归。

下载

第一次安装请把以下 6 个文件全部下载到同一目录，然后双击安装器：

  • CCCP-Launcher-0.9.15-Offline-Setup.exe
  • CCCP-Launcher-v0.9.15-offline.parts.json
  • CCCP-Launcher-v0.9.15-win-x64-offline.zip.001
  • CCCP-Launcher-v0.9.15-win-x64-offline.zip.002
  • CCCP-Launcher-v0.9.15-win-x64-offline.zip.003
  • CCCP-Launcher-v0.9.15-win-x64-offline.zip.004

安装器会显示进度并自动校验、合并、解压和启动。发行包内置 Python、Miniconda、CPU、NVIDIA CUDA 13、AMD ROCm/HIP 环境和离线编译工具链；不包含模型权重、模型专用预设或 CCCP 量化框架源码。

使用你自己的 AI 优化本机推理

感谢每一位测试者，也很抱歉硬件、驱动与模型配置无法全部预先覆盖。遇到速度或兼容性问题时，把启动器终端日志和下面整段提示词交给 Codex、DeepSeek Harness 或其他代码 AI，让它基于随包环境把本机推理调到最佳效果：

Maintain CCCP Launcher 0.9.15. First read the bundled user-facing manuals docs/中文使用手册.md and docs/依赖与离线环境说明.md, then inspect the launcher terminal log and engine/CCCP-Engine. Reproduce with the bundled CPU/CUDA/AMD runtime and portable compiler only; do not use host Python, host CUDA, model-name branches, silent slow fallbacks, or the private quantization framework. Treat model configuration differences as data from cccp.json. Repair or simplify the public VQ, tensor-parallel, MLA, MoE, memory-planning, or launcher layer that owns the fault. Require finite logits, actual generation, clean process shutdown, and no regression against these H20-3e / bundled CUDA 13 baselines (Prefill/Decode): Qwen3.8 27B CCCP-L TP1 2462.68/56.94 token/s, DeepSeek V4 CCCP-S TP1 2786.87/46.23 token/s, GLM-5.2 CCCP TP4 932.36/25.48 token/s, GLM-5.3-Flash CCCP-S TP1 1504.67/30.02 token/s, GLM-5.3-Flash CCCP-M TP2 1282.44/20.22 token/s, Kimi K3 CCCP-470 TP4 672.04/15.69 token/s. H20 is only an approximate RTX 3090-class compute reference; VRAM capacity and memory bandwidth are not equivalent. Preserve CPU and existing Qwen, DeepSeek V4, GLM-5.2, GLM-5.3-Flash, and Kimi paths. Prefer deleting the broken duplicate branch after the shared path passes tests. Report exact commands, logs, finite-value checks, throughput, changed files, and package verification.

主要变化

  • 所有码本模型共用 packed-index + Q8 码本 + DP4A CUDA Decode；Prefill 按批量与硬件能力选择公共 packed VQ 或 E4M3/FP8 分组矩阵乘。
  • Linux/CUDA 优先使用 FlashInfer MLA；原生 Windows/CUDA 明确使用随包 CCCP paged latent CUDA 算子，不会静默退回普通 BF16 Attention。
  • DSV4、Qwen、GLM、Kimi 只通过模型清单声明结构，复用公共码本算法、显存规划和缓存层，不按模型目录名维护专用计算分支，也不减少专家。
  • 删除单 token E4M3 MoE Decode 等旧分支，修复 Kimi/MTP 工作区生命周期、中文安装路径 CUDA 编译和发布同步幂等性。
  • Windows NVIDIA 预编译算子覆盖 SM75、SM86、SM89、SM90、SM120；其他受支持架构可使用包内工具链自动编译并显示进度。

H20-3e / 随包 CUDA 13 实测

统一口径为 4096-token Prefill，以及从 4096-token 上下文开始的 Decode；单位均为 token/s。

完整模型名 并行 Prefill Decode
Qwen3.8 27B CCCP-L TP1 2462.68 56.94
DeepSeek V4 CCCP-S TP1 2786.87 46.23
GLM-5.2 CCCP TP4 932.36 25.48
GLM-5.3-Flash CCCP-S TP1 1504.67 30.02
GLM-5.3-Flash CCCP-M TP2 1282.44 20.22
Kimi K3 CCCP-470 TP4 672.04 15.69

六项结果均通过有限值与对应性能红线门禁。H20-3e 仅作为接近 RTX 3090 级计算能力的参考，显存容量和带宽并不等同。

验证

  • 自动化：563 passed，12 skipped。
  • 最终离线目录：111,739 个清单文件逐项 SHA-256 通过，无缺失、额外或不匹配文件。
  • 最终包已验证 CPU/CUDA/AMD 环境、五套预编译 NVIDIA 算子、GUI/API 启动与退出、模型扫描、真实生成和用户文档边界。
Assets 11
Loading