CCCP Launcher 0.9.16 Full Offline

CCCP Launcher 0.9.16

让普通电脑也能运行原本需要服务器的超大模型。 例如，64GB 内存就能运行 DeepSeek V4 Flash。角色扮演可以加载角色扮演特调专家，代码任务也可以使用对应的代码专家，让有限内存优先用于当前任务真正需要的专家。没有显卡也可以使用 CPU；完整离线包已经包含 Python、推理环境和加速算子，下载后双击即可运行。

0.9.16 修复 RTX 3090 等消费级 NVIDIA 显卡上的 Qwen Dense VQ 紧凑执行和包内 NVCC 工具链识别，并把常见 CUDA 架构的公共融合算子全部预编译进完整离线包。

下载

第一次安装请把以下文件全部下载到同一目录，然后双击安装器：

• CCCP-Launcher-0.9.16-Offline-Setup.exe
• CCCP-Launcher-v0.9.16-offline.parts.json
• 所有 CCCP-Launcher-v0.9.16-win-x64-offline.zip.001、.002……分卷

安装器会显示进度并自动校验、合并、解压和启动。发行包内置 Python、Miniconda、CPU、NVIDIA CUDA 13、AMD ROCm/HIP 环境和离线编译工具链；不包含模型权重、模型专用预设或 CCCP 量化框架源码。

主要变化

• Qwen Dense VQ 的紧凑 GPU 路线仅保存 packed VQ 索引和 Q8 小码本，不再在 MTP 多 token 校验时完整反量化 Dense 权重。
• 公共 Q8 CUDA 算子支持 D=2/4/8/16 和 [N,C] 批输入，修复 Qwen lm_head 元数据不匹配及多 token 显存暴涨。
• 便携 MSVC 自动补齐 NVCC 所需的 Visual Studio 目录契约，始终使用包内 CUDA 13、MSVC 与 Windows SDK。
• NVIDIA 随包算子覆盖 SM75、SM80、SM86、SM89、SM90、SM100、SM120；RTX 20/30/40/50、A100、H20/H100 和 Blackwell 数据中心显卡无需首次现场编译。
• RTX 3090 / SM86 已通过用户实机加载与生成验证；不匹配的新架构仍会使用随包工具链自动编译并缓存。

H20-3e / 随包 CUDA 13 基线

下表沿用同一公共推理分支在 0.9.15 发布门禁中取得的 4096-token Prefill、4096 上下文 Decode 有限值成绩；0.9.16 的变更重点是 Windows 紧凑 Q8 兼容性和预编译覆盖。

完整模型名	并行	Prefill	Decode
Qwen3.8 27B CCCP-L	TP1	2462.68	56.94
DeepSeek V4 CCCP-S	TP1	2786.87	46.23
GLM-5.2 CCCP	TP4	932.36	25.48
GLM-5.3-Flash CCCP-S	TP1	1504.67	30.02
GLM-5.3-Flash CCCP-M	TP2	1282.44	20.22
Kimi K3 CCCP-470	TP4	672.04	15.69

使用你自己的 AI 优化本机推理

遇到速度或兼容性问题时，把启动器终端日志和下面提示词交给 Codex、DeepSeek Harness 或其他代码 AI：

Maintain CCCP Launcher 0.9.16. Use only the bundled CPU/CUDA/AMD runtimes and portable toolchain. Reproduce the issue from the launcher terminal log, keep model differences configuration-driven through cccp.json, fix the shared VQ/Attention/MoE/memory-planning layer rather than adding model-name branches or silent slow fallbacks, and require finite logits, actual generation, clean shutdown, and no regression against the published H20-3e baselines. Report exact commands, logs, throughput, changed files, and package verification.

CCCP Launcher 0.9.15 Full Offline

CCCP Launcher 0.9.15

0.9.15 固化了面向 Qwen、DeepSeek V4、GLM 与 Kimi 的公共 VQ 推理路线，并完成随包 CUDA 13、CPU、Windows GUI/API 与离线封装回归。

下载

第一次安装请把以下 6 个文件全部下载到同一目录，然后双击安装器：

• CCCP-Launcher-0.9.15-Offline-Setup.exe
• CCCP-Launcher-v0.9.15-offline.parts.json
• CCCP-Launcher-v0.9.15-win-x64-offline.zip.001
• CCCP-Launcher-v0.9.15-win-x64-offline.zip.002
• CCCP-Launcher-v0.9.15-win-x64-offline.zip.003
• CCCP-Launcher-v0.9.15-win-x64-offline.zip.004

安装器会显示进度并自动校验、合并、解压和启动。发行包内置 Python、Miniconda、CPU、NVIDIA CUDA 13、AMD ROCm/HIP 环境和离线编译工具链；不包含模型权重、模型专用预设或 CCCP 量化框架源码。

使用你自己的 AI 优化本机推理

感谢每一位测试者，也很抱歉硬件、驱动与模型配置无法全部预先覆盖。遇到速度或兼容性问题时，把启动器终端日志和下面整段提示词交给 Codex、DeepSeek Harness 或其他代码 AI，让它基于随包环境把本机推理调到最佳效果：

Maintain CCCP Launcher 0.9.15. First read the bundled user-facing manuals docs/中文使用手册.md and docs/依赖与离线环境说明.md, then inspect the launcher terminal log and engine/CCCP-Engine. Reproduce with the bundled CPU/CUDA/AMD runtime and portable compiler only; do not use host Python, host CUDA, model-name branches, silent slow fallbacks, or the private quantization framework. Treat model configuration differences as data from cccp.json. Repair or simplify the public VQ, tensor-parallel, MLA, MoE, memory-planning, or launcher layer that owns the fault. Require finite logits, actual generation, clean process shutdown, and no regression against these H20-3e / bundled CUDA 13 baselines (Prefill/Decode): Qwen3.8 27B CCCP-L TP1 2462.68/56.94 token/s, DeepSeek V4 CCCP-S TP1 2786.87/46.23 token/s, GLM-5.2 CCCP TP4 932.36/25.48 token/s, GLM-5.3-Flash CCCP-S TP1 1504.67/30.02 token/s, GLM-5.3-Flash CCCP-M TP2 1282.44/20.22 token/s, Kimi K3 CCCP-470 TP4 672.04/15.69 token/s. H20 is only an approximate RTX 3090-class compute reference; VRAM capacity and memory bandwidth are not equivalent. Preserve CPU and existing Qwen, DeepSeek V4, GLM-5.2, GLM-5.3-Flash, and Kimi paths. Prefer deleting the broken duplicate branch after the shared path passes tests. Report exact commands, logs, finite-value checks, throughput, changed files, and package verification.

主要变化

• 所有码本模型共用 packed-index + Q8 码本 + DP4A CUDA Decode；Prefill 按批量与硬件能力选择公共 packed VQ 或 E4M3/FP8 分组矩阵乘。
• Linux/CUDA 优先使用 FlashInfer MLA；原生 Windows/CUDA 明确使用随包 CCCP paged latent CUDA 算子，不会静默退回普通 BF16 Attention。
• DSV4、Qwen、GLM、Kimi 只通过模型清单声明结构，复用公共码本算法、显存规划和缓存层，不按模型目录名维护专用计算分支，也不减少专家。
• 删除单 token E4M3 MoE Decode 等旧分支，修复 Kimi/MTP 工作区生命周期、中文安装路径 CUDA 编译和发布同步幂等性。
• Windows NVIDIA 预编译算子覆盖 SM75、SM86、SM89、SM90、SM120；其他受支持架构可使用包内工具链自动编译并显示进度。

H20-3e / 随包 CUDA 13 实测

统一口径为 4096-token Prefill，以及从 4096-token 上下文开始的 Decode；单位均为 token/s。

完整模型名	并行	Prefill	Decode
Qwen3.8 27B CCCP-L	TP1	2462.68	56.94
DeepSeek V4 CCCP-S	TP1	2786.87	46.23
GLM-5.2 CCCP	TP4	932.36	25.48
GLM-5.3-Flash CCCP-S	TP1	1504.67	30.02
GLM-5.3-Flash CCCP-M	TP2	1282.44	20.22
Kimi K3 CCCP-470	TP4	672.04	15.69

六项结果均通过有限值与对应性能红线门禁。H20-3e 仅作为接近 RTX 3090 级计算能力的参考，显存容量和带宽并不等同。

验证

• 自动化：563 passed，12 skipped。
• 最终离线目录：111,739 个清单文件逐项 SHA-256 通过，无缺失、额外或不匹配文件。
• 最终包已验证 CPU/CUDA/AMD 环境、五套预编译 NVIDIA 算子、GUI/API 启动与退出、模型扫描、真实生成和用户文档边界。

CCCP Launcher 0.9.13 Full Offline

CCCP Launcher 0.9.13

这是 Windows x64 完整离线版，内置 CPU、CUDA 13、AMD/HIP、Miniconda、便携编译工具链和所需 Python 依赖，不包含模型权重。

首次使用请下载 Release 中的安装器、分卷清单和全部分卷到同一个文件夹，然后双击 CCCP-Launcher-0.9.13-Offline-Setup.exe。不要只下载单独的 CCCP-Launcher.exe。

本版本修正发布基准协议并固化五项 H20 实模门禁：

• Qwen：2323.66 / 55.18 token/s（Prefill / Decode，TP1）
• DSV4：2611.86 / 46.22 token/s（TP1）
• GLM Flash S：1503.56 / 30.01 token/s（TP1）
• GLM Flash M：1268.54 / 20.27 token/s（TP2）
• Kimi：608.03 / 15.25 token/s（TP4，GPU 2/3/4/5）

所有 Prefill 均为 4096 token，Decode 均从 4096-token 上下文开始，并使用随包 CUDA 13 环境通过有限值检查。Kimi 发布成绩只接受 TP4 parallel 链路。

离线包包含运行所需环境与依赖；GPU 驱动仍由操作系统提供。模型需单独下载并放入应用目录的 models 文件夹。

CCCP Launcher 0.9.12 Full Offline

CCCP Launcher 0.9.12

这是 Windows x64 完整离线版，内置 CPU、CUDA 13、AMD/HIP、Miniconda、便携编译工具链和所需 Python 依赖；不包含模型权重。请下载 Release 中的安装器、分卷清单和全部分卷到同一目录，然后双击 CCCP-Launcher-0.9.12-Offline-Setup.exe。

本版重点

• DSV4、Qwen、GLM、Kimi 统一通过模型清单接入公共码本能力层，不按模型目录名维护私有数学实现，也不减少专家。
• 紧凑 CUDA Decode 冻结为 packed-index + Q8 码本 + DP4A；长批 Prefill 使用公共 E4M3/FP8 分组矩阵乘。
• 删除旧单 token E4M3 MoE Decode、Kimi 私有专家池/TP Hybrid 和旧 dense_vq.py 入口，防止后续误回退。
• Windows JIT 只使用随包 CUDA 13、便携 MSVC/Windows SDK；NVIDIA 预编译算子覆盖 SM75、SM86、SM89、SM90、SM120。

实测范围

公共硬件基线为单张 NVIDIA H20-3e（SM90，139.81 GiB），CUDA_VISIBLE_DEVICES=2，随包 PyTorch 2.13.0+cu130 / CUDA 13.0：

模型	设置	Prefill	Decode
Qwen3.5 27B	15.65 GiB 常驻档，512-token 长批 / 64-token Decode	2908 token/s	53.76 token/s
DSV4	32 GiB 进程上限，4096-token 长批 / 128-token Decode	1772.51 token/s	34.18 token/s
GLM-5.3 Flash S	全驻留，4096-token 长批参考 / 本轮 Decode	1500.41 token/s	10.05 token/s
GLM-5.3 Flash M	120 GiB 上限，本轮短提示	2.2 token/s	9.47 token/s
Kimi K3 470B	120 GiB 上限、82432 专家，本轮短提示	1.4 token/s	3.73 token/s

性能目标继续保留，但不是本次发行的硬门槛。除 Qwen GPU Decode 外，本轮 DSV4、GLM Flash S/M 和 Kimi 仍低于预定性能红线；功能和真实生成通过不等同于全部达速。自动化回归为 500 passed、11 skipped；五档随包 CUDA 算子均重新编译并通过审计。

源码边界

GitHub 仓库开放 engine/CCCP-Engine 推理运行时源码，便于审阅和贡献。启动器工程源码、模型权重和 CCCP 量化框架不在公开发行范围内。

CCCP Launcher 0.9.11 Full Offline

CCCP Launcher 0.9.11

这是 Windows x64 完整离线版，内置 CPU、CUDA 13、AMD/HIP、Miniconda、便携编译工具链和所需 Python 依赖；不包含模型权重。请下载 Release 中的安装器、分卷清单和全部分卷到同一目录，然后双击 CCCP-Launcher-0.9.11-Offline-Setup.exe。

本版重点

• 冻结当前已验证的公共 VQ 推理双路线：Decode 使用 packed VQ 融合执行器，Prefill 按批量与设备能力自动选择短批 packed VQ 或长批 Native8/FP8 分组矩阵乘。
• DSV4、Qwen、GLM、Kimi 通过模型清单接入公共算子、显存规划和缓存层；不按模型目录名写死分支，也不减少专家。
• 清理实验性 resident-tile 与失效探针，防止以后误回退到逐 token/逐专家慢路径。
• 修复 Kimi/MTP Prefill 工作区生命周期，以及中文安装路径下 NVIDIA 算子编译失败的问题。
• CPU、CUDA、AMD 三套环境均随包提供并在封装时独立校验；NVIDIA 预编译算子覆盖 SM75、SM86、SM89、SM90、SM120。

验证范围

• H20 单卡、32 GiB 显存：DeepSeek-V4、Qwen3.5、GLM-5.2、Kimi K3 均完成真实模型加载和生成；Qwen 另完成 CPU 实模生成。
• DSV4 本轮实测 4096-token Prefill 为 1772.51 token/s，稳态 Decode 中位 40.10 token/s；Qwen GPU Decode 为 52.10 token/s。实际速度受模型配置、显存、内存带宽和并发负载影响。
• 自动化回归：409 passed、11 skipped；另通过五架构算子审计、离线 EXE/API 冒烟和逐文件 SHA-256 校验。

源码边界

GitHub 仓库开放 engine/CCCP-Engine 推理运行时源码，便于审阅和贡献。启动器工程源码、模型权重和 CCCP 量化框架不在公开发行范围内。

CCCP Launcher 0.9.10 Full Offline

CCCP Launcher 0.9.10

本版本提供 Windows x64 完整离线包，内置 CPU、NVIDIA CUDA、AMD/HIP 运行环境及所需依赖；不包含模型权重。下载全部分卷与安装器后，双击 CCCP-Launcher-0.9.10-Offline-Setup.exe 即可安装。

主要更新

• Qwen3.5 27B：改进 MTP 投机解码与长文本 Prefill 路径。
• DSV4、GLM、Kimi：修复多轮生成、专家加载与张量并行兼容问题。
• CPU：完善 Qwen、DSV4、GLM、Kimi 的通用推理路径。
• NVIDIA：内置 SM75、SM86、SM89、SM90、SM120 五种预编译算子，覆盖 RTX 20/30/40/50 系列及相应数据中心架构。
• 兼容性重发：FP8 _scaled_mm 仅在硬件与运行时都明确支持时启用，RTX 20/30 系列不再误入不兼容路径。

开放源码

CCCP-Engine 推理运行时源码现已开放，位于仓库的 engine/CCCP-Engine 目录，方便社区审阅、适配与贡献。

下载说明

GitHub 单文件大小受限，因此完整离线包采用分卷发布。请把本 Release 的 9 个资产全部下载到同一目录，再运行安装器；安装过程不需要另行安装 Python 或在线下载依赖。

CCCP Launcher 0.9.6 Full Offline

CCCP Launcher 0.9.6

0.9.6 是消费级 NVIDIA 显卡 Prefill 稳定性修正版。

• 修复 Prefill 编译投影核的 2 GiB 有符号偏移回绕：gate-up 平板超过 2^31 字节时专家分片会越界写入甚至静默损坏显存，现按核寻址上限硬性钳制分片大小。
• Prefill 工作区改为整块保留复用，不再逐层 synchronize/重分配；该循环在 WDDM 消费级显卡上曾以 cudaErrorIllegalAddress 形式暴露。
• Windows 批量 H2D 拷贝自动限制为每组 ≤8 份，避开曾复现越界错误的大批量提交窗口；可用 CCCP_H2D_BATCH_MAX_COPIES 调整。
• Kimi Prefill 与 MTP 的专家展开工作区改为统一块级收尾，不再泄漏进 Decode 阶段。
• 新增 data/runtime/debug_env.txt 诊断通道：无需终端即可给 serve 进程注入一次性环境变量（如 CUDA_LAUNCH_BLOCKING=1）。

离线包包含独立 Python、CPU/CUDA/AMD 运行环境及依赖，不包含模型权重，也不包含 CCCP 量化框架。

CCCP Launcher 0.9.4 Full Offline

CCCP Launcher 0.9.4

0.9.4 是 0.9.3 的 CPU NUMA 性能补丁。它不改变已验证的 NVIDIA、AMD、MoE、MTP、GUI 或配置格式，只修复 Linux 双路服务器上 Q4 执行映像的内存页归属和自动线程规划。

下载

第一次安装请把以下文件全部下载到同一目录，然后双击安装器：

• CCCP-Launcher-0.9.4-Offline-Setup.exe
• CCCP-Launcher-v0.9.4-offline.parts.json
• CCCP-Launcher-v0.9.4-win-x64-offline.zip.001
• CCCP-Launcher-v0.9.4-win-x64-offline.zip.002
• CCCP-Launcher-v0.9.4-win-x64-offline.zip.003
• CCCP-Launcher-v0.9.4-win-x64-offline.zip.004

安装器会校验每个分卷、合并、解压并启动。发行包包含 CPU、NVIDIA CUDA、AMD ROCm/HIP 环境和离线算子编译工具，不含模型权重。

主要变化

• Linux 双路 Q4 执行映像按行分片迁移到对应 NUMA 节点，避免复用分配器旧页后集中访问单路内存。
• 只在 Q4 NUMA 分片模式使用全部物理核，仍禁用 SMT；Windows P/E 核策略不变。
• Qwen3.5 27B Dense VQ 的 H20 CPU 64-token Decode 由约 7.05 提升到 9.77 token/s，输出有限。
• CPU 原生扩展升级到 v195，预编译 Windows 算子随包提供。
• 自动化回归：324 passed、11 skipped。

CPU 实测仍未达到 30 token/s，因此本版不作 CPU 目标吞吐承诺。Qwen3.5 的 NVIDIA FP8/MTP、DeepSeek-V4、Kimi K3、GLM-5.2 和桌面 GUI 路径沿用 0.9.3 已发布且通过的实现。

Windows 离线 CUDA 环境尚未内置 FlashMLA；DeepSeek-V4 在 2052 token 以上会明确提示依赖缺失，不会静默回退慢速路径。

CCCP Launcher 0.9.3 Full Offline

CCCP Launcher 0.9.3

0.9.3 新增清单驱动的通用 Dense VQ 支持和架构配置驱动的 MTP。Qwen3.5 27B Dense 可直接加载完整模型，不需要专家配置，也不会显示专家训练入口。

下载

第一次安装请把以下文件全部下载到同一目录，然后双击安装器：

• CCCP-Launcher-0.9.3-Offline-Setup.exe
• CCCP-Launcher-v0.9.3-offline.parts.json
• CCCP-Launcher-v0.9.3-win-x64-offline.zip.001
• CCCP-Launcher-v0.9.3-win-x64-offline.zip.002
• CCCP-Launcher-v0.9.3-win-x64-offline.zip.003
• CCCP-Launcher-v0.9.3-win-x64-offline.zip.004

安装器会校验每个分卷、合并、解压并启动。发行包包含 CPU、NVIDIA CUDA、AMD ROCm/HIP 环境和离线算子编译工具，不含模型权重。

主要变化

• Qwen3.5 Dense VQ 通用识别、GUI、CPU/CUDA 与 OpenAI API 链路。
• Qwen3.5 H20 单卡 MTP Top-3 有效 Decode 93.21 token/s、完整请求 82.39 token/s。
• Kimi 10/15 行组合投影使用 packed grouped 融合执行器。
• DeepSeek-V4、Kimi K3、GLM-5.2 实模回归通过。
• AMD 全显存路径要求 hip.tp1-token-graph 和有效 Graph 提交，拒绝旧执行器伪加速；本轮未做 AMD 真机性能复测。
• 自动化回归：322 passed、11 skipped。

CPU 功能和数值正确，但本版实测没有达到预设吞吐目标，因此不作 CPU 速度承诺。

Windows 离线 CUDA 环境尚未内置 FlashMLA；DeepSeek-V4 在 2052 token 以上的长上下文会明确提示依赖缺失，不会静默退回慢速 BF16。2051 token 以内为本版已验证范围。AMD 本轮没有可用真机，发行说明不作 AMD 性能承诺。

CCCP Launcher 0.9.2 Full Offline

CCCP Launcher 0.9.2 完整离线版

这是不含模型的 Windows x64 完整离线发行包，内含 CPU、NVIDIA CUDA、AMD ROCm/HIP 三套独立推理环境、Miniconda、仅用于加载和推理的 CCCP-Engine 运行时、预编译 CPU 算子和本地编译工具链。包内不含 CCCP 量化/训练框架及其开发工具。

下载与首次启动

请下载以下内容并放在同一个文件夹：

• CCCP-Launcher-0.9.2-Offline-Setup.exe
• CCCP-Launcher-v0.9.2-offline.parts.json
• 全部 .zip.001、.zip.002……分卷

双击离线安装器即可。它会显示校验、合并和解压进度，完成后自动启动原生桌面程序，不会自动打开外部浏览器。无需安装 Python、Miniconda、CUDA/ROCm SDK 或编译器，运行时也不会自动下载这些依赖。

GPU 驱动仍需由操作系统提供。发行包不含模型权重；模型请单独放入 models。

0.9.2 更新

• 移除启动器自动打开系统浏览器的所有启动/失败降级路径。
• GPU 预检严格按“显存 → 主机内存 → 磁盘”逐级降级，显存不足不会直接误报磁盘卸载。
• 修复离线 CUDA 首次编译找不到 cuBLAS DLL 或 MSVC librarian；封装内置并验证完整 CUDA/MSVC/Windows SDK/Ninja 工具链。
• CUDA Runtime 按当前隔离环境动态发现，支持随包 CUDA 13 的 cudart64_13.dll；终端正确解码 UTF-8 与 Windows 编译器混合输出。
• 自动适配并缓存 SM75（RTX 20 系）、SM86（RTX 30 系）、SM89（RTX 40 系）、SM90（H20/H100）、SM120（RTX 50 系）融合算子。
• 关闭桌面窗口会同步停止 Python 推理后端；重启清空旧终端；CPU/NVIDIA/AMD 上次选择会被记住。
• DSV4 受限显存路径改为配置内全部专家常驻 RAM、有界 VRAM 热缓存；页锁定资源不足时自动退回普通 RAM staging，不再因 cudaHostRegisterMapped 失败退出，也不减少配置专家或 top-k。
• Windows/WDDM 自动原地锁页配置内专家 RAM；每个路由层的全部缺失专家一次进入编译扩展，并在 C++ 内连续提交到同一 copy stream。Windows 使用稳定的 cudaMemcpyAsync，不再调用现场两次复现延迟非法访问的 cudaMemcpyBatchAsync；Linux/TCC 保留原生批量 API。只有实际未锁页来源或扩展拒绝批次时才回退 Python 异步 copy stream。
• 显存统一保留 1 GiB；Dense、KV、Prefill 最大层工作集、码本、模型原生 top-k 交换槽都先按真实体积计算，剩余空间用于语料热专家。运行期所有热槽执行严格 LRU 末位淘汰，不做永久保护，KV 增长时可自动收缩。终端会显示完整 CUDA 容量账、阶段切换、融合算子和 DMA 批次账。
• 保留 GLM 前置 Dense 层修复，严格路由只校验模型声明的专家层。

可单独下载 CCCP-Launcher.exe 覆盖已有完整离线目录进行更新；首次安装必须下载完整分卷。