Skip to content

Releases: nightthink/K100AI-Model-Deploy

线号统一(DSv4 → 101/102)· DSv4 拉起包升级新格式 v2026.09.12

Choose a tag to compare

@nightthink nightthink released this 11 Sep 18:16

本次重点:线号统一 —— DSv4 改用三位 10x 段;DSv4 拉起包升级到新格式

两个项目此前都从 01 起编,说「01 线」要先问是哪个模型。现在按模型分段,不再撞号:

项目 编号段
Qwen3.8-27B 01 – 14(不变)
DeepSeek-V4-Flash 101 / 102(原 01 / 02)
01-A-w8a8-dspark-贪心主线-单流d33  →  101-A-w8a8-dspark-贪心主线-单流d33
02-A-w8a8-nospec-任意温度-聚合d52  →  102-A-w8a8-nospec-任意温度-聚合d52

包名同步变为 dsv4-kit-101 / dsv4-kit-102。上一版的 dsv4-kit-01/02 已弃用,请勿再下载——
它们的文件名在新编号下正好会被读成 Qwen 的 01/02 线。为不破坏既有下载链接,
这两个资产暂仍挂在 v2026.09.11 上,该版正文已加醒目提示。
(上一版的七个 q38-kit-* 资产照常有效,Qwen 侧编号本就没动。)

DSv4 拉起包升级到新格式

DSv4 的打包器此前缺三项能力,现已与 Qwen 侧对齐:

  • MANIFEST.json —— 机器可读清单:kit / source / engine / entrypoints /
    requires / files(全量 sha256)。消费方不需要读 shell 就能校验与编排。
  • 确定性打包 —— tar --sort=name --owner=0 --group=0 --numeric-owner --mtime=@SOURCE_EPOCH | gzip -n:同一源提交重打,字节级一致。
  • 版本号带源提交 —— <YYYYMMDD>-g<commit[:7]>,包名即可溯源到具体提交。

顺手修掉两处清单解析缺陷:

  • DSv4 的真实启动参数在 inner/run_prodfix.sh 里(serve.sh 只负责起容器再调它),
    只扫 serve.sh 会让 served_model / context_length 恒为 null——现一并扫描 inner/*.sh。
  • @requires 是空格分隔的多个路径,此前作为整串写入,消费方无法逐项校验——现拆成数组(两侧同步修)。

本次资产

2026-09-12 已重传对齐:九个包与源提交一一对应——
Qwen 侧 g4eaf156、DSv4 侧 g7a4ecfa,可用包名直接反查提交。

关于版本号:包名的 -g<hash> 取自源仓 HEAD,所以源仓任何一次提交都会让
下一次打出的包换名,哪怕包内容一字未变(测试工具、实践记录都在 tests/ 与
docs/ 下,不随包分发)。因此仓库 HEAD 略新于 Release 资产是常态,
不代表资产过期;只有 deploy-kit/ 有实质改动时,包内容才真的变。

九个包,DSv4 溯源 7d6d839、Qwen 溯源 086ed79:

包 线 说明
dsv4-kit-101 101 w8a8 + DSpark 投机,贪心主线,单流 d33
dsv4-kit-102 102 w8a8 无投机,任意温度可用,聚合 d52
q38-kit-01 01 bf16 TP4
q38-kit-02 02 bf16 路由线
q38-kit-13 13 bf16 TP8 全 P2P —— 推荐主力
q38-kit-09/10/11/12 09–12 INT8 ⛔ 见下

内容较 v2026.09.11 无功能变更,仅随统一编号与打包器修复重打。

⛔ INT8 全系(09/10/11/12)仍不可投产

VMFault 两次复现(存活 19 分 26 秒 / 37 分钟),均在低负载、显存充裕时发作,无一致前兆。
各线 README 首部已有警示。14 线(INT8 TP8)依旧不发布。

13 线的性能数据、包级验收记录与 v4 驱动补丁的硬前提,见 v2026.09.11 —— 那部分结论本次未变。

13 线首发 · 推荐主力换届 v2026.09.11

Choose a tag to compare

@nightthink nightthink released this 11 Sep 14:17

DSv4 线号已改为三位(01→101、02→102)。本版的 dsv4-kit-01/02 文件名
在新编号下会被读成 Qwen 的 01/02 线,请勿再用——
到 v2026.09.12 取 dsv4-kit-101/102。
本版七个 q38-kit-* 资产照常有效,Qwen 侧编号未动,下方结论不变。

本次重点:13 线(bf16 · TP8 全 P2P + custom AR)首次发布,并成为推荐主力

13 线 vs 01 线 · 同口径实测

各约 2 小时,负载按编程助手实际口径(输入 40K–350K 字符、均值约 150K、缓存命中 9294%)。
比较前先验明两线负载可比:S3 段命中率十次测量全落在 91.7
93.7%,均值 92.7% vs 92.5%。

01 线 TP4 13 线 TP8 全 P2P 增益
单流 decode P50 35.0 tok/s 62.1 tok/s +77%
冷启 prefill 80–150K 字符 1,757 tok/s 2,665 tok/s +52%
冷启 prefill ≥350K 字符 936 tok/s 1,601 tok/s +71%
≥350K 字符 TTFT 112.10 s 65.70 s −41%
聚合消化 4/8/16 路 2,830 / 10,927 / 12,294 4,536 / 15,197 / 16,036 +60/+39/+30%
服务错误 1(510 请求) 0(729 请求) —

两条规律:输入越长 TP8 优势越大(+26%→+71%,长上下文正是编程助手主场);
并发越高相对优势越小(+60%→+30%,两线都接近各自 prefill 上限)。

⚠ 「聚合消化 tok/s」不是 prefill 算力——分子含命中缓存、未被重算的 token,
只能读作「整机每秒消化多少输入 token」。真实算力只看「冷启 prefill」行。

包级验收

两线均走完整现场流程(解包 → up.sh → S1-S8 → 真实请求 → stop):

  • 13 线:就绪 7 分 33 秒,KV 池 3,050,496 token,S8 四项自证全过
  • 01 线:就绪 4 分 48 秒,KV 池 2,449,536 token,S8 四项自证全过

13 线的硬前提:驱动需打 v4 补丁

跨 socket 的 dmabuf 会触发驱逐活锁,根因是内核 drivers/pci/p2pdma.c 的
host_bridge_whitelist[] 只列 Intel 根桥 ⇒ pci_p2pdma_distance_many() 返回 −1
⇒ gpu_dma_buf_attach 清零 attach->peer2peer ⇒ dmabuf map 只给 GTT ⇒ 活锁。

1 字节补丁(patches/patch_v4.sh,随包分发)修掉该问题。serve.sh 启动前做字节自检、
未打拒启;stages.sh 另做「来源 + 运行时」双重检查。打完补丁必须重启机器
(驱动 rmmod/insmod 重载会永久破坏 KFD 驱逐机制)。

这不是上游缺陷,而是通用版 Ubuntu 内核环境下的适配手段——
厂商定制内核上可能不存在此问题。

01 线更新

补 @attest custom all-reduce启用 自证项;撤回此前「custom AR 从未启用」的结论——
那是 0811 树时期的观察,0828 树已修,实测 custom_AR_ranks=4,A/B 证明值 2.15×。

⛔ INT8 全系(09/10/11/12)暂不可投产

VMFault 两次复现(存活 19 分 26 秒 / 37 分钟),均在低负载、显存充裕时发作,
无一致前兆。v4 补丁不是解法(dmabuf 与 INT8 内核是两个子系统)。
各线 README 首部已加警示。14 线(INT8 TP8)因此不纳入本次发布。

其它

  • dlhook2-sg.so agent 过滤件退役(v4 之后留着反而损失 76% 吞吐)
  • 修掉一批公开包内的失效链接与错误路径提示

用法:tar xzf q38-kit-<NN>-*.tar.gz && cd q38-kit-<NN> && bash up.sh
(除镜像与模型权重外自包含;bash up.sh status 只看不拉、bash up.sh stop 清场)

拉起包新格式 v2026.09.04(含 MANIFEST.json)

Choose a tag to compare

@nightthink nightthink released this 03 Sep 17:07

新格式成为主要提供格式:每包根内新增通用机器可读 MANIFEST.json(kit 身份/来源 commit/引擎/双入口/GPUS·PORT·NAME 参数语义/env 开关/requires/served_model/context_length/排序逐文件 SHA-256,MANIFEST 自身不入清单);打包确定性(同源构建逐字节一致);版本号改为 <日期>-g<源提交短哈希>;launch.sh 新增 SKIP_FETCH(=SKIP_S2 兼容别名)。Qwen3.8-27B 六线 + DSv4 两线,均通过包级验收。旧版 v2026.09.03 保留作回滚。

Qwen3.8-27B + DSv4-Flash 精选拉起包 v2026.09.03

Choose a tag to compare

@nightthink nightthink released this 03 Sep 07:20

Qwen3.8-27B 六条精选线(01/02 bf16、09/10 INT8、11/12 深上下文/深prefill 冠军)+ DeepSeek-V4-Flash 两条生产线(01 W8A8+DSpark 贪心主线 33.2 tok/s、02 无投机任意温度线 聚合52.2)。全部通过包级验收(解包→up→S1-S8→真实请求→完整停止)。用法:tar xzf 后 bash up.sh。注意各线 README 的硬边界。

dsv4-flass-w8a8-sglang-succ

Choose a tag to compare

@nightthink nightthink released this 13 Aug 13:53
v0.1

chore: capitalize copyright holder name in LICENSE