Repository navigation
Releases: nightthink/K100AI-Model-Deploy
Release list
线号统一(DSv4 → 101/102)· DSv4 拉起包升级新格式 v2026.09.12
本次重点:线号统一 —— DSv4 改用三位 10x 段;DSv4 拉起包升级到新格式
两个项目此前都从 01 起编,说「01 线」要先问是哪个模型。现在按模型分段,不再撞号:
| 项目 | 编号段 |
|---|---|
| Qwen3.8-27B | 01 – 14(不变) |
| DeepSeek-V4-Flash | 101 / 102(原 01 / 02) |
01-A-w8a8-dspark-贪心主线-单流d33 → 101-A-w8a8-dspark-贪心主线-单流d33
02-A-w8a8-nospec-任意温度-聚合d52 → 102-A-w8a8-nospec-任意温度-聚合d52
包名同步变为 dsv4-kit-101 / dsv4-kit-102。上一版的 dsv4-kit-01/02 已弃用,请勿再下载——
它们的文件名在新编号下正好会被读成 Qwen 的 01/02 线。为不破坏既有下载链接,
这两个资产暂仍挂在 v2026.09.11 上,该版正文已加醒目提示。
(上一版的七个 q38-kit-* 资产照常有效,Qwen 侧编号本就没动。)
DSv4 拉起包升级到新格式
DSv4 的打包器此前缺三项能力,现已与 Qwen 侧对齐:
MANIFEST.json—— 机器可读清单:kit/source/engine/entrypoints/
requires/files(全量 sha256)。消费方不需要读 shell 就能校验与编排。- 确定性打包 ——
tar --sort=name --owner=0 --group=0 --numeric-owner --mtime=@SOURCE_EPOCH | gzip -n:同一源提交重打,字节级一致。 - 版本号带源提交 ——
<YYYYMMDD>-g<commit[:7]>,包名即可溯源到具体提交。
顺手修掉两处清单解析缺陷:
- DSv4 的真实启动参数在
inner/run_prodfix.sh里(serve.sh只负责起容器再调它),
只扫serve.sh会让served_model/context_length恒为 null——现一并扫描inner/*.sh。 @requires是空格分隔的多个路径,此前作为整串写入,消费方无法逐项校验——现拆成数组(两侧同步修)。
本次资产
2026-09-12 已重传对齐:九个包与源提交一一对应——
Qwen 侧g4eaf156、DSv4 侧g7a4ecfa,可用包名直接反查提交。关于版本号:包名的
-g<hash>取自源仓 HEAD,所以源仓任何一次提交都会让
下一次打出的包换名,哪怕包内容一字未变(测试工具、实践记录都在tests/与
docs/下,不随包分发)。因此仓库 HEAD 略新于 Release 资产是常态,
不代表资产过期;只有deploy-kit/有实质改动时,包内容才真的变。
九个包,DSv4 溯源 7d6d839、Qwen 溯源 086ed79:
| 包 | 线 | 说明 |
|---|---|---|
dsv4-kit-101 |
101 | w8a8 + DSpark 投机,贪心主线,单流 d33 |
dsv4-kit-102 |
102 | w8a8 无投机,任意温度可用,聚合 d52 |
q38-kit-01 |
01 | bf16 TP4 |
q38-kit-02 |
02 | bf16 路由线 |
q38-kit-13 |
13 | bf16 TP8 全 P2P —— 推荐主力 |
q38-kit-09/10/11/12 |
09–12 | INT8 ⛔ 见下 |
内容较 v2026.09.11 无功能变更,仅随统一编号与打包器修复重打。
⛔ INT8 全系(09/10/11/12)仍不可投产
VMFault 两次复现(存活 19 分 26 秒 / 37 分钟),均在低负载、显存充裕时发作,无一致前兆。
各线 README 首部已有警示。14 线(INT8 TP8)依旧不发布。
13 线的性能数据、包级验收记录与 v4 驱动补丁的硬前提,见 v2026.09.11 —— 那部分结论本次未变。
13 线首发 · 推荐主力换届 v2026.09.11
DSv4 线号已改为三位(01→101、02→102)。本版的
dsv4-kit-01/02文件名
在新编号下会被读成 Qwen 的 01/02 线,请勿再用——
到 v2026.09.12 取dsv4-kit-101/102。
本版七个q38-kit-*资产照常有效,Qwen 侧编号未动,下方结论不变。
本次重点:13 线(bf16 · TP8 全 P2P + custom AR)首次发布,并成为推荐主力
13 线 vs 01 线 · 同口径实测
各约 2 小时,负载按编程助手实际口径(输入 40K–350K 字符、均值约 150K、缓存命中 9294%)。93.7%,均值 92.7% vs 92.5%。
比较前先验明两线负载可比:S3 段命中率十次测量全落在 91.7
| 01 线 TP4 | 13 线 TP8 全 P2P | 增益 | |
|---|---|---|---|
| 单流 decode P50 | 35.0 tok/s | 62.1 tok/s | +77% |
| 冷启 prefill 80–150K 字符 | 1,757 tok/s | 2,665 tok/s | +52% |
| 冷启 prefill ≥350K 字符 | 936 tok/s | 1,601 tok/s | +71% |
| ≥350K 字符 TTFT | 112.10 s | 65.70 s | −41% |
| 聚合消化 4/8/16 路 | 2,830 / 10,927 / 12,294 | 4,536 / 15,197 / 16,036 | +60/+39/+30% |
| 服务错误 | 1(510 请求) | 0(729 请求) | — |
两条规律:输入越长 TP8 优势越大(+26%→+71%,长上下文正是编程助手主场);
并发越高相对优势越小(+60%→+30%,两线都接近各自 prefill 上限)。
⚠ 「聚合消化 tok/s」不是 prefill 算力——分子含命中缓存、未被重算的 token,
只能读作「整机每秒消化多少输入 token」。真实算力只看「冷启 prefill」行。
包级验收
两线均走完整现场流程(解包 → up.sh → S1-S8 → 真实请求 → stop):
- 13 线:就绪 7 分 33 秒,KV 池 3,050,496 token,S8 四项自证全过
- 01 线:就绪 4 分 48 秒,KV 池 2,449,536 token,S8 四项自证全过
13 线的硬前提:驱动需打 v4 补丁
跨 socket 的 dmabuf 会触发驱逐活锁,根因是内核 drivers/pci/p2pdma.c 的
host_bridge_whitelist[] 只列 Intel 根桥 ⇒ pci_p2pdma_distance_many() 返回 −1
⇒ gpu_dma_buf_attach 清零 attach->peer2peer ⇒ dmabuf map 只给 GTT ⇒ 活锁。
1 字节补丁(patches/patch_v4.sh,随包分发)修掉该问题。serve.sh 启动前做字节自检、
未打拒启;stages.sh 另做「来源 + 运行时」双重检查。打完补丁必须重启机器
(驱动 rmmod/insmod 重载会永久破坏 KFD 驱逐机制)。
这不是上游缺陷,而是通用版 Ubuntu 内核环境下的适配手段——
厂商定制内核上可能不存在此问题。
01 线更新
补 @attest custom all-reduce启用 自证项;撤回此前「custom AR 从未启用」的结论——
那是 0811 树时期的观察,0828 树已修,实测 custom_AR_ranks=4,A/B 证明值 2.15×。
⛔ INT8 全系(09/10/11/12)暂不可投产
VMFault 两次复现(存活 19 分 26 秒 / 37 分钟),均在低负载、显存充裕时发作,
无一致前兆。v4 补丁不是解法(dmabuf 与 INT8 内核是两个子系统)。
各线 README 首部已加警示。14 线(INT8 TP8)因此不纳入本次发布。
其它
dlhook2-sg.soagent 过滤件退役(v4 之后留着反而损失 76% 吞吐)- 修掉一批公开包内的失效链接与错误路径提示
用法:tar xzf q38-kit-<NN>-*.tar.gz && cd q38-kit-<NN> && bash up.sh
(除镜像与模型权重外自包含;bash up.sh status 只看不拉、bash up.sh stop 清场)
拉起包新格式 v2026.09.04(含 MANIFEST.json)
新格式成为主要提供格式:每包根内新增通用机器可读 MANIFEST.json(kit 身份/来源 commit/引擎/双入口/GPUS·PORT·NAME 参数语义/env 开关/requires/served_model/context_length/排序逐文件 SHA-256,MANIFEST 自身不入清单);打包确定性(同源构建逐字节一致);版本号改为 <日期>-g<源提交短哈希>;launch.sh 新增 SKIP_FETCH(=SKIP_S2 兼容别名)。Qwen3.8-27B 六线 + DSv4 两线,均通过包级验收。旧版 v2026.09.03 保留作回滚。
Qwen3.8-27B + DSv4-Flash 精选拉起包 v2026.09.03
Qwen3.8-27B 六条精选线(01/02 bf16、09/10 INT8、11/12 深上下文/深prefill 冠军)+ DeepSeek-V4-Flash 两条生产线(01 W8A8+DSpark 贪心主线 33.2 tok/s、02 无投机任意温度线 聚合52.2)。全部通过包级验收(解包→up→S1-S8→真实请求→完整停止)。用法:tar xzf 后 bash up.sh。注意各线 README 的硬边界。
dsv4-flass-w8a8-sglang-succ
v0.1 chore: capitalize copyright holder name in LICENSE