NInfer Windows 双 V100 0.1.3 预览版

Windows 双 V100 预览版 0.1.3

同步直接上游 tuxKOH/ninfer-V100X2 的 Volta 优化与构建修正（861633e8、756d1363），保留中文启动器、Windows 平台适配、WDDM 小消息通信与 TCC/WDDM 切换入口。

• 引入 W8 词表头精确排列、NVFP4 投影和 INT8 注意力优化；原模型不重新量化。
• Windows CUDA 12.8 / MSVC 14.44 构建通过；12 项平台/API 检查、Coder390 模板、启动器测试以及 W8/NVFP4/85K 注意力数值检查通过。
• 本机 TCC DFlash7“从1数到300”：189.19 tok/s，旧版 189.50 tok/s，单次差约 −0.16%，未测出明显提速。19 输入 / 1391 输出 tokens，答案逐字节一致，草稿接受均为 1217/1218。不能外推一般问答或长上下文性能。
• 严格 DFlash teacher-forced 校验仍在原位置失败 1/64、logit 差 0.125，普通对照 0/64；没有放宽标准。MTP 旧失败仍有效，投机功能继续为实验选项，应用默认普通解码、思考开启。
• PP2、实验长注意力和近似 RAM-KV 默认关闭，未加入启动器；PP2/实验长注意力不支持 DFlash。本轮未重测新版 WDDM 整模型或 PP2。

下载 NInfer-Windows-V100X2-0.1.3.zip，完整解压后启动 NInfer.exe。无需安装 Python、CUDA Toolkit 或 Visual Studio；驱动需自行安装。推荐模型约 23.8GB，只有点击下载并选择目录后才拉取，支持续传和 SHA-256 校验。

应用保留全部启动选项和本地设置，输出上限默认 2048；已有用户设置不会被版本更新重置。本机 32768 偏好及 DFlash 桌面脚本保持不变。TCC/WDDM 切换仍需 UAC 和手动重启；TCC 不保证 P2P。

详见 中文 README 和 本机性能报告。

包内含第三方许可；FFmpeg-8.1.2-source.zip 为对应 FFmpeg 源码。请核对 SHA256SUMS.txt。保留 0.1.2 Release 供回退。

Windows 双 V100 v0.1.2：推理选项与 TCC/WDDM 切换

Windows 双 V100 中文便携版更新：推理优化进入发布包，启动器可配置实验 MTP/DFlash，并提供 TCC/WDDM 切换按钮。

下载 NInfer-Windows-V100X2-0.1.2.zip，完整解压后双击 NInfer.exe。无需 Python、CUDA Toolkit 或 Visual Studio；仍需已有兼容 NVIDIA 驱动。已验证 Windows 11、双 V100-SXM2 16GB、GRID 553.62。

新增功能

• 普通 / MTP / DFlash 解码选择，MTP 最多 3 草稿，DFlash 最多 7 草稿；MTP 优化草稿头可开关。
• 思考模式、上下文容量、输出上限、预填充分块、KV 格式、并发、API 端口、CUDA Graph 和前缀复用可配置，自动保存到本地。
• 默认普通解码、思考开启、128K 容量、2048 输出 tokens；思考与最终回答共用输出额度。聊天框显示思考及回答，并提示输出截断。
• 选择 DFlash 时建议 96K 容量并固定单请求。
• TCC/WDDM 按钮调用附带脚本，经 Windows UAC 授权后请求切换；须手动重启。应用运行模型时禁用切换按钮。
• 包含 WDDM 小消息 mapped-host 通信优化，按硬件自动启用。

模型下载

模型不随 ZIP 分发。可选择已有的兼容 .ninfer 文件，或点击“下载推荐模型”并选择目录，应用随后从 ModelScope 下载约 23.8 GB 的 Coder390 v3 包，支持断点续传和 SHA-256 校验。打开应用不会自动下载权重。

本机结果与限制

“从1数到300”：19 输入 / 1391 输出 tokens，关闭思考，INT8 KV、TP2、Graph、单请求。优化后 WDDM 普通/MTP3/DFlash7 为 28.08/94.68/153.70 committed decode tok/s；TCC 为 36.19/122.69/189.50。普通/MTP 容量为 131072，DFlash 为 98304；各模式只测一次，数数成绩不代表一般问答或长上下文。

• MTP/DFlash 严格行为门仍有 1/64 差异，功能为实验性质；普通解码保持默认。
• DFlash 多并发问题尚未修复，因此启动器仅允许其单请求。
• 本机 TCC 仍无 P2P，双向为 IOH_TOPOLOGY_NOT_SUPPORTED，NVLink 未激活。
• TCC 无法承担游戏图形渲染；游戏需恢复 WDDM 并重启。WDDM → TCC 已实测，恢复 WDDM 尚未执行复测。
• 新启动器完成真实 DFlash7 + thinking 的加载、HTTP 问答、思考/回答显示及停止检查；这是集成检查，不是模型质量验收。

验证：选项映射/保存、输出截断显示、HTTP 断点续传/完整性校验测试通过；界面截图已检查。README 已同步功能、下载入口和截图。

SHA-256 见 SHA256SUMS.txt。附带 FFmpeg 完整源代码和对应 vcpkg 构建资料。应用未做代码签名。

上游来源与详细条件见仓库 README 和 docs/windows-performance.md。

Windows 双 V100 中文便携版 v0.1.0（预览）

首个 Windows 双 V100 中文便携预览版。

下载和使用

下载 NInfer-Windows-V100X2-0.1.0.zip，完整解压，双击 NInfer.exe。

1. 先安装适合自己显卡的 NVIDIA 驱动。本机验证 Windows 11 + 双 V100-SXM2 16GB + GRID 553.62/WDDM，无 P2P/NVLink。
2. 选择已有的兼容 .ninfer 模型，或在界面下载指定的 Coder390 v3 模型（23.8GB）。支持断点续传和 SHA-256 校验。
3. 点击“启动模型”，等待就绪后直接提问，或复制 API 地址连接自己的聊天客户端，模型名 coder390。
4. 点击“停止 / 取消”或正常关闭窗口即可释放本应用占用的显存。

无需安装 Python、CUDA Toolkit、Visual Studio 或系统 VC++ 运行库。 推理程序和所需 DLL 随包提供，界面使用 Windows 自带 .NET Framework 4.8。应用不修改驱动、显卡模式或全局环境变量，仅监听本机。

验证范围

• 下载器的 Range 续传、忽略 Range 后重启下载、错误哈希拒绝发布、取消与恢复测试通过。
• 发行包经中文/空格模型路径完成显卡检测、模型加载、HTTP 问答和服务停止；输出“2加2等于4。”。
• 界面布局已检查，发布 ZIP 的完整性检查通过。
• 之前的九项平台回归、八组模板参考输出及真实 CLI/API 验证见仓库 Windows 指南。

默认普通解码，MTP 关闭。 MTP 严格校验仍有 1/64 位置不一致，未放宽判据。128K 容量约余 1.8GiB/卡；20万容量只验证过短请求，22万被显存预算拒绝。DFlash/Vision、满上下文质量及全新系统安装尚未验收。游戏或其他模型会减少可用显存。

此包未做代码签名。请从本仓库下载并核对 SHA256SUMS.txt。模型不在 ZIP 中；请勿下载同模型仓库的 NInferV2-NOT-FOR-V3 旧包。

项目与来源

中文首页已重写，优先说明本 Windows fork 的贡献和来源：直接上游 tuxKOH/ninfer-V100X2、原始 Neroued/ninfer、wamansou 的 TP2 工作、geoffwatts 的 Volta 实现，以及 ww485000 的 Windows 适配参考。模型由 Merkyor 发布。上游 Linux 成绩不作为本 Windows 版本性能宣传。

FFmpeg-8.1.2-source.zip 是随动态库提供的对应源代码、vcpkg port/补丁和重建说明，普通用户无需下载。其他第三方许可证在应用的 licenses 目录。