[分享] DSH + llama.cpp 本地跑 Qwen3.8-27B 视觉模型：图像被 does not declare image input 拦截的修复 + 4090 部署参数

[RAFOLIE]

环境

• GPU: RTX 4090 24GB
• llama.cpp: b10430（Windows x64 CUDA 13 主包 + CUDA 13.3 DLLs）
• 模型: Qwen3.8-27B GGUF（下文以 Ridge 3.7bpw 混合量化为例）+ 配套 mmproj
• DSH: openai-completions 协议接 http://127.0.0.1:8080/v1

症状

llama-server 自带 WebUI 里拖图识别完全正常（说明服务端视觉链路 OK），但 DSH 里读图被拦，错误信息：

model "Qwen3.8-27B" does not declare image input

根因

DSH 的 read_image 有一道"能力闸门"：当前模型必须在配置里显式声明支持图像输入，才允许把图读进上下文。模型条目没写 input 时按纯文本处理——图片请求在 DSH 端就被拒掉，根本不会发到 llama.cpp，所以服务端毫无感知。

修复（就一行）

~/.dsh/settings.yaml 的模型条目加 input: [text, image]：

        - id: Qwen3.8-27B
          name: Qwen3.8-27B 本地 128K
          contextWindow: 131072
          maxTokens: 32768
          input: [text, image]   # ← 就这一行

settings.yaml 有热加载 watcher，改完即生效，无需重启 DSH。

llama.cpp 侧启动命令（视觉 + MTP + ngram，24GB 实测）

llama-server ^
  --model Qwen3.8-27B-Ridge-3.7bpw.gguf ^
  --mmproj mmproj-Qwen3.8-27B-BF16.gguf ^
  --alias Qwen3.8-27B-Ridge ^
  --host 127.0.0.1 --port 8080 ^
  --ctx-size 131072 --parallel 1 ^
  --gpu-layers all --flash-attn on ^
  --cache-type-k q8_0 --cache-type-v q8_0 ^
  --spec-type draft-mtp,ngram-mod ^
  --spec-draft-n-max 6 --spec-draft-p-min 0.75 ^
  --spec-ngram-mod-n-match 24 --spec-ngram-mod-n-min 48 --spec-ngram-mod-n-max 64 ^
  --image-min-tokens 1024 ^
  --jinja --reasoning auto --reasoning-preserve ^
  --temp 1.0 --top-p 0.95 --top-k 20 ^
  --cache-prompt --cont-batching ^
  --fit off ^
  --log-file server.log

参数要点：

• --image-min-tokens 1024：服务器日志自荐参数。Qwen-VL 做 grounding（图上定位）任务时默认每图 576 token 精度不够，加这个保精度
• --cache-type q8_0：24GB 卡跑 27B 级权重的实测安全档；f16 K @128k 会静默溢出到 CPU，表现为长 prompt 处理速度断崖（实测 176→94→66 t/s 指纹），别踩
• --spec-type draft-mtp,ngram-mod：MTP + ngram 双草稿（Qwen3.8 自带 1 层 MTP，GGUF 里就有），实测草稿接受率 ~57%
• --fit off：显存不足时明确报错退出，而不是静默降配置

DSH 模型配置的其他坑（openai-completions）

• contextWindow 按服务端 --ctx-size 的实际值填（本例 131072），别照抄云端模型的值
• cost 全填 0，本地不花钱，否则统计跑出天文数字
• thinkingLevelMap 注意：实测 b10430 的 llama-server 只认 low / medium / high 三档 reasoning_effort，不认 xhigh / minimal（DLL 字符串级验证）。Qwen3.8 默认思考深度是 xhigh，映射要写 xhigh: 'high' 而不是 xhigh: 'xhigh'，后者发过去就是 400
• 模型列表别写死：llama.cpp 换 GGUF / 改 alias 频繁，用 fetchModels 从 /v1/models 动态拉
• reasoning_effort 字段 b10430 原生支持，不需要加 compat: { supportsReasoningEffort: false }

验证

DSH 里发一张图，llama-server 日志随即出现 mtmd/clip 图像处理行——看到它就是整条链路通了。

性能参考（RTX 4090 + 上述参数）

Agent 编程场景实测：生成 82 tok/s、首 token 平均 0.8s、提示缓存命中 91%——--cache-prompt 在 Agent 每轮重发大上下文的场景下收益极大。

[zhzLuke96]

我去，还真是要配置 input 这个属性，我看 settings 里面配的都是 inputModalities ，我试了没用得配置 input: [text, image]

[RAFOLIE]

你就算是glm-5.3-flash也一样加这个