接入第三方模型时，无法区分是否多模态模型

[the-boy-w]

DSH 反馈：GUI 模型设置页无法配置输入模态（识图）能力 —— 设计缺陷

状态：待提交。提交渠道：GitHub Discussions（见文末"提交方式"）。
整理日期：2026-08-28。

标题建议

[设计缺陷] GUI 模型设置页不暴露 input（模态/识图）字段，视觉模型无法经 GUI 启用；多 provider 并存时 GUI 维度与默认路由维度不一致，运行期才报错

类型

设计缺陷 / 功能缺口 / 可诊断性改进（非崩溃类 bug；引擎判定逻辑正确，问题在配置入口与可发现性）。

环境

• 产品：@deepseek-ai/dsh 0.1.1-rc.2（Linux 容器镜像，hcm-architect-image）
• 前端：dsh-client-ui-settings-models（模型设置页）
• 后端：dsh-host-apiproxy / dsh-llm-pi-ai / dsh-llm-deepseek

现象

用户在 GUI"模型设置页"配置了一个支持视觉输入的模型（例如 deepseek/deepseek-v4-flash-vision-exp，baseURL 指向兼容 OpenAI 的网关），保存后发图仍然报错"该模型不支持图片输入"（MODEL_DOES_NOT_SUPPORT_IMAGES / does not support image input）。在 GUI 里无论怎么改（含给模型 id 加前缀、重新添加模型条目），都无法让该模型识别图片。

复现步骤

1. 在 GUI 模型设置页添加视觉模型 deepseek/deepseek-v4-flash-vision-exp（填 id、name、容量），保存。
2. 将 agent-default-model 指向该模型（provider 指向该模型所在 provider）。
3. 在会话中发送一张图片。
4. 报错：模型不支持图片输入。

根因（含证据）

DSH 按"配置声明的输入模态"判断模型是否支持识图，且声明缺失即按纯文本处理（fail-safe）。视觉模型必须显式声明 input: [text, image]（llm-pi-ai 段）或 inputModalities: [text, image]（llm-deepseek 段），否则：

• dsh-llm-pi-ai：DEFAULT_INPUT = ["text"]；model.input 缺失默认 text；if (containsImage && !model.input.includes("image")) throw "does not support image input"（lib/index.js:862/651/1721）
• dsh-host-apiproxy：收图前 resolveModelInfo(...).inputModalities 不含 image → MODEL_DOES_NOT_SUPPORT_IMAGES（lib/index.js:2754）
• dsh-llm-deepseek：目录按 options.model 精确匹配，查不到 image 声明同样拒绝（lib/index.js:1396）

但 GUI 模型表单不提供该字段（dsh-client-ui-settings-models 的模型条目只有 id/name/contextWindow/maxTokens），且界面自带提示"其余字段在 settings.yaml 中，请直接编辑对应段"（advancedHint）。因此：

1. 可配置项与运行期判定项不一致：GUI 允许添加模型、却不暴露决定"该模型能否识图"的 input 字段；用户在 GUI 配完无法预知会静默降级成纯文本，直到运行期发图才报错。
2. 多 provider 并存时 GUI 维度与默认路由维度不一致：agent-default-model.provider 决定会话实际走哪个 LLM 插件（如 llm-pi-ai.<provider>），而 GUI 模型设置按 namespace 分节（llm-deepseek / llm-pi-ai），两处容易错配；GUI 未将"当前默认路由 provider"与"该 provider 的模型配置"在 UI 上对齐提示。
3. 报错可诊断性不足：报错未指明"哪个 provider 的哪条模型目录缺 image 声明、去哪补"，用户难以归因。

影响

• 视觉模型无法通过 GUI 启用识图；能力声明只能手改 settings.yaml，对非技术用户不可达。
• 配置错误静默发生（GUI 无校验提示），运行期才暴露，排障成本高。
• 多 provider 并存（同名/同 baseURL 模型出现在多个插件段）时极易错配。

期望行为

• GUI 模型表单提供输入模态（input / 模态多选）编辑项，或至少：当模型当前声明缺 image、但用户试图发送图片/勾选"视觉"时给出即时校验提示。
• 设置页将"当前默认路由 provider（agent-default-model）"与对应 provider 的模型目录在 UI 上对齐/高亮，避免跨段错配。
• 报错信息带上 provider 名与建议补配字段（如 pi-ai provider "tencent" model "..." 缺 input: [text, image]，请在 settings.yaml 对应段补充）。

建议方案

1. 前端：dsh-client-ui-settings-models 模型条目增加"输入模态"编辑项（多选 text/image，映射到 input / inputModalities），缺省保留 text。
2. 前端校验：新增/编辑模型时，若声明缺 image，显示提示"该模型当前仅文本，无法识图"。
3. 路由对齐：模型设置页展示 agent-default-model 当前指向的 provider/model，并高亮对应段。
4. 后端报错：MODEL_DOES_NOT_SUPPORT_IMAGES 错误带上 provider、模型 id、缺失字段与建议位置。

备注

运行时能力判定逻辑本身合理（按声明 fail-safe），以上为配置入口与可诊断性层面的设计缺陷；修复不影响引擎行为。

[weijiafu14]

GUI 缺 input 模态编辑入口是真缺口（#4820 同题）。等 UI 补上之前，声明面今天就能配，而且这条路是端到端验证过的：

llm-pi-ai settings（或 provider 声明）的模型条目直接写 input: ['text','image']——声明的模态真实生效，不是摆设：我们的视觉验证族全部建立在"声明的模态被宿主尊重"之上（真图片轮次跑通，examples/vision-bridge 一族）。多 provider 并存时按 provider 分段声明即可，不存在你担心的"GUI 维度与哪个 provider 对不上"——settings 是按 provider+model 键控的。

补一条相关的实测知识：文本模型收图时，0.1.1 线的宿主会把图片替换成显式 [image omitted …] 占位（可见降级不是静默丢）；要让文本模型"看懂"图，还有伴生路由方案（#4782 有完整说明）。

你这份整理很扎实，建议把"GUI 编辑入口"作为独立 feature request 保持推进——声明面是活路不是终态。