配置deepseek-flash后仍然无法使用多模态能力

[Ericple]

在模型自己使用工具读取图片时，出现如下问题：
Error: cannot read "/tmp/s1.jpeg" as an image: model "deepseek-flash" does not declare image input; switch to an image-capable model to read images

如何解决？

[PerryLink]

这条报错是路由能力声明的判定，不是模型本身调用失败 —— 所以「配置了 deepseek-flash」和「能不能读图」是两个开关，得分开看。

报错从哪来

packages/fs/tool-fs/src/read-image.ts:119-131：read_image 会解析当前会话的活动路由，要求该路由的 inputModalities 显式包含 image：

const routed = exec.agent?.session.requestHeader()?.config
const provider = routed?.provider ?? exec.agent?.options.provider
const model = routed?.model ?? exec.agent?.options.model
const active = await llm.resolveModelInfo(provider, model, exec.signal)
if (active.inputModalities === undefined || !active.inputModalities.includes('image')) {
  throw new Error(`cannot read "${requestedPath}" as an image: model "${model}" does not declare image input; …`)
}

对 deepseek-official 这条路由，inputModalities 来自适配器的目录条目（packages/llm/llm-deepseek/src/adapter.ts:400-414）：

const configured = connection.models.find(entry => entry.id === model)
...
...configured === undefined
  ? { provider, id: model, name: model, inputModalities: ['text'] }   // 未登记的 model id 一律当纯文本
  : modelInfo(provider, configured),

注意最后那个分支的注释：目录里没登记的 model id 会被刻意当成纯文本，因为声明一个未经验证的图片能力，会让宿主把后续每一轮都可能被端点拒绝的输入持久化下来。

关键点：出厂目录里 deepseek-flash 本来就是带 image 的

packages/llm/llm-deepseek/src/index.ts:92-101：

const DEFAULT_MODELS: DeepSeekCatalogModel[] = [
  {
    id: 'deepseek-flash',
    name: 'DeepSeek-V41-Flash',
    contextWindow: DEFAULT_CONTEXT_WINDOW,
    inputModalities: ['text', 'image'],    // ← 出厂就是多模态
    imagePixelBudget: DEFAULT_REQUEST_IMAGE_PIXEL_BUDGET,
    imageMaxBytes: DEFAULT_REQUEST_IMAGE_MAX_BYTES,
    systemPromptUpdate: 'in-history',
  },
  ...
  { id: 'deepseek-v4-flash-vision-exp', name: 'DeepSeek-V4-Flash-Vision-Exp', …,
    inputModalities: ['text', 'image'] },   // ← 另一个显式的视觉条目
]

所以如果你走的是出厂目录，这条报错不该出现。它出现，说明你这个 deepseek-flash 的有效条目不是出厂那一份。两条路径：

路径 A：settings 里的 models: 覆盖了出厂数组

models 是可整体替换的（index.ts:194：models: z.array(catalogModel).default(DEFAULT_MODELS)），而单模型 schema 把 inputModalities 默认成 ['text']（index.ts:181）：

inputModalities: z.array(z.union(MODEL_MODALITIES)).min(1).default(['text']),

⇒ 只要你的 settings.yaml 里有一份 llm-deepseek.models，而其中 deepseek-flash 那条没写 inputModalities，它就会被解析成纯文本，报错与你的完全一致。一个字段的省略，就足以让出厂的多模态声明失效。

修法（任选）：

1. 给该条目补上 inputModalities: [text, image]（以及配对的 imagePixelBudget / imageMaxBytes，否则 index.ts:258-260 会因为「纯文本模型声明了图片限额」或反之而报错）；
2. 或者删掉整个 models: 覆盖，回到出厂目录。

路径 B：这个会话其实路由在第三方 provider 上

报错只打印 model、不打印 provider。如果你给 llm-pi-ai 之类配了一条同名 deepseek-flash，能力取自上游目录（llm-pi-ai/src/adapter.ts:284：inputModalities: [...model.input]）——上游若没声明 vision，结果一样。这时要么在路由配置里显式声明，要么换到官方路由。

一步自查

打开模型选择器看这个 deepseek-flash 挂在哪个 provider 分组下；再确认 settings.yaml 里有没有 llm-deepseek: 块。两者一比就知道是 A 还是 B。

顺带一个真实缺口

设置界面的「模型」编辑器没有任何可编辑的模态字段 —— inputModalities 在 packages/client/* 下零命中。界面能保住出厂四条条目的模态（保存时原样回写），但你手工新增的模型无法声明图片能力，只能落到 schema 默认的 ['text']。如果你希望第三方/自定义模型也能声明视觉，这值得单开一条 Ideas。

（本次核对基于 0.1.5-rc.2 的源码与出厂目录。）

[Ericple]

已解决
自定义模型后默认没有多模态能力，我认为应该在UI界面中提供多模态声明途径，若每声明一个模型都需要前往yaml文件中修改对应能力，未免太麻烦了。

[PerryLink]

你这条建议和你在 #6422 发的 Ideas 是同一件事 —— 我已在那边回复：inputModalities 在设置 UI 里没有任何可编辑入口（packages/client/* 零命中），这是已实测的真实缺口。两条可以合并给官方跟进。