关于多模态模型放进dsh壳子无法视图

[Allen-David]

用的是字节的模型 不管ark-code-latest用auto 还是确定的doubao 多模态模型 glm5.3等都无法识别图片

[Allen-David]

补充一张我用hermes相同模型的结果

[vincent-guo]

需要在配置的时候声明大模型支持图片识别 [text, image]，具体配置请查看下这里 dsh-llm-pi-ai

[Allen-David]

已经解决 多谢 大家遇到相同问题可以参考

[weijiafu14]

楼主这个场景现在可以有两条路：如果渠道本身确实支持图片，按上面的官方说明给模型声明 input: [text, image]；如果希望不依赖主模型/渠道是否接收图片，也可以给原来的 DSH 文本路由加一条伴生视觉路由。

Pi 生态里的 @kassing/pi-vision 已经可以通过 pi2dsh 原包运行在 DeepSeek Harness：

dsh plugin --profile web add pi2dsh@0.11.0
dsh plugin --profile web add @kassing/pi-vision

export VISION_BRIDGE_BASE_URL=https://openrouter.ai/api/v1
export VISION_BRIDGE_MODEL=qwen/qwen2.5-vl-72b-instruct
export VISION_BRIDGE_API_KEY=your-openrouter-key

重启 Web 后，模型选择器里会在原 DSH 路由旁出现对应的 <route>-vision 伴生路由。贴图时由配置的视觉模型先分析图片，再把结果作为可追踪的上下文注入原来的 DSH 模型；主模型和 API Key 仍走你原先配置的 DSH route。

这条链路已经在真实 DSH Web 对话里做过贴图闭环验证：图片进入伴生路由、视觉结果完成注入、原文本模型在零图片输入下正确回答颜色。仓库里有可复现示例和截图：Vision Bridge example。