Multimodal Routing

多模态路由

目标

主模型可能不支持视觉输入，而 Claude 请求中的图片又可能占用大量传输和上下文空间。Vision Router 将图片转换为适合编码 Agent 使用的结构化文字证据。

流程

flowchart LR
    Request[Claude 请求] --> Detect[识别 image input image_url 和 data URL]
    Detect --> Validate[校验数量 类型和字节数]
    Validate --> Models{Vision 模型配置}
    Models --> V1[模型 A]
    Models --> V2[模型 B 可选]
    V1 --> Merge[组合摘要]
    V2 --> Merge
    Merge --> Inject[注入 VISION SUMMARY]
    Inject --> Strip{是否移除原图}
    Strip -->|是| TextOnly[向主模型发送纯文本证据]
    Strip -->|否| Preserve[摘要和原图一起发送]

Loading

摘要重点

• OCR 文字和错误信息。
• UI、页面或图表结构。
• 配置项、URL、端口和模型名。
• 与用户问题相关的可执行线索。

安全限制

• maxImagesPerRequest 限制单次图片数。
• maxImageBytes 限制单张图片大小。
• Vision 请求拥有独立 timeout。
• API Key 推荐使用 apiKeyEnv，不要提交到 Git。

降级行为

Vision 未启用、密钥缺失或调用失败时，错误会进入保护事件。是否继续携带原始图片取决于配置；代理不会伪造视觉摘要。