web-fetch-http: add a config toggle to allow non-public DNS answers (fake-ip proxy compatibility)

[majoson-chen]

Summary

web_fetch fails with WEB_BLOCKED_URL ("URL hostname ... resolves to a non-public IP address") whenever the local network resolves hostnames through a proxy client running in fake-ip DNS mode (e.g. Clash/sing-box TUN). Fake-ip answers return addresses from reserved benchmark ranges (198.18.0.0/15), which isPublicIpAddress() in @deepseek-ai/dsh-web-fetch-http rejects. The check is hard-coded and there is currently no way to opt out.

Reproduction

1. Run a TUN-mode proxy client with fake-ip DNS (very common setup in some regions).
2. Ask the agent to fetch any URL, e.g. web_fetch https://github.com/....

Result:

Error: URL hostname "github.com" resolves to a non-public IP address
    at bindingFailure (...) WEB_BLOCKED_URL

dns.lookup("github.com") under fake-ip returns e.g. 198.18.0.11 -> ipaddr.range() !== "unicast" -> whole answer set rejected. The traffic itself works fine (the proxy client transparently forwards it), so this is a false positive of the SSRF guard, not an actual network failure.

Why a config toggle is a reasonable ask

• The guard exists to prevent SSRF (agent fetching internal services). That threat model is deployment-dependent: for single-user local desktop deployments behind a personal proxy, every destination is effectively "outside" already, and the same user controls the whole machine.
• Real-world networks are heterogeneous; a hard-coded "all answers must be public unicast" rule cannot express the fake-ip topology, which is widespread.
• Today the only workarounds are: switching the proxy client to real-ip/redir-host DNS mode (not always desirable - fake-ip exists for good reasons), or patching the installed package in place (lost on every update).

Proposal

Add an opt-in config field to web-fetch-http (off by default, so the secure default is preserved), e.g.:

• allowNonPublicAddresses?: boolean - or, more surgically:
• allowedPrivateCidrs?: string[] (e.g. ["198.18.0.0/15"]) so proxy users can allow exactly the benchmark range while still blocking LAN/loopback/link-local.

allowedPrivateCidrs is the better fit: it keeps the default fully locked down, gives fake-ip users a one-line fix, and still refuses loopback/link-private LAN by default. The check would apply in resolvePublicAddresses() (and the same-origin redirect re-validation) before the pin step.

Happy to test a preview build on my setup.

[rsp4jack]

Setting http_proxy/https_proxy/all_proxy bypasses the check.

[PerryLink]

楼上的绕过办法成立，但有一个例外 —— 两者都由源码和测试钉死。

1. 主机名：走代理时不做公网地址校验。packages/web/web-fetch-http/src/provider.ts:123-125 注释原话：「A proxied hop skips public-address resolution and pinning: the proxy performs the origin's resolution」；tests/proxy.spec.ts:75-86 专门断言走代理时校验解析器根本不被调用。
2. 例外：IP 字面量即使走代理也照样拒绝 —— proxy.spec.ts:112-127 里 10.0.0.5 / 169.254.169.254 / 127.0.0.2 全部 WEB_BLOCKED_URL。这是刻意的：本机代理能把请求送进内网服务，所以字面量必须拦（network.ts:161-174）。
3. 目前没有任何公开开关能放行非公网解析 —— 所以这条 Ideas 仍然成立：fake-ip DNS 模式下需要一个 opt-in。

（基于 0.1.5-rc.2 源码与测试核对。）

[tomcatzh]

补充一个已验证的窄网段方案，以及建议的配置入口。

我的环境是 dsh 0.1.5-rc.1、macOS / Node.js 24，透明代理使用 Fake-IP。实际配置为 198.18.0.1/16，规范化后是 198.18.0.0/16，不是整个 198.18.0.0/15。系统解析 github.com 得到 198.18.0.38，原版 web_fetch 报：

Error: URL hostname "github.com" resolves to a non-public IP address

在本地版本化的 provider override 中，仅对这个 /16 添加例外后，DSH 内实际执行 web_fetch https://github.com 返回 HTTP 200；相邻的 198.19.0.0/16、未授权的内网/回环/链路本地地址仍然拒绝。因此希望将例外变成可维护的用户配置，避免升级后反复改代码。

建议的配置方法（新增字段提案，不是原版目前支持的配置）

在 web-fetch-http 增加 allowedNonPublicCidrs: string[]，默认 []，通过现有 cordis.patch.yml 配置：

- id: web-fetch-http
  config:
    allowedNonPublicCidrs:
      - 198.18.0.0/16

Web UI 可复用现有「设置 → 插件 → 可配置插件」，加入一个简洁的「网页抓取网络」卡片，只提供网段添加、删除、校验和保存。设置层覆盖 profile base；删除全部网段并保存应显式保存 []，恢复默认地址策略，而不是退回 base 中的放行配置。

建议的行为约定：

• CIDR 做严格校验、规范化 host bits 和去重；显示/保存 198.18.0.0/16，不自动扩大到 /15。无效配置在服务端拒绝，保留上一次有效值。
• 只额外允许操作员明确填写的范围；无需提供全局关闭地址检查的开关。可拒绝 /0，避免把列表配置误用为全网放行。
• 新配置从下一次 fetch 生效，无需重启。一次 fetch（包括同源重定向）使用开始时的配置快照，避免半途中策略改变；不同实例不共享可变策略。
• 直接请求的完整 DNS 结果集必须全部满足「原有公网规则或显式 CIDR 例外」。包含其他被禁止地址的混合结果仍然拒绝；保留连接 pinning。
• IP 字面量和 IPv4-mapped IPv6 使用同一目的地址策略。NAT64 的目标 IPv4 检查仍保留，不能仅因其 IPv6 外层地址被允许就静默绕过。
• 保留 URL scheme / embedded credentials 检查、跨源重定向限制、超时和响应大小上限。
• UI 保存复用现有 Settings API 的权限和 revision 冲突检查，不覆盖其他窗口的更新。

这项提案针对 Fake-IP 透明代理下的直接解析路径；显式 HTTP 代理代为解析域名的现有语义是另一项边界，不应把本提案描述成对该路径重新增加了本地 DNS 校验。

本地设置卡已在测试实例完成浏览器验收：添加/删除、错误提示、规范化与去重、保存空列表、恢复原网段和刷新保留均通过。保存空列表后实际 web_fetch 被拦截，恢复 /16 后无需重启即再次返回 HTTP 200。

本地测试覆盖：精确网段边界、默认空列表、移除后下一次 fetch 恢复拒绝、IPv6/mapped 地址、混合 DNS 结果、NAT64、配置校验/陈旧 revision、重定向快照、并发实例隔离，以及原有 URL/超时/大小限制。

源码核对：截至 c291e796 的 Config 仍只有抓取上限和 User-Agent 配置；地址策略位于 network.ts。相关提议还有 #4893。按仓库贡献指南在此补充实现思路和测试结果，不提交 PR。

[Howard20181]

Clash 代理配置里可以应用如下 fake ip 范围

dns:
...
  fake-ip-range: 28.0.0.1/8
  fake-ip-range6: 3ffe::/16
...