Repository navigation
v2.2.1
-
按平台直连:
SCRAPE_DIRECT_SOURCES代理池是全局的,所有平台挤同一条链路。从生产服务器(机房 IP)实测,Magis 和
Student Experience 直连就能拿到 200,Plaza 会被 Cloudflare 拦下。商业代理失效、只剩
自家隧道的时候,本来能直连的平台也会绕家里的 IP 走。新增的SCRAPE_DIRECT_SOURCES
列出永远直连的平台:这些平台不用代理,代理全冷却时照常抓,失败也不会让代理进冷却。
默认留空,行为不变。 -
识别 Codomo 全站维护
维护期间站点把所有页面 302 到另一个域名的占位页,跟随重定向后拿到的是 200,原来的
维护判断认不出来,只能当成「读不到总数」,把这一轮记为不完整扫描。现在只要请求
最终被带离codomo.eu,就按上游维护处理,走维护冷却,不计入抓取失败。