Skip to content

v2.2.1

Choose a tag to compare

@github-actions github-actions released this 16 Nov 22:19
· 4 commits to master since this release
  • 按平台直连:SCRAPE_DIRECT_SOURCES

    代理池是全局的,所有平台挤同一条链路。从生产服务器(机房 IP)实测,Magis 和
    Student Experience 直连就能拿到 200,Plaza 会被 Cloudflare 拦下。商业代理失效、只剩
    自家隧道的时候,本来能直连的平台也会绕家里的 IP 走。新增的 SCRAPE_DIRECT_SOURCES
    列出永远直连的平台:这些平台不用代理,代理全冷却时照常抓,失败也不会让代理进冷却。
    默认留空,行为不变。

  • 识别 Codomo 全站维护

    维护期间站点把所有页面 302 到另一个域名的占位页,跟随重定向后拿到的是 200,原来的
    维护判断认不出来,只能当成「读不到总数」,把这一轮记为不完整扫描。现在只要请求
    最终被带离 codomo.eu,就按上游维护处理,走维护冷却,不计入抓取失败。