触发AWS WAF Challenge

[wangduo404-eng]

项目放到腾讯云服务器上 一个新闻源触发了AWS WAF Challenge 反爬，在本地电脑上 docker 部署就没有这个问题。有什么好的办法解决AWS WAF Challenge 么？

[KKKKhazix]

这是对方网站开的 AWS WAF 挑战：要先在浏览器里跑一段脚本验证才放行。AIHOT 抓网页不执行脚本（信源文档里有写），也不去绕开网站的防护；云服务器的 IP 段比家里的宽带更常被要求验证，所以本机 Docker 正常，上了腾讯云就被拦下。

可以这样处理：

1. 看这个信源有没有 RSS 或官方的 JSON 接口，有的话在后台“信源”页新建一个，先“试抓”确认能抓到，再暂停原来那个；
2. 没有的话就把它暂停，免得每次抓取都失败。

方便说一下是哪个信源吗？如果是仓库自带的示范信源，我把它换成服务器上也能稳定抓到的地址。

[KKKKhazix]

谢谢告诉我。https://www.biospace.com/rss-feeds 是 BioSpace 列出各个订阅的网页，本身不是订阅；真正的订阅地址在这个页面里，比如全部新闻是 https://www.biospace.com/all-news.rss ，也有按栏目分的（FDA.rss、deals.rss、business.rss 等）。

建议在后台“信源”页用 RSS 类型新建一个，地址填 all-news.rss（或你关心的栏目），在服务器上先“试抓”：

• 能抓到条目，就暂停原来那个信源；
• 如果订阅地址在腾讯云上也被 WAF 挑战拦下，那就是对方针对云服务器 IP 的策略，AIHOT 不会去绕开它，只能暂停这个信源，或换一个转载 BioSpace 新闻的来源。

[wangduo404-eng]

https://www.biospace.com/rss-feeds 这个信源是公开 rss Khazix ***@***.***> 于2026年10月17日周六 18:15写道：

…

这是对方网站开的 AWS WAF 挑战：要先在浏览器里跑一段脚本验证才放行。AIHOT 抓网页不执行脚本（信源文档 <https://github.com/KKKKhazix/AIHOT/blob/main/docs/sources.md>里有写），也不去绕开网站的防护；云服务器的 IP 段比家里的宽带更常被要求验证，所以本机 Docker 正常，上了腾讯云就被拦下。 可以这样处理： 1. 看这个信源有没有 RSS 或官方的 JSON 接口，有的话在后台“信源”页新建一个，先“试抓”确认能抓到，再暂停原来那个； 2. 没有的话就把它暂停，免得每次抓取都失败。 方便说一下是哪个信源吗？如果是仓库自带的示范信源，我把它换成服务器上也能稳定抓到的地址。 — Reply to this email directly, view it on GitHub <#212?email_source=notifications&email_token=BYBEKIZVMETX54ASWBXJ75D5UNBEFA5CNFSNUABIM5UWIORPF5TWS5BNNB2WEL2ENFZWG5LTONUW63SDN5WW2ZLOOQXTCOBZHE2TMNZZUZZGKYLTN5XKMYLVORUG64VFMV3GK3TUVRTG633UMVZF6Y3MNFRWW#discussioncomment-18995679>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BYBEKI6UZTUBEPRVB3SLGGL5UNBEFAVCNFSNUABJKJSXA33TNF2G64TZHMYTGOJTHE3DKOBSHE5UI2LTMN2XG43JN5XDWMJRGAZTSMBYG6QXMAQ> . You are receiving this because you authored the thread.Message ID: ***@***.***>

[wangduo404-eng]

谢谢反馈，暂时搬回本地 Docker 部署了。 Khazix ***@***.***> 于2026年10月19日周一 03:16写道：

…

谢谢告诉我。https://www.biospace.com/rss-feeds 是 BioSpace 列出各个订阅的网页，本身不是订阅；真正的订阅地址在这个页面里，比如全部新闻是 https://www.biospace.com/all-news.rss ，也有按栏目分的（FDA.rss、deals.rss、 business.rss 等）。 建议在后台“信源”页用 RSS 类型新建一个，地址填 all-news.rss（或你关心的栏目），在服务器上先“试抓”： - 能抓到条目，就暂停原来那个信源； - 如果订阅地址在腾讯云上也被 WAF 挑战拦下，那就是对方针对云服务器 IP 的策略，AIHOT 不会去绕开它，只能暂停这个信源，或换一个转载 BioSpace 新闻的来源。 — Reply to this email directly, view it on GitHub <#212?email_source=notifications&email_token=BYBEKI6NN2JGBF7XOIZSPSD5UUJKJA5CNFSNUABIM5UWIORPF5TWS5BNNB2WEL2ENFZWG5LTONUW63SDN5WW2ZLOOQXTCOJQGIZDIOBUUZZGKYLTN5XKMYLVORUG64VFMV3GK3TUVRTG633UMVZF6Y3MNFRWW#discussioncomment-19022484>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BYBEKIY3UJ7VFTJ73HRNDQ35UUJKJAVCNFSNUABJKJSXA33TNF2G64TZHMYTGOJTHE3DKOBSHE5UI2LTMN2XG43JN5XDWMJRGAZTSMBYG6QXMAQ> . You are receiving this because you authored the thread.Message ID: ***@***.***>