Skip to content
This repository has been archived by the owner on Mar 10, 2024. It is now read-only.

请求数量太大,会导致命中微博的IP限制,返回 414 错误码 #2

Closed
meterscao opened this issue Nov 21, 2022 · 6 comments
Labels
bug Something isn't working

Comments

@meterscao
Copy link
Owner

考虑降低请求的频率,避免发生 414 错误

@meterscao meterscao added the bug Something isn't working label Nov 21, 2022
@meterscao
Copy link
Owner Author

meterscao commented Nov 22, 2022

@meterscao
Copy link
Owner Author

在公司 IP 下进行拉取无论如何都无法命中 IP 限制,只能今晚回去再看看

@shincling
Copy link

感谢作者。这个问题我也遇到了,2W多条,保存到大概7K左右因为微博的限制停掉了。看到作者在关注这个问题了,期待。

我提一个小的Feature,能否自选一下保存的范围? 比如只保存某个时间节点的。这样的好处是:

  • 触发限流了导致中断,可以过后一段时间从断点处继续
  • 对于微博较多的话痨(比如俺),可以较好地规避最后的PDF过大的问题

印象中微博的个人主页本身有个具体到月的Button,后台应该有可以过滤时间的API,感觉应该可以从这里入手。

请作者参考~~
再次感谢。

@meterscao
Copy link
Owner Author

image

我看到了,确实有这么个月历,不知道能不能用起来,试试看先。

@meterscao
Copy link
Owner Author

@shincling 2.0 版本已经支持 https://speechless.fun

@shincling
Copy link

@shincling 2.0 版本已经支持 https://speechless.fun

感谢作者!这么久了,还有后续的feature支持,respect !

Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

2 participants