Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Feature] 增加访问频率或者访问间隔判断。 #550

Open
Jerryzhao83 opened this issue Sep 15, 2023 · 2 comments
Open

[Feature] 增加访问频率或者访问间隔判断。 #550

Jerryzhao83 opened this issue Sep 15, 2023 · 2 comments
Assignees

Comments

@Jerryzhao83
Copy link

Jerryzhao83 commented Sep 15, 2023

描述您想要的功能
增加下载过程中访问频率和访问时间间隔的判断。

由于下载若干视频后,就开始出错提示,重新运行程序再也无法下载。重新登录更新cookie后,可以下载若干次。
初步判断,应该是douyin服务器进行访问次数和访问频率判断,超过限制后根据cookie进行了封禁,ban掉了。

因为有些列表几千个视频,获取的话是在太大了。

1、设置每次访问抖音的发出请求的频率或者时间间隔。
设置一个参数,访问一个视频请求最大间隔时间,一个最小间隔时间。
然后获取最大和最小之间的随机时间。避免douyin服务器认为是bot。

2、还要设置,单次执行的最大时间。或者单次下载最大任务数,同样是为了避免被ban。
超过最大时间或者达到最大任务数,程序自动退出。

@Jerryzhao83
Copy link
Author

我看前面好几个issue,都是跟这个被服务器ban掉有关系。

@avenger2005
Copy link

api有频率限制,我连续刷新视频列表也很快被限制了

Johnserf-Seed added a commit that referenced this issue Dec 31, 2023
…#220 #223 #230 #242 #258 #260 #295 #312 #313 #320 #322 #332 #335 #341 # #343 #346 #348 #355 #357 #360 #361 #362 #364 #367 #370 #372 #373 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #395 #396 #398 #399 #400 #401 #402 #403 #404 #405 #407 #408 #410 #412 #414 #416 #423 #424 #426 #432 #435 #438 #442 #443 #449 #450 #455 #456 #457 #459 #460 #465 #467 #470 #472 #473 #474 #475 #481 #482 #483 #488 #492 #493 #499 #502 #503 #504 #505 #507 #509 #512 #514 #524 #525 #530 #539 #540 #541 #547 #550 #554 #558 #563 #568 #569 #572 #574 #575 #576 #577 #578 #582 #583 #584 #587 #589 #590 #594 #595 #597 #598 #600 #601 #604 #605 #606 #608 #611 #617 #618 #619

[Added]
1. 新增了对直播间信息的详细获取和下载功能。
2. 添加详细直播间信息的下载支持。
3. 引入了提取评论的功能。
4. 新增支持下载 TikTok 数据,包括发布作品、喜欢作品、图集作品等。
5. 提供了自动生成 XB 参数的接口,支持真实和虚假的 msToken。
6. 引入接口数据过滤器,提高数据采集和处理效率。
7. 增加支持长短链解析的功能。
8. 新增了对合集作品的详细获取和下载功能。
9. 引入了 SSO 扫码登录和自动获取Cookie的功能,可通过 `--auto-cookie` 参数实现。

[Changed]
1. 优化了异步下载的网络并发数、超时重试设置,降低采集错误率。
2. 修改了文件检查逻辑,添加了黑名单选项,不再检查黑名单中的作品是否存在。(未来)
3. 对命令行交互进行了调整,添加了更多的配置选项,提供了更灵活的 CLI 模式。
4. 改进了版本更新机制,全新开发的 F2 现在依赖 pip 进行升级。
5. 对于多用户配置,现在可以为不同用户建立不同的配置与下载模式。

[Security]
1. 修复了可能导致信息泄露的漏洞。

[Deprecated]
1. 废弃了一些低版本接口的相关功能,建议使用更新的接口。

[Fixed]
1. 修复了一些在异步下载中可能导致的错误。
2. 修复了一些异步下载线程控制的错误。

[Removed]
1. 移除了不再支持的功能和接口。

[Documentation]
1. 更新了文档,提供了更详细的配置和使用说明。
2. 补充了开发者必读的内容,包括配置文件、调试日志级别等。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants