Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BUG][1.3.0.50版]取得的视频时间有问题,造成已下载的视频重复下载 #312

Open
esouxcon opened this issue Feb 9, 2023 · 22 comments
Assignees
Labels
故障(bug) 代码问题导致的错误(Bugs caused by code problems) 额外求助(help wanted) 非项目代码错误的求助(Extra attention is needed) 无效(invalid) 非代码故障导致错误或异常(Non-code faults causing errors or anomalies)

Comments

@esouxcon
Copy link

esouxcon commented Feb 9, 2023

描述出现的错误
最新版本取得的视频时间有问题,造成已下载的视频重复下载
似乎是只取得那一页的第一个视频的时间?

截图

桌面(请填写以下信息):
-操作系统:[windows10 64bit]
-vpn代理[关闭]
-版本[1.3.0.50]

@esouxcon esouxcon added 故障(bug) 代码问题导致的错误(Bugs caused by code problems) 额外求助(help wanted) 非项目代码错误的求助(Extra attention is needed) 无效(invalid) 非代码故障导致错误或异常(Non-code faults causing errors or anomalies) labels Feb 9, 2023
@esouxcon esouxcon changed the title [BUG] [BUG]最新版本取得的视频时间有问题,造成已下载的影片重覆下载 Feb 9, 2023
@Johnserf-Seed
Copy link
Owner

可能和用新接口有關,但我本地發佈前測試的時候並不會出現時間不對的情況,可以識別已下載的作品。可否發一下你的配置文件

@esouxcon
Copy link
Author

esouxcon commented Feb 9, 2023

我是用参数下载的
TikTokTool -u 主页UID

conf.ini我没改动

@Johnserf-Seed
Copy link
Owner

我是用参数下载的
TikTokTool -u 主页UID

conf.ini我没改动

​发布时间都是从接口的[​'aweme_detail'​][​'create_time'​]中获取的,如果有出入那也只能是接口返回的问题了

@Johnserf-Seed
Copy link
Owner

这块我没有做修改

@esouxcon esouxcon changed the title [BUG]最新版本取得的视频时间有问题,造成已下载的影片重覆下载 [BUG]最新版本取得的视频时间有问题,造成已下载的视频重覆下载 Feb 10, 2023
@esouxcon
Copy link
Author

看看有没有人遇到相同情形吧
感谢大佬回覆

@6986552
Copy link

6986552 commented Feb 10, 2023

我也遇到了重复下载的情况,视频命名的日期和实际日期不同。

@6986552
Copy link

6986552 commented Feb 10, 2023

我也遇到了重复下载的情况,视频命名的日期和实际日期不同。

并且会重复获取某一页的数据,然后一直循环下载。

@esouxcon esouxcon changed the title [BUG]最新版本取得的视频时间有问题,造成已下载的视频重覆下载 [BUG][1.3.0.50版]取得的视频时间有问题,造成已下载的视频重覆下载 Feb 10, 2023
@esouxcon esouxcon changed the title [BUG][1.3.0.50版]取得的视频时间有问题,造成已下载的视频重覆下载 [BUG][1.3.0.50版]取得的视频时间有问题,造成已下载的视频重复下载 Feb 10, 2023
@Jungerr
Copy link

Jungerr commented Feb 10, 2023

昨天遇到过,400个视频中出现了一例

@Johnserf-Seed
Copy link
Owner

我也遇到了重复下载的情况,视频命名的日期和实际日期不同。

并且会重复获取某一页的数据,然后一直循环下载。

ec6634f
这个在最新的提交中已经修复了

@chenkongming
Copy link

貌似接口又寄了

@Johnserf-Seed
Copy link
Owner

貌似接口又寄了

才过20小时已经跑了90万的调用了🤒

@chenkongming
Copy link

我一直关注git的更新,还没来得及成为这90w的一份子呢🤒

@chenkongming
Copy link

douyin.wtf这个伙伴搞的接口一直可以使用的,为啥

@Johnserf-Seed
Copy link
Owner

douyin.wtf这个伙伴搞的接口一直可以使用的,为啥

他的也经常崩,修复的快 他是主机跑的 我的是api网关

@chenkongming
Copy link

douyin.wtf这个伙伴搞的接口一直可以使用的,为啥

他的也经常崩,修复的快 他是主机跑的 我的是api网关

原来如此,我也部署一下它的代码看看先

@esouxcon
Copy link
Author

esouxcon commented Feb 10, 2023

才过20小时已经跑了90万的调用了🤒

一个视频算一次?
这样的话 或许比对方式需要改一下?

有一个想法 大佬看看可不可行
在post\主页名\主页名.txt 底下
记录最后的视频ID(19位数字那个)

之后下载 先抓取记录的视频ID
然后第4个视频開始(因为置顶视频可以放3个)
只要数字等于最新ID,即停止
再覆写最新的视频ID于post\主页名\主页名.txt

增量下载 哈~

@Johnserf-Seed
Copy link
Owner

才过20小时已经跑了90万的调用了🤒

一个视频算一次?
这样的话 或许比对方式需要改一下?

有一个想法 大佬看看可不可行
在post\主页ID\主页ID.txt 底下
记录最后的视频ID(19位数字那个)

之后下载 先抓取记录的视频ID
然后第4个视频開始(因为置顶视频可以放3个)
只要数字等于最新ID,即停止
再覆写最新的视频ID于post\主页ID\主页ID.txt

增量下载 哈~

我后面就更新数据库了,本地存放所有下载视频的id 有就跳过 不然服务真的很容易崩

@esouxcon
Copy link
Author

用最新版的测了两次 还是会有这种情况

@Johnserf-Seed
Copy link
Owner

用最新版的测了两次 还是会有这种情况

image
真的很奇怪,我这个项目这么久了本地从来没出现过时间撞车的,我现在用了你的这个用户链接测 也没有出现时间错误的情况

@esouxcon
Copy link
Author

等大佬推出数据库版本吧

@whitebeard916
Copy link

我的也是用最新版TikTokTool下载,没有出现重复下载同一视频的问题,但是只会下载部分视频,会空过(or下载失败)很多视频。最后就是下载的不全,漏掉了很多视频,但中间没有报错,只是会中间留下空白。并且图集可以成功下载,问题出在视频。
image

@Johnserf-Seed
Copy link
Owner

我的也是用最新版TikTokTool下载,没有出现重复下载同一视频的问题,但是只会下载部分视频,会空过(or下载失败)很多视频。最后就是下载的不全,漏掉了很多视频,但中间没有报错,只是会中间留下空白。并且图集可以成功下载,问题出在视频。 image

这个情况是因为抖音又把接口里的aweme_type改了 你们可以自行先修改,新版我要数据库版本一块发布

Johnserf-Seed added a commit that referenced this issue Aug 4, 2023
…#287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485

1、全面升级aiohttp作为异步网络请求,asyncio为密集型IO
2、将导入的库做一个分类排序
3、新增昵称映射、登录、版本自定义模块
4、删除图集模块(现统一由Profile模块处理)
5、优化初始化控制台输出信息,由rich美化
6、偷懒欠了一屁股issues🥴
#155 #191 #202 #203 #206 #220 #226 #227 #243 #267 #287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485
Johnserf-Seed added a commit that referenced this issue Aug 4, 2023
…294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485

1、重构所有逻辑改使用异步,便于个人开发调用
2、create_user_folder函数用于创建作品保存目录并返回路径
3、re_match匹配用户的唯一标识
4、get_request_data返回接口的数据
5、get_all_sec_user_id返回用户的唯一标识
6、get_diff_type_url根据传入配置文件中的mode和用户sec_user_id,生成不同作品类型的接口链接
7、get_user_base_info获取用户im基本数据
8、get_user_profile_info获取用户完整信息
9、get_user_post_info获取用户的作品信息
10、get_Profile 相当于main
#155 #191 #202 #203 #206 #220 #226 #227 #243 #267 #287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485
Johnserf-Seed added a commit that referenced this issue Aug 4, 2023
 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485

1、引入了 "update" 参数来决定是否每次进行版本更新
2、自定义URL常量,方便修改
3、使用 os.path.join() 代替手动拼接路径,以提高跨平台兼容性
4、提取了进度条显示功能,简化了 zip_Download 方法
5、优化了对用户输入的处理,改用循环重新询问,直到用户输入有效值为止
6、使用 shutil.move() 和 shutil.rmtree() 代替 os.rename() 和 os.removedirs(),以解决部分情况下无法移动或删除文件的问题
#155 #191 #202 #203 #206 #220 #226 #227 #243 #267 #287 #294 #312 #320 #332 #335 #341 #343 #346 #355 #357 #360 #361 #362 #364 #365 #367 #370 #372 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #397 #398 #399 #401 #402 #403 #404 #406 #407 #408 #410 #414 #416 #419 #420 #422 #423 #426 #431 #432 #433 #434 #435 #436 #437 #446 #448 #449 #450 #451 #452 #454 #455 #456 #567 #460 #466 #469 #470 #471 #472 #475 #476 #477 #480 #481 #483 #484 #485
Johnserf-Seed added a commit that referenced this issue Dec 31, 2023
…#220 #223 #230 #242 #258 #260 #295 #312 #313 #320 #322 #332 #335 #341 # #343 #346 #348 #355 #357 #360 #361 #362 #364 #367 #370 #372 #373 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #395 #396 #398 #399 #400 #401 #402 #403 #404 #405 #407 #408 #410 #412 #414 #416 #423 #424 #426 #432 #435 #438 #442 #443 #449 #450 #455 #456 #457 #459 #460 #465 #467 #470 #472 #473 #474 #475 #481 #482 #483 #488 #492 #493 #499 #502 #503 #504 #505 #507 #509 #512 #514 #524 #525 #530 #539 #540 #541 #547 #550 #554 #558 #563 #568 #569 #572 #574 #575 #576 #577 #578 #582 #583 #584 #587 #589 #590 #594 #595 #597 #598 #600 #601 #604 #605 #606 #608 #611 #617 #618 #619

[Added]
1. 新增了对直播间信息的详细获取和下载功能。
2. 添加详细直播间信息的下载支持。
3. 引入了提取评论的功能。
4. 新增支持下载 TikTok 数据,包括发布作品、喜欢作品、图集作品等。
5. 提供了自动生成 XB 参数的接口,支持真实和虚假的 msToken。
6. 引入接口数据过滤器,提高数据采集和处理效率。
7. 增加支持长短链解析的功能。
8. 新增了对合集作品的详细获取和下载功能。
9. 引入了 SSO 扫码登录和自动获取Cookie的功能,可通过 `--auto-cookie` 参数实现。

[Changed]
1. 优化了异步下载的网络并发数、超时重试设置,降低采集错误率。
2. 修改了文件检查逻辑,添加了黑名单选项,不再检查黑名单中的作品是否存在。(未来)
3. 对命令行交互进行了调整,添加了更多的配置选项,提供了更灵活的 CLI 模式。
4. 改进了版本更新机制,全新开发的 F2 现在依赖 pip 进行升级。
5. 对于多用户配置,现在可以为不同用户建立不同的配置与下载模式。

[Security]
1. 修复了可能导致信息泄露的漏洞。

[Deprecated]
1. 废弃了一些低版本接口的相关功能,建议使用更新的接口。

[Fixed]
1. 修复了一些在异步下载中可能导致的错误。
2. 修复了一些异步下载线程控制的错误。

[Removed]
1. 移除了不再支持的功能和接口。

[Documentation]
1. 更新了文档,提供了更详细的配置和使用说明。
2. 补充了开发者必读的内容,包括配置文件、调试日志级别等。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
故障(bug) 代码问题导致的错误(Bugs caused by code problems) 额外求助(help wanted) 非项目代码错误的求助(Extra attention is needed) 无效(invalid) 非代码故障导致错误或异常(Non-code faults causing errors or anomalies)
Projects
None yet
Development

No branches or pull requests

6 participants