Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

异常,本地网络请求异常 #492

Open
navyNIE opened this issue Aug 5, 2023 · 22 comments
Open

异常,本地网络请求异常 #492

navyNIE opened this issue Aug 5, 2023 · 22 comments

Comments

@navyNIE
Copy link

navyNIE commented Aug 5, 2023

按照配置的说明进行安装和配置,但运行后显示错误。
是Log.py报的错,不知道怎么解决

[ 🚩 ]:目前 14000 版本已是最新
[ 提示 ]:异常,本地网络请求异常。 异常: 0, message='Attempt to decode JSON
with unexpected mimetype: text/plain; charset=utf-8',
url=URL('https://www.douyin.com/aweme/v1/web/user/profile/other/?device_platfor
m=webapp&aid=6383&sec_user_id=MS4wLjABAAAAB7geBosrrW1XPPqgd88hbbKF8fymijEvW5wTs
q4qIK6mDkbb5Ycvl8_fxDrHCawy&cookie_enabled=true&platform=PC&downlink=10&X-Bogus
=DFSzswVurS0ANxXhtHOBEF9WX7nK')
[2023-08-05 21:34:37,653] - Log.py] - ERROR: [ 提示 ]:异常,本地网络请求异常。 异常: 0, message='Attempt to decode JSON with unexpected mimetype: text/plain; charset=utf-8', url=URL('https://www.douyin.com/aweme/v1/web/user/profile/other/?device_platform=webapp&aid=6383&sec_user_id=MS4wLjABAAAAB7geBosrrW1XPPqgd88hbbKF8fymijEvW5wTsq4qIK6mDkbb5Ycvl8_fxDrHCawy&cookie_enabled=true&platform=PC&downlink=10&X-Bogus=DFSzswVurS0ANxXhtHOBEF9WX7nK')

@Johnserf-Seed
Copy link
Owner

重新运行还会出现这个问题吗,因为我本地测试了这个主页可以正常下载

@navyNIE
Copy link
Author

navyNIE commented Aug 5, 2023

是的,我反复运行了一直有这个错误

@Johnserf-Seed
Copy link
Owner

image
我这边请求没问题,你可以检查一下你本地的网络环境问题

@Johnserf-Seed
Copy link
Owner

如果可以的话,调试一下Util\Profile.pyget_user_profile_info函数,看看输出的data = await response.json()的信息是否为json

@navyNIE
Copy link
Author

navyNIE commented Aug 5, 2023

还有一个问题,我最开始在Util下安装node依赖时报错了
PS E:\Crawler\TikTokDownload-main-2023-08-05\Util> npm i
npm ERR! code ENOENT
npm ERR! syscall open
npm ERR! path E:\Crawler\TikTokDownload-main-2023-08-05\Util/package.json
npm ERR! errno -4058
npm ERR! enoent ENOENT: no such file or directory, open 'E:\Crawler\TikTokDownload-main-2023-08-05\Util\package.json'
npm ERR! enoent This is related to npm not being able to find a file.
npm ERR! enoent

npm ERR! A complete log of this run can be found in: C:\Users\pc\AppData\Local\npm-cache_logs\2023-08-05T14_42_11_169Z-debug-0.log
PS E:\Crawler\TikTokDownload-main-2023-08-05\Util>

@navyNIE
Copy link
Author

navyNIE commented Aug 5, 2023

我看package.json文件是在algorithm里,不在Util目录下

@Johnserf-Seed
Copy link
Owner

是的,在 9f114e6 提交中把算法文件迁移了

@navyNIE
Copy link
Author

navyNIE commented Aug 5, 2023

那我应该跳到algorithm下去安装依赖吗?

@Johnserf-Seed
Copy link
Owner

那我应该跳到algorithm下去安装依赖吗?

把node_modules文件夹移动进去就可以了

@navyNIE
Copy link
Author

navyNIE commented Aug 5, 2023

移动到algorithm目录下吗?

@Johnserf-Seed
Copy link
Owner

移动到algorithm目录下吗?

@navyNIE
Copy link
Author

navyNIE commented Aug 5, 2023

可否修改一下,让某个up主的视频存在一个文件夹下,而不是每个视频单独保存在一个文件夹下面。

@Johnserf-Seed
Copy link
Owner

可否修改一下,让某个up主的视频存在一个文件夹下,而不是每个视频单独保存在一个文件夹下面。

可以,我会加入配置选项自行选择

@muskcookie
Copy link

#489
截屏2023-08-06 01 49 04

@muskcookie
Copy link

没办法下载呀进度都是

@muskcookie
Copy link

0

@Johnserf-Seed
Copy link
Owner

#489 截屏2023-08-06 01 49 04

任务队列太长了还没下载到,如果长时间都是0的状态的话在异步加一下阻塞即可

@Mak0760
Copy link

Mak0760 commented Aug 6, 2023

await

try: async with Util.aiohttp.ClientSession() as session: async with session.get(url=domain + params[0], headers=headers, data=request_data, proxy=None, timeout=10) as response: if response.status == 200: data = await response.json() info_status_code = data.get("status_code", None) # 确保接口返回数据正常 """ info_status_code == 0 说明接口返回正常 info_status_code == 5 说明接口参数异常 info_status_code == 8 说明用户未登录 """ if info_status_code == 0: data = data.get("data", {}) else: raise RuntimeError(f"接口返回异常: {info_status_code}") except Util.aiohttp.ClientError as e: raise RuntimeError(f"请求异常: {str(e)}")

请问这样是正常吗

@LIUXINGSD
Copy link

如果可以的话,调试一下的函数,看看输出的信息是否为jsonUtil\Profile.py``get_user_profile_info``data = await response.json()

是的,代码没错,但是还是报错
1691491691996

@LIUXINGSD
Copy link

如果可以的话,调试一下的函数,看看输出的信息是否为json Util\Profile.pyget_user_profile_infodata = await response.json()

是的,代码没错,但是还是报错 1691491691996

发现问题了,配置文件里输入手机短链接就会报错,输入web长链接就没有问题,但是我只想下载一个作品,我在配置文件里面输入单个作品的长连接,还是会抓取主页所有作品

@LIUXINGSD
Copy link

如果可以的话,调试一下的函数,看看输出的信息是否为jsonget_user_profile_infoUtil\Profile.py``data = await response.json()

是的,代码没错,但是还是报错1691491691996

发现问题了,配置文件里输入手机短链接就会报错,输入web长链接就没有问题,但是我只想下载一个作品,我在配置文件里面输入单个作品的长连接,还是会抓取主页所有作品

而且图片和视频也不会分开了

@Johnserf-Seed
Copy link
Owner

是的,现在不会分开了

如果可以的话,调试一下的函数,看看输出的信息是否为jsonget_user_profile_info Util\Profile.pydata = await response.json() ``

是的,代码没错,但是还是报错1691491691996

发现问题了,配置文件里输入手机短链接就会报错,输入web长链接就没有问题,但是我只想下载一个作品,我在配置文件里面输入单个作品的长连接,还是会抓取主页所有作品

而且图片和视频也不会分开了

是的这个版本不会特地分开了。只支持主页的长短链,单个作品用TikTokWeb下载

Johnserf-Seed added a commit that referenced this issue Dec 31, 2023
…#220 #223 #230 #242 #258 #260 #295 #312 #313 #320 #322 #332 #335 #341 # #343 #346 #348 #355 #357 #360 #361 #362 #364 #367 #370 #372 #373 #374 #376 #377 #379 #380 #381 #382 #383 #393 #394 #395 #396 #398 #399 #400 #401 #402 #403 #404 #405 #407 #408 #410 #412 #414 #416 #423 #424 #426 #432 #435 #438 #442 #443 #449 #450 #455 #456 #457 #459 #460 #465 #467 #470 #472 #473 #474 #475 #481 #482 #483 #488 #492 #493 #499 #502 #503 #504 #505 #507 #509 #512 #514 #524 #525 #530 #539 #540 #541 #547 #550 #554 #558 #563 #568 #569 #572 #574 #575 #576 #577 #578 #582 #583 #584 #587 #589 #590 #594 #595 #597 #598 #600 #601 #604 #605 #606 #608 #611 #617 #618 #619

[Added]
1. 新增了对直播间信息的详细获取和下载功能。
2. 添加详细直播间信息的下载支持。
3. 引入了提取评论的功能。
4. 新增支持下载 TikTok 数据,包括发布作品、喜欢作品、图集作品等。
5. 提供了自动生成 XB 参数的接口,支持真实和虚假的 msToken。
6. 引入接口数据过滤器,提高数据采集和处理效率。
7. 增加支持长短链解析的功能。
8. 新增了对合集作品的详细获取和下载功能。
9. 引入了 SSO 扫码登录和自动获取Cookie的功能,可通过 `--auto-cookie` 参数实现。

[Changed]
1. 优化了异步下载的网络并发数、超时重试设置,降低采集错误率。
2. 修改了文件检查逻辑,添加了黑名单选项,不再检查黑名单中的作品是否存在。(未来)
3. 对命令行交互进行了调整,添加了更多的配置选项,提供了更灵活的 CLI 模式。
4. 改进了版本更新机制,全新开发的 F2 现在依赖 pip 进行升级。
5. 对于多用户配置,现在可以为不同用户建立不同的配置与下载模式。

[Security]
1. 修复了可能导致信息泄露的漏洞。

[Deprecated]
1. 废弃了一些低版本接口的相关功能,建议使用更新的接口。

[Fixed]
1. 修复了一些在异步下载中可能导致的错误。
2. 修复了一些异步下载线程控制的错误。

[Removed]
1. 移除了不再支持的功能和接口。

[Documentation]
1. 更新了文档,提供了更详细的配置和使用说明。
2. 补充了开发者必读的内容,包括配置文件、调试日志级别等。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants