Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

您好,我在爬取较长一段时间微博的时候中间有些日期会跳过去这该怎么解决 #50

Open
tangyuekun opened this issue Mar 9, 2020 · 7 comments

Comments

@tangyuekun
Copy link

图片

@dataabc
Copy link
Owner

dataabc commented Mar 9, 2020

我想到两者可能:
1.可能是用户在跳过去的日期内没有发表过微博;
2.即便发表过微博,只不过是转发,而程序被设置成了获取原创微博,所以跳过。

不知道是不是这两种情况,如果不是,能否提供user_id,方便调试,谢谢

@tangyuekun
Copy link
Author

我想到两者可能:
1.可能是用户在跳过去的日期内没有发表过微博;
2.即便发表过微博,只不过是转发,而程序被设置成了获取原创微博,所以跳过。

不知道是不是这两种情况,如果不是,能否提供user_id,方便调试,谢谢

2803301701 是人民日报应该不是上述两种可能吧,跟反爬机制有关系吗?

@dataabc
Copy link
Owner

dataabc commented Mar 9, 2020

我刚刚试了下,遇到类似问题,然后手动访问,显示访问过于频繁。应该是速度太快了,可以修改get_pages方法中sleep相关的代码,加快暂停频率,增加sleep时间,通过降速来减少被限制概率。

刚刚试了下娱乐类的微博,可以正常获取。上面这种账号可能限制比较严。

@tangyuekun
Copy link
Author

我刚刚试了下,遇到类似问题,然后手动访问,显示访问过于频繁。应该是速度太快了,可以修改get_pages方法中sleep相关的代码,加快暂停频率,增加sleep时间,通过降速来减少被限制概率。

刚刚试了下娱乐类的微博,可以正常获取。上面这种账号可能限制比较严。

好的,我再尝试下,万分感谢!

@tangyuekun
Copy link
Author

您好我又出现这样的问题
Error: list index out of range
Traceback (most recent call last):
File "D:/weibo1/weibo-crawler-master/weibo.py", line 1007, in start
self.get_pages()
File "D:/weibo1/weibo-crawler-master/weibo.py", line 942, in get_pages
self.get_user_info()
File "D:/weibo1/weibo-crawler-master/weibo.py", line 224, in get_user_info
card_list = cards[0]['card_group'] + cards[1]['card_group']
IndexError: list index out of range

user_id 2212518065 和 6914257879均是这样,不知该如何解决

@dataabc
Copy link
Owner

dataabc commented Mar 11, 2020

感谢反馈,问题已经修复。

我试了几遍,都没有复现该问题。修复代码是根据上面的出错提示改的。如果还有问题或建议欢迎继续反馈。

@tangyuekun
Copy link
Author

可以使用了! 感谢!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants