Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

login task 首次启动获取cookie exception #45

Closed
ws0zzg4569 opened this issue Sep 8, 2017 · 11 comments
Closed

login task 首次启动获取cookie exception #45

ws0zzg4569 opened this issue Sep 8, 2017 · 11 comments

Comments

@ws0zzg4569
Copy link

不是很熟悉这个项目··今天看到尝试了下 环境在win下,启动了单个worker,然后celery似乎有问题,刚接触celery,求指教
[2017-09-08 21:02:48,769: ERROR/MainProcess] Task handler raised error: ValueError('not enough values to unpack (expected 3, got 0)',) Traceback (most recent call last): File "d:\anaconda3\lib\site-packages\billiard\pool.py", line 358, in workloop result = (True, prepare_result(fun(*args, **kwargs))) File "d:\anaconda3\lib\site-packages\celery\app\trace.py", line 525, in _fast_trace_task tasks, accept, hostname = _loc ValueError: not enough values to unpack (expected 3, got 0)

@ws0zzg4569
Copy link
Author

直接pip的celery 4.1 ,是不是win下面不兼容····去试试先··

@ResolveWang
Copy link
Member

ResolveWang commented Sep 8, 2017

4.1在win平台不兼容哈。推荐使用*nux平台,因为windows不支持定时任务。如果只有win平台,那么建议通过pip install celery==3.1.25,celery3.1.25是兼容windows的最新的版本。

@ws0zzg4569
Copy link
Author

好滴~~成功啦 准备长期跟进下这个project,科研需求需要扒数据,之前用的另一个爬移动端的,用的自动手势登录,温柔的连续扒了一个月然后似乎最近开始403了。。

@ws0zzg4569
Copy link
Author

对了 关于search 目前抓几页这一轮就直接跳过了··难道要不停的启动

@ResolveWang
Copy link
Member

仔细读文档,是对开源作者基本的尊重。我在文档提了定时任务这个功能,你都不思考吗?你觉得定时任务是拿来干嘛的呢?

@ws0zzg4569
Copy link
Author

表示读了很多遍,,, 但是在win下明确提及定时任务不可用。。。。而且search有时候就自己不带cookie了,直接变成1 page,正在看代码 就是希望能有个整个的调用流程 这样也便于不同需求的进行修改呀···

@ws0zzg4569
Copy link
Author

另外最近weibo要实名制了··不知道对这块会不会有影响···尤其是账号

@ResolveWang
Copy link
Member

不懂你说的search不带cookie是什么意思,程序每次请求都会去cookie池中拿一个可用的cookie,这一块可以看这段代码。建议你再仔细文档,除了readme,wiki也可以看看。已经说了不建议使用windows,文档说得很清楚,windows不支持定时任务!对于windows我只能说尽量兼容,不会专门去针对windows再做定制化,如果你非要用windows,那么只能自己再去进行二次开发了。另外,微博实名制这个不是该项目关心的,有不有影响只能说以后政策确定了再思考,现在谈论有点为时过早,毕竟有需求就有市场。如果你想不登录就去抓取的话,那你只好找别的项目了,或者自己开发,本项目不提供类似功能。

@ResolveWang
Copy link
Member

以后有时间和精力,可能会把部分模块迁移到m端,因为m端到目前为止,限制都比PC端宽松,但获取的信息可能也会缺乏一些。现在由于精力所限,暂时不会迁移。

@ResolveWang
Copy link
Member

至于整个项目的调用流程,确实是一个比较好的建议。我也准备画一个流程图,方便新用户上手。

感谢提这个建议。

@ws0zzg4569
Copy link
Author

好的 多谢啦 兄弟不要这么火大···我也理解提供工具被各种问的烦恼。 m端目前这个项目稍加修改就可以工作SinaSpider,自己处理login部分获取cookie就可以工作了,而且现在似乎只对请求次数有限制,稍微温柔点几个账号可以撑很久

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants