-
Notifications
You must be signed in to change notification settings - Fork 247
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
一直Please start your performance! #1
Comments
实际上,在我i3上面也是类似现象,除了cpu不到100% |
我使用的 win10 + Python 3.5.2, 这个爬虫使用的是多进程,不是多线程,进程数取决于你的 cpu 数 multiprocessing 模块官方介绍 cpu 是不会开到 100% 的,还有 e:/mmjpg 其实也不用自己创建的 |
processes=1也是一样,文件夹都不创建就有意思了 |
这问题我也搞不太清楚,不然你试试用 python3 吧,因为毕竟我是在 python3 下测试的。 |
用了最新的3.6一样不行,文件夹也不创建,一直Please start your performance! 脚本没详细的打印信息,也不知道一步挂了 |
如果能打印 Please start your performance! 但不执行接下来的操作那就是 urls_crawler(url) 方法的问题了,要不你试试在这个方法中的代码中间加入 打印语句,测试看看具体到哪一句就打印不出来不执行了,因为你这样说我也没办法确定问题所在 |
我加了打印标记发现,不能执行下面一句,应该还是创建进程时的问题 |
试试其他进程的写法吧,换种思路
然后把 urls_crawler(urls) 方法改为
|
谢谢,这个方法可行 |
问题解决那我关闭这个 issue 了 |
win7+ python2.7.13,安装好所需模块,但是一直Please start your performance!不下载
我创建了e:/mmjpg也会删除,但就不创建了
应该是多线程的问题,我的是N2820的下载机,双核不支持多线程,关掉脚本cpu满载不下,直到重启
The text was updated successfully, but these errors were encountered: