spiderkeeper不能识别爬虫

[Ericliu68]

deploy成功，但是dash里面没有爬虫，scrapyd没有报错，但是还是处于上一个project中，spiderkeeper也没有报错

[QingGo]

请问一下你一共创建了多少个项目？我的体验是，项目一多了（十个以上），spiderkeeper同步scrapyd的状态就需要特别长时间，甚至会一直卡住无法成功更新状态。

[Ericliu68]

一个项目，我看了看源码，没看懂你是怎么把项目egg上传给scrapyd的，还有就是调度也有问题，两个项目的时候调度只会调度所有项目中的任一个job

…

Sent from my iPhone

On Oct 19, 2018, at 10:41, 清歌 ***@***.***> wrote: 请问一下你一共创建了多少个项目？我的体验是，项目一多了（十个以上），spiderkeeper同步scrapyd的状态就需要特别长时间，甚至会一直卡住无法成功更新状态。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[QingGo]

我不是作者，只是一个使用者。关于调度问题我觉得是因为scrapyd不能在短时间处理两个任务请求，而spiderkeeper也没有重试机制，为此我提了一个PR你可以参考一下https://github.com/DormyMo/SpiderKeeper/pull/85。关于不能识别爬虫，也有一个可能是爬虫本身代码有问题，你可以用scrapyd提供的list spider api试一试能不能返回正确的结果。如果一切正常，那就只能把spiderkeeper的日志等级调为debug再好好看看日志输出了。

[Ericliu68]

看到了，谢谢

…

Sent from my iPhone

On Oct 19, 2018, at 12:37, 清歌 ***@***.***> wrote: 我不是作者，只是一个使用者。关于调度问题我觉得是因为scrapyd不能在短时间处理两个任务请求，而spiderkeeper也没有重试机制，为此我提了一个PR你可以参考一下#85。关于不能识别爬虫，也有一个可能是爬虫本身代码有问题，你可以用scrapyd提供的list spider api试一试能不能返回正确的结果。如果一切正常，那就只能把spiderkeeper的日志等级调为debug再好好看看日志输出了。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[zhangyucha0]

现在egg文件上传失败是不会提示的（你可以看下源码，SUCCESS的提示是前端写死的）

有个小坑——server末尾是/的话就会不能上传，比如：http://localhost:6800/

上传提示这个问题我在自己fork的项目中修复了。另外还支持了：

• web页面添加server
• 实时显示server连通状态

有兴趣的话可以直接clone下来从源码安装

[Ericliu68]

看到，谢谢

…

Sent from my iPhone

On Oct 22, 2018, at 16:26, zhangyucha0 ***@***.***> wrote: 现在egg文件上传失败是不会提示的（你可以看下源码，SUCCESS的提示是前端写死的） 有个小坑——server末尾是/的话就会不能上传，比如：http://localhost:6800/ 上传提示这个问题我在自己fork的项目中修复了。另外还支持了： web页面添加server 实时显示server连通状态 有兴趣的话可以直接clone下来从源码安装 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[Ericliu68]

请问是哪个分支

…

Sent from my iPhone

On Oct 22, 2018, at 16:26, zhangyucha0 ***@***.***> wrote: 现在egg文件上传失败是不会提示的（你可以看下源码，SUCCESS的提示是前端写死的） 有个小坑——server末尾是/的话就会不能上传，比如：http://localhost:6800/ 上传提示这个问题我在自己fork的项目中修复了。另外还支持了： web页面添加server 实时显示server连通状态 有兴趣的话可以直接clone下来从源码安装 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[zhangyucha0]

请问是哪个分支
…
Sent from my iPhone
On Oct 22, 2018, at 16:26, zhangyucha0 @.***> wrote: 现在egg文件上传失败是不会提示的（你可以看下源码，SUCCESS的提示是前端写死的） 有个小坑——server末尾是/的话就会不能上传，比如：http://localhost:6800/ 上传提示这个问题我在自己fork的项目中修复了。另外还支持了： web页面添加server 实时显示server连通状态 有兴趣的话可以直接clone下来从源码安装 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

master

[Ericliu68]

我看了看你修改的源码，但是我觉得不妥当，scrqpyd在读取egg的时候会将信息打印在scrapyd，这个egg文件的正确错误并没有实现，只是实现了有没有上传成功而已，

…

Sent from my iPhone

On Oct 22, 2018, at 16:26, zhangyucha0 ***@***.***> wrote: 现在egg文件上传失败是不会提示的（你可以看下源码，SUCCESS的提示是前端写死的） 有个小坑——server末尾是/的话就会不能上传，比如：http://localhost:6800/ 上传提示这个问题我在自己fork的项目中修复了。另外还支持了： web页面添加server 实时显示server连通状态 有兴趣的话可以直接clone下来从源码安装 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[luzihang123]

spiderkeeper不能识别爬虫可能是scrapyd的环境里，缺少相关的依赖包，需要安装一下

[peipppp]

遇到同样的问题，后台运行spiderkeeper，就会出现这种情况，直接运行的话，就没有这个问题

[yoiyang]

试过直接运行也会出现这个问题，我的解决方法是在本spiderkeeper运行的时候，新开一个窗口，在scrapy.cfg的同一个目录里，运行：
scrapyd-deploy

[Ericliu68]

试过直接运行也会出现这个问题，我的解决方法是在本spiderkeeper运行的时候，新开一个窗口，在scrapy.cfg的同一个目录里，运行：
scrapyd-deploy

谢谢，我现在知道我这边的问题了，一般都是自己代码里面像redis和数据库有问题，再上传的时候没有任何提示，scrapyd那边会有错误显示，而spiderkeeper不会显示出来