爬虫集成 - feapder-document

[Boris-code]

https://boris.org.cn/feapder/#/usage/%E7%88%AC%E8%99%AB%E9%9B%86%E6%88%90

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

[AlanWeekend]

batch_interval 是批次定时执行的间隔时间吗？我设置间隔0.016小时。这个批次执行完了之后，并没有更新is_done字段。也没有在0.016小时之后重新开始执行批次。需要我手动重新执行start_monitor_task()。才会把is_done更新为1，然后创建了一个新的批次记录？如果我要做循环执行的，怎么做？

[Boris-code]

@AlanWeekend
batch_interval 是批次定时执行的间隔时间吗？我设置间隔0.016小时。这个批次执行完了之后，并没有更新is_done字段。也没有在0.016小时之后重新开始执行批次。需要我手动重新执行start_monitor_task()。才会把is_done更新为1，然后创建了一个新的批次记录？如果我要做循环执行的，怎么做？

不是定时启动执行， 只是时间间隔，定时启动需要自己设置定时计划

[AndrewAndrea]

start_request打印为啥不显示呢

[Boris-code]

@AndrewAndrea
start_request打印为啥不显示呢

不知道哇

[wmy1334]

关于爬虫集成这块，如果有上百个解析器的话，是否能直接加载所有的解析器呢，还是的spider.add_parser(xxxParser)手动添加上百个呢？有没有scrapy的spider_loader之类的加载器呢？

[wozaitianwai]

尝试集成了下，为什么会出现值执行了第一个集成的解析器的部分，然后直接就任务完成了