在之前的章节,我们学习了Python并行编程。我们用Python并行模块实现了一些实例,包括斐波那契数列和网络爬虫。我们知道了怎样用管道进行进程间通信和如何在同一个网络的不同机器上分发进程。在本章节,我们将学习如何利用Celery框架在同一个网络的不同机器之间分发任务。 在本章,我们将覆盖一下几个主题:
- 理解Celery
- 理解Celery架构
- 建立环境
- 分发简单任务
- 用Celery来获得斐波那契数列的项
- 用Celery来构建一个分布式网络爬虫系统
在之前的章节,我们学习了Python并行编程。我们用Python并行模块实现了一些实例,包括斐波那契数列和网络爬虫。我们知道了怎样用管道进行进程间通信和如何在同一个网络的不同机器上分发进程。在本章节,我们将学习如何利用Celery框架在同一个网络的不同机器之间分发任务。 在本章,我们将覆盖一下几个主题: