==================================
Transfer data from msg queue to database
这个库用来将爬虫推送到Kafka队列中的数据写入SQL兼容数据库（在我们的使用场景里主要是TiDB）
你可能会问几个问题：
-
为什么爬虫要将消息推送到Kafka而不是直接写入数据库？
首先是安全隔离，运行爬虫的机器上可能有各种奇技淫巧，在爬虫运行的机器上设置强安全策略是非常不方便的，数据库里可能还有其他高价值的数据资产，因此有必要通过Kafka集群做安全隔离。
其次是性能问题，大规模分布式爬虫可以有很恐怖的数据流量，数据库集群不一定有扛得住，这种场景Kafka非常合适。实测TiDB集群连接不稳定的情况还是经常发生，这时需要一个地方把数据暂时落地，等待数据库集群恢复，再重新写入。这种写入策略，如果放到分布式爬虫的pipeline里（scrapy的逻辑），考虑到分布式的影响，逻辑和算法都很复杂，通过一个data sinker程序统一处理就简单的多。 我们在长期的开发中摸索出来的最佳实践是，通过Kafka Topic指定数据库，通过Kafka message key指定表名，Kafka message value值固定为JSON格式，JSON key对应列名，value入库。 这种方式简单高效，长期实践中运行良好。 -
为什么选择Dataset作为ORM库？
主流的ORM库有peewee，SQLAlchemy，Django的ORM。简而言之，爬虫数据入库的实际需求和后端的ORM有很大的不同。后端常说CRUD四大操作，爬虫入库的时候C（自动建表）有待商榷，R和D肯定没有，其实主要需求是U。那么后端的ORM库大多时候太重了，大多数时候他们都会建一个类映射数据库的DDL语句。dataset在SQLAlchemy的基础上简单封装，以JSON格式本位入库，正好契合爬虫的需求。