数据链路需要整理。

[hanzug]

关于kafka的数据流向有问题，原设想 网页原数据爬取下来后先发送到kafka（这里似乎可以使用流处理框架进行处理，待研究）mapreduce 和 mysql异步读取kafka中的csv格式的数据，进行索引构建和落库。

但是因为爬虫还没写，这部分数据流的逻辑优点混乱，需要梳理一下。