solrj-example

solrj+webmagic+selenium示例

使用webmagic和selenium-java爬取京东商品信息并入库MySQL。采用solr dataimport创建索引，采用solrj检索商品信息。

solr单机模式

https://coding.net/u/aimeizi/p/solr/git

基于solr4.10.4集成IKAnalyzer、mmseg4j、ansj中文分词及Dataimport功能

solr集群模式

https://coding.net/u/aimeizi/p/SolrCloud/git

solr集群模式。基于solr4.10.4集成IKAnalyzer、mmseg4j、ansj中文分词及Dataimport等功能

运行

JDProductProcessor 是JD商品采集的入口，main方法直接运行。

CcdiPageProcessor 是纪检委网站采集的入口，main方法直接运行。

启动solr服务，运行爬虫采集程序，启动搜索服务，完成搜索。

Screenshots

webmagic jmx监控

webmagic jmx监控查看总抓取页数

webmagic爬取JD商品数据入库数据

solrdataimport数据导入

solr搜索 查询所有商品按评论降序排列，以表格的方式展现

solr搜索 查询名称为手机的商品按价格降序排列，以表格的方式展现

solr搜索 查询名称为手机且过滤产品类别为手机的商品信息按价格降序，以列表的方式展现

solr搜索 查询名称为洗衣机且过滤产品类别为洗衣机的商品信息按价格降序，以表格的方式展现

solr搜索 查询名称为iPhone的商品信息按价格降序，以表格的方式展现

参考文档

http://webmagic.io/docs/zh/