Crawler Based Java

#简介

这是一款基于java的爬虫软件，设想是设计一个通用，易扩展的系统，方便各式网站和结果的爬取，本人大四，在技术和构架上还有不少欠缺，希望对这个项目有兴趣的小伙伴能够和我一起奋斗，解决问题，提高自己的能力。

#系统设计

##项目运行环境参数

• 本系统基于JAVA系统库
• 运行环境JRE为1.8.0_31-b3
• 采用JAVA hotSpot 64-Bit VM，版本25.31-b7

##系统架构

本系统为层级架构，可以方便的对系统进行扩展。

• 架构类图

##重要JAVA文件目录信息

• src
  • Crawler
    • AbstractCrawler
    • DefaultCrawler
    • Generator
  • util
    • Queuecolletion
    • AddOnlyColletion
    • SQLBufferedQueuecolletion
    • SQLBufferedAddOnlyColletion
  • example
    • ZhihuCralwer

##结语

希望有兴趣的人和我联系，共同进步。 Email：anonymousXY@163.com