分布式网络爬虫和分析系统Noval Easy Web Spider (NEWS)（后文简称NEWS）是一款分布式网络爬虫和数据分析系统。能够支持单机部署、多机器部署，分时任务、定时任务、实时任务等多种任务调度方式，完善的日志管理功能，支持Mysql、Mongodb、redis、文件的多种数据存储方式，结合机器学习框fastText，实现了文本快速训练和分析功能。
- 网络数据的分布式爬取和存储
- NLP自然语言机器学习
- 文本分类和情感分析
系统架构如下图所示
-
Notifications
You must be signed in to change notification settings - Fork 0
License
hulu7/news
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
No description, website, or topics provided.
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published