GitHub - fuxiang90/crawl-linux

Branches Tags

Name		Name	Last commit message	Last commit date
Latest commit History 17 Commits
BbsCrawler.py		BbsCrawler.py
BuptoaCrawler.py		BuptoaCrawler.py
EmailProcess.py		EmailProcess.py
EmailProcess2.py		EmailProcess2.py
FileProcess.py		FileProcess.py
MysqlProcess.py		MysqlProcess.py
MysqlProcess2.py		MysqlProcess2.py
Option.py		Option.py
Push.py		Push.py
README		README
crawl-g.py		crawl-g.py
crawl-thread.py		crawl-thread.py
crawl.py		crawl.py
decode-utf.py		decode-utf.py
myLog.py		myLog.py
newText.py		newText.py
seed		seed
sudo.py		sudo.py
test.py		test.py
topten.py		topten.py

Repository files navigation

# 首先申明此代码不用作商业用途，纯属个人兴趣

 

直接运行BbsCrawler.py 

--mysql--配置
都可以自己设置：我的是indexdb 数据库，里面有bbsindex 这个表：
bbsindex字段设置（id：int， 主键； title：varchar; link:varchar ;author:varchar; content:varchar ;text:varchar ；score:double ;date:时间类型）
其中content 长度设置为15000  text 6000
然后再配置下 链接数据库的用户名和密码

--python--配置
在2.7 下开发，需要beautifulsoup  支持
requests http://docs.python-requests.org/en/latest/user/install/#install