Python 爬虫应用————百度百科词条(baike spider)

1.Environment

• Python 3.7

2.网页管理器————URL Manager

• use Python set()

3.网页下载器————HtmlDownloader

• use Python urllib.request(Python3) || urllib2(Python2)

4.网页解析器————HtmlParser

• use BeautifulSoup4 Module

5.网页输出————HtmlOutputer

• output output.html file