使用

环境准备

• MySql ：8.0.17
• Python3：3.7.4
• pip：lastest
• vscode：lastest
• vscode的python插件：lastest

后面的是推荐版本，符合要求的其它版本也可，只不过没有进行测试

初始化

打开vscode，新建一个终端，执行

git clone https://github.com/ptrtonull-workshop/PianYuan.git
cd ./PianYuan
pip install -r requirements.txt

来克隆本项目并且按照本项目需要的第三方包

注意，请确保./vscode/settings.json里的路径与你电脑内的python路径一致,本项目采用的是python 3.7.4

测试

执行

python main.py first last -G hostname username password

后，程序会自动写入数据到数据库，其中

• first：爬取电影大全的开始页
• last：爬取电影大全的终止页
• hostname:数据库地址
• username:用户名
• password:用户名密码，为空的时候可以不填

登录数据库后使用

use pianyuan;
select *from film

可查看爬虫爬到的此处的一部分电影