- Add or update requirements package info to package.txt file:
pip list --format freeze | grep -Ev "(pip)|(setuptools)|(wheel)" > package.txt
- Install packages once from requirements file:
pip install -r package.txt
- Python官方网站:https://www.python.org/
- Python3.6.3中文文档:https://www.runoob.com/manual/pythontutorial3/docs/html/
- Python 3教程:https://www.runoob.com/python3/python3-tutorial.html
- 廖雪峰的Python教程:https://www.liaoxuefeng.com/wiki/1016959663602400
- 本项目教程以#3为主
-
Python 循环列表删除元素的注意事项
-
装饰器
-
生成器
-
迭代器
Python 功能强大,但相关的技术也有风险。
忠告:不要用爬虫技术1.爬虫容易搞坏网站。(刑法二百八十六条,破坏计算机信息系统罪)
2.爬虫很容易采集个人信息。(网络信息安全法,GDPR等法律相关条款)
3.爬虫很容易采集商业机密和国家机密等。参考
1.谈谈爬虫背后的法律风险
2.爬虫与反爬虫:一个很不阳光的行业!一文揭秘那些你不知道的套路
3.一个爬虫引发的案件:非法获取公民个人信息 情节严重可判刑建议
如果想学习爬虫技术,就找个“合适(非法的)”的网站练手。