本份代码中包含了国内大多数电影网站的爬虫,详细列表为:
- 爱奇艺
- 乐视
- m1905
- PPTV
- QQ电影
- 搜狐电影
- 土豆电影
- 迅雷电影
- 优酷
- 豆瓣电影库
代码是一年前写好的,所以爬虫可能已经失效,不过在此基础上改改应该就可以了。
K:\GIT\dianying\scripts>tree /f
文件夹 PATH 列表
卷序列号为 EE77-EC45
K:.
│ iqiyi_movie_test.py
│ letv_movie_test.py
│ m1905_movie_test.py
│ pps_movie_test.py
│ pptv_movie_test.py
│ qq_movie_test.py
│ sohu_movie_test.py
│ tudou_movie_test.py
│ xunlei_movie_test.py
│ youku_movie_test.py
│
└─douban
doubanapi_1.py
doubanapi_2.py
doubanapi_3.py
doubanapi_xj.py
douban_movie_test.py
dianying_web.py支持将爬虫保存到mongodb中的数十万条记录以WEB方式的形式展示,并支持关键字查询。