Skip to content
Python爬虫小项目汇总(招聘信息/电影信息/股票信息/天气信息/贴吧信息/图片信息/视频信息..)
Branch: master
Clone or download
Latest commit b282a23 Mar 18, 2019
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
.idea commit all file Oct 13, 2017
KoreaGirl add okmovieSpider/main.py Dec 26, 2018
NumGame add NumGame directory Sep 28, 2017
Other commit all file Oct 13, 2017
Spiders Update Spider_135zy.py Mar 18, 2019
Weather/weather commit all file Oct 13, 2017
hdvipSpider add hdvipSpider Dec 26, 2018
okmovieSpider add okmovieSpider/main.py Dec 26, 2018
project add some commit Sep 23, 2017
training commit all file Oct 13, 2017
yavSpider add yavSpider Dec 26, 2018
README.md add some line to README.md Sep 29, 2017
Usage_pdb.txt create The Python Debugger Sep 14, 2017

README.md

pyproject

2017 python爬虫学习

Usage_pdb.txt

Pdb: The Python Debugger
Python调试器 使用方法快速入门

NumGame Folders

-NumGame1.py

简单的猜数字的大小

-NumGame2.py

多玩家猜数字游戏

-NumGame5.py

游戏规则如下:
主持人确定猜数字的范围和pk次数
每位参赛者按顺序输入自己的名字
主持人确定每次可以猜的次数(默认4次)
开始比赛-每位参赛者按顺序猜一次,如果猜对加一分
如果在规定次数大家都没有猜出来,打印出答案
比赛结束后打印排行榜

-object.py

面向对象编程练习

-Youdao-reptile.py

使用 urllib2 爬取有道翻译的源代码并写入Youdao.txt文件

project Folders

Scrapy 爬虫框架目录结构

project/
    scrapy.cfg 			#项目的配置文件
    project/ 			#该项目的python模块,之后您将在此加入代码
        __init__.py 	
        items.py 		#项目中的item文件
        pipelines.py 	#项目中的pipelines文件
        settings.py 	#项目的设置文件
        spiders/ 		#放置spider代码的目录
            __init__.py
            ...

-project/spiders/suzhouSpider.py

爬取www.suzhou.tianqi.com 页面的六天天气,并写入result.txt文件

Spiders Folders

python 爬虫项目

- Spiders/Spider_jisilu.py

使用 selenium 爬取www.jisilu.com 页面的部分数据并写入文件

- Spiders/Spider_jisilu_2.py

基于Spiders/Spider_jisilu.py, 把各部分改成def函数

- Spiders/Spider_jisilu_3.py

基于Spiders/Spider_jisilu.py, 增加了标题的输出

- Spiders/Spider_jisilu_4.py

基于Spiders/Spider_jisilu.py, 使用面向对象的方法重构代码

- Spiders/Spider_qiushibaike.py

爬取 www.qiushibaike.com 页面的段子,并实现回车查看段子,按Q退出

- Spiders/Spider_SZtianqi.py

使用 BeautifulSoup 爬取 www.suzhou.tianqi.com 页面的数据,并用BeautifulSoup过滤

- Spiders/Spider_tieba.py

爬取 tieba.baidu.com 页面的帖子并写入文件,使用面向对象编程

training Folders

各爬虫工具模块的快速入门学习, 实例验证

- training/Usage_BeautifulSoup.py

BeautifulSoup 快速入门,实例学习

- training/Usage_BeautifulSoup_CSS_Select.py

CSS_Select => CSS选择器 快速入门,实例学习

- training/Usage_BeautifulSoup_find_.py

BeautifulSoup 的 find_all 等函数 快速入门,实例学习

- training/Usage_PyQuery.py

PyQuery 快速入门,实例学习

- training/Usage_Requests.py

Requests 快速入门,实例学习

- training/Usage_Selenium.py

Selenium 快速入门,实例学习

- training/Usage_Urllib2.py

Urllib2 快速入门,实例学习

- training/Usage_XPath.py

XPath 快速入门,实例学习

You can’t perform that action at this time.