qimaishuju

七麦数据数据抓取

利用 phantomjs抓取动态js渲染的网页

origindata目录存储原始json数据

首先安装依赖文件进入命令行工具进入文件根目录运行命令 cnpm install 等待安装完依赖文件之后执行以下命令

1、进入命令行工具运行命令 node 1_init.js 置空相关txt文件,以及storage目录中的缓存文件

2、运行命令 phantomjs 2_getDownloadPage.js

收工！

Name		Name	Last commit message	Last commit date
Latest commit History 10 Commits
lib		lib
origindata		origindata
result		result
storage		storage
tempdata		tempdata
.gitignore		.gitignore
1_init.js		1_init.js
2_getDownloadPage.js		2_getDownloadPage.js
6_toJson.js		6_toJson.js
README.md		README.md
browser.js		browser.js
node-client.js		node-client.js
package.json		package.json
read.js		read.js