Skip to content
A lightweight web crawler.
JavaScript HTML
Branch: master
Clone or download

Latest commit

Fetching latest commit…
Cannot retrieve the latest commit at this time.

Files

Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
app
views
.gitignore
LICENSE
README.md
USAGE.md
USAGE_EN.md
package.json
yarn.lock

README.md

Spiking

一个使用Node.js开发的通用爬图工具。

A common web crawler tool developed using Node.js.

为什么选择它?(Advantage)

  • 图形化界面(使用Electron) Graphical Interface (Using Electron)
  • 自定义初始链接 Custom initial link
  • 无头浏览器支持 Headless browser support
  • 并发/多线程 Concurrent / multithreaded
  • 高效爬取机制 Efficient crawling mechanism
  • 自动去重 Automatic similarity
  • 可调控的爬取速度 Adjustable crawling speed
  • 进度可视化 Progress visualization
  • 使用代理 Using a proxy

开始(Getting started)

git clone https://github.com/Xciyang/spiking.git

cd spiking

npm install

npm start

如果你在中国,使用淘宝镜像可能会无法正常安装Electron。

请先在~/.npmrc文件中加入以下内容,electron_custom_dir设置为当前版本,如7.1.1,再进行npm install

npm config set electron_mirror=https://npm.taobao.org/mirrors/electron/
npm config set electron_custom_dir=X.X.X

用法(Usage)

下载最新的Release版本。

Download the latest [Release] (https://github.com/Xciyang/spiking/releases) version.

请阅读用法:简体中文(zh_CN)

Please read usage: English(en_US)

待完成项(To-do list)

  • 语言本地化 Localization
  • 任务保存 Tasks Saving
  • 自定义筛选方式 Custom filtering method

更多(More)

Electron

You can’t perform that action at this time.