Skip to content

一个采集工具箱,据说是一个用于采集各种 WEB 资源的工作站?!你可以认为这是一个框架,可拓展。淘宝、天猫、苏宁、国美 等电商平台数据采集... 一键邀请 一键打包 账号登录获取Cookie 任务多线程 下载内容管理 实时日志 dll 热更新 无边框窗体 Web App, CefSharp, WebDriver

master
Switch branches/tags
Code

Nacollector

Nacollector 可以说是一个用于采集各种 WEB 资源的工作站?! #(滑稽)

注:在使用 Nacollector 前,请仔细阅读《Nacollector 用户使用许可协议》

特性

  • Material Design
  • CefSharp 嵌入 Chromium,用 HTML/CSS/JS 制作前端 Ui
  • 前后端分离,NacollectorFrontend
  • 前端 Console 实时采集日志
  • 多任务管理器,多个采集任务同时进行
  • 下载内容管理器,具有和 Chrome 一样的功能
  • Cookie 获取器(可手动导入 Cookie,自动填充,Cookie 记录,正则表达式配置规则)
  • 多线程异步采集实例
  • 资源快速预览
  • 支持使用代理
  • 在线/离线 自动更新
  • 以及更多...

Features

  • Material Design
  • CefSharp embed Chromium in the .NET app to use JS/HTML/CSS as Front-end UI
  • Separate Front-end and Back-end, see NacollectorFrontend
  • Real-time collection logs in the Front-end Console
  • Multitasking Manager to manage multiple collection tasks
  • Download Content Manager like chrome browser
  • Cookie getter (manually import cookies, input auto-complete, keep cookies fresh longer, using regular expressions)
  • Multiple Async Tasks example
  • Resources Preview
  • Support for using proxy
  • Automatically update online/offline
  • And more...

Requirements

功能

  • 商品详情页图片解析
    • 支持网站: 淘宝、天猫、苏宁、国美
    • 支持图片类型:主图、分类图、详情图
    • 支持即时预览 显示 URL
    • 支持下载单张图片 右键另存为
    • 支持下载所有图片 打包为压缩文件并保存
  • 商品详情页视频抓取
  • 淘宝店铺搜索卖家ID名采集
    • 支持忽略天猫店铺
  • 天猫供销平台分销商一键邀请
    • 支持卖家账号登录 得到 Cookie(也可以手动输入 Cookie 字符串)
  • 天猫供销平台分销商一键撤回
  • 将来会有更多功能,随缘更新

Development

Get the sources

In order to make development easier, the frontend is included in the backend as a git submodule.

Then, in order to tinker with the sources, start by getting both repos at once with:

git clone --recurse-submodules https://github.com/qwqcode/Nacollector.git

NOTE: since it is a submodule, when developing the frontend remember to update the backend repo accordingly.

Quick Start

# 1. clone
git clone --recurse-submodules https://github.com/qwqcode/Nacollector.git
cd Nacollector

# 2. copy config files
cp ./Nacollector/GlobalConstant.cs.example ./Nacollector/GlobalConstant.cs

# 3. download `https://github.com/qwqcode/Nacollector/releases/download/1.3.0.0/CefSharp_v69.7z` to `./CefSharp/` and unpack

# 4. open .sln by vs
start Nacollector.sln

Donate

如果您觉得我的项目对您有帮助,并且您愿意给予我一点小小的支持,您可以通过以下方式向我捐赠,这样可以维持项目持续地发展,非常感谢!ヽ(•̀ω•́ )ゝ

If you are enjoying this app, please consider making a donation to keep it alive.

Alipay Wechat

捐赠者的名字将保存于 捐赠者列表,非常感谢你们的支持

License

请务必仔细阅读 《Nacollector 用户使用许可协议》

Nacollector Copyright (C) 2018 qwqaq.com

禁止擅自以任何收费形式盈利,禁止擅自修改版权信息,侵权必究!

Stargazers over time

Stargazers over time

Screenshots

About

一个采集工具箱,据说是一个用于采集各种 WEB 资源的工作站?!你可以认为这是一个框架,可拓展。淘宝、天猫、苏宁、国美 等电商平台数据采集... 一键邀请 一键打包 账号登录获取Cookie 任务多线程 下载内容管理 实时日志 dll 热更新 无边框窗体 Web App, CefSharp, WebDriver

Topics

Resources

License

Packages

No packages published