Skip to content

A web crawler/spider which can be used without writing any code with GUI (Service Wrapper)一个可以无代码可视化设计和执行的面向服务架构的爬虫软件

License

Notifications You must be signed in to change notification settings

itllit/ServiceWrapper_WebCrawler_GUI_NoCode_Spider

 
 

Repository files navigation

请您Star Please Star

如果你觉得此工具不错,请轻轻点击此页面右上角Star按钮增加项目曝光度,谢谢!

If you think this tool is good, please gently click the Star button in the upper right corner at this page to increase the project exposure, thank you!

无代码服务可视化Web数据采集爬虫器 Code-Free Visual Web Data Crawler/Spider (Service Wrapper)

一个可以可视化无代码设计和执行的面向服务架构的爬虫软件(服务包装器)。 A service oriented architecture GUI visual code-free web crawler/spider (service wrapper).

发布版本

打开压缩包内的ServiceWrapper.exe即可在Windows10/11或以上系统执行,无需配置环境(其余Windows系统需手动安装.net Framework 4.5)。 数据存储后放在Data/文件夹内

目录

注:文档待完善

界面截图

软件界面示例

pic

块和子块及表单定义

pic

已选中和待选择示例

pic

京东商品块选择示例:

pic

京东商品标题自动匹配选择示例

pic

分块选择所有子元素示例

pic

同类型元素自动和手动匹配示例

pic

四种选择方式示例

pic

输入文字示例

pic

循环点击58同城房屋标题以进入详情页采集示例

pic

采集元素文本示例

pic

流程图界面介绍

pic

循环选项示例

pic

循环点击下一页示例

pic

条件分支示例

pic

完整采集流程图示例

pic

完整采集流程图转换为常规流程图示例

pic

服务信息示例

pic

服务调用示例

pic

58 同城房源信息采集服务部分采集结果展示

pic

服务包装手动版程序结构

Chrome插件部分

  • Extension/app内的文件

后台流程图部分

  • ServiceGrid/frontEnd/FlowChart.html
  • ServiceGrid/frontEnd/FlowChart.js
  • ServiceGrid/frontEnd/FlowChart.css
  • ServiceGrid/frontEnd/logic.css

服务展示部分

  • 服务列表:ServiceGrid/frontEnd/serviceList.html
  • 服务信息:ServiceGrid/frontEnd/serviceInfo.html
  • 新服务:ServiceGrid/frontEnd/newService.html
  • 调用服务:ServiceGrid/frontEnd/invokeService.html

C#部分

  • C#/内的文件

后台服务页面

  • Django后台:ServiceGrid/backEnd/*

服务执行

  • ExcuteStage/ServiceWrapper_ExcuteStage.py

About

A web crawler/spider which can be used without writing any code with GUI (Service Wrapper)一个可以无代码可视化设计和执行的面向服务架构的爬虫软件

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • JavaScript 72.9%
  • HTML 9.5%
  • Python 7.7%
  • Jupyter Notebook 4.8%
  • C# 4.5%
  • CSS 0.6%