Here are
57 public repositories
matching this topic...
天气爬虫(全国城镇天气自动定时抓取更新,并开放RESTful查询接口),附带代理IP池定时更新并检测其可用性
Updated
Jun 25, 2018
Java
一个基于webmagic框架二次开发的java爬虫框架实战,已实现能爬取腾讯,搜狐,今日头条(单独集成功能)等资讯内容,配合elasticsearch框架用法,实现了自动爬虫,已投入线上生产使用。
Updated
Nov 16, 2022
Java
基于SpringBoot 2.x整合各种常用开发工具,包括但不限于Redis,MyBatisPlus,RocketMQ,RabbitMQ,Elasticsearch,Quartz,Xxl-Job,Kafka等。
Updated
Apr 13, 2023
Java
基于springboot+mybatis+echarts+webmagic 的疫情数据可视化网站
Updated
Oct 13, 2020
Java
网络数据采集技术—Java网络爬虫 (书稿完整代码,涉及网络爬虫的各种技术和知识点)
SpringBoot+Solr + webmagic JD商品爬取数据,放入solr中做搜索,学习下solr使用
Updated
Aug 31, 2017
Java
抓取twitter数据,可根据时间、话题、用户名等条件抓取数据,twitter爬虫
Updated
Oct 13, 2020
Java
Updated
Sep 21, 2024
Java
Updated
Feb 15, 2019
Java
Updated
Mar 27, 2018
Java
Java 电商爬虫,动态代理请自行更换!爬取目标:京东、考拉、丝芙兰;使用工具:HtmlUnit(单线程,大部分网站通过代理可以获取,但是反爬多层JS的无法取到)、ChromeDriver(多进程,需要考虑销毁机制)等(其它的不咋好用)(此项目只为研究各个工具的优劣,并不支持商用)
基于webmagic实现的网络爬虫。主要抓取各大财经网站数据,生成自定义图表
一个爬虫小程序,使用webmagic+springboot抓取代理IP网站的数据,并持久化到本地
Updated
Dec 28, 2018
Java
Updated
Dec 22, 2017
Java
基于 springboot 底座、webmagic 爬虫内核、xxl-job 任务定时调度实现的分布式爬虫平台
Updated
Jul 18, 2023
Java
Updated
Jun 20, 2018
Java
抓取携程航班数据,此数据来源于飞常准,使用webmagic框架
Updated
Jul 10, 2019
Java
使用springboot、spring-data-jpa、webmagic等技术,定时爬取爱奇艺视频、360视频
Updated
Jan 15, 2022
Java
Improve this page
Add a description, image, and links to the
webmagic
topic page so that developers can more easily learn about it.
Curate this topic
Add this topic to your repo
To associate your repository with the
webmagic
topic, visit your repo's landing page and select "manage topics."
Learn more
You can’t perform that action at this time.