Skip to content
/ minions Public

使用爬虫爬取数据,使用springboot接受数据进行数据处理的大数据学习项目

License

Notifications You must be signed in to change notification settings

Korov/minions

Repository files navigation

minions

打包

首先进入项目路径下,执行以下命令

#windows系统
.\gradlew build -x test
#linux系统
./gradlew build -x test

开发环境

开发环境会启动postgres,mongo,redis,zookeeper,kafka

#windows
docker-compose -f .\project_files\docker-compose-dev.yaml up -d
docker-compose -f .\project_files\docker-compose-dev.yaml ps
docker-compose -f .\project_files\docker-compose-dev.yaml stop
docker-compose -f .\project_files\docker-compose-dev.yaml rm --force

#linux
docker-compose -f ./project_files/docker-compose-dev.yaml up -d
docker-compose -f ./project_files/docker-compose-dev.yaml ps
docker-compose -f ./project_files/docker-compose-dev.yaml stop
docker-compose -f ./project_files/docker-compose-dev.yaml rm --force

测试环境

启动测试环境之前需要打包生成最新的服务器jar包,测试环境会启动所有服务,目前只维护linux环境下单机搭建测试环境,环境启动需要一段时间,等待一段时间之后进入`localhost:8080/demo/get/1`查看服务是否正常启动

#linux
./minions test up
./minions test stop

接口文档

技术

SpringCloud

版本:2021.0.4

SpringBoot

版本:2.7.4

JDK

OpenJDK 17

Gradle

版本:7.5.1

其他组件

PostgresSQL

版本:13.4

帐号:minions

密码:postgres

端口:5432

MongoDB

版本:5.0.2

帐号:admin

密码:mongo

端口:27017

Redis

版本:6.2.5

密码:redis

端口:6379

Zookeeper

版本:3.5.9

端口:2181

Kafka

版本:2.7.0

端口:9092

Nacos

版本:2.0.3

账号:nacos

密码:nacos

数据来源

项目中的数据来源与爬虫获取,爬虫项目地址:./project_files/spiders(使用PyCharm开发)

可以按照项目说明发送数据

SkyWalking

以下内容是shell启动的是时候必须添加的内容,若是需要在idea中使用,只能启动整个项目的时候才有效。需要把配置添加到enviroment variables,然后VM options中添加agent(-javaagent:./project_files/agent/skywalking-agent.jar 相对路径也可以)启动之后,postman调用接口,之后就可以在skywalking中看到对应的数据了

# SkyWalking Agent 配置
export SW_AGENT_NAME=kafka-consumer # 配置 Agent 名字。一般来说,我们直接使用 Spring Boot 项目的 `spring.application.name` 。
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 # 配置 Collector 地址。
export SW_AGENT_SPAN_LIMIT=2000 # 配置链路的最大 Span 数量。一般情况下,不需要配置,默认为 300 。主要考虑,有些新上 SkyWalking Agent 的项目,代码可能比较糟糕。
export JAVA_AGENT=-javaagent:/home/korov/Desktop/gitrepo/minions/project_files/agent/skywalking-agent.jar # SkyWalking Agent jar 地址。

# Jar 启动
java -jar $JAVA_AGENT -jar lab-39-demo-2.2.2.RELEASE.jar

About

使用爬虫爬取数据,使用springboot接受数据进行数据处理的大数据学习项目

Resources

License

Code of conduct

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published