Skip to content

DevOps Service is the core service of Choerodon. It integrated several open source tools to automate the DevOps process of planning, coding, building, testing, and deployment, operation, monitoring.

GamesGosling/devops-service

 
 

Repository files navigation

简体中文 | English

DevOps Service

DevOps Service DevOps Service是Choerodon平台实现持续交付的基础. 当前版本为: 0.25.0

DevOps Service通过自主整合的DevOps工具链,集成相关的开源工具,以此形成了计划、编码、测试、部署、运维以及监控的DevOps闭环。 并且只需通过简单的配置,您便能获得最佳的开发体验。

注意:原本的前端代码已经移动到这里

特性

DevOps Service 含有以下功能:

  • 应用服务管理 :对应用服务进行管理
  • 应用服务版本管理:对持续集成(Continuous Integration)过程中产生的可以直接在Kubernetes集群中进行部署的服务版本进行管理
  • 代码管理及版本控制:对服务的代码进行版本控制和管理
  • 分支管理:能够对服务的Git分支进行相应的操作
  • 代码质量监测:在CI过程中进行代码质量数据收集,集成sonarqube对代码质量进行监测
  • 持续集成概览:查看服务的持续集成过程
  • 部署管理:对持续集成所产生的服务版本通过GitOps进行部署
  • 持续部署流水线管理:使用工作流实现持续部署
  • 资源管理:对部署的资源(如:网络,域名,密文等)进行管理
  • 集群管理:管理Kubernetes集群

前置要求

  • JAVADevOps Service基于Java8进行开发
  • GitLabDevOps Service使用GitLab进行代码的托管。同时,通过基于GitLab Runner实现持续集成以完成代码编译,单元测试执行,代码质量分析,docker镜像生成,helm chart打包,服务版本发布等自动化过程
  • Harbor:企业级Docker registry 服务,用于存放服务版本所对应的docker镜像
  • Kubernetes:容器编排管理工具,用于部署服务版本所对应的helm chart包
  • ChartMuseum:Helm Chart仓库,用于存放服务版本所对应的helm chart包
  • Sonarqube:管理代码质量的开放平台,用于管理服务的代码质量
  • MySQL:主流数据库之一,用于DevOps Service的数据持久化
  • Redis:内存数据库,用于数据缓存和部分非持久化数据存储

服务依赖

  • choerodon-register: 注册中心,在线上环境代替本地的eureka-server
  • choerodon-iam:用户服务,与用户有关的操作依赖与此服务
  • choerodon-gateway: 网关服务
  • choerodon-oauth: 授权服务
  • choerodon-asgard : 事务一致性服务
  • choerodon-message : 通知服务
  • gitlab-service:gitlab服务
  • workflow-service:工作流服务
  • agile-service:敏捷服务,查询与分支有关的敏捷Issue需要依赖此服务

服务配置

  • bootstrap.yml:

    server:
      port: 8060
    spring:
      application:
        name: devops-service
      cloud:
        config:
          failFast: true
          retry:
            maxAttempts: 6
            multiplier: 1.5
            maxInterval: 2000
          uri: localhost:8010
          enabled: false
      mvc:
        static-path-pattern: /**
      resources:
        static-locations: classpath:/static,classpath:/public,classpath:/resources,classpath:/META-INF/resources,file:/dist
    management:
      server:
        port: 8061
      endpoints:
        web:
          exposure:
            include: '*'
  • application.yml:

    spring:
      datasource:
        url: jdbc:mysql://localhost/devops_service?useUnicode=true&characterEncoding=utf-8&useSSL=false
        username: choerodon
        password: choerodon
        hikari:
          maximum-pool-size: 15 # 数据库连接池连接数
      redis:
        host: localhost
        database: ${SPRING_REDIS_DATABASE:1}
      http:
        encoding:
          charset: UTF-8
          force: true
          enabled: true
    services:
      harbor:
        baseUrl: "harbor.example.com" # harbor地址
        username: "123456" # harbor用户名
        password: "123456" # 对应harbor用户名的密码
        insecureSkipTlsVerify: false
      gitlab:
        url: "gitlab.example.com" # gitlab地址
        sshUrl: "gitlab.example.com" # 用于ssh操作的gitlab地址
        projectLimit: 100 # gitlab用户可以创建的项目的数量限制
      helm:
        url: "helm.example.com" # 存放helm chart包的仓库地址
      gateway:
        url: "http://api.example.com" # 网关地址
    hzero:
      service:
        platform:
          name: choerodon-platform
        oauth:
          name: choerodon-oauth
        iam:
          name: choerodon-iam
        file:
          name: choerodon-file
        message:
          name: choerodon-message
        admin:
          name: choerodon-admin
        swagger:
          name: choerodon-swagger
        gateway:
          name: choerodon-gateway
        monitor:
          name: choerodon-monitor
      websocket:
        # 用于连接websocket的路径
        websocket: /websocket
        # 与当前服务的redis数据库一致
        redisDb: ${SPRING_REDIS_DATABASE:1}
        # 后端长连通信密钥
        secretKey: devops_ws
    choerodon:
      saga:
        consumer:
          core-thread-num: 20
          max-thread-num:  20 # 消费线程数
          poll-interval: 3 # 拉取消息的间隔(秒),默认1秒
          enabled: true # 是否启用消费端
      schedule:
        consumer:
          enabled: true # 启用任务调度消费端
          thread-num: 1 # 任务调度消费线程数
          poll-interval-ms: 1000 # 拉取间隔,默认1000毫秒
      resource:
        jwt:
          ignore: /workflow/**, /sonar/**, /ci, /sonar/info, /v2/api-docs, /agent/**, /ws/**, /gitlab/email, /webhook/**, /v2/choerodon/**, /choerodon/**, /actuator/**, /prometheus, /devops/**, /pre_stop, /websocket
    agent:
      version: "0.5.0" # devops-service此版本所预期的 choerodon-agent 的版本
      serviceUrl: "agent.example.com" # 用于 choerodon-agent 连接 devops-service 的地址
      certManagerUrl: "agent.example.com" # 存放CertManager的地址,用于安装
      repoUrl: "helm.example.com" # 存放agent的地址,用于安装
    mybatis:
      mapperLocations: classpath*:/mapper/*.xml
      configuration:
        mapUnderscoreToCamelCase: true
    feign:
      hystrix:
        shareSecurityContext: true
        command:
          default:
            execution:
              isolation:
                thread:
                  timeoutInMilliseconds: 30000
    ribbon:
      ConnectTimeout: 50000
      ReadTimeout: 50000
    
    asgard-servie:
      ribbon:
        ConnectTimeout: 50000
        ReadTimeout: 50000
    
    devops:
      ansible:
        image: registry.cn-shanghai.aliyuncs.com/c7n/kubeadm-ha:0.1.0
      # helm 下载地址
      helm:
        download-url: https://file.choerodon.com.cn/kubernetes-helm/v3.2.4/helm-v3.2.4-linux-amd64.tar.gz
      # 流水线生成Gitlab Ci文件中默认的runner 镜像地址
      ci:
        default:
          image: registry.cn-shanghai.aliyuncs.com/c7n/cibase:0.9.1
        pipeline:
          sync:
            executor:
              # 核心线程池大小
              corePoolSize: 5
              # 最大线程池大小
              maxPoolSize: 8
            unterminated:
              # ci流水线对未终结的流水线进行数据补偿的时间阈值, 单位: 毫秒 (默认600秒)
              thresholdMilliSeconds: 600000
            pending:
              # ci流水线对pending的流水线进行数据补偿的时间阈值, 单位: 毫秒 (默认600秒)
              thresholdMilliSeconds: 600000
            jobEmpty:
              # ci流水线对非跳过状态的且没有job信息流水线进行数据补偿的时间阈值, 单位: 毫秒 (默认600秒)
              thresholdMilliSeconds: 600000
            refresh:
              # redisKey的过期时间, 用于控制同一条流水线的刷新间隔, 减少对gitlab的访问次数
              periodSeconds: 60
      # 批量部署的请求条数限制
      batch:
        deployment:
          maxSize: 20
    
    # websocket的最大缓冲区大小,单位字节byte
    websocket:
      buffer:
        maxTextMessageSize: 4194304
        maxBinaryMessageSize: 4194304

安装和启动步骤

  1. 创建数据库devops_service,创建用户choerodon,并为用户分配权限:

    CREATE USER 'choerodon'@'%' IDENTIFIED BY "choerodon";
    CREATE DATABASE devops_service DEFAULT CHARACTER SET utf8;
    GRANT ALL PRIVILEGES ON devops_service.* TO choerodon@'%';
    FLUSH PRIVILEGES;
  2. 拉取DevOps Service代码到本地:

    git clone https://github.com/choerodon/devops-service.git
  3. 在项目根目录执行命令: mvn clean package spring-boot:repackage -Dmaven.test.skip=true && bash init-database.sh

  4. 使用下列命令运行或直接在集成环境中运行 DevopsServiceApplication

    mvn clean spring-boot:run

链接

更新日志

反馈途径

如果您发现任何缺陷或bug,请及时 issue告知我们 。

如何参与

欢迎参与我们的项目,了解更多有关如何参与贡献的信息。

About

DevOps Service is the core service of Choerodon. It integrated several open source tools to automate the DevOps process of planning, coding, building, testing, and deployment, operation, monitoring.

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages

  • Java 91.6%
  • Groovy 7.9%
  • Other 0.5%