Golang 代码质量持续检测 #30

yangwenmai · 2018-07-29T05:28:32Z

Golang 代码质量持续检测

Author: Kenny Allen

Email: kennyallen0520@gmail.com

前言

在软件开发过程中，人工检查项目代码中的漏洞和潜在的 BUG 是一件让人十分费神费力的事情，为了解决这一痛点，SonarQube诞生了，它实现了一系列代码自动检测过程，包括命名规范，代码漏洞，代码重复量等。

但是光有 SonarQube 还不能发挥出应有的高效率，一个完整的代码质量持续检测应配合代码仓库(如 gitlab) 和 Jenkins 来共同构建一个自动化过程。

环境

Gitlab、Jenkins、SonarQube 服务都在一台物理机上的Docker中运行
网络 (局域网IP：192.168.1.100)

主机科学上网代理

192.168.1.100:1087

模拟外网访问

# 修改 hosts 文件，模拟外网访问
sudo sh -c "echo '192.168.1.100 jenkins.kenny.com\n192.168.1.100 gitlab.kenny.com\n192.168.1.100 sonarqube.kenny.com' >> /etc/hosts"

工具集

名称	版本
golang	go1.10.3
docker	18.03.1-ce

搭建

接下来，我以一个完整的案例来介绍搭建过程。

Jenkins

启动服务

# $jenkins_home 宿主机目录，挂载容器 /var/jenkins_home
# 我的数据卷目录是 ~/.jenkins
export JENKINS_HOME=~/.jenkins
docker run -d --restart=always -p 8080:8080 -p 50000:50000 -v $JENKINS_HOME:/var/jenkins_home --name jenkins jenkins:2.60.3

# 查看 jenkins 日志
docker logs -f jenkins

初始化

打开浏览器，访问 http://jenkins.kenny.com:8080

# 在日志中找到管理员密码
docker logs -f jenkins 

# 或者在 $JENKINS_HOME/secrets/initialAdminPassword 文件中找到管理员密码
cat $JENKINS_HOME/secrets/initialAdminPassword

安装推荐插件 (如果你想自定义安装插件，点击 Select plugins to Install)
创建管理员账号
初始化完成

Gitlab

启动服务 (gitlab 集成的服务比较多，因此需要占用较大的内存，官方推荐4GB以上)

# $gitlab_home 宿主机目录
# 我的数据卷目录是 ~/.gitlab
export GITLAB_HOME=~/.gitlab
docker run -d --restart=always -e 'GITLAB_HOST=gitlab.kenny.com' -p 443:443 -p 80:80 -p 22:22 -v $GITLAB_HOME/conf:/etc/gitlab -v $GITLAB_HOME:/var/opt/gitlab -v $GITLAB_HOME/log:/var/log/gitlab --name gitlab gitlab/gitlab-ce:11.1.0-ce.0

# 查看 gitlab 日志
docker logs -f gitlab

初始化

打开浏览器，访问 http://gitlab.kenny.com
设置新密码后，使用 root 用户登录
新建 sonarqube 项目组
在 sonarqube 项目组下新建 demo 项目

添加主机公钥到 Gitlab

# 生成 rsa 公钥和密钥
ssh-keygen -t rsa

# 查看并复制公钥
cat ~/.ssh/id_rsa.pub

访问 http://gitlab.kenny.com/profile/keys ，将公钥添加至 Gitlab

将 sonarqube/demo 项目拉至主机的 $GOPATH 下

# 在 $GOPATH 下创建 gitlab.kenny.com 文件夹
mkdir -p $GOPATH/src/gitlab.kenny.com && cd $GOPATH/src/gitlab.kenny.com

# clone code
git clone git@gitlab.kenny.com:sonarqube/demo.git

SonarQube

启动服务

# 由于目前 sonarqube 官方的 Docker images 只有 7.1 版本，不满足 SonarGO 所需 7.2+ 版本，所以我参考7.1 的 Dockerfile 制作了一个 sonarqube 7.2.1 的镜像
# $sonarqube_home 宿主机目录
# 我的数据卷目录是 ~/.sonarqube
export SONARQUBE_HOME=~/.sonarqube
# 正式环境中应启用外部数据库服务来存储必要数据，在启动容器时设置如下JDBC相关参数:
# -e SONARQUBE_JDBC_USERNAME=sonar 
# -e SONARQUBE_JDBC_PASSWORD=sonar 
# -e SONARQUBE_JDBC_URL=jdbc:postgresql://localhost/sonar
docker run -d --restart=always -p 9000:9000 -v $SONARQUBE_HOME:/opt/sonarqube/data --name sonarqube kennyallen/sonarqube:7.2.1

# 查看 sonarqube 日志

Dockerfile:

FROM openjdk:8

ENV SONAR_VERSION=7.2.1 \
    SONARQUBE_HOME=/opt/sonarqube \
    SONARQUBE_JDBC_USERNAME=sonar \
    SONARQUBE_JDBC_PASSWORD=sonar \
    SONARQUBE_JDBC_URL=


# Http port
EXPOSE 9000

RUN groupadd -r sonarqube && useradd -r -g sonarqube sonarqube

# grab gosu for easy step-down from root
RUN set -x \
    && wget -O /usr/local/bin/gosu "https://github.com/tianon/gosu/releases/download/1.10/gosu-$(dpkg --print-architecture)" \
    && wget -O /usr/local/bin/gosu.asc "https://github.com/tianon/gosu/releases/download/1.10/gosu-$(dpkg --print-architecture).asc" \
    && export GNUPGHOME="$(mktemp -d)" \
    && gpg --keyserver ha.pool.sks-keyservers.net --recv-keys B42F6819007F00F88E364FD4036A9C25BF357DD4 \
    && gpg --batch --verify /usr/local/bin/gosu.asc /usr/local/bin/gosu \
    && rm -rf "$GNUPGHOME" /usr/local/bin/gosu.asc \
    && chmod +x /usr/local/bin/gosu \
    && gosu nobody true

RUN set -x \
    && cd /opt \
    && wget -O sonarqube.zip https://sonarsource.bintray.com/Distribution/sonarqube/sonarqube-$SONAR_VERSION.zip \
    && unzip sonarqube.zip \
    && mv sonarqube-$SONAR_VERSION sonarqube \
    && chown -R sonarqube:sonarqube sonarqube \
    && rm sonarqube.zip \
    && rm -rf $SONARQUBE_HOME/bin/*

VOLUME "$SONARQUBE_HOME/data"

WORKDIR $SONARQUBE_HOME
COPY run.sh $SONARQUBE_HOME/bin/
ENTRYPOINT ["./bin/run.sh"]

run.sh:

#!/bin/bash

set -e

if [ "${1:0:1}" != '-' ]; then
  exec "$@"
fi

chown -R sonarqube:sonarqube $SONARQUBE_HOME
exec gosu sonarqube \
  java -jar $SONARQUBE_HOME/lib/sonar-application-$SONAR_VERSION.jar \
  -Dsonar.log.console=true \
  -Dsonar.jdbc.username="$SONARQUBE_JDBC_USERNAME" \
  -Dsonar.jdbc.password="$SONARQUBE_JDBC_PASSWORD" \
  -Dsonar.jdbc.url="$SONARQUBE_JDBC_URL" \
  -Dsonar.web.javaAdditionalOpts="$SONARQUBE_WEB_JVM_OPTS -Djava.security.egd=file:/dev/./urandom" \
  "$@"

初始化

打开浏览器，访问 http://sonarqube.kenny.com:9000
使用管理员账号登录
- 账号 admin
- 密码 admin
生成 token (作为远程连接 SonarQube 的标识，只生成一次，记得备份哦)

admin_token: 74439d5bc557dcc206fa8b1f2f5516e65680bdc8
安装插件 (进入 Administration -> Marketplace)

安装完成后点击重启 SonarQube 服务就OK了

集成

将 Jenkins、Gitlab 和 SonarQube 有机整合

Jenkins 安装插件

点击进入系统管理 -> 插件管理 -> 可选插件
过滤选中 Gitlab、SonarQube Scanner，点击下载待重启后安装

Jenkins 配置

安装 SonarQube & JDK

进入系统管理 -> Global Tool Configuration

JDK 安装

勾选我同意 Java SE Development Kit 的许可协议

点击 Please enter your username/password

输入你的 oracle 账号密码

SonarQube Scanner 安装
SonarQube Server

进入系统管理 -> 系统设置

Add SonarQube servers

Name 随便填写

Server URL: http://sonarqube.kenny.com:9000

Server version: 5.3 or higher

Server authentication token: 填 SonarQube 初始化时生成的 token
取消 Gitlab 授权

取消选中 Enable authentication for '/project' end-point，保存

在 jenkins 容器中安装 golang 环境及工具

# 在 Jenkins 容器中执行命令
docker exec -it jenkins /bin/bash
# 临时设置环境变量
export GOROOT=$JENKINS_HOME/go
export GOPATH=$JENKINS_HOME/workspace/go
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
export http_proxy=http://192.168.1.100:1087;export https_proxy=http://192.168.1.100:1087;
# 进入 jenkins 主目录
cd $JENKINS_HOME
# 下载 golang
wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz
# 解压 golang 包
tar -xvf  go1.10.3.linux-amd64.tar.gz
# 删除 golang 包
rm go1.10.3.linux-amd64.tar.gz
# 安装必要工具
# vgo
go get -u -v golang.org/x/vgo
# gometalinter
go get -u -v github.com/alecthomas/gometalinter
gometalinter --install

配置邮件通知

进入系统管理 -> 系统设置

Jenkins Location

系统管理员邮件地址修改为你自己的邮箱地址，如 wyh3265@163.com

Extend E-mail Notification

SMTP Server 填写对应的SMTP服务地址，如 smtp.163.com

点击高级，勾选使用SMTP认证

用户名注意不需要加 @xxx.xxx

密码填写自己的邮箱密码或授权码

Default Triggers 选中 Always

新建 Jenkins 构建任务

新构建一个自由风格的软件项目
使用自定义的工作空间

点击高级，勾选使用自定义的工作空间

目录：$JENKINS_HOME/workspace/go/src/gitlab.kenny.com/demo
源码管理

Repository URL：http://gitlab.kenny.com/sonarqube/demo

Credentials：点击Add ，添加凭据 (Gitlab 用户名密码或 SSH登录等方式都可以)
构建触发器，选中

Build when a change is pushed to GitLab. GitLab webhook URL: http://jenkins.kenny.com:8080/project/demo

Enabled GitLab triggers 选中 Push Events 和 Accepted Merge Request Events ，表示当 Gitlab 有 push 或 merge 操作发生时触发构建。
新建 webhook

在浏览器中打开 http://gitlab.kenny.com/admin/application_settings (请使用 root 登录)，找到 Outbound requests ，点击 Expand 后，选中 Allow requests to the local network from hooks and services 并保存更改。 (允许本地网络的 githook)

进入 http://gitlab.kenny.com/sonarqube/demo/settings/integrations

URL: http://jenkins.kenny.com:8080/project/demo

SecretToken: 不填

选中 Push events、Merge request events

取消选中 Enable SSL verification

点击 Add web hook

增加构建步骤，选中 Execute Shell

#!/bin/bash
# 环境变量
export GOROOT=$JENKINS_HOME/go
export GOPATH=$JENKINS_HOME/workspace/go
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
export http_proxy=http://192.168.1.100:1087;export https_proxy=http://192.168.1.100:1087;

# 安装依赖
vgo mod -vendor

# coverage
go test ./... -coverprofile=coverage.out

# test
go test ./... -json > report.json

# vet
go vet ./... 2> govet-report.out

# golint
golint ./... > golint-report.out

# gometalinter 
# 执行 gometalinter 会失败,因此加了 || true
gometalinter ./... > gometalinter-report.out || true

增加构建步骤，选中 Execute SonarQube Scanner

Analysis properties

sonar.projectKey=gitlab.kenny.com
sonar.projectName=demo
sonar.sources=.
sonar.exclusions=**/*_test.go,**/vendor/**
sonar.tests=.
sonar.test.inclusions=**/*_test.go
sonar.test.exclusions=**/vendor/**
sonar.go.coverage.reportPaths=coverage.out
sonar.go.tests.reportPaths=report.json
sonar.go.govet.reportPaths=govet-report.out
sonar.go.golint.reportPaths=golint-report.out
sonar.go.gometalinter.reportPaths=gometalinter-report.out

增加构建后操作，选中 Editable Email Notification

Project Recipient List 填写接收邮件的Email地址，或使用默认配置

Default Content 加上 SonarQube URL: http://sonarqube.kenny.com:9000

测试

# clone demo 代码
cd $GOPATH/src/gitlab.kenny.com && git clone git@github.com:yuhao5/sonarqube-golang.git && rm -rf demo && mv sonarqube-golang demo && cd demo
# push 代码，触发 Jenkins 任务进行自动构建
git remote add gitlab git@gitlab.kenny.com:sonarqube/demo.git
git push -u gitlab master

# 若 gitlab 仓库地址不是 git@gitlab.kenny.com:sonarqube/demo.git ，请根据以下步骤修改：
docker exec -it gitlab /bin/bash
vim /etc/gitlab/gitlab.rb
# 找到 external_url，修改为 external_url 'http://gitlab.kenny.com'
# 然后执行
gitlab-ctl reconfigure

TODO

解决执行 gometalinter 失败问题
Golang 质量标准，规则自定义

yangwenmai · 2021-12-29T06:41:12Z

你可以查看这个链接：https://github.com/talkgo/night/blob/master/content/articles/sonarqube-for-golang/2018-07-22-sonarqube-for-golang.md

yangwenmai added the 技术文章 label Jul 29, 2018

yangwenmai closed this as completed Jul 29, 2018

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Golang 代码质量持续检测 #30

Golang 代码质量持续检测 #30

yangwenmai commented Jul 29, 2018 •

edited

Loading

yangwenmai commented Dec 29, 2021

Golang 代码质量持续检测 #30

Golang 代码质量持续检测 #30

Comments

yangwenmai commented Jul 29, 2018 • edited Loading

Golang 代码质量持续检测

前言

环境

搭建

Jenkins

启动服务

初始化

Gitlab

启动服务 (gitlab 集成的服务比较多，因此需要占用较大的内存，官方推荐4GB以上)

初始化

SonarQube

启动服务

初始化

集成

Jenkins 安装插件

Jenkins 配置

新建 Jenkins 构建任务

测试

TODO

yangwenmai commented Dec 29, 2021

yangwenmai commented Jul 29, 2018 •

edited

Loading