Skip to content

Latest commit

 

History

History
243 lines (160 loc) · 5.79 KB

README.zh-CN.md

File metadata and controls

243 lines (160 loc) · 5.79 KB

背景

一个企业里往往有大量的项目,每个项目都包含很多的代码,这些代码都是企业的核心资产。 经过日积月累,不同的开发人员不断的修改完善,企业中很难有人能掌握所有的代码。 于是企业全库的代码搜索就变得非常重要。

例如我们可以搜索公司代码是否包含某类敏感信息,是否使用了某些不安全的方法等等。

Kooder 是什么

Kooder 是一个开源的代码搜索工具,目标是为包括 Gitee/GitLab/Gitea 在内的代码托管系统提供 自动的源码、仓库和 Issue 的搜索服务。

搜索界面效果

Kooder ScreenShot

Kooder 架构

Kooder 服务包含两个模块,分别是 gateway 和 indexer(默认配置下 indexer 被集成到 gateway 中)。 其中 gateway 用来接受来自 HTTP 的索引任务, 对任务进行检查后存放到队列中; 同时 gateway 还接受搜索的请求,并返回搜索结果给客户端。而 indexer 进程负责监控队列中的索引任务, 并将这些要新增、删除和修改索引的任务更新到索引库中。

模块说明

  • core 核心对象和公共类
  • gateway 用来接收来自 HTTP 的索引和搜索的请求
  • indexer 构建、更新和删除索引的服务

数据流图

Kooder Flow

源码安装

1.依赖

  • openjdk >= 8
  • maven > 3

2.下载代码

$ git clone https://gitee.com/koode/kooder.git
$ cd kooder

运行前准备工作

配置文件: kooder.properties

  1. 配置 HTTP 服务

http.url Kooder 的网址,该地址用于向 Git 服务注入 Webhook 的链接地址, 必须是 Git 服务可访问的地址,例如:http.url = http://<kooder-host>:8080

http.port Kooder 运行的 HTTP 端口

  1. 配置 GitLab 服务地址

目前 Kooder 支持 Gitee、GitLab 和 Gitea ,其他服务正在开发中。

gitlab.url 访问 GitLab 的首页
gitlab.personal_access_token Gitlab 管理员账号 root 的 Personal Access Token

更多配置项请看 configuration.md

  1. 构建并运行
$ cd Kooder
$ mvn install
### 给执行脚本添加权限
$ chmod +x bin/*.sh
### 启动 gateway
$ bin/gateway.sh
### 浏览器访问 http://localhost:8080

Kooder Search API

@see API.md

Docker 安装

docker-compose

依赖

  • docker-ce环境
  • docker-compose

开发代码优化后,部署只需将代码 clone 下来,然后在服务器上部署容器平台,在平台上执行如下命令:

### 开箱即用
docker-compose up -d 

### 关闭容器
docker-compose down

docker-compose ha 版

依赖

  • docker-ce环境
  • docker-compose

开发代码优化后,部署只需将代码clone下来,然后在服务器上部署容器平台,在平台上执行如下命令:

### 开箱即用
docker-compose -f docker-compose-ha.yaml up -d

### 关闭容器
docker-compose -f docker-compose-ha.yaml down

实现的效果如下:

Kooder docker-ha

配置文件: core/src/main/resources/kooder.properties,修改配置文件之后,执行如下命令:

docker-compose down
docker-compose up -d 

查看服务启动状态

docker logs -f CONTAINER_ID
......
2021-04-07 13:28:49 INFO [gateway] - Tasks [indexer,gitee] started.
2021-04-07 13:28:49 INFO [gateway] - READY (*:8080)!
.......

以上信息显示的日志表明启动成功

注意

每次启动都会执行mvn install以确保配置文件生效

对接不同平台

对接 GitLab

需配置如下几项:

http.startup.tasks = indexer,gitlab
gitlab.url = http://gitlab-host:gitlab-port/  
gitlab.personal_access_token = <root user personal access token>  
git.username = root  
git.password =  

如果不填写密码,则 Kooder 会自动使用 access token 作为密码。

对接 Gitee 私有化

需配置如下几项:

http.startup.tasks = indexer,gitee
gitee.url = https://<gitee-host>/  
gitee.personal_access_token = <root user personal access token>  
git.username = root  
git.password =  

对接 Gitea

1.进入 Gitea 管理后台;

2.添加 Gitea Web 钩子;

3.设置 Web 钩子。

Url 填写 http://kooder-ip:kooder-port/gitea,请求方式为POST + application/json,触发条件可选所有事件或者自定义事件

如选择自定义事件,则需要勾选仓库事件的推送仓库选项,和工单事件的工单选项。

2.配置如下几项

http.startup.tasks = indexer,gitea
gitea.secret_token = <webhook secret token>
gitea.url = http://gitea-ip:prot/
gitea.personal_access_token = <admin personal access token>
git.username = <admin username>
git.password = <admin password>

从文件索引仓库

Kooder 目前支持同一托管平台的仓库索引,如需索引多个托管平台,进行分次导入即可。

kooder.properties 配置文件中进行如下设置:

//开启 Kooder 从文件索引仓库的特性

http.startup.tasks = indexer,file //增加 file 字段

file.index.path = C:/Documents/Kooder/file.txt //配置 file.index.path 文件路径(file.txt 为本地文件,路径可自行配置)

file.index.vender = gitee //指定对应的代码托管平台(必须)

file.txt 内容

//添加配置中指定的托管平台仓库地址
https://gitee.com/koode/kooder.git
https://gitee.com/ld/J2Cache.git
...

构建并运行

$ cd Kooder
$ mvn install
### 启动 gateway
$ bin/gateway.sh
### 浏览器访问 http://localhost:8080

搜索界面效果

kooder-index

Kooder ScreenShot