【应用实例】Linkis-企业级大数据平台构建之路

[Ritakang0451]

作者： 贰贰贰贰
微信： disheng

随着大数据技术的广泛应用，开源社区催生出层出不穷的上层应用和下层计算引擎。通过引入多个开源组件来满足不同的业务需求，不断更新和丰富大数据平台架构，几乎是现阶段所有企业的通用做法。

当我们的上层应用系统、工具、和底层的计算组件越来越多的时候，整个数据平台如下图所示，呈网状形式，难以适用于多种场景。

而Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。作为计算中间件，Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦，简化了复杂的网络调用关系，降低了整体复杂度，同时节约了整体开发和维护成本。

有了Linkis之后，我们的大数据平台可以这样使用，如下图。它打通了多个计算存储引擎（如：Spark、Flink、Hive、Python和HBase等），对外提供统一REST/WebSocket/JDBC接口，提供提交执行SQL、Pyspark、HiveQL、Scala等脚本能力的数据平台中间件。

于是，2019年底的时候，我们公司准备开发一套一站式的大数据平台。但是由于人手是在不够，就想着能不能找一些好用的开源产品做替代。恰好，微众开源了一套大数据中间件项目Linkis，以及前端Scriptis。我们调研以后发现，非常符合我司的需求。于是我们基于它搭建了我们自己内部的大数据一站式平台，包括开发、查询、分析、调度的一整套流程。微众也非常nice的和我们保持着交流，我们也贡献了一些pr。但是呢，由于人员流动加上公司规划的调整，内部的开发陷入了停止，平台长期处于纯维护状态。

随着业务量和人员的增加，平台开始出现一些小问题，偶发性的超时、提交任务失败。这样频繁的维护实在不是办法，于是升级的规划提上了日程。但是从刚开始的0.9.0到现在的1.0.2，Linkis经过了很大的调整，项目也几乎重构，无缝升级说实话也没有太大的把握。

Let's Go!

1 大数据环境准备

**因为考虑到后续要在生产上使用，因此准备了一套和生产完全一致的大数据环境**

#大数据组件
CDH 5.8.3
Hadoop 2.6.0
Hive 1.1.0
Spark 2.4.3

#服务器准备，之前版本的linkis在部署时，分布式和单节点部署差异不大。为了测试方便，这里采用单节点部署
物理机单台 188G 32C

#其它中间件
mysql5.7

2 代码编译

因为组件版本有差异，所以需要对pom文件中的依赖版本进行修改

参照：

[https://github.com/WeBankFinTech/incubator-linkis-doc/blob/master/zh_CN/Development_Documents/Linkis%E7%BC%96%E8%AF%91%E6%96%87%E6%A1%A3.md](https://github.com/WeBankFinTech/incubator-linkis-doc/blob/master/zh_CN/Development_Documents/Linkis%E7%BC%96%E8%AF%91%E6%96%87%E6%A1%A3.md)

**首先对几个依赖的版本进行修改**

hadoop版本在主pom.xml中修改

<properties>
      
        <hadoop.version>2.6.0</hadoop.version> <!--> 在这里修改Hadoop版本号 <-->
              
        <scala.version>2.11.8</scala.version>
        <jdk.compile.version>1.8</jdk.compile.version>
             
</properties>

hive版本在linkis-engineconn-plugins/engineconn-plugins/hive中的pom.xml

<properties>
    <hive.version>1.1.0</hive.version> <!--> 在这里修改Hive版本号 <-->
</properties>

spark版本在linkis-engineconn-plugins/engineconn-plugins/spark中的pom.xml

 <properties>
        <spark.version>2.4.3</spark.version>
 </properties>

**注意，Hadoop3请参照手照修改哈。****完成修改，下一步进程编译**

mvn -N install
mvn clean install

编译完成后，会在assembly-combined-package/target下得到wedatasphere-linkis-1.0.2-combined-package-dist.tar.gz

接下来就可以开始部署了

3 部署

3.1 打包文件上传

首先将压缩包上传服务器，并解压，得到

drwxrwxr-x 2 codeweaver codeweaver      4096 Dec 28 12:29 bin
drwxrwxr-x 2 codeweaver codeweaver      4096 Dec 28 12:29 config
-rwxrwxr-x 1 codeweaver codeweaver 482433664 Dec 28 12:15 wedatasphere-linkis-1.0.2-combined-dist.tar.gz

3.2 修改配置

配置文件 config/db.sh

自己设定哈，我这里展示比较简单

MYSQL_HOST=127.0.0.1
MYSQL_PORT=3306
MYSQL_DB=linkis
MYSQL_USER=root
MYSQL_PASSWORD=123456

配置文件 config/linkis-env.sh

#
# @name:        linkis-env
#
# Modified for Linkis 1.0.0

# SSH_PORT=22

### deploy user
deployUser=codeweaver

##Linkis_SERVER_VERSION
LINKIS_SERVER_VERSION=v1

### Specifies the user workspace, which is used to store the user's script files and log files.
### Generally local directory
WORKSPACE_USER_ROOT_PATH=file:///tmp/codeweaver/linkis_dev/ ##file:// required
### User's root hdfs path
HDFS_USER_ROOT_PATH=hdfs:///user/codeweaver/linkis_dev ##hdfs:// required





### Path to store started engines and engine logs, must be local
ENGINECONN_ROOT_PATH=/tmp/codeweaver/linkis_dev

#ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/

### Path to store job ResultSet:file or hdfs path
#RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis ##hdfs:// required

### Provide the DB information of Hive metadata database.
### Attention! If there are special characters like "&", they need to be enclosed in quotation marks.
HIVE_META_URL="jdbc:mysql://127.0.0.1:3306/hive"
HIVE_META_USER="root"
HIVE_META_PASSWORD="123456"

##YARN REST URL  spark engine required
YARN_RESTFUL_URL=http://127.0.0.1:8088

###HADOOP CONF DIR
HADOOP_CONF_DIR=/etc/hadoop/conf

###HIVE CONF DIR
HIVE_CONF_DIR=/etc/hive/conf

###SPARK CONF DIR
SPARK_CONF_DIR=/etc/spark/conf

## Engine version conf
#SPARK_VERSION
SPARK_VERSION=2.4.3
##HIVE_VERSION
HIVE_VERSION=1.1.0
PYTHON_VERSION=python3

################### The install Configuration of all Micro-Services #####################
#
#    NOTICE:
#       1. If you just wanna try, the following micro-service configuration can be set without any settings.
#            These services will be installed by default on this machine.
#       2. In order to get the most complete enterprise-level features, we strongly recommend that you install
#            Linkis in a distributed manner and set the following microservice parameters
#

###  EUREKA install information
###  You can access it in your browser at the address below:http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}
#EUREKA_INSTALL_IP=127.0.0.1         # Microservices Service Registration Discovery Center
EUREKA_PORT=20303
export EUREKA_PREFER_IP=false

###  Gateway install information
#GATEWAY_INSTALL_IP=127.0.0.1
GATEWAY_PORT=9001

### ApplicationManager
#MANAGER_INSTALL_IP=127.0.0.1
MANAGER_PORT=9101

### EngineManager
#ENGINECONNMANAGER_INSTALL_IP=127.0.0.1
ENGINECONNMANAGER_PORT=9102





### EnginePluginServer
#ENGINECONN_PLUGIN_SERVER_INSTALL_IP=127.0.0.1
ENGINECONN_PLUGIN_SERVER_PORT=9103

### LinkisEntrance
#ENTRANCE_INSTALL_IP=127.0.0.1
ENTRANCE_PORT=9104

###  publicservice
#PUBLICSERVICE_INSTALL_IP=127.0.0.1
PUBLICSERVICE_PORT=9105

### cs
#CS_INSTALL_IP=127.0.0.1
CS_PORT=9108

########################################################################################

## LDAP is for enterprise authorization, if you just want to have a try, ignore it.
#LDAP_URL=ldap://localhost:1389/
#LDAP_BASEDN=dc=webank,dc=com
#LDAP_USER_NAME_FORMAT=cn=%s@xxx.com,OU=xxx,DC=xxx,DC=com

## java application default jvm memory
export SERVER_HEAP_SIZE="512M"

##The decompression directory and the installation directory need to be inconsistent
LINKIS_HOME=/home/codeweaver/linkis/

LINKIS_VERSION=1.0.2

# for install
LINKIS_PUBLIC_MODULE=lib/linkis-commons/public-module

修改完成后，开始下一步骤

3.3 Install

进入bin目录，首先确认安装需要的依赖 sh checkEnv.sh

这里把需要yum安装的包列了出来，也可以手动按照

yum
java
mysql
telnet
tar
sed
dos2unix

完成后，sh install.sh

Congratulations! You have installed Linkis 1.0.2 successfully, please use sbin/linkis-start-all.sh to start it!

出现这个提示，说明hdfs目录、mysql表、文件解压完成，可以开始启动应用了

注：保险起见，可以进入conf目录，确认下配置文件是否都已经成功替换。

并且这里发现一个问题：mysql中linkis_cg_manager_label表的hive版本没有成功替换，看了下是脚本中写的是hive-1.2.1，而linkis_dml.sql中已经是hive-2.3.3。所以没有成功替换

3.4 启动Linkis

**进入sbin目录，sh linkis-start-all.sh**

Linkis started successfully

启动没有任何问题，查看下eureka的管理页面

8个应用都正常启动了，接下来看下日志，检查下应用是否都正常

瞧，坑来了：

**在检查linkis-ps-publicservice的时候，发现了报错信息**

2021-12-28 14:53:44.330 [ERROR] [qtp555754759-84                         ] c.w.w.l.b.c.HdfsResourceHelper (91) [upload] - codeweaver write to hdfs:///apps-data/codeweaver/bml/20211228/0b5ed154-4f42-460a-b5a2-c584a07eb4e4 failed, reason is, IOException: org.apache.hadoop.security.AccessControlException: Permission denied: user=codeweaver, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:242)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:169)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3560)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3543)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3525)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6588)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4384)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4354)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4327)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:868)
        at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:322)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:613)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2141)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2137)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1835)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2135)

咦？这个hdfs好像不是我填写的，为什么会往这里写文件呢？赶紧翻看其他应用的日志，发现原来是engineplugin会在启动时往hdfs写文件

2021-12-28 14:53:42.577 [INFO ] [Linkis-Default-Scheduler-Thread-1       ] c.w.w.l.e.s.s.DefaultEngineConnResourceService (40) [info] - Try to initialize hiveEngineConn-v1.1.0.
2021-12-28 14:53:43.237 [INFO ] [Linkis-Default-Scheduler-Thread-1       ] c.w.w.l.e.s.s.DefaultEngineConnResourceService (40) [info] - Ready to upload a new bmlResource for hiveEngineConn-v1.1.0. path: conf.zip
2021-12-28 14:53:44.686 [INFO ] [Linkis-Default-Scheduler-Thread-1       ] o.r.Reflections (229) [scan] - Reflections took 179 ms to scan 23 urls, producing 341 keys and 3825 values
2021-12-28 14:53:44.723 [ERROR] [Linkis-Default-Scheduler-Thread-1       ] c.w.w.l.e.s.s.DefaultEngineConnResourceService (99) [apply] - error code（错误码）: 10905, Error message（错误信息）: URL /api/rest_j/v1/bml/upload request failed! ResponseBody is {"method":null,"status":1,"message":"error code(错误码): 60050, error message(错误信息): The first upload of the resource failed(首次上传资源失败).","data":{"errorMsg":{"serviceKind":"linkis-ps-publicservice","level":2,"port":9105,"errCode":50073,"ip":"bd15-21-32-217","desc":"The commit upload resource task failed(提交上传资源任务失败):errCode: 60050 ,desc: The first upload of the resource failed(首次上传资源失败) ,ip: bd15-21-32-217 ,port: 9105 ,serviceKind: linkis-ps-publicservice"}}}.. com.webank.wedatasphere.linkis.httpclient.exception.HttpClientResultException: errCode: 10905 ,desc: URL /api/rest_j/v1/bml/upload request failed! ResponseBody is {"method":null,"status":1,"message":"error code(错误码): 60050, error message(错误信息): The first upload of the resource failed(首次上传资源失败).","data":{"errorMsg":{"serviceKind":"linkis-ps-publicservice","level":2,"port":9105,"errCode":50073,"ip":"bd15-21-32-217","desc":"The commit upload resource task failed(提交上传资源任务失败):errCode: 60050 ,desc: The first upload of the resource failed(首次上传资源失败) ,ip: bd15-21-32-217 ,port: 9105 ,serviceKind: linkis-ps-publicservice"}}}. ,ip: bd15-21-32-217 ,port: 9103 ,serviceKind: linkis-cg-engineplugin

ok，既然配置里没有，那从代码里找找到底是哪个参数控制的吧 于是在**BmlServerConfiguration**中找到了这个参数

val BML_HDFS_PREFIX = CommonVars("wds.linkis.bml.hdfs.prefix", "/apps-data")

查看其调用

if (StringUtils.isNotEmpty(resourceHeader)) {
    return getSchema() + BmlServerConfiguration.BML_HDFS_PREFIX().getValue()
            + "/" + user + "/bml" + "/" + dateStr + "/" + resourceHeader + "/" + fileName;
} else {
    return getSchema() + BmlServerConfiguration.BML_HDFS_PREFIX().getValue() + "/" + user + "/bml" + "/" + dateStr + "/" + fileName;
}

**ok就是它了**
**在conf/linkis-ps-publicservice.properties中加上**

wds.linkis.bml.hdfs.prefix=/user/codeweaver/linkis_dev

重启应用，再次查看日志

2021-12-28 15:10:03.660 [INFO ] [qtp1617265545-84                        ] c.w.w.l.b.s.i.TaskServiceImpl (80) [createUploadTask] - Upload resource successfully. Update task(上传资源成功.更新任务) taskId:12-resourceId:0cbfb738-491d-48e4-8e4f-c2c65b8b79b1 status is   success .
2021-12-28 15:10:03.678 [INFO ] [qtp1617265545-84                        ] c.w.w.l.b.r.BmlRestfulApi (464) [uploadResource] - User codeweaver submitted upload resource task successfully(用户 codeweaver 提交上传资源任务成功, resourceId is 0cbfb738-491d-48e4-8e4f-c2c65b8b79b1)