Skip to content

0.0_QuickStart

Jump to bottom
elevenqq edited this page Oct 11, 2018 · 40 revisions

概要

  • 【环境准备】
    1. 操作系统
        a. DataLink为纯java编写，windows/linux均可支持
        b. jdk建议使用1.8以上的版本，稳定可靠，目前DataLink使用1.8版本
    2. 整个DataLink数据同步由Manager和Worker两部分组成，需要预先进行安装，后续会有专门的篇幅展开介绍
    3. DataLink依赖于Zookeeper进行分布式调度，需要安装一个Zookeeper节点或者集群

环境安装

Manager_Quickstart

  • 【环境准备】
    1. DataLink运行需要依赖各种配置信息统一用Mysql存储，所以需要预先安装mysql，并初始化DataLink Manager的系统表结构
        a. 安装mysql
        b. 初始化DataLink Manager系统表：
    //下载数据库脚本文件：
    wget https://github.com/ucarGroup/DataLink/blob/master/dl-biz/src/main/resources/biz/sql/ucar_datalink.sql
    //导入数据库脚本：
    source ucar_datalink.sql
    2. DataLink Manager的高可用依赖于zookeeper，所以需要预先安装zookeeper.
        a. manager需要在manager.properties中指定zookeeper集群地址，格式：ip:port,ip:port,...
  • 【启动步骤】
    1. 下载DataLink Manager
    //直接下载 ，可访问：https://github.com/ucarGroup/DataLink，会列出所有历史的发布版本包下载方式
    or
    //将项目的Git仓库复制一份出来
    git clone git@github.com/ucarGroup/DataLink.git
    //在项目根目录下打包
    mvn clean package -Dmaven.test.skip=true
    打包完成后，会在根目录下产生target文件夹，下面包含dl-manager子文件夹和dl-manager.tar.gz，这里使用dl-manager子文件，也可以将dl-manager.tar.gz解压之后使用。
    2. 配置修改
    cd /target/dl-manager/conf
    //根据需要修改zk与数据库配置

    (1)设置zk的地址:
    manager.properties里面zk的默认配置如下
    zookeeper.servers=localhost:2181
    注：若zk没有在本机器启动，需要将localhost设置为zk所在机器的ip
    (2)设置ucar_datalink数据库的ip、用户名、密码:
    datasource.properties里面数据库的默认配置如下
    datasource.url=jdbc:mysql://localhost:3306/ucar_datalink
    datasource.username=root
    datasource.password=722b14aca98fcafe
    注：将localhost设置为ucar_datalink所在机器的ip，密码设置为通过DbConfigEncryption的encrypt方法加密之后的值。

    3. 准备启动
    //通过脚本启动manager
    sh /target/dl-manager/bin/startup.sh
    注意：
    Mac终端下执行sh startup.sh脚本可能会报如下日志
    /var/spool/cron/root: No such file or directory
    /var/spool/cron/root: Permission denied
    首先查看是否存在目录/var/spool/cron，若存在则直接用管理员权限创建root文件：sudo -s touch root，若不存在该目录需要先创建。
    然后，针对mac 下终端访问文件出现“Permission Denied”，解决方案如下：
    一个文件有3种权限，读、写、可执行，你这个文件没有可执行权限，需要加上可执行权限。
    1）终端下先 cd到该文件的目录下
    2）执行命令sudo chmod a+x ./root
    这样就可以打开该文件了

    4. 查看日志
    more /target/dl-manager/logs/manager/manager.log
    2018-07-19 16:22:59.350 [main] INFO com.ucar.datalink.manager.core.server.JettyServer - ##Jetty Embed Server is started.
    2018-07-19 16:22:59.353 [main] INFO com.ucar.datalink.manager.core.monitor.MonitorManager - MonitorManager is started.
    2018-07-19 16:22:59.362 [main] INFO com.ucar.datalink.manager.core.schedule.ScheduleService - schedule service change to standby mode success.
    2018-07-19 16:22:59.362 [main] INFO com.ucar.datalink.manager.core.schedule.ScheduleServer - ##ScheduleServer is started.
    2018-07-19 16:22:59.362 [main] INFO com.ucar.datalink.manager.core.server.ServerContainer - ServerContainer is started.
    2018-07-19 16:22:59.362 [main] INFO com.ucar.datalink.manager.core.boot.ManagerBootStrap - ## the datalink manager is running now ......
    出现类似日志，代表启动成功
    5. 验证
    访问： http://ip:8080/，ip即为manager所部署机器的ip，出现DataLink的页面，即代表启动成功：

    mainPage 访问：http://ip:8080/userReq/login，初始用户名和密码为：admin/admin，即可完成登录。admin默认角色为超级管理员，拥有所有操作权限，开发者可以根据场景需求自定义用户角色，通过分配角色权限来进行系统的权限控制，目前的权限控制精确到按钮和action级别。
    6. 关闭
    //通过脚本关闭manger
    sh /target/dl-manager/bin/stop.sh

Worker_Quickstart

  • 【环境准备】
    1. DataLink Worker会受DataLink Manager进行管理，所以需要预先安装DataLink Manager，参见：Manager_Quickstart.
    2. 完成Manager安装后，需要在Manager页面为Worker配置信息
        a. 由于每个Worker都属于一个分组，所以首先新增分组信息：访问Manager页面的集群管理/分组管理页面，点击新增按钮添加分组：

    group
        b.访问Manager页面的集群管理/机器管理页面，点击新增按钮添加机器：

    worker
    几点说明：
    分组名称和机器名称可以随意定义，方便自己记忆即可
    所属分组：每个Worker节点都有唯一一个所属的分组
    机器ip：对应Worker节点将要部署的机器ip
    Rest端口：对应Worker节点提供rest服务的端口，建议值：8083
    注：原则上允许单机多Worker指定不同的端口，通过client.id显示指定Worker，但是在非开发环境为了简化运维成本，一台机器上部署一个Worker，这样，可以通过IP反查来定位Worker。

  • 【启动步骤】
    1. 下载DataLink Worker
    //直接下载 ，可访问：https://github.com/ucarGroup/DataLink ，会列出所有历史的发布版本包下载方式
    or
     //将项目的Git仓库复制一份出来
    git clone git@github.com/ucarGroup/DataLink.git
    //在项目根目录下打包
    mvn clean package -Dmaven.test.skip=true
    打包完成后，会在根目录下产生target文件夹，下面包含dl-worker子文件夹和dl-worker.tar.gz，这里使用dl-worker子文件夹。
    2. 配置修改
    cd /target/dl-worker/conf
    //根据需要修改worker.properties中的manager和zk配置，以及其他配置

     (1)设置manager配置
    #datalink-manager
    bootstrap.servers=localhost:8898,localhost:8899
    注：若manager没有在本机启动，则需要将localhost设置为manager所在机器的ip
    (2)设置zk配置
    #zookeeper
    zookeeper.servers=localhost:2181
    注：若zk没有在本机器启动，需要将localhost设置为zk所在机器的ip
    其他配置默认如下：
    #worker运行模式，distributed/standalone
    worker.bootMode=distributed
    zookeeper.session.timeout.ms = 30000
    zookeeper.connection.timeout.ms = 10000
    注：Worker支持两种启动方式：standalone和distributed，前者启动时只依赖于数据库，后者启动时需要同时依赖数据库、datalink-manager和zookeeper
    3. 准备启动
    sh /target/dl-worker/bin/startup.sh
    4. 查看日志
    more /target/dl-worker/logs/worker/worker.log

    2018-09-18 08:08:09.071 [main] INFO com.ucar.datalink.worker.core.runtime.WorkerController - Worker Controller started.
    2018-09-18 08:08:09.071 [main] INFO com.ucar.datalink.worker.core.boot.WorkerBootStrap - ## the datalink worker is running now ......

    出现类似日志，代表启动成功
    5. 验证
    访问： http://ip:8080，ip即为manager所部署机器的ip，查看集群管理/机器管理列表中对应的Worker节点状态，如果机器状态变为了“正常”，并且启动时间变为了你刚刚启动的时间，代表已经正常启动，否则，机器状态会是“异常”。

    workerStatus
    6. 关闭
    sh /target/dl-worker/bin/stop.sh
    关闭后，可查看下Manager页面，检查下Worker节点状态.

Clone this wiki locally