Skip to content

Latest commit

 

History

History
190 lines (126 loc) · 14.8 KB

脚本样例.md

File metadata and controls

190 lines (126 loc) · 14.8 KB
Raw

脚本样例

Zeppelin

Zeppelin是一个基于web的notebook，支持交互式的数据分析。了解更多请访问Zeppelin官网http://zeppelin.apache.org/。

本样例脚本能够自动化安装Zeppelin。根据创建集群的region选择对应的脚本路径，在创建集群 > 添加引导操作时填入到“脚本路径”即可，该脚本无需填入参数。根据Zeppelin使用习惯，您只须在Active Master节点上执行该脚本。

引导操作执行完成后，可用如下方法验证正确安装了zeppelin。

第一种：可以root远程登入集群Active Master节点，执行**/home/apache/zeppelin-0.7.3-bin-all/bin/zeppelin-daemon.sh status**，结果显示“Zeppelin is running [ OK ]"，则表示安装成功。

第二种：在同一个VPC启动一个Windows云服务器，访问集群Active Master节点的7510端口，能访问到Zeppelin的页面，说明安装成功。

Presto

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询。了解更多请访问官网http://prestodb.io/。

本样例脚本能够自动化安装Presto，脚本路径如下：

根据Presto使用习惯，建议您在Active Master节点上安装dualroles，在Core节点上安装worker。推荐您按如下方式添加引导操作脚本：

表 1 引导操作脚本配置参数

脚本1

名称：install dualroles

脚本路径：根据region选择presto-install.sh脚本路径

执行节点：Active Master

参数：dualroles

执行时机：组件启动后

失败操作：继续

脚本2

名称：install worker

脚本路径：根据region选择presto-install.sh脚本路径

执行节点：Core（根据集群类型选择对应类型的Core节点）

参数：worker

执行时机：组件启动后

失败操作：继续

引导操作执行完成后，您可以在集群同一个VPC启动一个Windows云服务器，访问集群Active Master节点的7520端口，以查看Presto的web页面。

您也可登录到Active Master节点试用Presto，以root用户身份执行如下命令：

加载环境变量（MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，MRS 3.x之前版本为“/opt/client”。具体以实际为准。）：

#source /opt/Bigdata/client/bigdata_env

查看进程状态：

#/home/apache/presto/presto-server-0.201/bin/launcher status

连接presto并操作：

#/home/apache/presto/presto-server-0.201/bin/presto --server localhost:7520 --catalog tpch --schema sf100

presto:sf100> select * from nation;

presto:sf100> select count(*) from customer

Superset

Superset是一个基于web的企业级、现代BI工具。了解更多请访问Superset官网https://superset.incubator.apache.org/。

本样例脚本能够自动化安装Superset。根据创建集群的region选择对应的脚本路径，在创建集群->添加引导操作时填入到“脚本路径”即可，该脚本无需填入参数。根据Superset使用习惯，您只须在Active Master节点上执行该脚本。

引导操作执行完成后，可用如下方法验证正确安装了Superset。

第一种：可以root远程登入集群Active Master节点，执行lsof -i:38088，存在LISTEN的返回项则表示安装成功。

第二种：在同一个VPC启动一个Windows云服务器，访问集群Active Master节点的38088端口，能访问到Superset的页面，说明安装成功。

OpenTSDB

OpenTSDB是一个基于HBase上的实时监控信息收集和展示平台。它支持秒级数据采集metrics，使用HBase进行永久存储，可以做容量规划，并很容易的接入到现有的监控系统里。OpenTSDB可以从大规模的设备中获取相应的metrics并进行存储、索引以及提供服务，从而使得这些数据更容易让人理解，如web化，图形化等。了解更多请访问OpenTSDB官网http://opentsdb.net/。

本样例脚本能够自动化安装OpenTSDB。根据创建集群的region选择对应的脚本路径，在创建集群->添加引导操作时填入到“脚本路径”即可，该脚本无需填入参数。根据OpenTSDB使用习惯，您只须在Active Master节点上执行该脚本。

OpenTSDB依赖于HBase服务，因此您需要在申请集群的时候勾选HBase服务，并且配置引导操作的“执行时机“为“组件启动后“。

引导操作执行完成后，可用如下方法验证正确安装了OpenTSDB。

第一种：可以root远程登入集群Active Master节点，执行lsof -i:4242，存在LISTEN的返回项则表示安装成功。

第二种：在同一个VPC启动一个Windows云服务器，访问集群Active Master节点的4242端口，能访问到OpenTSDB的页面，说明安装成功。

obsutil

obsutil是一款用于访问管理华为云对象存储服务（Object Storage Service，OBS）的命令行工具，您可以使用该工具对OBS进行常用的配置管理操作，如创建并行文件系统、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户，可以选择obsutil执行批量处理、自动化任务。了解更多请访问obsutilobsutil简介。

本样例脚本能够自动化安装obsutil。根据创建集群的region选择对应的脚本路径，在创建集群->添加引导操作时填入到“脚本路径”即可，该脚本无需填入参数。“执行时机“请选择“组件启动后“，“失败操作“请选择“继续“。

引导操作执行完成后，可用如下方法配置并验证obsutil的连通性。

  1. 配置方法

    通过如下命令对obsutil进行初始化配置。

    ./opt/obsutil_linux_amd64_5.1.7.2/obsutil config-i=ak -k=sk -e=endpoint

  2. 检查连通性

    配置完成后，您可以通过如下方式检查连通性，确认配置是否无误。

    ./obsutil ls -s

    根据命令回显结果，检查配置结果：

    • 如果返回结果中包含“Bucket number is:”，表明配置正确。
    • 如果返回结果中包含“Http status [403]”，表明访问密钥配置有误。
    • 如果返回结果中包含“A connection attempt failed”，表明无法连接OBS服务，请检查网络环境是否正常。