Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

安装过程中的常见问题 #25

Open
larryisthere opened this issue Jul 30, 2019 · 8 comments
Open

安装过程中的常见问题 #25

larryisthere opened this issue Jul 30, 2019 · 8 comments
Labels

Comments

@larryisthere
Copy link
Collaborator

@larryisthere larryisthere commented Jul 30, 2019

No description provided.

@larryisthere larryisthere pinned this issue Jul 30, 2019
@larryisthere

This comment has been minimized.

Copy link
Collaborator Author

@larryisthere larryisthere commented Jul 30, 2019

Ambari 服务启动超时

当运行standalone_remote_installer.sh或standalone_offline_installer.sh安装脚本出现以下日志输出并退出。

Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start……………………………………………………
DB configs consistency check: no errors and warnings were found.
ERROR: Exiting with exit code 1.
REASON: Server not yet listening on http port 8080 after 50 seconds. Exiting.

解决

这种情况一般见于机器性能不好的情况下。ambari服务已经启动,但检查超时,这种情况下直接从第7步开始安装即可,直接执行如下命令继续后面的安装即可。

cd /opt/soft/analysys_installer
#eg :要根据你机器的实际情况来
sh analysys_install_from_step7.sh ark1.analysys.xyz 22 Grafana_123 32 centos7 root 1
sh analysys_install_from_step7.sh ark1.analysys.xyz ssh_port(机器ssh端口号) Grafana_123(你的mysql的root密码,和执行standalone_remote_installer.sh脚本输入的mysql root用户密码要一致) node_memory(您机器的内存只支持32/64/128三个数字) centos7(你的操作系统的类型只支持centos6和centos7) root(使用哪个用户安装,如果使用非root用户安装,要求这个用户必须有免密码sudo能力) haveIntenet(是否能连外网0为不能,1为能)
@larryisthere

This comment has been minimized.

Copy link
Collaborator Author

@larryisthere larryisthere commented Jul 30, 2019

部署第8步出错并退出

日志如下:

=========step 8 .易观一键部署工具安装配置成功,开始部署各个服务组件……===========
1.初始化安装配置……
初始化配置文件
读取文件:../../conf/1node-32g-ark-hdp2.6.1.0/cluster-defi.properties
log4j:WARN No appenders could be found for logger (com.analysys.ark.ambari.installer.util.ClassLoaderUtil).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
2.开始安装……
3.开始注册blueprint到集群……
开始生成blueprint信息……
读取文件:../../conf/1node-32g-ark-hdp2.6.1.0/cluster-blueprint.json
ambari地址:http://ark1.analysys.xyz:8080/api/v1/blueprints/cluster-blueprint
注册集群定义blueprint到ambari 成功
4.设置集群的yum源……
读取文件:../../conf/repo/centos7_repository.json
设置集群的yum源 成功
5.开始部署集群组件……
集群创建请求提交成功!
监控创建过程,获取进度信息……
http://ark1.analysys.xyz:8080/api/v1/clusters/mycluster/requests/1
进度: %5
进度: %5
进度: %5

安装进程退出了,或者您自己ctrl+c给中止了。

当在这一步报错,或者由于网络或者终端的原因,导致安装进程意外中止(注意,如果该进程没有退出,请参考其它问题),需要按如下步骤操作:

1、卸载集群

image

按图片中的stop all停止所有服务,如果还有未停止的服务,点击每个服务的stop,直到所有服务都停止。通过点击左侧的每个服务,看是否该服务所有的进程都变成红色了来确定是否完全停止了。

image

所有服务都停止后,删除/data1(你的数据盘目录)目录下的所有文件。

sudo rm -rf /data1/*

卸载完成。

2、重新安装

执行如下脚本开始安装。

d /opt/soft/analysys_installer
#eg 要根据你机器的实际情况来
#sh analysys_install.sh ark1.analysys.xyz 22 Grafana_123 1node-32g-ark-hdp2.6.1.0 centos7 root 1
sh analysys_install.sh ark1.analysys.xyz ssh_port(机器ssh端口号) Grafana_123(你的mysql的root密码,和执行standalone_remote_installer.sh脚本输入的mysql root用户密码要一致) cluster(您安装的集群环境1node-${您的机器的内存,只支持32,64,128三个数字}g-ark-hdp2.6.1.0) centos7(你的操作系统的类型只支持centos6和centos7) root(使用哪个用户安装,如果使用非root用户安装,要求这个用户必须有免密码sudo能力) haveIntenet(是否能连外网0为不能,1为能)
@larryisthere

This comment has been minimized.

Copy link
Collaborator Author

@larryisthere larryisthere commented Jul 30, 2019

部署第8步卡住,进度一直在0%

日志如下:

=========step 8 .易观一键部署工具安装配置成功,开始部署各个服务组件……===========
1.初始化安装配置……
初始化配置文件
读取文件:../../conf/1node-32g-ark-hdp2.6.1.0/cluster-defi.properties
log4j:WARN No appenders could be found for logger (com.analysys.ark.ambari.installer.util.ClassLoaderUtil).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
2.开始安装……
3.开始注册blueprint到集群……
开始生成blueprint信息……
读取文件:../../conf/1node-32g-ark-hdp2.6.1.0/cluster-blueprint.json
ambari地址:http://ark1.analysys.xyz:8080/api/v1/blueprints/cluster-blueprint
注册集群定义blueprint到ambari 成功
4.设置集群的yum源……
读取文件:../../conf/repo/centos7_repository.json
设置集群的yum源 成功
5.开始部署集群组件……
集群创建请求提交成功!
监控创建过程,获取进度信息……
http://ark1.analysys.xyz:8080/api/v1/clusters/mycluster/requests/1
进度: %0
进度: %0
进度: %0

这种情况下一般是 ambari-agent 没有在 ambari-server 成功注册导致的。

注意,不要退出安装进程,不然您需要按先按下面介绍的内容定位问题,问题解决后还需要按部署第8步出错并退出的处理方式来处理。

首先访问 http://ip:8080/api/v1/hosts(ip改为您机器的ip)。该接口会返回当前注册到 ambari-server的所有机器。正确的情况应该如下:

{
  "href" : "http://ip:8080/api/v1/hosts",
  "items" : [
    {
      "href" : "http://ip:8080/api/v1/hosts/ark1.analysys.xyz",
      "Hosts" : {
        "cluster_name" : "mycluster",
        "host_name" : "ark1.analysys.xyz"
      }
    }
  ]
}

错误可能有如下两种情况。

第一种情况

如果您访问该接口返回的items:为空,即没有任何机器注册到ambari-server上。请按如下过程处理:

执行下列命令,查看ambari-agent日志。

tail -300f /var/log/ambari-agent/ambari-agent.log

如果出现:ERROR openssl 等相关的异常,按下图所示,修改 ambari-agent.ini 文件。

image

注意:force_https_protocol=PROTOCOL_TLSv1_2 注意一定要放到[security]下面一行,而且=号左右不要有空格。

然后检查ambari-agent.ini中[server]的下一行hostname参数的值一定要是ark1.analysys.xyz。如果不是,请修改为:

hostname=ark1.analysys.xyz

上步通过 ambari-agent restart 重启 ambari-agent 之后,再次访问http://ip:8080/api/v1/hosts接口,查看是否有机器注册成功,请多试几次。

当主机注册成功之后,再看安装进度信息,应该会从0%不断增长,直到安装完成。

第二种情况

如果您访问接口返回的items不为空,但是host_name不为ark1.analysys.xyz,请按如下过程处理:

执行 hostname -f 查看主机名,正确的应该是 ark1.analysys.xyz,如果不是,说明主机名设置错误,请参考安装文档中设置主机名的部署,重新设置主机名。直到 hostname -f 返回 ark1.analysys.xyz。

检查 /etc/hosts 文件,正确的应该如下,如果您的内容和下面不相同,请修改成如下图所示。

image

ambari-agent restart重启ambari-agent,然后再次访问 http://ip:8080/api/v1/hosts 接口,查看是否有机器注册成功,请多试几次,直到返回的信息正确为止。

再看安装进度信息,应该会从0%不断增长,直到安装完成。

@larryisthere

This comment has been minimized.

Copy link
Collaborator Author

@larryisthere larryisthere commented Jul 30, 2019

init_ext4.sh脚本执行失败

日志如下:

bad interpreter: No such file or directory 

这与从 Github 上将脚本下载到 Windows 机器上有关,可以通过如下操作来解决:

yum install dos2unix -y
dos2unix init_ext4.sh
@larryisthere

This comment has been minimized.

Copy link
Collaborator Author

@larryisthere larryisthere commented Jul 30, 2019

安装完成后有些服务一直启动不了

这个一般是因为启动顺序不对,如下图,使用ambari的start_all功能启动即可。

image

@larryisthere

This comment has been minimized.

Copy link
Collaborator Author

@larryisthere larryisthere commented Jul 30, 2019

ark-web有一个告警

修改下面web_alert_server_address这个参数的地址为

http://ark1.analysys.xyz:9090/ark/act/health

即可,如图:

image

@larryisthere

This comment has been minimized.

Copy link
Collaborator Author

@larryisthere larryisthere commented Jul 30, 2019

创建项目报错,/ark/dim_p/download…

提示:

项目创建异常Failto to create project!!

如下图:

image

解决方法:

从root用户下先切换到hdfs用户,然后修改目录权限:

su - hdfs
hdfs dfs -chmod -R 777 /ark

随后重新创建即可。

@jiangzhx jiangzhx unpinned this issue Jul 31, 2019
@jiangzhx jiangzhx pinned this issue Jul 31, 2019
@zhaoy07331

This comment has been minimized.

Copy link
Collaborator

@zhaoy07331 zhaoy07331 commented Aug 6, 2019

Argo 服务器重启时服务关闭以及重启后的启动服务操作

关闭
1、从ambari界面关闭所有服务
2、所有机器 ambari-agent stop
3、

ambari-server stop

4、

/etc/init.d/analysys-mysqld stop

启动

1、登录ark1的root用户
2、

mkdir -p /var/run/redis && chown -R root.hadoop /var/run/redis
mkdir -p /var/log/analysys-mysql && chown -R mysql.mysql /var/log/analysys-mysql
mkdir -p /var/run/analysys-mysql && chown -R mysql.mysql /var/run/analysys-mysql

3、

/etc/init.d/analysys-mysqld start

4、

ambari-server restart

5、所有机器 ambari-agent restart
6、登录 http://ark1ip:8080/
7、先启动zookeeper
8、然后启动hdfs
9、从上至下启动所有组件

@jiangzhx jiangzhx added the docs label Aug 15, 2019
@zhunan0606 zhunan0606 unpinned this issue Sep 19, 2019
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Linked pull requests

Successfully merging a pull request may close this issue.

None yet
3 participants
You can’t perform that action at this time.