Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,产生该告警。
当Controller可以正常接收时,告警恢复。
节点业务无法提供。
网络断连、硬件故障或操作系统执行命令缓慢。
检查网络是否断连、硬件是否故障或者操作系统执行命令缓慢。
-
在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的
,单击主机名,查看该告警的主机地址。
-
以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。
-
执行**ping **_故障主机IP__地址_命令检查故障节点是否可达。
-
- 是,处理完毕。
- 否,执行6。
-
维修或者更换故障部件,并重启节点。查看告警列表中,该告警是否已清除。
- 是,处理完毕。
- 否,执行8。
-
当集群中上报大量的节点故障时,可能是浮动IP资源异常导致controller无法检测agent心跳。
登录任一管理节点,查看“/var/log/Bigdata/omm/oms/ha/scriptlog/floatip.log”,查看故障出现前后1-2分钟的日志是否完整。
例如:完整日志为如下格式:
2017-12-09 04:10:51,000 INFO (floatip) Read from ${BIGDATA_HOME}/om-server_8.1.0.1/om/etc/om/routeSetConf.ini,value is : yes 2017-12-09 04:10:51,000 INFO (floatip) check wsNetExport : eth0 is up. 2017-12-09 04:10:51,000 INFO (floatip) check omNetExport : eth0 is up. 2017-12-09 04:10:51,000 INFO (floatip) check wsInterface : eRth0:oms, wsFloatIp: XXX.XXX.XXX.XXX. 2017-12-09 04:10:51,000 INFO (floatip) check omInterface : eth0:oms, omFloatIp: XXX.XXX.XXX.XXX. 2017-12-09 04:10:51,000 INFO (floatip) check wsFloatIp : XXX.XXX.XXX.XXX is reachable. 2017-12-09 04:10:52,000 INFO (floatip) check omFloatIp : XXX.XXX.XXX.XXX is reachable.
-
查看操作系统的“/var/log/message”,查看故障出现时间段是否有sssd频繁重启或者nscd异常信息(Redhat操作系统确认sssd信息,SUSE操作系统确认nscd信息)。
sssd重启样例
Feb 7 11:38:16 10-132-190-105 sssd[pam]: Shutting down Feb 7 11:38:16 10-132-190-105 sssd[nss]: Shutting down Feb 7 11:38:16 10-132-190-105 sssd[nss]: Shutting down Feb 7 11:38:16 10-132-190-105 sssd[be[default]]: Shutting down Feb 7 11:38:16 10-132-190-105 sssd: Starting up Feb 7 11:38:16 10-132-190-105 sssd[be[default]]: Starting up Feb 7 11:38:16 10-132-190-105 sssd[nss]: Starting up Feb 7 11:38:16 10-132-190-105 sssd[pam]: Starting up
nscd异常信息样例
Feb 11 11:44:42 10-120-205-33 nscd: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server Feb 11 11:44:43 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server Feb 11 11:44:44 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.92:21780: Can't contact LDAP server
-
排查Ldapserver节点是否故障,例如业务IP不可达、网络延时过长等;若故障为阶段性,则需在故障时排查,并尝试执行top命令查看是否存在异常软件。
收集故障信息。
-
在“服务”中勾选如下节点信息,单击“确定”。
- NodeAgent
- Controller
- OS
-
请联系运维人员,并发送已收集的故障日志信息。
此告警修复后,系统会自动清除此告警,无需手工清除。
无。