Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[OS ubuntu]查看hdfs的运行状态命令 失败 #9

Closed
Chenxin123008 opened this issue Mar 6, 2017 · 6 comments
Closed

[OS ubuntu]查看hdfs的运行状态命令 失败 #9

Chenxin123008 opened this issue Mar 6, 2017 · 6 comments

Comments

@Chenxin123008
Copy link

Chenxin123008 commented Mar 6, 2017

hdfs hdfadmin -report 发生如下错误
hadoop Protocol message tag had invalid wire type

我查了下说要改 core-site.xml或hdfs-site.xml。
这两个文件是徐老师提供的不应该有问题是不是其它那里配置不对?
参考地址 http://stackoverflow.com/questions/31849433/hadoop-protocol-message-tag-had-invalid-wire-type

@Chenxin123008 Chenxin123008 reopened this Mar 6, 2017
@Chenxin123008 Chenxin123008 changed the title [OS ubuntu]查看hdfs的 [OS ubuntu]查看hdfs的运行状态命令 失败 Mar 6, 2017
@Chenxin123008
Copy link
Author

Chenxin123008 commented Mar 6, 2017

执行hadoop fs -mkdir /input 也会发生上边一样的错误

@xiaanyin
Copy link

xiaanyin commented Mar 6, 2017

我按照老师给的pdf手顺手动配置3台,运行hdfs hdfadmin -report的结果是下面这样的。

2017-03-07 1 58 26

@xiaanyin
Copy link

xiaanyin commented Mar 7, 2017

能看一下你的/etc/hosts 吗?我用的是
127.0.0.1 localhost Hadoop-NameNode
这种方式,你看看你是不是像下面这样分行写了?
127.0.0.1 localhost
127.0.0.1 Hadoop-NameNode

参考:
http://stackoverflow.com/questions/29992952/hadoop-pseudo-distributed-operation-error-protocol-message-tag-had-invalid-wire

@xenron
Copy link
Contributor

xenron commented Mar 7, 2017

大家互动效果不错啊

在回答问题之间,简单说一下,问问题的方法,和解决问题的大致思路。

问问题的时候,最好能把实验到哪一步是正常的,哪一步开始出现的问题。
在哪个节点出现的问题,出现问题的日志和截图(屏幕拷贝),放上来,方便大家参照
同时,可能的话,结合自己的思考,可以尽量简单说说可能是哪里的问题,我个人感觉这也是自己学习的好机会。

解决问题的大致思路
分而治之
大数据环境,涉及到OS,网络,软件,等各种各样的知识,不是单纯学习一下hadoop,或是spark,就能搞定的,确实对综合能力有一定的要求。
troubleshooting
在出现问题的时候,通过网络是否连通,端口是否处于监听状态,是否能telnet连通,进程状态是否正常,等方面,逐一排查

最后,终于。。。开始正式回答问题了
首先,想问一下,出现这个问题的背景,是在课程上提供的VirtualBox镜像环境?自己动手搭建的CentOS-Hadoop环境?Docker环境?
其次,出现问题的是hadoop hdfs 状态监控命令,那么就开始(安装手顺的反方向)逐个排查
1,各个节点的hadoop系统进程,是否正常
2,翻看之前的command记录,查看 hadoop启动命令是否出现错误信息
3,可以的话,最好查看一下log
4,各个节点之间(包括本节点),ssh 免密码登陆是否正常
5,各个节点之间是否网络连通

大体上的思路就是这些,其实不仅仅是这次课程的内容,可能更多时候希望能够传达一些方法论的知识,面对问题,如何拆分成更小的问题,逐个击破。

@Chenxin123008
Copy link
Author

@xiaanyin
谢谢你的回答, 我看了一下host文件确实是分开写的,而且第二行还是ubuntu.
2017-03-07 22 31 38

按照你的提示改了一下,重启后还是有这个问题,我打算按老师的说法再试试。
2017-03-07 23 01 47
改完hosts后运行结果
2017-03-07 22 44 05

@Chenxin123008
Copy link
Author

@xenron
谢谢徐老师的长文回答。
首先表示抱歉,对问题的描述太过粗糙!以后改正。
问题已经解决
》首先,想问一下,出现这个问题的背景,是在课程上提供的VirtualBox镜像环境?自己动手搭建的CentOS-Hadoop环境?Docker环境?
用的是课程上VirtualBox镜像环境
》1,各个节点的hadoop系统进程,是否正常
jps确认时发现NameNode节点没有启动,重新执行以下命令后,Node正常启动
$HADOOP_HOME/bin/hadoop namenode -format
$HADOOP_HOME/sbin/start-dfs.sh
》2,翻看之前的command记录,查看 hadoop启动命令是否出现错误信息
昨天的环境已经无法确认啦!
》3,可以的话,最好查看一下log
老师说的是/opt/hadoop-2.7.3/logs/下的*.log文件吧!
》4,各个节点之间(包括本节点),ssh 免密码登陆是否正常
老师的环境,没问题
》5,各个节点之间是否网络连通
网络连接没有问题

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants