hadoop

####hadoop2.X

包含项目

• Hadoop Common
• Hadoop Distributed File System (HDFS)
• Hadoop YARN
• Hadoop MapReduce

关联项目

• Hbase
• ZooKeeper
• Pig
• Spark

#####快速单机感知MapReduce

cd ./hadoop-2.5.2

• 在hadoop-2.5.2下创建input目录，并且新建2个文件，可以任意输入内容

• wordcount测试

• bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount input output

• cat output/* 就可以看到运行结果

32位和64位问题

• 通过 file hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 确认平台信息

• 通过执行 export HADOOP_ROOT_LOGGER=DEBUG,console，可以看到更详细加载lib库信息

• hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 该文件在64位上编译，如果在32位机器上运行会有以下warn Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

#####集群部署

1(NameNode)|2(DataNode)|3(DataNode)

ssh无密码登录

• mkdir .ssh/

• cd .ssh

• ssh-keygen -t rsa

• id_rsa 私钥文件 id_rsa. 公钥文件

• cp id_rsa.pub authorized_keys

• scp -P 12 authorized_keys phenix@2:/home/phenix/.ssh/

• scp -P 12 authorized_keys phenix@3:/home/phenix/.ssh/

• 校验 ssh phenix@2 -p12

core-site.xml配置文件

hdfs-site.xml

mapred-site.xml

yarn-site.xml

异常以及解决方法

• Datanode denied communication with namenode because hostname cannot be resolved

• /etc/hosts 中添加hostname

启动

• sbin/start-dfs.sh

• sbin/start-yarn.sh

• sbin/stop-dfs.sh

• sbin/stop-yarn.sh

测试

• bin/hadoop fs -mkdir -p input

• bin/hadoop fs -copyFromLocal README.txt input

• http://2:50070/

• http://3:8088/