hadoop

1. 1. 1. 1. hadoop2.X

>包含项目

• Hadoop Common
• Hadoop Distributed File System (HDFS)
• Hadoop YARN
• Hadoop MapReduce

>关联项目

• Hbase
• ZooKeeper
• Pig
• Spark

1. 1. 1. 1. 1. 快速单机感知MapReduce

> cd ./hadoop-2.5.2

• 在hadoop-2.5.2下创建input目录，并且新建2个文件，可以任意输入内容
• wordcount测试
• bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount input output
• cat output/* 就可以看到运行结果

>32位和64位问题

• 通过 file hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 确认平台信息
• 通过执行 export HADOOP_ROOT_LOGGER=DEBUG,console，可以看到更详细加载lib库信息
• hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 该文件在64位上编译，如果在32位机器上运行会有以下warn

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

1. 1. 1. 1. 1. 集群部署#####
2. 1(NameNode)|2(DataNode)|3(DataNode)
3. ssh无密码登录

• mkdir .ssh/
• cd .ssh
• ssh-keygen -t rsa
• id_rsa 私钥文件 id_rsa. 公钥文件
• cp id_rsa.pub authorized_keys
• scp -P 12 authorized_keys phenix@2:/home/phenix/.ssh/
• scp -P 12 authorized_keys phenix@3:/home/phenix/.ssh/
• 校验 ssh phenix@2 -p12
• core-site.xml配置文件
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml
• 异常以及解决方法
• Datanode denied communication with namenode because hostname cannot be resolved
• /etc/hosts 中添加hostname

> 启动

• sbin/start-dfs.sh
• sbin/start-yarn.sh
• sbin/stop-dfs.sh
• sbin/stop-yarn.sh
• bin/hadoop fs -mkdir -p input
• bin/hadoop fs -copyFromLocal README.txt input
• http://2:50070/
• http://3:8088/

1. 1. 1. 1. 1. HDFS

1. 1. 1. 1. 1. MapReduce

1. 1. 1. 1. 1. YARN

1. 1. 1. 1. 1. Hbase

1. 1. 1. 1. 1. ZooKeeper