hadoop

####hadoop2.X

---

包含项目

• Hadoop Common
• Hadoop Distributed File System (HDFS)
• Hadoop YARN
• Hadoop MapReduce

关联项目

• Hbase
• ZooKeeper
• Pig
• Spark

#####快速单机感知MapReduce

cd ./hadoop-2.5.2

• 在hadoop-2.5.2下创建input目录，并且新建2个文件，可以任意输入内容

• wordcount测试

• bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount input output

• cat output/* 就可以看到运行结果

32位和64位问题

• 通过 file hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 确认平台信息

• 通过执行 export HADOOP_ROOT_LOGGER=DEBUG,console，可以看到更详细加载lib库信息

• hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 该文件在64位上编译，如果在32位机器上运行会有以下warn Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

#####HDFS

---

#####MapReduce

---

#####YARN

---

#####Hbase

---

#####ZooKeeper

---