window10 安装hadoop和环境变量配置

[qppq54s]

1、安装JAVA环境

下载JDK8

因为JDK安装路径里有空格会导致报错,所以我把安装后的文件夹重命名为jdk后放到了C:\Java\ 下面

2、下载hadoop

下载hadoop

解压到C:\hadoop，路径可以随意，但不要有中文或空格。

下载winutils，前往https://github.com/cdarlint/winutils 找到 3.0.1，下载bin目录的文件，放入/替换 C:\hadoop\bin 文件夹内的文件，并复制一份hadoop.dll放到C:\Windows\System32下。

配置hadoop环境变量，把C:\hadoop添加到HADOOP_HOME，并在Path添加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 。

打开CMD，输入hadoop version 测试是否正常显示版本信息。

3、配置hadoop

切换至目录：C:\hadoop\hadoop-3.0.1\etc\hadoop 下，

修改core-site.xml：

需在目录C:/hadoop/hadoop-3.0.1/下创建data文件夹，配置文件中路径前需加“/”。HDFS可使用localhost，如果在hosts文件已经配置了主机映射，也可以直接填主机名。

hadoop.tmp.dir /C:/hadoop/hadoop-3.0.1/data fs.defaultFS hdfs://localhost:9000

修改hadoop-env.cmd

set JAVA_HOME=C:\Java\jdk

修改hdfs-site.xml

单节点填1即可，如果是多节点，根据节点数量填写。

dfs.replication 1 dfs.namenode.name.dir /C:/hadoop/hadoop-3.0.1/data/namenode dfs.datanode.data.dir /C:/hadoop/hadoop-3.0.1/data/datanode

修改mapred-site.xml

mapreduce.framework.name yarn #### 修改yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hahoop.mapred.ShuffleHandler 修改完毕。

4、节点格式化

打开cmd执行：

hdfs namenode -format
如正常，会显示namenode has been successfully formatted。如果出错，可能原因有如：环境变量配置错误如路径出现空格，或者winutils版本不对hadoop版本过高等，或hadoop的etc下文件配置有误。

5、启动Hadoop

切换到C:\hadoop\sbin目录下（如果有正常配置环境变量是不需要切换目录的），执行命令：

start-all.cmd
启动Hadoop，此时会弹出4个CMD窗口，分别是NameNode、ResourceManager、NodeManager、DataNode。检查4个窗口有没有报错。在CMD执行jps看到这4个进程。

我在这边报了个错，sbin下找不到packag.json文件。
处理了下yarn.cmd文件，修改其yarn运行代码为：

@Rem start resourceManager
start "Apache Hadoop Distribution" C:\hadoop\hadoop-3.0.1\bin\yarn resourcemanager
@Rem start nodeManager
start "Apache Hadoop Distribution" C:\hadoop\hadoop-3.0.1\bin\yarn nodemanager
@Rem start proxyserver
@Rem start "Apache Hadoop Distribution" yarn proxyserver

6、登录WEB验证

在浏览器输入 localhost:8088 访问集群节点。

在浏览器输入localhost:9870 访问HDFS。