Hadoop 3.1.0 Windows环境搭建指南

Hadoop 3.1.0 Windows环境搭建指南

引用

CSDN

1.

https://m.blog.csdn.net/pilot_speed/article/details/145850535

Hadoop是一个开源的分布式处理框架，能够处理大规模数据集。在Windows系统上搭建Hadoop测试环境，可以帮助开发者更好地理解和使用Hadoop。本文将详细介绍在Windows系统上搭建Hadoop 3.1.0测试环境的具体步骤。

一、Windows测试环境搭建

预先安装好JDK环境，这里不在赘述。

1、下载Hadoop相关文件

Hadoop各版本安装包：https://archive.apache.org/dist/hadoop/common/
【我选择的是hadoop-3.1.0】

Windows环境安装所需的bin文件（选择hadoop对应的版本）: 
    https://gitee.com/night_wish/winutils.git

2、解压Hadoop安装包

3、替换bin文件夹

apache-hadoop-3.1.0-winutils-master这个文件夹解压后里面只有bin这一个文件夹，
我们将这个bin文件夹复制到hadoop-3.1.0文件夹中替换原有的bin文件夹

4、配置Hadoop环境变量

HADOOP_HOME   D:\tools\Hadoop3.1.0
PATH    %HADOOP_HOME%\bin   和  %HADOOP_HOME%\sbin

5、检查环境变量是否配置成功

hadoop version

6、配置Hadoop配置文件

6.1、创建数据文件

先在D:\tools\Hadoop3.1.0下 创建 data目录
data目录下 创建datanode   namenode  tmp

6.2、配置core-site.xml文件

配置 core-site.xml 文件，文件路径：\hadoop-3.1.0\etc\hadoop\core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/tools/Hadoop3.1.0/data/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

6.3、配置mapred-site.xml文件

文件路径：\hadoop-3.1.0\etc\hadoop\mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

6.4、配置yarn-site.xml文件

文件路径：\hadoop-3.1.0\etc\hadoop\yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

6.5、配置hdfs-site.xml文件

文件路径：\hadoop-3.1.0\etc\hadoop\hdfs-site.xml

<configuration>
    <!-- 这个参数设置为1（文件的副本数），因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/tools/Hadoop3.1.0/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/tools/Hadoop3.1.0/data/datanode</value>
    </property>
</configuration>

6.6、配置hadoop-env.sh文件

文件路径：\hadoop-3.1.0\etc\hadoop\hadoop-env.sh
使用查找功能（ctrl+f）查找export JAVA_HOME，找到相应的位置：
JAVA_HOME的具体路径在环境变量中查找到

6.7、配置hadoop-env.cmd

文件路径：\hadoop-3.1.0\etc\hadoop\hadoop-env.cmd
打开后使用查找功能（ctrl+f），输入@rem The java implementation to use查找到对应行
在set JAVA_HOME那一行将自己的JAVA_HOME路径配置上去

二、启动Hadoo2p服务和相关命令

1、启动：

路径：D:\tools\Hadoop3.1.0\sbin
【注意：启动的时候一定要用  管理员权限运行】

start-all.cmd   (开启全部服务)
stop-all.cmd    (关闭全部服务)

2、相关命令：

namenode格式化命令：   hdfs namenode -format

以管理员模式打开命令窗口
在cmd中进入到D:\hadoop-3.1.0\bin路径
或者直接在对应的文件夹里面输入cmd进入
输入命令:hdfs namenode -format

开启hdfs:    start-dfs.cmd

开启yarn:   start-yarn.cmd

jps  查看运行的进程

访问 hdfs 的 web 界面：  http://localhost:9870

访问yarn的 web 界面：http://localhost:8088