Hadoop 2.7.2 安装与配置指南

Hadoop 2.7.2 安装与配置指南

引用

CSDN

1.

https://blog.csdn.net/2301_77836489/article/details/138179156

本文将详细介绍Hadoop 2.7.2的安装和配置过程，包括JDK环境配置、Hadoop核心组件的配置以及启动步骤。

1. JDK环境配置

1.1 安装必要的软件包

在Linux系统中，使用yum命令安装必要的软件包：

yum install net-tools
yum install vim
yum install glibc.i686

1.2 安装JDK

将JDK安装包上传到/root目录下，然后解压：

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local/

1.3 配置环境变量

编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

使配置生效：

source /etc/profile

2. Hadoop安装与配置

2.1 安装Hadoop

将Hadoop安装包上传到/root目录下，然后解压：

tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/

2.2 配置Hadoop环境

2.2.1 配置主机名和IP地址映射

编辑/etc/hosts文件，添加主机名和IP地址的映射。

2.2.2 配置核心组件

进入Hadoop配置目录：

cd /usr/local/hadoop/etc/hadoop/

• 修改hadoop-env.sh，添加JDK路径：

  export JAVA_HOME=/usr/local/jdk
  

• 修改core-site.xml：

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://centos1:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
  

• 修改hdfs-site.xml：

  <property>
    <name>fs.checkpoint.period</name>
    <value>3000</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
  

• 修改mapred-site.xml：

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  

• 修改yarn-site.xml：

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>centos1</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  

2.3 配置Hadoop环境变量

编辑/etc/profile，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source /etc/profile

3. 启动Hadoop

3.1 初始化NameNode

hdfs namenode -format

3.2 启动Hadoop服务

启动HDFS和YARN服务：

start-dfs.sh
start-yarn.sh

至此，Hadoop的安装和配置工作已经完成，可以开始进行Hadoop相关的学习和开发工作了。