Hadoop环境变量配置

发布时间：2023-05-21

一、安装与配置

  1. 安装JDK。
sudo apt-get install default-jdk
  1. 从Apache Hadoop官方网站上下载源代码。
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gz
  1. 解压并编译代码。
tar -xvf hadoop-3.3.1-src.tar.gz
cd hadoop-3.3.1-src
mvn package -Pdist,native,docs -DskipTests -Dtar
  1. 配置Hadoop环境变量。
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar
  1. 修改配置文件。
cd /usr/local/hadoop/etc/hadoop
sudo nano hadoop-env.sh

在文件末尾添加：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
  1. 配置SSH免密码登陆。
ssh-keygen -t rsa -P ''
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
ssh localhost

二、Hadoop环境变量配置详解

  1. HADOOP_HOME：指定Hadoop所在的根目录路径，即解压后的文件夹路径。
  2. PATH：将Hadoop的bin目录加入PATH中，使得命令可以在命令行中直接调用而不需要使用完整路径。
  3. HADOOP_CLASSPATH：指定Hadoop默认的Java类库路径。
  4. JAVA_HOME：指定JDK的根目录路径，必须配置。 注意：以上环境变量均需要配置才能使Hadoop正常运行。

三、Hadoop环境变量配置的注意点

  1. HADOOP_HOME路径应该指向解压后的hadoop目录的根目录。
  2. JAVA_HOME路径应该指向JDK的根目录，建议使用Ubuntu自带的OpenJDK。
  3. PATH路径中应该包含$HADOOP_HOME/bin路径。
  4. 在配置文件中添加变量时，应注意其格式以及位置，一般应该添加在文件的末尾。
  5. 如果出现Permission Denied错误，可以尝试以管理员身份打开终端、修改文件权限等方式解决问题。

四、结语

以上就是Hadoop环境变量配置的具体步骤和注意事项。环境变量配置是Hadoop安装的重要一步，正确配置可以使Hadoop的运行更加稳定、高效。

推荐文章