Hadoop环境变量配置

一、安装与配置

1. 安装JDK。

<sudo apt-get install default-jdk>

2. 从Apache Hadoop官方网站上下载源代码。

<wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gz>

3. 解压并编译代码。

<tar -xvf hadoop-3.3.1-src.tar.gz
cd hadoop-3.3.1-src
mvn package -Pdist,native,docs -DskipTests -Dtar>

4. 配置Hadoop环境变量。

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar

5. 修改配置文件。

cd /usr/local/hadoop/etc/hadoop
sudo nano hadoop-env.sh

在文件末尾添加：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

6. 配置SSH免密码登陆。

ssh-keygen -t rsa -P ''
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
ssh localhost

二、Hadoop环境变量配置详解

1. HADOOP_HOME：指定Hadoop所在的根目录路径，即解压后的文件夹路径。

2. PATH：将Hadoop的bin目录加入PATH中，使得命令可以在命令行中直接调用而不需要使用完整路径。

3. HADOOP_CLASSPATH：指定Hadoop默认的Java类库路径。

4. JAVA_HOME：指定JDK的根目录路径，必须配置。

注意：以上环境变量均需要配置才能使Hadoop正常运行。

三、Hadoop环境变量配置的注意点

1. HADOOP_HOME路径应该指向解压后的hadoop目录的根目录。

2. JAVA_HOME路径应该指向JDK的根目录，建议使用Ubuntu自带的OpenJDK。

3. PATH路径中应该包含HADOOP_HOME/bin路径。

4. 在配置文件中添加变量时，应注意其格式以及位置，一般应该添加在文件的末尾。

5. 如果出现Permission Denied错误，可以尝试以管理员身份打开终端、修改文件权限等方式解决问题。

四、结语

以上就是Hadoop环境变量配置的具体步骤和注意事项。环境变量配置是Hadoop安装的重要一步，正确配置可以使Hadoop的运行更加稳定、高效。