Linux上安装Hadoop

一、安装Java

在安装Hadoop前，需要先安装Java。可以通过以下命令检查本机是否已安装Java：

java -version

如果已安装，则输出Java的版本信息。如果未安装，则可以通过以下命令安装：

sudo apt-get update
sudo apt-get install default-jdk

需要注意的是，Hadoop官方推荐使用Java 8或更高版本。

二、下载和安装Hadoop

可以从Hadoop官网下载最新版的Hadoop，下载完成后，需要解压和移动到合适的位置。以下是具体步骤：

1. 下载Hadoop：https://hadoop.apache.org/releases.html
2. 解压Hadoop：
   

   tar -xzvf hadoop-x.y.z.tar.gz
       

3. 移动Hadoop到合适的位置：
   

   sudo mv hadoop-x.y.z /usr/local/hadoop
       

三、配置Hadoop

1. 配置环境变量

需要将Hadoop添加到系统的环境变量中，才能在任何位置运行Hadoop命令。以下是具体步骤：

1. 打开bashrc文件：
   

   nano ~/.bashrc
       

2. 在文件底部添加以下代码，并保存：
   

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
       

3. 使配置文件生效：
   

   source ~/.bashrc
       

2. 修改配置文件

需要修改Hadoop的配置文件以使其在本机上运行。以下是具体步骤：

1. 打开配置文件：
   

   nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
       

2. 找到以下代码行：

# export JAVA_HOME=${JAVA_HOME}
  

将其修改为：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  

3. 保存文件并关闭。
4. 打开另一个配置文件：
   

   nano /usr/local/hadoop/etc/hadoop/core-site.xml
       

5. 在<configuration>标签段落中添加以下代码：

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>
  

6. 保存文件并关闭。
7. 打开另一个配置文件：
   

   nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
       

8. 在<configuration>标签段落中添加以下代码：

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
  

9. 保存文件并关闭。

四、启动Hadoop

安装和配置完成后，就可以启动Hadoop。以下是具体步骤：

1. 格式化Hadoop文件系统：
   

   hdfs namenode -format
       

2. 启动Hadoop：
   

   start-all.sh
       

3. 检查Hadoop是否运行成功，通过以下地址访问Hadoop管理面板：
   http://localhost:50070/