Ubuntu安装Spark

一、ubuntu安装

在安装Spark之前，必须要安装Ubuntu操作系统。以下是Ubuntu操作系统的安装方法：

1、从Ubuntu官网上下载ISO文件，并将ISO文件写入U盘。

sudo dd bs=4M if=/path/to/ubuntu.iso of=/dev/sdX status=progress && sync

其中，/path/to/ubuntu.iso是ISO文件的路径，/dev/sdX是U盘的设备号。请注意，将/dev/sdX改为您的U盘的设备号。

2、插入U盘并重启电脑。

3、选择在U盘上启动Ubuntu。

4、选择你喜欢的电脑语言。

5、选择Ubuntu安装类型。建议选择“安装Ubuntu”以进行完整安装。

6、完成其他必要的安装步骤，如选择时区和键盘布局。

二、安装Spark

以下是安装Spark的教程：

1、ubuntu安装类型教程

选择安装Spark之前，请确认以下几点内容：

1、Java必须已经安装。如果没有安装Java，请使用以下命令进行安装：

sudo apt-get update
sudo apt-get install openjdk-8-jdk

2、使用以下命令下载Spark：

wget https://apache.claz.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

其中，URL后面是下载Spark的地址，可以替换为其他Mirrors的地址。

3、解压缩Spark:

tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz

4、将解压得到的Spark文件夹移动到/opt目录下：

sudo mv spark-3.1.2-bin-hadoop3.2 /opt/

2、ubuntu安装VMware

如果计算机不支持运行Ubuntu，您可以安装VMware，这是一个允许用户在计算机上运行虚拟机的软件。以下是Ubuntu在VMware中的安装方法：

1、在VMware官网上下载VMware Workstation Player。

2、安装VMware Workstation Player。

3、从Ubuntu官网上下载ISO文件，并使用VMware Workstation Player来创建一个虚拟机，然后将Ubuntu ISO文件写入虚拟机的磁盘。

4、启动虚拟机，按照Ubuntu操作系统安装的步骤进行安装。

3、ubuntu安装及配置

以下是安装并配置Spark的教程：

1、进入Spark的安装目录：

cd /opt/spark-3.1.2-bin-hadoop3.2/

2、创建Spark默认配置文件：

cp conf/spark-env.sh.template conf/spark-env.sh

3、编辑spark-env.sh文件：

nano conf/spark-env.sh

4、添加以下内容到spark-env.sh文件：

export SPARK_HOME=/opt/spark-3.1.2-bin-hadoop3.2
export JAVA_HOME=/usr/
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

其中，export SPARK_HOME是Spark的安装目录。

5、启动Spark：

./sbin/start-all.sh

6、在浏览器中访问Spark Web UI：

http://localhost:8080/

7、停止Spark：

./sbin/stop-all.sh

三、ubuntu安装Hadoop

安装Hadoop是为了让Spark可以访问和处理分布式数据。以下是Ubuntu安装Hadoop的教程：

1、下载Hadoop：

wget https://apache.claz.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

2、解压缩Hadoop：

tar -zxvf hadoop-3.3.1.tar.gz

3、将解压得到的Hadoop文件夹移动到/opt目录下：

sudo mv hadoop-3.3.1 /opt/

4、在Hadoop的/etc/hadoop目录下创建core-site.xml文件：

sudo nano /opt/hadoop/etc/hadoop/core-site.xml

5、添加以下内容到core-site.xml文件：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

其中，localhost:9000是Hadoop集群的主机名和端口号。

6、编辑hadoop-env.sh文件：

sudo nano /opt/hadoop/etc/hadoop/hadoop-env.sh

7、将以下行添加到hadoop-env.sh文件：

export JAVA_HOME=/usr/

8、格式化Hadoop文件系统：

/opt/hadoop/bin/hadoop namenode -format

9、启动Hadoop：

/opt/hadoop/sbin/start-all.sh

10、在浏览器中访问Hadoop Web UI：

http://localhost:9870/