yarn-site.xml文件详细解析

一、yarn-site.xml文件介绍

yarn-site.xml文件是Apache Hadoop中YARN（Yet Another Resource Negotiator）框架的配置文件之一。该文件中包含了YARN的各种配置项，可以通过修改该文件设置YARN的运行参数。下面我们将从多个方面对yarn-site.xml文件进行详细解析。

二、yarn-site.xml文件配置参数分类

yarn-site.xml文件中的配置参数可分为三类，分别是全局参数、ResourceManager参数和NodeManager参数。

1、全局参数

全局参数是指影响整个YARN系统的参数，如下为常用的几个全局参数：

<property>
  <name>yarn.nodemanager.hostname</name>
  <value>localhost</value>
</property>
<property>
  <name>yarn.nodemanager.delete.debug-delay-sec</name>
  <value>0</value>
</property>
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value>
</property>

2、ResourceManager参数

ResourceManager参数是指影响ResourceManager节点的参数，如下为常用的几个ResourceManager参数：

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <value></value>
</property>

3、NodeManager参数

NodeManager参数是指影响NodeManager节点的参数，如下为常用的几个NodeManager参数：

<property>
  <name>yarn.nodemanager.local-dirs</name>
  <value>/data1/nodemgr-localdir</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4096</value>
</property>
<property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/data1/nodemgr-logs</value>
</property>

三、yarn-site.xml文件参数解释

下面我们来介绍几个常用的yarn-site.xml文件配置参数的解释：

1、yarn.nodemanager.hostname

yarn.nodemanager.hostname指定了NodeManager节点的主机名或IP地址，默认情况下为本机IP地址。

<property>
  <name>yarn.nodemanager.hostname</name>
  <value>localhost</value>
</property>

2、yarn.nodemanager.resource.memory-mb

yarn.nodemanager.resource.memory-mb指定了NodeManager节点可以使用的最大内存，单位是MB。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4096</value>
</property>

3、yarn.scheduler.minimum-allocation-mb

yarn.scheduler.minimum-allocation-mb指定了YARN集群中所有节点分配内存的最小值，单位是MB。

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value>
</property>

4、yarn.resourcemanager.webapp.address

yarn.resourcemanager.webapp.address指定了ResourceManager节点Web界面访问地址，默认情况下为0.0.0.0:8088。

<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>

5、yarn.nodemanager.log-dirs

yarn.nodemanager.log-dirs指定了NodeManager节点的日志输出路径。

<property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/data1/nodemgr-logs</value>
</property>

四、yarn-site.xml文件实例

yarn-site.xml文件的实例，包括全局参数、ResourceManager参数和NodeManager参数，如下所示：

<configuration>
  <property>
    <name>yarn.nodemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>0.0.0.0:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value></value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data1/nodemgr-localdir</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data1/nodemgr-logs</value>
  </property>
</configuration>