06.Yarn核心参数配置

Leefs 2021-09-09 PM 1935℃ 0条

# 06.Yarn核心参数配置

### 前言

在生产环境中部署Yarn需要对yarn-site.xml配置文件中的一些参数进行修改，使得服务器发挥更好的性能。

### 一、相关参数

![06.Yarn核心参数配置01.jpg](https://lilinchao.com/usr/uploads/2021/09/839278991.jpg)

#### 1.1 ResourceManager相关

```xml
yarn.resourcemanager.scheduler.class    #配置调度器，apache yarn默认容量调度器，CDH默认公平调度器
yarn.resourcemanager.scheduler.client.thread-count    # ResourceManager处理调度器请求的现场数量，默认50
```

#### 1.2 NodeManager相关

```xml
yarn.nodemanager.resource.detect-hardware-capabilities    #是否让yarn自己检测硬件进行配置，默认false
yarn.nodemanager.resource.count-logical-processor-as-cores    #是否将虚拟核数当作CPU核数，默认false
yarn.nodemanager.resource.pcores-vcores-multiplier    #虚拟核数和物理核数乘数，默认为1.0
yarn.nodemanager.resource.memory-mb    # NodeManager使用内存，默认8G
yarn.nodemanager.resource.system-reserved-memory-mb     #NodeManager为系统保留多少内存，以上二个参数配置一个即可
yarn.nodemanager.resource.cpu-vcores     #NodeManager使用CPU核数，默认8个
yarn.nodemanager.pmem-check-enabled    #是否开启物流内存检查限制container，默认打开
yarn.nodemanager.vmem-check-enabled     #是否开启虚拟内存检查限制container，默认代开
yarn.nodemanager.vmem-pmem-ratio    #虚拟内存物理内存比例，默认2.1
```

#### 1.3 Container相关

```xml
yarn.scheduler.minimum-allocation-mb    #容器最小内存，默认1G
yarn.scheduler.maximum-allocation-mb    #容器最大内存，默认8G
yarn.scheduler.minimum-allocation-vcores    #容器最小CPU核数，默认1个
yarn.scheduler.maximum-allocation-vcores    #容器最大CPU核数，默认4个
```

### 二、配置文件说明

可以通过上方的参数说明对yarn-site.xml文件进行修改

```xml
<configuration>
    <property>
       <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.scheduler.client.thread-count</name>
        <value>8</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
        <value>false</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.resource.count-logical-processors-as-cores</name>
        <value>false</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
        <value>1.0</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
    </property>
    
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
    </property>
    
    <property>
        <name>yarn.scheduler.minimum-allocation-vcores</name>
        <value>1</value>
    </property>
    
    <property>
        <name>yarn.schedluler.maximum-allocation-vcores</name>
        <value>2</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>
</configuration>
```

标签: Hadoop, Yarn

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://lilinchao.com/archives/1429.html

上一篇 05.Yarn常用命令

下一篇 07.Yarn生产环境核心参数配置案例

06.Yarn核心参数配置

评论已关闭

栏目分类

标签云

友情链接申请

06.Yarn核心参数配置

评论已关闭

 栏目分类

标签云

友情链接申请

栏目分类

标签云

友情链接申请