李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
04.Yarn调度算法
Leefs
2021-09-09 PM
2408℃
0条
# 04.Yarn调度算法 ### 一、容量调度器资源分配算法  #### 算法说明 **（1）队列资源分配** 从root开始，使用深度优先算法，**优先选择资源占用率最低**的队列分配资源。 **（2）作业资源分配** 默认按照提交作业的优先级和提交时间顺序分配资源。 **（3）容器资源分配** 按照容器的优先级分配资源。 如果优先级相同，按照数据本地性原则： ①.任务和数据在同一节点 ②.任务和数据在同一机架 ③.任务和数据不在同一节点也不在同一机架 ### 二、Fair策略资源分配算法 + **实际最小资源份额：**`mindshare = Min`（资源需求量，配置的最小资源） + **是否饥饿：**`isNeedy = 资源使用量 < mindshare`（实际最小资源份额） + **资源分配比：**`minShareRatio = 资源使用量/Max`(mindshare,1) + **资源使用权重比：**`useToWeightRatio = 资源使用量/权重`  #### 2.1 队列资源分配  #### 2.2 作业资源分配  *附：* *文章来源参考《尚硅谷大数据之Hadoop》*
标签:
Hadoop
,
Yarn
非特殊说明，本博所有文章均为博主原创。
如若转载，请注明出处：
https://lilinchao.com/archives/1426.html
上一篇
03.Yarn调度器
下一篇
05.Yarn常用命令
取消回复
评论啦~
提交评论
栏目分类
随笔
2
Java
326
大数据
229
工具
35
其它
25
GO
48
NLP
8
标签云
Prometheus
机器学习
ClickHouse
哈希表
Nacos
Netty
稀疏数组
VUE
LeetCode刷题
Spark Core
Ray
JavaSE
并发线程
微服务
数据结构和算法
Hadoop
SQL练习题
FastDFS
高并发
Java工具类
SpringCloudAlibaba
NIO
随笔
Http
Stream流
Flume
Spring
MyBatis
Elastisearch
二叉树
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞