李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
04.Yarn调度算法
Leefs
2021-09-09 PM
1397℃
0条
# 04.Yarn调度算法 ### 一、容量调度器资源分配算法  #### 算法说明 **（1）队列资源分配** 从root开始，使用深度优先算法，**优先选择资源占用率最低**的队列分配资源。 **（2）作业资源分配** 默认按照提交作业的优先级和提交时间顺序分配资源。 **（3）容器资源分配** 按照容器的优先级分配资源。 如果优先级相同，按照数据本地性原则： ①.任务和数据在同一节点 ②.任务和数据在同一机架 ③.任务和数据不在同一节点也不在同一机架 ### 二、Fair策略资源分配算法 + **实际最小资源份额：**`mindshare = Min`（资源需求量，配置的最小资源） + **是否饥饿：**`isNeedy = 资源使用量 < mindshare`（实际最小资源份额） + **资源分配比：**`minShareRatio = 资源使用量/Max`(mindshare,1) + **资源使用权重比：**`useToWeightRatio = 资源使用量/权重`  #### 2.1 队列资源分配  #### 2.2 作业资源分配  *附：* *文章来源参考《尚硅谷大数据之Hadoop》*
标签:
Hadoop
,
Yarn
非特殊说明，本博所有文章均为博主原创。
如若转载，请注明出处：
https://lilinchao.com/archives/1426.html
上一篇
03.Yarn调度器
下一篇
05.Yarn常用命令
评论已关闭
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
NLP
4
标签云
数据结构和算法
Java编程思想
Map
gorm
DataX
Spark SQL
ajax
排序
NIO
二叉树
Filter
哈希表
散列
Yarn
工具
JavaWEB项目搭建
机器学习
JavaWeb
JavaSE
线程池
Java工具类
VUE
Flink
Hive
FastDFS
稀疏数组
MyBatis
ClickHouse
Golang基础
Git
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞
评论已关闭