06.Yarn核心参数配置
06.Yarn核心参数配置前言在生产环境中部署Yarn需要对yarn-site.xml配置文件中的一些参数进行修改，使得服务器发挥更好的性能。一、相关参数1.1 ResourceManager相关yarn.resourcemanager.scheduler.class #配置调度器，apache yarn默认容量调度器，CDH默认公平调度器 yarn.resourcemanager.scheduler.client.thread-count # ResourceManager处理调度器请求的现场数量，默认501.2 NodeManager相关yarn.nodemanager....
05.Yarn常用命令
05.Yarn常用命令前言一般我们查看Yarn状态的时候，直接通过访问网页方式进行查看：http://IP:8088/，默认端口号为8088。本篇主要讲解另一种方式，通过命令行查看Yarn状态。1. yarn application查看任务1.1 列出所有Application命令[root@hadoop103 ~]# yarn application -list1.2 根据Application状态过滤命令yarn application -list -appStates 【状态名称】示例#查询状态为执行完成的所有队列信息 [root@hadoop103 ~]# yarn applic...
04.Yarn调度算法
04.Yarn调度算法一、容量调度器资源分配算法算法说明（1）队列资源分配 从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。（2）作业资源分配 默认按照提交作业的优先级和提交时间顺序分配资源。（3）容器资源分配 按照容器的优先级分配资源。 如果优先级相同，按照数据本地性原则： ①.任务和数据在同一节点 ②.任务和数据在同一机架 ③.任务和数据不在同一节点也不在同一机架二、Fair策略资源分配算法实际最小资源份额：mindshare = Min（资源需求量...
03.Yarn调度器
03.Yarn调度器一、概述目前，Hadoop 作业调度器主要有三种：FIFO（先进先出）容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler）Apache Hadoop2.7.2版本之后默认的资源调度器是Capacity Scheduler。二、Yarn调度器详解2.1 FIFOFIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。说明 hadoop1.x使用的默认调度器就是FIFO。FIFO采用队列方式将一个一个job任务按照时间先后顺序进行服务。比如排在最前面的job需要若干ma...
02.Yarn的工作机制和作业提交过程
02.Yarn的工作机制和作业提交过程一、Yarn的工作机制（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM将用户的请求初始化成一个Task。（7）其中一个NodeManager领取到Task任务。（8）该NodeManager创建容器Container，并产生MRAppmaster。（9）Container从HDFS上拷贝资源到本地。（1...
01.Yarn基础架构
01.Yarn基础架构一、Yarn概述1.1 Yarn介绍Apache Hadoop YARN（Yet Another Resource Negotiator,另一种资源协调者）是Hadoop2引入的资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在资源利用率、资源统一管理和数据共享等方面带来了好处。1.2 Yarn产生背景Hadoop集群JobTracker单点故障问题JobTracker承受的访问压力大，影响系统扩展性不支持MapReduce之外的计算框架，如：Storm、Spark、Flink1.3 Yarn优点支持非MapReduce应用...
07.SpringBoot集成Quartz实现分布式任务调度
07.SpringBoot集成Quartz实现分布式任务调度前言本篇内容包括SpringBoot整合QuartzQuartz持久化分布式任务调度一、介绍1.1 Quartz集群 Quartz集群中每个节点都是一个单独的Quartz应用，它又管理着其他的节点。这个集群需要每个节点单独的启动或停止；和我们的应用服务器集群不同，独立的Quratz节点之间是不需要通信的。不同节点之间是通过数据库表来感知另一个应用。只有使用持久的JobStore才能完成Quartz集群。1.2 Quartz持久化Quartz持久化配置提供了两种存储器：类型优点缺点RAMJobStore不要外部数据...
【转载】06.Quartz配置quartz.properties详解
【转载】06.Quartz配置quartz.properties详解一、配置文件的位置与加载顺序Quartz默认加载工程目录下的quartz.properties，如果工程目录下没有，就会去加载quartz.jar包下面的quartz.properties文件。二、组成部分调度器属性线程池属性作业存储设置插件配置调度器属性org.quartz.scheduler.instanceName属性用来区分特定的调度器实例，可以按照功能用途来给调度器起名。org.quartz.scheduler.instanceId属性和前者一样，也允许任何字符串，但这个值必须是在所有调度器实例中是惟一的，尤其...
05.Quartz监听器
05.Quartz监听器一、概述1.1 简介Quartz的监听器用于当任务调度中你所关注事件发生时，能够及时获取这一事件的通知。类似于任务执行过程中的邮件、短信类的提醒。1.2 种类Quartz监听器主要有JobListener、TriggerListener、SchedulerListener三种，分别表示任务、触发器、调度器对应的监听器。JobListener：任务调度过程中，与任务Job相关的事件包括job开始要执行的提示，job执行完成的提示灯。TriggerListener：任务调度过程中，与触发器Trigger相关的事件包括触发器触发、触发器未正常触发、触发器完成等。Sch...
04.Quartz触发器之CronExpression表达式
04.Quartz触发器之CronExpression表达式前言当需要设置任务执行时间过于复杂时，一般都使用CronExpression表达式来满足我们的需求，本篇将详细介绍Quartz支持的CronExpression表达式的用法。示例CronExpression表达式表示每秒执行一次* * * * * ？ *说明时间顺序依次为：[秒] [分] [小时] [日] [月] [周] [年]*代表所有值，也就是每秒都会触发。一、概述 Quartz cron 表达式的格式十分类似于 UNIX cron 格式，但还是有少许明显的区别。区别之一就是 Quartz 的格式向下支持到秒...