07.Azkaban条件工作流介绍
[TOC]一、概述 条件工作流功能允许用户自定义执行条件来决定是否运行某些Job。条件可以由当前Job的父 Job 输出的运行时参数构成，也可以使用预定义宏。在这些条件下，用户可以在确定 Job执行逻辑时获得更大的灵活性，例如，只要父 Job 之一成功，就可以运行当前 Job。二、运行时参数案例2.1 基本原理（1）父 Job 将参数写入JOB_OUTPUT_PROP_FIL...
06.Azkaban之JavaProcess任务类型
[TOC]前言本篇将以一个简单的案例演示通过Azkaban平台来调度执行Java程序。一、Azkaban调度类型介绍azkaban 可以支持非常多的任务类型，常用的任务类型有如下几种：Command：使用Linux shell命令行任务。HadoopShell：这和Command一样也是命令类型，只不过可以和Hadoop集群通信。Java：调度执行Java任务。hadoopJava：也是一种...
05.Azkaban失败重试配置与使用
[TOC]一、简介Azkaban失败重试分为两种：自动失败重试和手动失败重试。作用自动失败重试：当任务第一次执行失败后，可以根据特定时间间隔来进行自动重新执行。手动失败重试：当任务经历过自动失败重试，在某个节点依旧执行失败，排查修复完问题，继续执行任务时，可以跳过执行成功的工作单元，从上次失败的工作单元向下执行。场景自动失败重试由于暂时网络波动导致的超时、暂时资源不足导致的超时等原因产生的暂...
【转载】04.Azkaban Flow 2.0的使用
[TOC]一、Flow 2.0简介1.1 Flow 2.0的产生Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ，但是官方文档上更推荐使用 Flow 2.0，因为 Flow 1.0 会在将来的版本被移除。Flow 2.0 的主要设计思想是提供 1.0 所没有的流级定义。用户可以将属于给定流的所有 job / properties 文件合并到单个流定义文件中，其内容采用 Y...
03.Azkaban使用案例
[TOC]前言Azkaban 2.0支持properties配置文件，也支持YML配置文件Azkaban 3.0默认支持YML配置文件Hello World案例实操（1）在windows环境新建first.project文件，增加如下内容azkaban-flow-version: 2.0注意：该文件作用，是采用新的Flow-API方式解析flow文件。文件必须以.project结尾。（2）新...
02.Azkaban单机版安装教程
前言环境准备MySQL数据库JDK1.8本次安装Azkaban版本Azkaban-3.84.4一、安装步骤1、上传文件（1）将安装包上传到服务器上（2）创建目录，解压安装包到对应目录[hadoop@hadoopserver local]$ mkdir azkaban [hadoop@hadoopserver azkaban]$ tar -zxf azkaban-db-3.84.4.tar.g...
01.Azkaban概述
前言为什么需要工作流调度器一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等;各任务单元之间存在时间先后及前后依赖关系;为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。常见任务调度工具crontab （Linux 自带命令，使用方式简单，适合不是非常复杂的场景，比如只按照时间来调度）ooz...