06.Flink Yarn模式介绍
[TOC]前言Flink的Standalone和on Yarn模式都属于集群运行模式，但是有很大的不同，在实际环境中，使用Flink on Yarn模式者居多。Standalone和on Yarn模式的最大不同点是管理资源的不同：Standalone模式通过Flink自身来管理集群资源on Yarn模式通过Hadoop Yarn来对集群资源进行管理一、概述 以Yarn模式部署...
05.Flink Standalone模式单机版安装
[TOC]一、概述1.1 介绍flink的 standalone（standalone deploy mode）部署模式，指的是flink直接在操作系统上启动flink相关服务如client, jobmanager, taskmanager，而不依赖其它资源管理框架如yarn, mesos, k8s进行资源管理。此时是由flink直接来进行集群资源管理的，比如监控和重启失败的服务进程，分配和...
04.Flink本地模式部署
[TOC]前言Flink提供了多种部署方式，常用方式主要有三种：local、standalone、yarn。local就是单机模式，一般来说用于本地开发测试；Standalone跟yarn模式都可以支撑集群部署、实现HA，但是两者在任务分配机制、内存管理等内容上有比较大的差异。一般在处理计算数据量级非常大的生产环境，使用flink on yarn的模式更多一些。一、Local模式介绍在loc...
03.Flink入门案例
[TOC]前言本篇将通过两个案例来入门Flink流式处理和批处理编程。准备环境：Scala 2.12版本创建一个Maven工程项目一、准备1.1 引入依赖pom.xml<dependencies> <dependency> <groupId>org.apache.flink</groupId> <a...
02.Flink应用场景
[TOC]前言本篇文章摘自Flink官网https://flink.apache.org/zh/usecases.html一、概述Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架...
