06.Flink Yarn模式介绍

[TOC]前言Flink的Standalone和on Yarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用Flink on Yarn模式者居多。Standalone和on Yarn模式的最大不同点是管理资源的不同:Standalone模式通过Flink自身来管理集群资源on Yarn模式通过Hadoop Yarn来对集群资源进行管理一、概述​ 以Yarn模式部署...

大数据 2021-12-24 AM 532次 0条

05.Flink Standalone模式单机版安装

[TOC]一、概述1.1 介绍flink的 standalone(standalone deploy mode)部署模式,指的是flink直接在操作系统上启动flink相关服务如client, jobmanager, taskmanager,而不依赖其它资源管理框架如yarn, mesos, k8s进行资源管理。此时是由flink直接来进行集群资源管理的,比如监控和重启失败的服务进程,分配和...

大数据 2021-12-23 PM 498次 0条

04.Flink本地模式部署

[TOC]前言Flink提供了多种部署方式,常用方式主要有三种:local、standalone、yarn。local就是单机模式,一般来说用于本地开发测试;Standalone跟yarn模式都可以支撑集群部署、实现HA,但是两者在任务分配机制、内存管理等内容上有比较大的差异。一般在处理计算数据量级非常大的生产环境,使用flink on yarn的模式更多一些。一、Local模式介绍在loc...

大数据 2021-12-22 PM 619次 0条

03.Flink入门案例

[TOC]前言本篇将通过两个案例来入门Flink流式处理和批处理编程。准备环境:Scala 2.12版本创建一个Maven工程项目一、准备1.1 引入依赖pom.xml<dependencies> <dependency> <groupId>org.apache.flink</groupId> <a...

大数据 2021-12-21 PM 435次 0条

02.Flink应用场景

[TOC]前言本篇文章摘自Flink官网https://flink.apache.org/zh/usecases.html一、概述Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架...

大数据 2021-12-20 PM 426次 0条

01.Flink简介

[TOC]一、概念1.1 介绍Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。Flink的理念Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。1.2 有界流和无界流无界流:有定义流的开始,但没有定义流的结束。它们会无休止...

大数据 2021-12-19 PM 435次 0条