李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
Flume拓扑结构
Leefs
2022-03-27 PM
2926℃
0条
### 一、简单串联 + Flume Agent 连接  这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。 此模式不建议桥接过多的 flume 数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。 ### 二、复制和多路复用 + 单 source，多 channel、sink  Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个 channel 中，或者将不同数据分发到不同的 channel 中，sink 可以选择传送到不同的目的地。 ### 三、负载均衡和故障转移 + Flume 负载均衡或故障转移  Flume支持使用将多个sink逻辑上分到一个sink组，sink组配合不同的SinkProcessor 可以实现负载均衡和错误恢复的功能。 ### 四、聚合 + Flume Agent 聚合  这种模式是我们最常见的，也非常实用，日常 web 应用通常分布在上百个服务器，大者甚至上千个、上万个服务器。产生的日志，处理起来也非常麻烦。用 flume 的这种组合方式能很好的解决这一问题，每台服务器部署一个 flume 采集日志，传送到一个集中收集日志的flume，再由此 flume 上传到 hdfs、hive、hbase 等，进行日志分析。 *附参考文章来源：* *《尚硅谷大数据之Flume》*
标签:
Flume
非特殊说明，本博所有文章均为博主原创。
如若转载，请注明出处：
https://lilinchao.com/archives/1954.html
上一篇
Flume进阶
下一篇
【转载】ZooKeeper详细介绍
取消回复
评论啦~
提交评论
栏目分类
随笔
2
Java
326
大数据
229
工具
35
其它
25
GO
48
NLP
8
标签云
VUE
Typora
ajax
数据结构
Spark Streaming
Kibana
Eclipse
MySQL
Azkaban
Spark RDD
Jquery
Golang
Docker
Yarn
JVM
Hbase
LeetCode刷题
BurpSuite
Golang基础
Kafka
NIO
链表
Java阻塞队列
Jenkins
Shiro
并发编程
数据结构和算法
Git
RSA加解密
哈希表
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞