李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
Flume拓扑结构
Leefs
2022-03-27 PM
1415℃
0条
### 一、简单串联 + Flume Agent 连接  这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。 此模式不建议桥接过多的 flume 数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。 ### 二、复制和多路复用 + 单 source，多 channel、sink  Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个 channel 中，或者将不同数据分发到不同的 channel 中，sink 可以选择传送到不同的目的地。 ### 三、负载均衡和故障转移 + Flume 负载均衡或故障转移  Flume支持使用将多个sink逻辑上分到一个sink组，sink组配合不同的SinkProcessor 可以实现负载均衡和错误恢复的功能。 ### 四、聚合 + Flume Agent 聚合  这种模式是我们最常见的，也非常实用，日常 web 应用通常分布在上百个服务器，大者甚至上千个、上万个服务器。产生的日志，处理起来也非常麻烦。用 flume 的这种组合方式能很好的解决这一问题，每台服务器部署一个 flume 采集日志，传送到一个集中收集日志的flume，再由此 flume 上传到 hdfs、hive、hbase 等，进行日志分析。 *附参考文章来源：* *《尚硅谷大数据之Flume》*
标签:
Flume
非特殊说明，本博所有文章均为博主原创。
如若转载，请注明出处：
https://lilinchao.com/archives/1954.html
上一篇
Flume进阶
下一篇
【转载】ZooKeeper详细介绍
评论已关闭
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
NLP
4
标签云
数学
Quartz
正则表达式
SpringCloudAlibaba
Spark Streaming
FastDFS
锁
pytorch
HDFS
Http
机器学习
微服务
高并发
Scala
Golang
字符串
Elastisearch
Java编程思想
JavaWeb
ClickHouse
Golang基础
Stream流
MyBatisX
哈希表
Flume
RSA加解密
Spring
人工智能
SpringBoot
数据结构和算法
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞
评论已关闭