李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
18.【终章】Kafka监控工具Eagle最新版安装
Leefs
2021-10-17 PM
1398℃
0条
[TOC] ### 前言 + **Kafka监控系统** **在Kafka的监控系统中有很多优秀的开源监控系统。比如Kafka-manager,open-faclcon,zabbix等主流监控工具均可直接监控kafka。**Kafka集群性能监控可以从消息网络传输,消息传输流量,请求次数等指标来衡量集群性能。这些指标数据可以通过访问kafka集群的JMX接口获取。 + **JMX接口** JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务,实际上,用户可以在任何Java应用程序中使用这些代理和服务实现管理。很多的一些软件都提供了JMX接口,来实现一些管理、监控功能。 ### 一、概念 #### 1.1 Eagle简介 Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。 #### 1.2 功能 + 能够实现broker级常见的JMX监控; + 能对consumer消费进度进行监控; + 能在页面上直接对多个集群进行管理; + 安装方式简单,二进制包解压即用; + 可以配置告警(钉钉、微信、email均可) ### 二、安装 ##### 2.1 下载Kafka eagle 下载地址:`http://download.kafka-eagle.org/` ![18.Kafka监控工具Eagle最新版安装01.jpg](https://lilinchao.com/usr/uploads/2021/10/170317761.jpg) 从该地址可以下载到最新版的Kafka Eagle,下载好以后上传到要安装的服务器。 ##### 2.2 解压Eagle ```bash # 解压文件 [root@hadoopserver sources]# tar -zxvf kafka-eagle-bin-2.0.8.tar.gz # 进入到解压后的文件目录 [root@hadoopserver sources]# cd kafka-eagle-bin-2.0.8 # 将文件解压到安装目录下 [root@hadoopserver kafka-eagle-bin-2.0.8]# tar -zxvf efak-web-2.0.8-bin.tar.gz -C /usr/local/ ``` *注意:eagle有两层压缩包* ##### 2.3 配置环境变量 + 对原文件重命名 ```bash [root@hadoopserver local]# mv efak-web-2.0.8/ eagle ``` + 配置环境变量 ``` [root@hadoopserver local]# vim /etc/profile ``` 添加如下信息 ```bash # KE_HOME export KE_HOME=/usr/local/eagle export PATH=$PATH:$KE_HOME/bin ``` 保存并退出! + 使配置信息生效 ``` [root@hadoopserver local]# source /etc/profile ``` + 验证是否设置成功 ```bash [root@hadoopserver local]# echo $KE_HOME /usr/local/eagle ``` ##### 2.4 修改配置文件 ```bash # 修改system-config.properties文件配置 [root@hadoopserver conf]# vim system-config.properties ``` 修改配置 ```properties # 多个zookeeper和kafka群集列表 kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=192.168.159.135:2181 # broker size online 列表 cluster1.kafka.eagle.broker.size=20 # zk客户端线程限制 kafka.zk.limit.size=32 # kafka eagle webui页面端口 kafka.eagle.webui.port=8048 # kafka offset 存储 (kafka和zk只需保留一个即可) cluster1.kafka.eagle.offset.storage=kafka # kafka metrics, 开启性能监控, 数据默认保留30天 kafka.eagle.metrics.charts=true kafka.eagle.metrics.retain=15 # kafka sql topic主题 最大记录 kafka.eagle.sql.topic.records.max=5000 kafka.eagle.sql.fix.error=true # delete kafka topic token kafka.eagle.topic.token=keadmin # kafka mysql jdbc 驱动程序地址 # Kafka-Eagle的表都是自动创建的,不需要使用者去操作 kafka.eagle.driver=com.mysql.jdbc.Driver kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?characterEncoding=UTF-8&useUnicode=true&useSSL=false&tinyInt1isBit=false&allowPublicKeyRetrieval=true kafka.eagle.username=root kafka.eagle.password=123456 ``` 保存并退出! ##### 2.5 修改Kafka启动命令 ```bash [root@hadoopserver kafka_2.12-2.8.0]# pwd /usr/local/kafka_2.12-2.8.0 [root@hadoopserver kafka_2.12-2.8.0]# vim kafka-server-start.sh ``` 修改配置文件 ```sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70" export JMX_PORT="9999" fi ``` 保存并退出! 重启Kafka ##### 2.6 启动Kafka Eagle ```bash [root@hadoopserver eagle]# ke.sh start ``` ![18.Kafka监控工具Eagle最新版安装02.jpg](https://lilinchao.com/usr/uploads/2021/10/1592336508.jpg) Eagle出现环境界面和访问链接、用户名和密码。 ##### 2.7 访问界面 访问地址:http://192.168.159.135:8048/ 用户名:admin 密码:123456 ![18.Kafka监控工具Eagle最新版安装03.jpg](https://lilinchao.com/usr/uploads/2021/10/1429325116.jpg) ### 三、Kafka Eagle操作命令 ```bash # 启动Kafka Eagle系统,执行如下命令: ke.sh start # 查看Kafka Eagle运行状态 ke.sh status # 停止Kafka Eagle ke.sh stop # 查看Kafka Eagle GC情况 ke.sh gc # 查看Kafka Eagle服务器资源占用情况,例如TCP、句柄等 ke.sh stats # 查看Kafka Eagle版本号 ke.sh version # 查看Kafka Eagle服务器上JDK的编码情况(如果JDK编码不是UTF-8,可能会有异常出现,执行如下命令,根据提示来修复JDK编码问题) ke.sh jdk # 查看Kafka Eagle中是否存在某个类(如果需要精确,类名前面可以加上包名) ke.sh find [ClassName] ```
标签:
Kafka
非特殊说明,本博所有文章均为博主原创。
如若转载,请注明出处:
https://lilinchao.com/archives/1566.html
上一篇
17.Kafka自定义拦截器
下一篇
01.SparkStreaming概述
取消回复
评论啦~
提交评论
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
标签云
MySQL
高并发
Elasticsearch
队列
Scala
SpringCloud
随笔
人工智能
并发编程
锁
LeetCode刷题
链表
Yarn
设计模式
数学
Eclipse
Flume
Java工具类
Spark
nginx
Hbase
Java阻塞队列
Git
ClickHouse
Shiro
工具
Spring
并发线程
Java编程思想
Flink
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞