18.【终章】Kafka监控工具Eagle最新版安装

Leefs 2021-10-17 PM 2022℃ 0条

[TOC]

### 前言

+ **Kafka监控系统**

**在Kafka的监控系统中有很多优秀的开源监控系统。比如Kafka-manager，open-faclcon，zabbix等主流监控工具均可直接监控kafka。**Kafka集群性能监控可以从消息网络传输，消息传输流量，请求次数等指标来衡量集群性能。这些指标数据可以通过访问kafka集群的JMX接口获取。

+  **JMX接口**

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理。很多的一些软件都提供了JMX接口，来实现一些管理、监控功能。

### 一、概念

#### 1.1 Eagle简介

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

#### 1.2 功能

+ 能够实现broker级常见的JMX监控；
+ 能对consumer消费进度进行监控；
+ 能在页面上直接对多个集群进行管理；
+ 安装方式简单，二进制包解压即用；
+ 可以配置告警（钉钉、微信、email均可）

### 二、安装

##### 2.1 下载Kafka eagle

下载地址：`http://download.kafka-eagle.org/`

![18.Kafka监控工具Eagle最新版安装01.jpg](https://lilinchao.com/usr/uploads/2021/10/170317761.jpg)

从该地址可以下载到最新版的Kafka Eagle，下载好以后上传到要安装的服务器。

##### 2.2 解压Eagle

```bash
# 解压文件
[root@hadoopserver sources]# tar -zxvf kafka-eagle-bin-2.0.8.tar.gz
# 进入到解压后的文件目录
[root@hadoopserver sources]# cd kafka-eagle-bin-2.0.8
# 将文件解压到安装目录下
[root@hadoopserver kafka-eagle-bin-2.0.8]# tar -zxvf efak-web-2.0.8-bin.tar.gz -C /usr/local/
```

*注意：eagle有两层压缩包*

##### 2.3 配置环境变量

+ 对原文件重命名

```bash
[root@hadoopserver local]# mv efak-web-2.0.8/ eagle
```

+ 配置环境变量

```
[root@hadoopserver local]# vim /etc/profile
```

添加如下信息

```bash
# KE_HOME
export KE_HOME=/usr/local/eagle
export PATH=$PATH:$KE_HOME/bin
```

保存并退出！

+ 使配置信息生效

```
[root@hadoopserver local]# source /etc/profile
```

+ 验证是否设置成功

```bash
[root@hadoopserver local]# echo $KE_HOME
/usr/local/eagle
```

##### 2.4 修改配置文件

```bash
# 修改system-config.properties文件配置
[root@hadoopserver conf]# vim system-config.properties
```

修改配置

```properties
# 多个zookeeper和kafka群集列表
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.159.135:2181
# broker size online 列表
cluster1.kafka.eagle.broker.size=20
# zk客户端线程限制
kafka.zk.limit.size=32
# kafka eagle webui页面端口
kafka.eagle.webui.port=8048
# kafka offset 存储 （kafka和zk只需保留一个即可）
cluster1.kafka.eagle.offset.storage=kafka
# kafka metrics, 开启性能监控, 数据默认保留30天
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=15
# kafka sql topic主题 最大记录
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=true
# delete kafka topic token
kafka.eagle.topic.token=keadmin
# kafka mysql jdbc 驱动程序地址
# Kafka-Eagle的表都是自动创建的，不需要使用者去操作
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?characterEncoding=UTF-8&useUnicode=true&useSSL=false&tinyInt1isBit=false&allowPublicKeyRetrieval=true
kafka.eagle.username=root
kafka.eagle.password=123456
```

保存并退出！

##### 2.5 修改Kafka启动命令

```bash
[root@hadoopserver kafka_2.12-2.8.0]# pwd
/usr/local/kafka_2.12-2.8.0
[root@hadoopserver kafka_2.12-2.8.0]# vim kafka-server-start.sh
```

修改配置文件

```sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
#    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
fi
```

保存并退出！

重启Kafka

##### 2.6 启动Kafka Eagle

```bash
[root@hadoopserver eagle]# ke.sh start
```

![18.Kafka监控工具Eagle最新版安装02.jpg](https://lilinchao.com/usr/uploads/2021/10/1592336508.jpg)

Eagle出现环境界面和访问链接、用户名和密码。

##### 2.7 访问界面

访问地址：http://192.168.159.135:8048/

用户名：admin

密码：123456

![18.Kafka监控工具Eagle最新版安装03.jpg](https://lilinchao.com/usr/uploads/2021/10/1429325116.jpg)

### 三、Kafka Eagle操作命令

```bash
# 启动Kafka Eagle系统，执行如下命令：
ke.sh start
# 查看Kafka Eagle运行状态
ke.sh status
# 停止Kafka Eagle
ke.sh stop
# 查看Kafka Eagle GC情况
ke.sh gc
# 查看Kafka Eagle服务器资源占用情况，例如TCP、句柄等
ke.sh stats
# 查看Kafka Eagle版本号
ke.sh version
# 查看Kafka Eagle服务器上JDK的编码情况（如果JDK编码不是UTF-8，可能会有异常出现，执行如下命令，根据提示来修复JDK编码问题）
ke.sh jdk
# 查看Kafka Eagle中是否存在某个类（如果需要精确，类名前面可以加上包名）
ke.sh find [ClassName]
```

标签: Kafka

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://lilinchao.com/archives/1566.html

上一篇 17.Kafka自定义拦截器

下一篇 01.SparkStreaming概述

18.【终章】Kafka监控工具Eagle最新版安装

评论已关闭

栏目分类

标签云

友情链接申请

18.【终章】Kafka监控工具Eagle最新版安装

评论已关闭

 栏目分类

标签云

友情链接申请

栏目分类

标签云

友情链接申请