kafka监控及运维

kafka-eagle概述环境和安装环境要求安装步骤 在开发工作中，消费在Kafka集群中消息，数据变化是我们关注的问题，当业务前提不复杂时，我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具，可以轻松完成我们的工作。随着业务的复杂性，增加Group和 Topic，那么我们使用Kafka提供命令工具，已经感到无能为力，那么Kafka监控系统目前尤为重要，我们需要观察 消费者应用的细节。

kafka-eagle概述

为了简化开发者和服务工程师维护Kafka集群的工作有一个监控管理工具，叫做 Kafka-eagle。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，

环境和安装

环境要求

需要安装jdk，启动zk以及kafka的服务

安装步骤

下载源码包 kafka-eagle官网： http://download.kafka-eagle.org/

我们可以从官网上面直接下载最细的安装包即可kafka-eagle-bin-1.3.2.tar.gz这个版本即可

代码托管地址： https://github.com/smartloli/kafka-eagle/releases

解压 这里我们选择将kafak-eagle安装在第三台 直接将kafka-eagle安装包上传到node03服务器的/export/softwares路径下，然后进行解压 node03服务器执行一下命令进行解压 cd /export/softwares/ tar -zxf kafka-eagle-bin-1.3.2.tar.gz -C /export/servers/ cd /export/servers/kafka-eagle-bin-1.3.2 tar -zxf kafka-eagle-web-1.3.2-bin.tar.gz 准备数据库 kafka-eagle需要使用一个数据库来保存一些元数据信息，我们这里直接使用msyql数据库来保存即可，在node03服务器执行以下命令创建一个mysql数据库即可 进入mysql客户端 mysql -uroot -p create database eagle; 修改kafak-eagle配置文件 node03执行以下命令修改kafak-eagle配置文件 cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/conf vim system-config.properties kafka.eagle.zk.cluster.alias=cluster1,cluster2 cluster1.zk.list=node01:2181,node02:2181,node03:2181 cluster2.zk.list=node01:2181,node02:2181,node03:2181 kafka.eagle.driver=com.mysql.jdbc.Driver kafka.eagle.url=jdbc:mysql://node03:3306/eagle kafka.eagle.username=root kafka.eagle.password=123456 配置环境变量 kafka-eagle必须配置环境变量，node03服务器执行以下命令来进行配置环境变量 vim /etc/profile export KE_HOME=/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2 export PATH=:$KE_HOME/bin:$PATH

让修改立即生效，执行

source /etc/profile 启动kafka-eagle node03执行以下界面启动kafka-eagle cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin chmod u+x ke.sh ./ke.sh start 主界面 访问kafka-eagle http://node03:8048/ke/account/signin?/ke/ 用户名：admin 密码：123456