Centos7.4 Kafka集群部署(最详细图文)

it2023-07-24  66

Centos7.4 Kafka集群部署(最详细图文)

人生苦短,务必性感。

目录

准备工作

1、安装Java环境

2、安装ZooKeeper

2.1、准备zookeeper安装包

2.2、安装zookeeper

2.2.1、 Zookeeper部署

2.2.2、Zookeeper集群配置

3、安装kafka

3.1、准备Kafka安装包

3.2、安装kafka

3.2.1 kafka部署

3.2.2 kafka集群配置

4、kafka常用命令

4.1.查看topic

4.2.查看具体的topic详细信息

4.3.创建topic

5、kafka tool使用

5.1、下载并安装Kafka Tool

5.2、kafka tool使用


准备工作

服务器3台(Centos7.4)zookeeper下载zookeeper-3.4.14.tar.gzKafka下载kafka_2.11-2.3.1.tgz

 

 

 

 

1、安装Java环境

Kafka依赖Java环境,因此,安装Kafka之前必须先安装Java环境。

Centos 7一般自带jdk1.6版本,直接使用自带的jdk 即可;如果对jdk版本有要求,可以手动安装对应版本。

 

2、安装ZooKeeper

因为Kakfa集群需要依赖ZooKeeper存储Broker、Topic等信息,所以,在安装Kafka之前我们必须先安装zookeeper。

这里我们部署三台ZooKeeper。

 

2.1、准备zookeeper安装包

官网下载地址:

https://zookeeper.apache.org/releases.html#download

 

2.2、安装zookeeper

2.2.1、 Zookeeper部署

1、mkdir -p /usr/local/zookeeper   # 创建目录

2、拷贝zookeeper-3.4.14.tar.gz到服务器/usr/local/zookeeper

3、 tar -zxvf zookeeper-3.4.14.tar.gz  # 解压

4、cd zookeeper-3.4.14/conf ,执行 cp zoo_sample.cfg  zoo.cfg   # 复制zoo_sample.cfg并重命名为zoo.cfg

5、使用vi修改zoo.cfg,修改内容dataDir=/tmp/zookeeper/data,目录可根据实际情况自由配置

注:在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上均按照1~5步骤安装完成

 

2.2.2、Zookeeper集群配置

1、修改单节点的zoo.cfg 文件,在最后添加

       server.0=10.45.157.55:2888:3888

       server.1=10.45.157.56:2888:3888

       server.2=10.45.157.57:2888:3888

注:在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上,每个zoo.cfg文件均填写以上3行配置

这里介绍下这个配置项的含义 server.A=B:C:D

     A:其中 A 是一个数字,表示这个是服务器的编号;

     B:是这个服务器的 ip 地址;

     C:Leader选举的端口;

     D:Zookeeper服务器之间的通信端口。

配置时,C,D俩个端口保持不变,只需要修改ip地址即可。这里A的服务器编号,后面还会进行配置,不可以弄乱,按照上面配置即可。

 

2、在zoo.cfg文件中配置的dataDir 指定的目录下(/tmp/zookeeper/data),创建 myid 文件

cd  /tmp/zookeeper/data  #进入目录

touch myid  # 创建myid文件

 

3、编辑myid文件,输入命令:vi myid,在该文件添加上一步 server 配置的对应 A 数字。

在10.45.157.55 服务器的myid文件中,填入 0

在10.45.157.66 服务器的myid文件中,填入 1

在10.45.157.67 服务器的myid文件中,填入 2

 

4、启动zookeeper,输入命令:

cd /usr/local/zookeeper-3.4.14/bin/   #进入zookeeper安装目录

sh  zkServer.sh start  #启动zookeeper

注:在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上,均启动zookeeper,出现上图ZooKeeper JMX enabled by default 表示启动成功

5、在10.45.157.55、10.45.157.56、10.45.157.57三台服务器上均执行sh  zkServer.sh status ,出现以下即表示集群搭建成功。

1个leader,2个follower。

三台机器,自动选举leader,剩下的两台成为了 follower。这时候,如果你将其中一台服务关掉,会发现剩下两台又会有一台变成了 leader节点。

 

3、安装kafka

这里我们部署三台Kafka。

3.1、准备Kafka安装包

官网下载地址:

http://kafka.apache.org/downloads.html

 

 

3.2、安装kafka

3.2.1 kafka部署

     1、mkdir -p /usr/local/kafka   # 创建目录

     2、拷贝 kafka_2.11-2.3.1.tgz到服务器 /usr/local/kafka

     3、tar -zxvf kafka_2.11-2.3.1.tgz  # 解压kafka

 

3.2.2 kafka集群配置

     进入config目录:cd  /kafka_2.11-2.3.1/config, 使用vi编辑:vi server.properties,修改配置文件,将:

broker.id=0修改为对应的服务器的编号(这里的broker.id 需要与myid中的一致,需要保证kafka集群中设置的都不一样,10.45.157.55服务器中broker.id=0、10.45.157.56服务器中broker.id=1、110.45.157.57服务器中broker.id=2)

listeners=PLAINTEXT://配置实际的ip地址 : 9092

advertised.host.name=配置实际的ip地址

host.name=配置实际的ip地址

log.retention.hours = 72     # 日志清理的时间,单位小时,可根据磁盘空间和项目需要配置

advertised.listeners=PLAINTEXT://配置实际的ip地址

zookeeper.connect=10.45.157.55:2181,10.45.157.66:2181,10.45.157.47:2181

 

10.45.157.55、10.45.157.56、10.45.157.57三台机器都配置好了,分别启动kafka(/usr/local/kafka为本文特点路径,可根据实际情况选择安装目录):

nohup /usr/local/kafka/kafka_2.11-2.3.1/bin/kafka-server-start.sh /usr/local/kafka/kafka_2.11-2.3.1/config/server.properties 1>/dev/null 2>&1 &

终端输入jps显示Kafka则表示启动成功,如下图:

注:如果安装linux操作系统的时候,区分了多个盘,则需要根据实际情况修改log.dirs的路径。以避免日志文件过多,系统目录空间利用率达到100%,kafka异常退出。

 

4、kafka常用命令

4.1.查看topic

进入kafka安装目录,cd /usr/kafka/kafka_2.12-2.3.1(进入实际安装路径输入)

输入bin/kafka-topics.sh --list --zookeeper localhost:2181

 

4.2.查看具体的topic详细信息

如,查看peim-b-mete-production的详细信息:

进入kafka安装目录,cd /usr/kafka/kafka_2.12-2.3.1(根据现场实际安装路径输入)

命令窗口输入bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic peim-b-mete-production --describe

 

4.3.创建topic

例如,创建45个分区的peim-b-mete-production

进入kafka安装目录,cd /usr/kafka/kafka_2.12-2.3.1(根据实际安装路径输入)

命令窗口输入bin/kafka-topics.sh --create --topic peim-b-mete-production --replication-factor 1 --partitions 45 --zookeeper localhost:2181

 

5、kafka tool使用

5.1、下载并安装Kafka Tool

下载地址:http://www.kafkatool.com/download.html

根据不同的系统下载对应的版本,我这里下载的是kafka tool 2.0.7

双击安装,一直下一步下一步即可安装完成,安装完成后,点击Kafka Tool 2.0图标即可打开工具,如下图:

 

5.2、kafka tool使用

主要提供了直观的UI,方便用户查看Kafka主题中的消息。

1、点击File→Add New Connection

2、选择Properties,填写参数:

Zookeerper Host:实际ip

Zookeeper Port:默认2081

3、选择Advanced,填写参数:

ip:9092

4、点击connect ,左侧红灯变为绿灯,则表示连接成功

5、点击+号 ,可展示Brokers、topics、Consumers详细情况

 

6、查看某个topic总消息条数

7、查看具体消息,可选择Text、Hex、JSON、XML格式显示 

 

最新回复(0)