kafka的介绍 Kafka 是分布式发布-订阅消息系统，即，kafka是一种分布式的消息队列工具。 kafka特点 a.高吞吐量 kafka每秒可以生产约25万消息（50MB），每秒可以处理55万消息（110MB） b.持久化数据存储 可进行持久化操作。将消息持久化到磁盘，按顺序读写。据测试按顺序磁盘读写比随机内存写还要快。 c.分布式系统易于扩展 所有的producer、broker和consumer都会有多个，均为分布式。无需停机就可以添加机器。 d.客户端状态维护 消息被处理的状态是在consumer端维护，而不是由server端维护。减轻服务器端的压力，为客户端会话管理提供了更好的灵活性。 描述架构之前我还想再铺垫一下使用的步骤。 消息写入到kafka是需要通过生产者端的，生产者端可以是flume可以是Nginx也可以是我们自己调用kafkaAPI手写生产者，消费者也是如此。 但是无论是什么生产者来源，都需要在kafka中创建对应的topic（主题）指定patition(分区：分区的存在是为了提高并发能力，分区数的多少由消费者多少来定义，最好结合sparkRDD数或者，如果需求是将同一个客户端的数据存入一个文件，就可以将分区与文件一一对应，存入HDFS或被Spark消费或闯入其他机器。曾经面试被问过) 如果有不理解的自己可以尝试画图并动手操作一下。 有了以上介绍以后就直接进入kafka架构： 看架构图还是需要明白一个概念就是kafka中的leader与follower 在kafka集群中每个分区有若干副本，这些副本分布式的存放在不停服务器上，其中有一个称为leader，leader负责读写操作，其他的副本就只是同步，选举leader跟zookepeer不一样，有一个ISR区域，可以想象成为奴隶场（毕竟干活的都是他），只要ISR区域中有机器活着，leader就会从中产生，另外kafka 0.8.*使用的是选择第一个活过来的replica,虽然可能会丢失数据。 1.producer： 消息生产者，发布消息到 kafka 集群的终端或服务。 2.broker： kafka 集群中包含的服务器。broker (经纪人，消费转发服务） 3.topic： 每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。 4.partition： partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。 5.consumer： 从 kafka 集群中消费消息的终端或服务。 6.Consumer group： high-level consumer API 中，每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。 即组间数据是共享的，组内数据是竞争的。 7.replica： partition 的副本，保障 partition 的高可用。 8.leader： replica 中的一个角色， producer 和 consumer 只跟 leader 交互。 9.follower： replica 中的一个角色，从 leader 中复制数据。 10.controller： kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover。 11.zookeeper： kafka 通过 zookeeper 来存储集群的 meta 信息。
消息流程: 1:producer 先从 zookeeper 的 “/brokers/…/state” 节点找到该 partition 的 leader 2:producer 将消息发送给该 leader 3:leader 将消息写入本地 log 4:followers 从 leader pull 消息，写入本地 log 后 leader 发送 ACK 5:leader 收到所有 ISR 中的 replica 的 ACK 后，增加 HW（high watermark，最后 commit 的 offset） 并向 producer 发送 ACK。 ISR指的是：比如有三个副本 ，编号是① ② ③ ，其中② 是Leader ① ③是Follower。假设在数据同步过程中，①跟上Leader,但是③出现故障或没有及时同步，则① ②是一个ISR，而③不是ISR成员。后期在Leader选举时，会用到ISR机制。会优先从ISR中选择Leader 安装Kafka 1：保证虚拟已安装jdk 2: 虚拟机已启动Zookeeper(https://www.cnblogs.com/zhouzetian/p/13345542.html) 3: 安装Kafka 下载安装包: wget http://mirror.bit.edu.cn/apache/kafka/2.4.0/kafka_2.11-2.4.0.tgz 解压: tar -xvf kafka_2.11-2.4.0.tgz 配置环境变量: vim /etx/profile 添加kafka路径
export KAFKA_HOME=/opt/kafka export PATH=$PATH:$KAFKA_HOME/bin环境变量生效: source /etc/profile 修改Kafka配置文件(在kakfa安装目录下的config目录下) vim server.properties
#broker 的编号，如果集群中有多个broker,则每个broker 的编号要设置的不同 broker.id=0 #对外提供的服务入口地址 listeners=PLAINTEXT://localhost:9092 # 存放消息的日志文件 log.dirs=/tmp/kafka-logs/ # kafka所需要的Zookeeper集群地址 zookeeper.connect=localhost:2181/kafka4: 启动Kafka(在kakfa安装目录下) 控制台模式: bin/kafka-server-start.sh config/server.properties 后台运行模式: bin/kafka-server-start.sh -daemon config/server.properties Kafka创建&查看topic，生产&消费指定topic消息 1：创建topic(在kakfa安装目录下) /kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2：查看topic(在kakfa安装目录下) /bin/kafka-topics.sh --list --zookeeper localhost:2181 3：用Kafka的console-producer在topic test1 生产消息 /bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1 输入想要发送的消息，敲回车键 4：.用Kafka的console-consumer 消费topic test1的消息 /bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1 --from-beginning 1)若producer 和 consumer 两个窗口同时打开，在producer输入信息，consumer会立即消费信息并打印在终端 2）新开一个终端，去消费同一个topic，刚刚已经消费过的消息还会被新终端继续消费。也就是说，消息被消费过后不会立即被删除。
