Kafka基本原理与特性详解

Kafka基本原理与特性详解

引用

CSDN

1.

https://blog.csdn.net/cs_mengxi/article/details/140368296

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

Kafka的主要应用场景

• 日志收集：通过Kafka收集和聚合来自不同源的日志数据。
• 流式处理：利用Kafka进行实时数据流的处理和分析。
• 事件sourcing：基于Kafka的事件驱动架构进行应用开发。
• 数据管道：使用Kafka在不同系统间传输和共享数据。

Kafka的特性

• 高吞吐：能够每秒处理数百万条消息,满足大规模数据处理的需求，延迟最低只有几毫秒
• 扩展性：kafka集群支持热扩展，无需停机即可扩展节点及节点上线。
• 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
• 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）
• 高并发：支持数千个客户端同时读写

Kafka 的架构原理

• Producer：Producer即生产者，消息的产生者，是消息的入口。
• Broker：kafka集群中包含一个或者多个服务实例（节点），这种服务实例被称为broker（一个broker就是一个节点/一个服务器）
• Topic：每条发布到kafka集群的消息都属于某个类别，这个类别就叫做topic
• Partition：partition是一个物理上的概念也叫分区，每个topic包含一个或者多个partition。分区的作用是做负载，提高kafka的吞吐量。
• Replication:每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。
• Message：每一条发送的消息主体。
• Consumer：消费者，即消息的消费方，是消息的出口。
• Consumer Group：将多个消费者组成一个消费者组，同一个分区的数据只能被消费者组中的某一个消费者消费。
• Zookeeper：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。

kafaka 的主要组件

1. producer（生产者）
   producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去。

2. topic（主题）
   kafka将消息以topic为单位进行归类；
   topic特指kafka处理的消息源（feeds of messages）的不同分类；
   topic是一种分类。kafka主题始终是支持多用户订阅的；也就是说，一 个主题可以有零个，一个或者多个消费者订阅写入的数据；
   在kafka集群中，可以有无数的主题；
   生产者和消费者消费数据一般以主题为单位，更细粒度可以到分区级别。

3. partition（分区）
   kafka当中，topic是消息的归类，一个topic可以有多个分区（partition），每个分区保存部分topic的数据，所有的partition当中的数据全部合并起来，就是一个topic当中的所有的数据。
   一个broker服务下，可以创建多个分区；
   每一个分区会有一个编号：编号从0开始。
   每一个分区内的数据是有序的，但全局的数据不能保证是有序的。（有序是指生产什么样顺序，消费时也是什么样的顺序）

4. consumer（消费者）
   consumer是kafka当中的消费者，主要用于消费kafka当中的数据，消费者一定是归属于某个消费组中的。

5. consumer group（消费者组）
   消费者组由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。
   每个消费者都属于某个消费者组，如果不指定，那么所有的消费者都属于默认的组。
   每个消费者组都有一个ID，即group ID。组内的所有消费者协调在一起来消费一个订阅主题( topic)的所有分区(partition)。当然，每个分区只能由同一个消费组内的一个消费者(consumer)来消费，可以由不同的消费组来消费。
   partition数量决定了每个consumer group中并发消费者的最大数量。如下图：

如上面左图所示，如果只有两个分区，即使一个组内的消费者有4个，也会有两个空闲的。
如上面右图所示，有4个分区，每个消费者消费一个分区，并发量达到最大4。

在来看如下一幅图：

如上图所示，不同的消费者组消费同一个topic，这个topic有4个分区，分布在两个节点上。左边的 消费组1有两个消费者，每个消费者就要消费两个分区才能把消息完整的消费完，右边的 消费组2有四个消费者，每个消费者消费一个分区即可。

总结下kafka中分区与消费组的关系

• 消费组： 由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。
  某一个主题下的分区数，对于消费该主题的同一个消费组下的消费者数量，应该小于等于该主题下的分区数。
• 同一个分区下的数据，在同一时刻，不能同一个消费组的不同消费者消费。
• 分区数越多，同一时间可以有越多的消费者来进行消费，消费数据的速度就会越快，提高消费的性能。

1. partition replicas（分区副本）

kafka 中的分区副本如下图所示：

kafka 分区副本

副本数（replication-factor）：控制消息保存在几个broker（服务器）上，一般情况下副本数等于broker的个数。
一个broker服务下，不可以创建多个副本因子。创建主题时，副本因子应该小于等于可用的broker数。
副本因子操作以分区为单位的。每个分区都有各自的主副本和从副本；
主副本叫做leader，从副本叫做 follower（在有多个副本的情况下，kafka会为同一个分区下的所有分区，设定角色关系：一个leader和N个 follower），处于同步状态的副本叫做in-sync-replicas(ISR);
follower通过拉的方式从leader同步数据。
消费者和生产者都是从leader读写数据，不与follower交互。
副本因子的作用：让kafka读取数据和写入数据时的可靠性。
副本因子是包含本身，同一个副本因子不能放在同一个broker中。
如果某一个分区有三个副本因子，就算其中一个挂掉，那么只会剩下的两个中，选择一个leader，但不会在其他的broker中，另启动一个副本（因为在另一台启动的话，存在数据传递，只要在机器之间有数据传递，就会长时间占用网络IO，kafka是一个高吞吐量的消息系统，这个情况不允许发生）所以不会在另一个broker中启动。
如果所有的副本都挂了，生产者如果生产数据到指定分区的话，将写入不成功。
lsr表示：当前可用的副本。

kafka中的数据不丢失机制

1. 生产者生产数据不丢失
   发送消息方式
   生产者发送给kafka数据，可以采用同步方式或异步方式
   同步方式：
   发送一批数据给kafka后，等待kafka返回结果：
   生产者等待10s，如果broker没有给出ack响应，就认为失败。
   生产者重试3次，如果还没有响应，就报错.
   异步方式：
   发送一批数据给kafka，只是提供一个回调函数：
   先将数据保存在生产者端的buffer中。buffer大小是2万条 。
   满足数据阈值或者数量阈值其中的一个条件就可以发送数据。
   发送一批数据的大小是500条。
   注：如果broker迟迟不给ack，而buffer又满了，开发者可以设置是否直接清空buffer中的数据。

ack机制（确认机制）
生产者数据发送出去，需要服务端返回一个确认码，即ack响应码；ack的响应有三个状态值0,1，-1
0：生产者只负责发送数据，不关心数据是否丢失，丢失的数据，需要再次发送
1：partition的leader收到数据，不管follow是否同步完数据，响应的状态码为1
-1：所有的从节点都收到数据，响应的状态码为-1
如果broker端一直不返回ack状态，producer永远不知道是否成功；producer可以设置一个超时时间10s，超过时间认为失败。

1. broker中数据不丢失
   在broker中，保证数据不丢失主要是通过副本因子（冗余），防止数据丢失。

2. 消费者消费数据不丢失
   在消费者消费数据的时候，只要每个消费者记录好offset值即可，就能保证数据不丢失。也就是需要我们自己维护偏移量(offset)，可保存在 Redis 中。