目錄
- Kafka 是什么
- Kafka 核心組
- Kafka 整體架構以及解析
- Kafka數據處理步驟
- Kafka名詞解釋和工作方式
- Consumer與topic關系
- Kafka消息的分發
- Consumer的負載均衡
Kafka 是什么
Apache Kafka是一個開源消息系統，由Scala寫成。是由Apache軟件基金會開發的一個開源消息系統項目，該項目的目標是為處理實時數據提供一個統一、高通量、低等待的平臺。
Kafka是一個分布式消息隊列：生產者、消費者的功能。它提供了類似于JMS的特性，但是在設計實現上完全不同，此外它并不是JMS規范的實現。
Kafka對消息保存時根據Topic進行歸類，發送消息者稱為Producer,消息接受者稱為Consumer,此外kafka集群有多個kafka實例組成，每個實例(server)成為broker。無論是kafka集群，還是producer和consumer都依賴于zookeeper集群保存一些meta信息，來保證系統可用性
Kafka 核心組件
Producer：消息生產者，產生的消息將會被發送到某個topic
Consumer：消息消費者，消費的消息內容來自某個topic
Topic：消息根據topic進行歸類，topic其本質是一個目錄，即將同一主題消息歸類到同一個目錄
-
Broker：每一個kafka實例（或者說每臺kafka服務器節點）就是一個broker，一個broker可以有多個topic
Zookeeper：zookeeper集群不屬于kafka內的組件，但kafka依賴zookeeper集群保存meta信息，所以在此做聲明其重要性。
Kafka 整體架構以及解析
Kafka數據處理步驟
- 1、Producer產生消息，發送到Broker中
- 2、Leader狀態的Broker接收消息，寫入到相應topic中
- 3、Leader狀態的Broker接收完畢以后，傳給Follow狀態的Broker作為副本備份
- 4、Consumer消費Broker中的消息
Kafka名詞解釋和工作方式
-
Producer
消息生產者，就是向kafka broker發消息的客戶端。
-
Consumer
消息消費者，向kafka broker取消息的客戶端
-
Topic
可以理解為一個隊列。
-
Consumer Group （CG）
這是kafka用來實現一個topic消息的廣播（發給所有的consumer）和單播（發給任意一個consumer）的手段。一個topic可以有多個CG。topic的消息會復制（不是真的復制，是概念上的）到所有的CG，但每個partion只會把消息發給該CG中的一個consumer。如果需要實現廣播，只要每個consumer有一個獨立的CG就可以了。要實現單播只要所有的consumer在同一個CG。用CG還可以將consumer進行自由的分組而不需要多次發送消息到不同的topic。
-
Broker
一臺kafka服務器就是一個broker。一個集群由多個broker組成。一個broker可以容納多個topic。
-
Partition
為了實現擴展性，一個非常大的topic可以分布到多個broker（即服務器）上，一個topic可以分為多個partition，每個partition是一個有序的隊列。partition中的每條消息都會被分配一個有序的id（offset）。kafka只保證按一個partition中的順序將消息發給consumer，不保證一個topic的整體（多個partition間）的順序。
Consumer與topic關系
kafka只支持Topic
每個group中可以有多個consumer，每個consumer屬于一個consumer group；通常情況下，一個group中會包含多個consumer，這樣不僅可以提高topic中消息的并發消費能力，而且還能提高"故障容錯"性，如果group中的某個consumer失效那么其消費的partitions將會有其他consumer自動接管。
對于Topic中的一條特定的消息，只會被訂閱此Topic的每個group中的其中一個consumer消費，此消息不會發送給一個group的多個consumer；那么一個group中所有的consumer將會交錯的消費整個Topic，每個group中consumer消息消費互相獨立，我們可以認為一個group是一個"訂閱"者。
在kafka中,一個partition中的消息只會被group中的一個consumer消費(同一時刻)；
一個Topic中的每個partions，只會被一個"訂閱者"中的一個consumer消費，不過一個consumer可以同時消費多個partitions中的消息。kafka的設計原理決定,對于一個topic，同一個group中不能有多于partitions個數的consumer同時消費，否則將意味著某些consumer將無法得到消息。
kafka只能保證一個partition中的消息被某個consumer消費時是順序的；事實上，從Topic角度來說,當有多個partitions時,消息仍不是全局有序的。
Kafka消息的分發
Producer客戶端負責消息的分發
kafka集群中的任何一個broker都可以向producer提供metadata信息,這些metadata中包含"集群中存活的servers列表"、"partitions leader列表"等信息；
當producer獲取到metadata信息之后, producer將會和Topic下所有partition leader保持socket連接；
-
消息由producer直接通過socket發送到broker，中間不會經過任何"路由層"。事實上，消息被路由到哪個partition上由producer客戶端決定，比如可以采用"random""key-hash""輪詢"等。
如果一個topic中有多個partitions,那么在producer端實現"消息均衡分發"是必要的。
在producer端的配置文件中,開發者可以指定partition路由的方式。
-
Producer消息發送的應答機制
設置發送數據是否需要服務端的反饋,有三個值0,1,-1
0: producer不會等待broker發送ack
1: 當leader接收到消息之后發送ack
-1: 當所有的follower都同步消息成功后發送ack
request.required.acks=0
Consumer的負載均衡
當一個group中,有consumer加入或者離開時,會觸發partitions均衡.均衡的最終目的,是提升topic的并發消費能力，步驟如下：
1、假如topic1,具有如下partitions: P0,P1,P2,P3
2、加入group A 中,有如下consumer: C0,C1
3、首先根據partition索引號對partitions排序: P0,P1,P2,P3
4、根據consumer.id排序: C0,C1
5、計算倍數: M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)
6、然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]
