日期：2025年 04月 05日

標籤： Docker Docker-Compose Container Ubuntu Linux Kafka Kafka UI Zookeeper

摘要：C# 學習筆記

第一部分：Kafka 介紹

Step 1：Kafka 基本介紹

擷取自Kafka 官網-介紹，Kafka 的核心是事件串流

Apache Kafka® is an event streaming platform. What does that mean?
Kafka combines three key capabilities so you can implement your use cases for event streaming end-to-end with a single battle-tested solution:

 1. To publish (write) and subscribe to (read) streams of events, including continuous import/export of your data from other systems.
 2. To store streams of events durably and reliably for as long as you want.
 3. To process streams of events as they occur or retrospectively.
 
 And all this functionality is provided in a distributed, highly scalable, elastic, fault-tolerant, and secure manner. Kafka can be deployed on bare-metal hardware, virtual machines, and containers, and on-premises as well as in the cloud. You can choose between self-managing your Kafka environments and using fully managed services offered by a variety of vendors.

大意是說：Kafka 會記錄所有推送與接收的事件，並支援歷史回溯。其具備分散式架構、彈性擴展能力，並基於高可用設計。

Step 2：Kafka 特點

Kafka 官方Github，並且有以下特點

※ Apache 2.0 許可證： 非常寬鬆的開源許可證，可以商業免費使用

Step 3：Kaffka & RabbitMQ 差異 - 設計目標

RabbitMQ 和 Kafka 雖然都是訊息中介軟體 (Message Broker)，但它們的設計理念、架構和適用場景有很大差異，難以完全取代對方。
兩者間有以下差異：

Step 4：Kaffka & RabbitMQ 適合規模

從設計目標上 2 者已經有差異了，更進一步分析一下吞吐量與成本的關係，以及不同規模企業的適用選擇：

如果資源硬體配備不到位，仍要堅持使用分布式的 Kafka ，那麼將會面臨以下問題：
※如果只是用來練習對於軟體工程師沒有影響 ; 但對小公司或者測試性產品，可能造成多餘的成本浪費

簡的來說：

Kafka 基於事件串流、分布式高吞吐量設計的，會將所有數據保存，因此基本人力成本 & 學習曲線 & 管理較高
如果產品規模在中大型以上時，遍布多處，這時效益才有明顯的提高。

Step 5：Kaffka 商業規格

但如何定義出自己的產品規模通常需要更客觀的數據，硬體資源是首選
Confluent 平台上有提供Kafka 硬體需求 - 商業級建議
※補充：RabbitMQ 官方文檔中的系統需求部分
Confluent Platform 各組件的硬體推薦配置：

一、Broker (Kafka 核心服務) - 最高資源需求 ：

二、ZooKeeper - 協調服務：

三、KRaft Controller - 新型協調服務（替代 ZooKeeper）：

四、Control Center - 管理界面：

總結說明如下：

完整部署需要至少 10 台伺服器
存儲、記憶體和 CPU 需求都很高，運營成本顯著

如果沒有那麼多伺服器，可以考慮其他省成本方案，未必需要使用分布式的 Kafka。

第二部分：安裝 Zookeeper & Kafka & UI

Step 1：Docker-Comopse 檔案說明

docker-compose.yml有以下腳本，分別實現以下 3 個項目的容器化安裝：

version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
    restart: unless-stopped

  kafka:
    image: wurstmeister/kafka
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_CREATE_TOPICS: "test-topic:1:1"
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    depends_on:
      - zookeeper
    restart: unless-stopped

  kafka-ui:
    image: provectuslabs/kafka-ui
    container_name: kafka-ui
    ports:
      - "8380:8080"
    environment:
      - KAFKA_CLUSTERS_0_NAME=local
      - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092
      - KAFKA_CLUSTERS_0_ZOOKEEPER=zookeeper:2181
    depends_on:
      - kafka
      - zookeeper

其中這邊的 localhsot 一定要改成自己主機的 IP EX: 我的內部主機用 192.168.51.100
否則 Kafka-ui 會無法正確訪問到路徑
從以下：

KAFKA_ADVERTISED_HOST_NAME: localhost
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092

改成以下：

KAFKA_ADVERTISED_HOST_NAME: 192.168.51.100
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT:// 192.168.51.100:9092

Step 2：移動上述檔案到 Ubuntu 上 - 執行安裝

將上述的 docker-comopose.yml 檔案放置到 Ubuntu 主機上
EX: /louisTemp/kafka/
然後輸入下指令

 sudo docker-compose up -d

Step 3：安裝完成

安裝完成後會出現以下：

Step 4：確保正常

可以輸入以下檢查：

docker ps -a

或者檢查 Portainer 之類的觀察容器插件，確保正常 Running

Step 5：進入 Kfaka-UI - 異常畫面

在瀏覽器輸入以下網址(自己的主機 + Port)，登入 Kafka-UI 介面

http://192.168.51.100:8380

如果出現 Offline 表示異常，通常是 docker-compose.yml 的配置錯誤

Step 6：進入 Kfaka-UI - 正常畫面

如果正常，應會出現 Online 有 1 至此完成基礎安裝。

第三部分：介紹 Kafka-UI 介面

Step 1：主流的 Kafka 介面 WebUI 工具

以下是幾個常見的 Kafka Web-UI 管理工具，其中最好但也最貴的是 Confluent
本篇使用的 Kafka-UI

Step 2：Kafka-UI 介紹

以下擷取自官網介紹

About
About Kafka-UI

UI for Apache Kafka is a versatile, fast, and lightweight web UI for managing Apache Kafka® clusters. Built by developers, for developers.

The app is a free, open-source web UI to monitor and manage Apache Kafka clusters.

UI for Apache Kafka is a simple tool that makes your data flows observable, helps find and troubleshoot issues faster and delivers optimal performance. Its lightweight dashboard makes it easy to track key metrics of your Kafka clusters - Brokers, Topics, Partitions, Production, and Consumption.

簡單說： Kafka-UI 有簡潔的儀表板讓你輕鬆追蹤 Kafka 叢集的關鍵指標，包括 Brokers（代理節點）、Topics（主題）、Partitions（分區）、生產（生產者）、消費（消費者） 等。

Step 3：Kafka-UI 介面

以下是進入後 Broker 管理頁面的

Kafka 是為了分布式而設計，因此這個管理介面通常會有大量的 Broker

Step 4：Kafka-UI 新建 Topic - 1

為了測試 Kafka 功能，最快的方式是建立一個 Topic ，如下順序：

Step 4：Kafka-UI 新建 Topic - 2

將相關資訊填入，以下是欄位說明：

Step 5：Kafka-UI 新建 Topic - 建立完成

建立完成後，下方會出現 Topic

Step 6：Kafka-UI 發送訊息 - 1

接著可以嘗試進行發送訊息

Step 7：Kafka-UI 發送訊息 - 2

發送內容如下：

其中 Partition 為何要選擇，解釋如下：

Topic 可以擁有多個 Partition。
Partition 可以視為 同一個 Topic 的分片，不同的 Partition 分佈在不同的 Brokers 上，以達到負載均衡的效果。
這樣可以提升系統的並行處理能力，讓多個 Consumer 同時消費不同 Partition 的訊息，提高吞吐量。
此外，Partition 分散在不同的 Brokers 上，提升了容錯能力，即使某個 Partition 異常，其他 Partition 仍能正常運行，使 Kafka 服務不會因單一故障而停止。

Step 8：Kafka-UI 成功收到

最後在 Message 的欄位中展開歷史紀錄，可以確認剛剛有發出的消息

Step 9：Kafka-UI 成功收到

但是從 Kafka-UI 生產者產生的訊息，不代表已經有消費者進行消費，還需要透過程式 or 指令，在用戶端進行消費者行為
※如果 Consumer 資料都被消費完成，在 Consumer -> 選定當前的 Consumer Group -> 展開，Current Offset 與 End Offset 會是相同的值