Kafka 的核心功能是高性能的訊息發送與高性能的訊息消費,Kafka 名字的由來是 Kafka 三位原作者之一 Jay Kreps 說 Kafka 系統充分優化了寫操作,所以用一個作家的名字來命名很有意義,他非常喜歡作家 Franz Kafka,并且用 Kafka 命名開源專案很酷 ,以下是 Kafka 的快速入門教程,
下載并解壓縮 Kafka 二進制代碼壓縮檔案
打開 Kafka 官網的下載地址,可以看到不同版本的 Kafka 二進制代碼壓縮包下載鏈接,如下圖所示:
當前最新的 Kafka 版本是 3.5.0,提供了兩個二進制壓縮包可供下載:
- kafka_2.12-3.5.0.tgz
- kafka_2.13-3.5.0.tgz
其中的 2.12/2.13 表示編譯 Kafka 的 Scale 語言版本,后面的 3.5.0 是 Kafka 的版本,僅當使用 Scala 并且希望 Kafka 與使用的 Scala 版本一致時,選擇 Scale 語言版本才有意義,否則兩個版本都可以運行(推薦 2.13),我這次下載的是 kafka_2.13-3.5.0.tgz,
下載完畢后將檔案放至/usr/local/etc
目錄下,打開終端使用下列命令解壓檔案:
cd /usr/local/etc
tar -zxf kafka_2.13-3.5.0.tgz
cd kafka_2.13-3.5.0
啟動服務器
注意:啟動前需確保本地環境已安裝 Java 8+,
首先需要啟動 ZooKeeper 服務器(ZooKeeper 是為 Kafka 提供協調服務的工具),可以直接使用 Kafka 內置的 ZooKeeper 服務器,運行下列命令:
bin/zookeeper-server-start.sh config/zookeeper.properties
接下來打開另一個終端會話并運行下列陳述句來啟動 Kafka 服務器:
bin/kafka-server-start.sh config/server.properties
所有服務成功啟動后,會擁有一個正在運行并可供使用的基本 Kafka 環境,
注意確保在 Kafka 的安裝目錄下運行 Kafka 命令,或者將 Kafka 的bin
目錄添加到系統的環境變數中,這樣就可以在任意位置運行 Kafka 命令,
創建 topic
Kafka 是一個分布式事件流平臺,它允許用戶在多臺機器上讀取、寫入、存盤和處理事件(在檔案中也稱為記錄或訊息), 事件包括支付交易、手機的地理位置更新、發貨訂單、來自物聯網設備或醫療設備的傳感器測量等等,這些事件被管理并存盤在主題(topic)中,簡單地說,topic 類似于檔案系統中的檔案夾,而事件則是該檔案夾中的檔案, 因此,在寫入第一個事件之前,必須創建一個 topic,確保之前啟動 ZooKeeper 和 Kafka 的終端不被關閉,再打開另一個終端會話并運行以下命令:
bin/kafka-topics.sh --create --topic test-events --bootstrap-server localhost:9092
這一步創建了一個名為 test-events 的 topic,接下來可以使用下面的命令來查看該 topic 的狀態:
bin/kafka-topics.sh --describe --topic test-events --bootstrap-server localhost:9092
發送資訊
Kafka 客戶端通過網路與 Kafka brokers(服務器) 進行通信,用于寫入(或讀取)事件,運行控制臺生產者客戶端,將一些事件寫入主題,默認情況下,輸入的每一行將導致一個單獨的事件被寫入主題,
再打開一個新的終端,執行下列命令:
bin/kafka-console-producer.sh --topic test-events --bootstrap-server localhost:9092
Hello, Kafka
This is my first enent
可以隨時使用 Ctrl + C 停止生產者客戶端,
消費資訊
打開另一個終端會話并運行控制臺消費者客戶端來讀取剛剛創建的事件:
bin/kafka-console-consumer.sh --topic test-events --from-beginning --bootstrap-server localhost:9092
之前的命令都運行成功的話,可以看到上一步發送的兩條訊息, 可以隨時使用 Ctrl + C 停止消費者客戶端,
還可以嘗試切換回生產者終端(上一步)撰寫其他事件,并查看事件是如何立即顯示在消費者終端的,
由于事件持久存盤在 Kafka 中,因此它們可以被任意數量的消費者讀取任意多次,可以通過打開另一個終端會話再次運行本條命令來輕松驗證這一點,
終止 Kafka 環境
現在就已經完成了快速入門,可以根據以下步驟終止 Kafka 環境,
- 使用 Ctrl + C 停止生產者和消費者客戶端,
- 使用 Ctrl + C 停止 Kafka 服務器,
- 使用 Ctrl + C 停止 ZooKeeper 服務器,
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/556454.html
標籤:其它
上一篇:資料遷移工具,用這8種!
下一篇:返回列表