主頁 > 資料庫 > macOS 系統 Kafka 快速入門

macOS 系統 Kafka 快速入門

2023-07-01 08:50:16 資料庫

Kafka 的核心功能是高性能的訊息發送與高性能的訊息消費,Kafka 名字的由來是 Kafka 三位原作者之一 Jay Kreps 說 Kafka 系統充分優化了寫操作,所以用一個作家的名字來命名很有意義,他非常喜歡作家 Franz Kafka,并且用 Kafka 命名開源專案很酷 ,以下是 Kafka 的快速入門教程,

下載并解壓縮 Kafka 二進制代碼壓縮檔案

打開 Kafka 官網的下載地址,可以看到不同版本的 Kafka 二進制代碼壓縮包下載鏈接,如下圖所示:

當前最新的 Kafka 版本是 3.5.0,提供了兩個二進制壓縮包可供下載:

  • kafka_2.12-3.5.0.tgz
  • kafka_2.13-3.5.0.tgz

其中的 2.12/2.13 表示編譯 Kafka 的 Scale 語言版本,后面的 3.5.0 是 Kafka 的版本,僅當使用 Scala 并且希望 Kafka 與使用的 Scala 版本一致時,選擇 Scale 語言版本才有意義,否則兩個版本都可以運行(推薦 2.13),我這次下載的是 kafka_2.13-3.5.0.tgz,

下載完畢后將檔案放至/usr/local/etc目錄下,打開終端使用下列命令解壓檔案:

cd /usr/local/etc
tar -zxf kafka_2.13-3.5.0.tgz
cd kafka_2.13-3.5.0

啟動服務器

注意:啟動前需確保本地環境已安裝 Java 8+,

首先需要啟動 ZooKeeper 服務器(ZooKeeper 是為 Kafka 提供協調服務的工具),可以直接使用 Kafka 內置的 ZooKeeper 服務器,運行下列命令:

bin/zookeeper-server-start.sh config/zookeeper.properties

接下來打開另一個終端會話并運行下列陳述句來啟動 Kafka 服務器:

bin/kafka-server-start.sh config/server.properties

所有服務成功啟動后,會擁有一個正在運行并可供使用的基本 Kafka 環境,

注意確保在 Kafka 的安裝目錄下運行 Kafka 命令,或者將 Kafka 的bin目錄添加到系統的環境變數中,這樣就可以在任意位置運行 Kafka 命令,

創建 topic

Kafka 是一個分布式事件流平臺,它允許用戶在多臺機器上讀取、寫入、存盤和處理事件(在檔案中也稱為記錄或訊息), 事件包括支付交易、手機的地理位置更新、發貨訂單、來自物聯網設備或醫療設備的傳感器測量等等,這些事件被管理并存盤在主題(topic)中,簡單地說,topic 類似于檔案系統中的檔案夾,而事件則是該檔案夾中的檔案, 因此,在寫入第一個事件之前,必須創建一個 topic,確保之前啟動 ZooKeeper 和 Kafka 的終端不被關閉,再打開另一個終端會話并運行以下命令:

bin/kafka-topics.sh --create --topic test-events --bootstrap-server localhost:9092

這一步創建了一個名為 test-events 的 topic,接下來可以使用下面的命令來查看該 topic 的狀態:

bin/kafka-topics.sh --describe --topic test-events --bootstrap-server localhost:9092

發送資訊

Kafka 客戶端通過網路與 Kafka brokers(服務器) 進行通信,用于寫入(或讀取)事件,運行控制臺生產者客戶端,將一些事件寫入主題,默認情況下,輸入的每一行將導致一個單獨的事件被寫入主題,

再打開一個新的終端,執行下列命令:

bin/kafka-console-producer.sh --topic test-events --bootstrap-server localhost:9092
Hello, Kafka
This is my first enent

可以隨時使用 Ctrl + C 停止生產者客戶端,

消費資訊

打開另一個終端會話并運行控制臺消費者客戶端來讀取剛剛創建的事件:

bin/kafka-console-consumer.sh --topic test-events --from-beginning --bootstrap-server localhost:9092

之前的命令都運行成功的話,可以看到上一步發送的兩條訊息, 可以隨時使用 Ctrl + C 停止消費者客戶端,

還可以嘗試切換回生產者終端(上一步)撰寫其他事件,并查看事件是如何立即顯示在消費者終端的,

由于事件持久存盤在 Kafka 中,因此它們可以被任意數量的消費者讀取任意多次,可以通過打開另一個終端會話再次運行本條命令來輕松驗證這一點,

終止 Kafka 環境

現在就已經完成了快速入門,可以根據以下步驟終止 Kafka 環境,

  1. 使用 Ctrl + C 停止生產者和消費者客戶端,
  2. 使用 Ctrl + C 停止 Kafka 服務器,
  3. 使用 Ctrl + C 停止 ZooKeeper 服務器,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/556454.html

標籤:其它

上一篇:資料遷移工具,用這8種!

下一篇:返回列表

標籤雲
其他(161957) Python(38266) JavaScript(25519) Java(18286) C(15238) 區塊鏈(8275) C#(7972) AI(7469) 爪哇(7425) MySQL(7280) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5876) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4609) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2438) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1985) HtmlCss(1982) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1882) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • macOS 系統 Kafka 快速入門

    Kafka 的核心功能是高性能的訊息發送與高性能的訊息消費。Kafka 名字的由來是 Kafka 三位原作者之一 Jay Kreps 說 Kafka 系統充分優化了寫操作,所以用一個作家的名字來命名很有意義,他非常喜歡作家 Franz Kafka,并且用 Kafka 命名開源專案很酷 。本文是 Ka... ......

    uj5u.com 2023-07-01 08:50:16 more
  • 資料遷移工具,用這8種!

    ETL(是Extract-Transform-Load的縮寫,即資料抽取、轉換、裝載的程序),對于企業應用來說,我們經常會遇到各種資料的處理、轉換、遷移的場景。

    今天特地給大家匯總了一些目前市面上比較常用的ETL資料遷移工具,希望對你會有所幫助。 ......

    uj5u.com 2023-07-01 08:49:39 more
  • docker下載mongodb鏡像并啟動容器

    1、查找mongodb相關鏡像 docker search mongo 找到相關的鏡像進行拉取,如果不指定版本,默認下載最新的mongoDB。建議自己先查找需要那個版本后在進行拉取,因為mongoDB不同版本之間差距較大。 2、拉取鏡像 這里拉取mongodb6.0 docker pull mong ......

    uj5u.com 2023-07-01 08:49:04 more
  • MySQL學習3--聯表查詢

    1、常規聯表查詢 創建兩張資料庫表如下: mysql> select * from dept; + + + | id | deptName | + + + | 3 | 教學部 | + + + 1 row in set (0.00 sec) mysql> select * from employee; ......

    uj5u.com 2023-07-01 08:48:49 more
  • MySQL記憶體使用率高且不釋放問題排查與總結

    一、記憶體使用率高且不釋放問題排查 生產環境MySQL 5.7資料庫告警記憶體使用率95%。排查MySQL記憶體占用問題的思路方法可以參考葉老師這篇文章:https://mp.weixin.qq.com/s/VneUUnprxzRGAyQNaKi-7g 。TOP命令查看MySQL行程的RES指標,發現記憶體 ......

    uj5u.com 2023-07-01 08:48:44 more
  • 大資料面試題集錦-Hadoop面試題(三)-MapReduce

    > 你準備好面試了嗎?這里有一些面試中可能會問到的問題以及相對應的答案。如果你需要更多的面試經驗和面試題,關注一下"張飛的豬大資料分享"吧,公眾號會不定時的分享相關的知識和資料。 [TOC] ## 1、談談Hadoop序列化和反序列化及自定義bean物件實作序列化? 1)序列化和反序列化 (1)序列 ......

    uj5u.com 2023-07-01 08:48:31 more
  • 誰在以太坊區塊鏈上回圈交易?TuGraph+Kafka的0元流圖解決方案

    都在說資料已經成為新時代的生產資料。 但隨著大資料和人工智能等技術的發展,即便人們都知道資料的價值日益凸顯,卻無法憑借一己之力獲取和分析如此大規模的資料。 要想富,先修路。要想利用新時代的資料致富,也必須要有趁手的工具。只有合適的工具才能完成大規模資料的采集、清洗、存盤、處理和可視化等各個環節。只有 ......

    uj5u.com 2023-07-01 08:48:13 more
  • 干貨|三個維度詳解 Taier 本地除錯原理和實踐

    在平時和開發者們交流的程序中,發現許多開發朋友尤其是新入門 [Taier](https://github.com/DTStack/Taier) 的開發者,對于本地除錯都有著諸多的不理解和問題。本文就大家平時問的最多的三個問題,服務編譯,配置&本地運行,如何在 Taier 運行 [Flink-stan ......

    uj5u.com 2023-07-01 08:47:41 more
  • Spark使用Python開發和RDD

    # 使用PySpark ## 配置python環境 在所有節點上按照python3,版本必須是python3.6及以上版本 ```Shell yum install -y python3 ``` 修改所有節點的環境變數 ```Shell export JAVA_HOME=/usr/local/jdk ......

    uj5u.com 2023-06-30 08:39:37 more
  • MySQL學習2--資料查詢

    一、基礎資料查詢 select陳述句用于從表中選取資料,結果被存盤在一個結果表中(稱為結果集)。 語法:select * from 表名稱 #查詢指定表中的所有資料 *為模糊匹配所有列 例: mysql> select * from person; + + + + + + + | id | name ......

    uj5u.com 2023-06-30 08:39:32 more