在平時和開發者們交流的程序中，發現許多開發朋友尤其是新入門 Taier 的開發者，對于本地除錯都有著諸多的不理解和問題，本文就大家平時問的最多的三個問題，服務編譯，配置&本地運行，如何在 Taier 運行 Flink-standalone，進行簡單的介紹，希望和大家共同交流學習，
服務編譯
在本章將介紹服務編譯中的兩大插件 WorkerPlugins 及 DataSourcePlugin，以及 Taier 的前后端 UI & datadevelop 的作用，
WorkerPlugins 的作用
平臺通過在 Taier-UI 運行任務之后，在 Taier-data-develop 中通過集群系結到租戶，再通過當前租戶系結集群中的組件型別以及版本號獲取到不同的 WorkerPlugin，通過不同組件型別以及版本號進行提交任務，下圖為整體的運行架構圖：
WorkerPlugins 的編譯
運行任務時這是一個必要的選項，當我們需要本地除錯或者部署運行時，WorkerPlugins 的編譯是必須進行的，在編譯之后會獲取到一個 WorkerPlugins 的目錄，具體的編譯程序請看文末視頻鏈接中的演示講解，
DataSourcePlugin 的作用
介紹完 WorkerPlugins 這個插件之后，來介紹一下另一個插件 DataSourcePlugin，
在 Taier-UI 中我們可以配置諸多不同型別的資料源，如 MySQL，Doris，Oracle 等，這些功能都是依賴著強大的 DataSourcePlugin 來進行實作，同時在使用離線同步中的 GUI 任務配置相關功能時，獲取資料庫資訊也都是依賴 DataSourcePlugin 來完成的，
DataSourcePlugin 的編譯
運行任務時這是一個必要的選項，當我們需要本地除錯或者部署運行時，DataSourcePlugin 的編譯是必須進行的，在編譯之后會獲取到一個 DataSourcePlugin 的目錄，具體的編譯程序請看文末視頻鏈接中的演示講解，
Taier-UI 的作用
在 Taier-UI 中我們可以進行配置不同型別的資料源、創建任務、任務運維、提交調度、集群配置、集群系結等各種操作，
TaierDataDevelop 的作用
在 Taier- UI 中進行操作的所有后端服務 API 的支持都是來自于 TaierDataDevelop 的支持，該服務主要是與前后端互動，
配置&本地運行
該節內容主要介紹 TaierDataDevelop 的配置，在此進行后端服務的埠 ZK、WorkerPlugins、DataSourcePlugin 資料庫等相關配置，前后端的啟動，以及集群配置(Flink-standalone)和系結，
具體的代碼流程請看文末視頻鏈接中的演示講解，
運行 Flink-Standalone 實踐
配置集群
在任務運行時，通過配置的 CDH 集群，使用配置 YARN 組裝任務，通過 ChunJun 或直接提交任務至 Flink、Doris、Spark 等計算引擎中，
配置&運行任務
通過任務 GUI 組裝任務配置，包括資料來源和去向，通過欄位映射、任務自定義引數等相關配置從而進行任務配置，
視頻課程&PPT獲取
視頻課程：
https://www.bilibili.com/video/BV19M411L7f2/?spm_id_from=333.999.0.0
課件獲取：
https://www.dtstack.com/resources/1031
《數堆疊產品白皮書》：https://www.dtstack.com/resources/1004?src=https://www.cnblogs.com/DTinsight/p/szsm
《資料治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=https://www.cnblogs.com/DTinsight/p/szsm
想了解或咨詢更多有關袋鼠云大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠云官網：https://www.dtstack.com/?src=https://www.cnblogs.com/DTinsight/p/szbky
同時，歡迎對大資料開源專案有興趣的同學加入「袋鼠云開源框架釘釘技術qun」，交流最新開源技術資訊，qun號碼：30537511，專案地址：https://github.com/DTStack
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/556447.html
標籤：大數據
下一篇：返回列表