簡述
Db2 是一款具有悠久歷史的關系型資料庫，由 IBM 公司開發和維護，廣泛應用于金融級業務場景，
CloudCanal 近期提供了 Db2 為源端的資料遷移同步 功能，用戶可以便利地將 Db2 中資料實時同步到其他資料庫，實作資料更廣泛、更實時的應用，
功能介紹
目標資料庫和能力
| 目標端資料源 | 結構遷移 | 資料初始化 | 增量同步 | 資料校驗 | 資料訂正 |
|---|---|---|---|---|---|
| MySQL | 支持 | 支持 | 支持 | 支持 | 支持 |
| TiDB | 支持 | 支持 | 支持 | 支持 | 支持 |
| Kafka | - | 支持 | 支持 | - | - |
| StarRocks | 支持 | 支持 | 支持 | 支持 | 支持 |
Db2 源端特色能力
基于 CDC 技術的資料同步
Db2 源端同步能力是基于 SQL 復制的 ASN 捕獲代理，CloudCanal 通過捕獲 Db2 CDC 表中的增量資料來實作資料同步，
Db2 源端進行增量資料同步時，CDC 元資訊表的維護程序會被自動化管理，無需用戶手動操作，
同時，CloudCanal 會周期性地清理已經同步到目標端的 CDC 記錄，以避免 CDC 表的無限增長，從而保證同步資料的準確性和系統的穩定性，
結構遷移型別自動處理
不同資料庫對于資料型別支持存在差異，CloudCanal 結構遷移時會進行型別自動轉換，
Db2 為源端的結構遷移也存在類似轉換(5+，并不斷細化)，如對端為 MySQL 或 TiDB，CloudCanal 將自動轉換 VARCHAR FOR BIT DATA 為 VARBINARY，
資料初始化支持斷點續傳
Db2 為源端的資料初始化，支持字符或數字型別主鍵表的斷點續傳功能，
對于億級別資料量的大表，此能力不可或缺，資料初始化斷點續傳功能讓此種暫停盡可能少的影響進度，
資料同步支持斷點續傳
長周期的資料同步任務，暫停任務調整引數、修復問題資料、優化性能等情況很難避免，斷點續傳讓這些維護操作變成可能，
CloudCanal 定時或定量保存提交后的位點(LSN，log sequence number)，確保增量同步任務重啟后可繼續，并且不丟失資料，
配套資料校驗與訂正能力
在資料同步程序中，由于資料的外部關聯性、結構約束差異、資料庫運維操作、軟體bug等情況，兩端資料可能會不一致，此時資料校驗和訂正功能非常必要，
CloudCanal 為 Db2 為源端的資料同步能力額外提供了資料校驗和資料訂正功能，快速確定不一致資料范圍，并針對差異資料進行修復，
產品化能力支撐
可視化創建
CloudCanal 創建 Db2 資料遷移同步任務是完全可視化的，通過獲取資料庫元資料，讓用戶在 web 頁面上決定哪些庫、表、列進行遷移同步，或者設定過濾條件、自定義資料處理邏輯等，
自動化流程
Db2 資料遷移同步任務創建后，CloudCanal 將自動流轉各個階段的任務，用戶無需干涉，直達資料實時同步狀態，
監控圖表支撐
CloudCanal 為 Db2 資料遷移同步任務提供了多個實用監控指標，包括增量快取RPS、增量快取延遲(ms)、記憶體佇列資料個數等，當調優任務性能或排查任務例外原因時，監控指標提供了很好的判斷依據，
告警支持
CloudCanal 為 Db2 資料遷移任務提供了包括釘釘/企業微信/飛書/自定義等 webhook 型別告警，對于企業級客戶，可額外選擇郵件，以及短信告警，實時保障同步任務的高可用，
簡單示例
本示例以將資料從 Db2 資料庫同步到 MySQL 資料庫為操作案例，以便更好地說明 CloudCanal 在不同資料庫之間進行資料同步的能力，
準備動作
- 準備 CloudCanal，安裝詳細請參考：全新安裝
- 準備好 Db2 資料庫（本例使用 11.5 版本）和 MySQL 資料庫（本例使用 8.0 版本）
- 登錄 CloudCanal 平臺 ，添加 Db2 和 MySQL
- Db2 源端如果需要增量同步需要開啟 CDC，詳細請參考：Db2 源端 CDC 同步準備
任務創建
-
任務管理 -> 新建任務
-
測驗鏈接并選擇 源 和 目標 資料庫
-
點擊下一步
-
選擇 資料同步，并勾選 全量資料初始化，其他選項默認
-
選擇需要遷移同步的表和列
-
確認創建任務
-
任務自動做結構遷移、全量遷移、增量同步
-
增量階段進行資料寫入后，進行資料校驗，資料校驗通過
總結
本文主要介紹了 CloudCanal 支持 Db2 為源端資料遷移同步功能，通過這個能力，用戶可以便利地將 Db2 中資料實時同步到其他資料庫，實作資料更廣泛、更實時的應用，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/548863.html
標籤：其它