摘要：本文通過5個部分內容幫助開發者快速了解GaussDB(DWS) 資源管理機制，讓數倉過載煩惱不再，把“爛”SQL牢牢關進籠子里，
本文分享自華為云社區《直播回顧 | 掌握把“爛”SQL牢牢關進籠子里的密鑰》，作者： 華為云社區精選 ，
混合負載場景下，怎樣避免“爛”陳述句對資料庫系統的沖擊？如何在資源緊張的情況下，讓高優先級的作業先行？本期《數倉過載不用愁，資源管理幫分憂》的主題直播中，我們邀請到華為云EI DTSE技術布道師周孟韜，針對GaussDB(DWS)資源管理機制與開發者和伙伴朋友們展開交流互動，通過5部分內容幫助開發者快速了解GaussDB(DWS) 資源管理機制，讓數倉過載煩惱不再，把“爛”SQL牢牢關進籠子里，
資源池的并發管控介紹
基于華為云基礎設施架構，GaussDB(DWS)提供標準數倉、實時數倉、IoT數倉3種形態，滿足不同的業務訴求，在GaussDB(DWS)整體架構中，有4類資源管控，分別是：并發管控、算力管控、存盤空間、資源池，
當前GaussDB(DWS)的并發支持三種管控模式：
1.global并發管控：
通過max_active_statements引數，約束當前集群支持的query并發上限；
2.Simple陳述句并發數
某個資源池內，簡單陳述句的并發數上限；
3.復雜作業并發數
某個資源池內，復雜陳述句的并發數上限，
資源池的算力管控介紹
GaussDB(DWS)提供三種算力管控方式，分別是：記憶體管控、CPU管控和網路管控，本次主要介紹記憶體管控和CPU管控兩種方式，
記憶體管控：GaussDB(DWS)為用戶提供三種記憶體管控方式，用戶可以根據業務需要，合理設定資源池級別的記憶體配比，
針對傳統記憶體管理的弊端，GaussDB(DWS)設計實作了記憶體自適應技術，解除對work_mem的依賴，優化器依據統計資訊對查詢使用記憶體進行估算；執行器執行SQL程序中，如果使用記憶體超過估算記憶體即觸發下盤；資源管理依據優化器估算的查詢記憶體，對查詢進行調度和管控，
CPU管控：GaussDB(DWS)使用cgroup實作了兩種cpu管控能力，基于cpu.shares的共享配額管控和基于cpuset的專屬限額管控，通過這兩種方式，可以靈活地滿足用戶對于CPU資源不同維度的劃分方式，
當作業超過資源池最大并發數時會造成資源池排隊，短時的排隊屬于正常現象，但長時間持續排隊，資源使用率就會變低，比較常見的是CCN排隊，通常造成CCN排隊的，主要是陳述句的估算記憶體耗盡導致，因此對于高記憶體開銷的陳述句，需要通過合理的并發進行管控，
資源池評估方法
資源池的規劃始終遵循由高到低來劃分資源，優先配比高優先級，然后中優先級、最后低優先級；按照業務的SLA的要求，
- 高優先級滿足峰值（無抖動、無排隊）；
- 中優先級均值滿足（可抖動，不報錯、不積壓）；
- 低優先級允許報錯、超時；
可以根據TOPSql的UniqueSql_ID來進行歸一化查詢的資源匯總統計，分析不同業務的資源開銷和并發訴求，
資源池高階用法-query_band
資源池的傳統用法是用戶關聯資源池，指定A用戶進Resource_pool 1，B用戶進Resource_pool 2，這樣的歸屬方式要求我們對每一個業務歸屬非常清晰，實操難度大，會造成用戶數無法控制的情況，因此我們還支持出另外一種資源池路由方式---query_band，用戶發起的查詢根據用戶的執行引數先路由到query_band再路由到資源池，只需要識別query_band的key即可，不再關注作業對于用戶的歸屬，降低資源池的規劃難度，
資源池空間管控&算子下盤
GaussDB(DWS)為MPP架構，每個DN使用率不能超過當前磁盤空間總容量的90%（單個DN達到閾值后，觸發集群自我保護機制，也就是只讀），因此我們需要盡可能避免資料傾斜，GaussDB(DWS)提供了單陳述句的空間管控（默認10%磁盤容量大小，單次插入超過10%，當前query會觸發熔斷），以及用戶和Schema空間管控的能力，來很好的幫助用戶規劃自己的空間資源，
歡迎感興趣的開發者觀看直播回放，了解詳細資訊，更多關于GaussDB(DWS)產品技術決議、數倉產品新特性的介紹，請關注GaussDB(DWS)論壇，技術博文分享、直播安排將第一時間發布在GaussDB(DWS)論壇，
論壇鏈接：https://bbs.huaweicloud.com/forum/forum-598-1.html
直播回放鏈接：https://bbs.huaweicloud.com/live/DTT_live/202306281630.html
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/557175.html
標籤：其他
上一篇：再獲認可！萬里資料庫參編中國信通院資料庫研究報告 GreatSQL入選中國資料庫產業圖譜
下一篇：返回列表