主頁 > 資料庫 > Mysql進階篇(一)之存盤引擎

Mysql進階篇(一)之存盤引擎

2023-07-06 09:13:13 資料庫

一. MySQL體系結構

1. 連接層

最上層是一些客戶端和鏈接服務,包含本地sock通信和大多數基于客戶端/服務端工具實作的類似于TCP/IP的通信,主要完成一些類似于連接處理、授權認證及相關的安全方案,在該層上引入了執行緒池的概念,為通過認證安全接入的客戶端提供執行緒,同樣在該層上可以實作基于SSL的安全鏈接,服務器也會為安全接入的每個客戶端驗證它所具有的操作權限,

2. 服務層

第二層架構主要完成大多數的核心服務功能,如SQL介面,并完成快取的查詢,SQL的分析和優化,部分內置函式的執行,所有跨存盤引擎的功能也在這一層實作,如程序、函式等,在該層,服務器會決議查詢并創建相應的內部決議樹,并對其完成相應的優化如確定表的查詢順序,是否利用索引等,最后生成相應的執行操作,如果是select陳述句,服務器還會查詢內部的快取,如果快取空間足夠大,這樣在解決大量讀操作的環境中能夠很好的提升系統的性能,

3. 引擎層

存盤引擎層,存盤引擎真正的負責了MySQL中資料的存盤和提取,服務器通過API和存盤引擎進行通信,不同的存盤引擎具有不同的功能,這樣我們可以根據自己的需求來選取合適的存盤引擎,資料庫中的索引是在存盤引擎層實作的,

4. 存盤層

資料存盤層,主要是將資料(如:redolog、undolog、資料、索引、二進制日志、錯誤日志、查詢日志、慢查詢日志等)存盤在檔案系統之上,并完成與存盤引擎的互動,

和其他資料庫相比,MySQL有點與眾不同,它的架構可以在多種不同場景中應用并發揮良好作用,主要體現在存盤引擎上,插件式的存盤引擎架構,將查詢處理和其他的系統任務以及資料的存盤提取分離,這種架構可以根據業務的需求和實際需要選擇合適的存盤引擎,

二. 存盤引擎介紹

存盤引擎就是存盤資料、建立索引、更新/查詢資料等技術的實作方式,存盤引擎是基于表的,而不是基于庫的,所以存盤引擎也可稱為表型別,我們可以在創建表的時候,來指定選擇的存盤引擎,如果沒有指定將自動選擇默認的存盤引擎,

1. 建表時指定存盤引擎

CREATE TABLE 表名( 
	欄位1 欄位1型別 [ COMMENT 欄位1注釋 ] , 
	...... 
	欄位n 欄位n型別 [COMMENT 欄位n注釋 ] 
) ENGINE = INNODB [ COMMENT 表注釋 ] ;

(1). 案例1:查詢建表陳述句 --- 默認存盤引擎:InnoDB

show create table account;

2. 查詢當前資料庫支持的存盤引擎

show engines;

(1). 案例1:創建表my_myisam,并指定MyISAM存盤引擎

create table my_myisam( 
	id int, 
	name varchar(10) 
) engine = MyISAM;

(2). 創建表my_memory,指定Memory存盤引擎

create table my_memory( 
	id int, 
	name varchar(10) 
) engine = Memory;

三. 存盤引擎特點

1. InnoDB

(1). 介紹

InnoDB是一種兼顧高可靠性和高性能的通用存盤引擎,在MySQL 5.5之后,InnoDB是默認的MySQL存盤引擎,

(2). 特點

  • DML操作遵循ACID模型,支持事務;

  • 行級鎖,提高并發訪問性能;

  • 支持外鍵FOREIGN KEY約束,保證資料的完整性和正確性;

(3). 檔案

xxx.ibd:xxx代表的是表名,innoDB引擎的每張表都會對應這樣一個表空間,存盤該表的表結構(frm-早期的、sdi-新版的)、資料和索引,

引數:innodb_file_per_table

show variables like 'innodb_file_per_table';

如果該引數開啟,代表對于InnoDB引擎的表,每一張表都對應一個ibd檔案,我們直接打開MySQL的資料存放目錄,這個目錄下有很多檔案夾,不同的檔案夾代表不同的資料庫,我們直接打開yun3k檔案夾,

可以看到里面有很多的idb檔案,每一個ibd檔案就對應一張表,比如:我們有一張表account,就會有這樣一個account.ibd檔案,而在這個ibd檔案中不僅存放表結構、資料、還會存放該表對應的索引資訊,而該檔案是基于二進制存盤的,不能直接基于記事本打開,我們可以使用mysql提供的一個指令ibd2sdi,通過該指令就可以從ibd檔案中提取sdi資訊,而sdi資料字典資訊中就包含該表的表結構,

(4). 邏輯存盤結構

  • 表空間:InnoDB存盤引擎邏輯結構的最高層,ibd檔案其實就是表空間檔案,在表空間中可以包含多個Segment段,

  • 段:表空間是由各個段組建的,常見的段有資料段、索引段、回滾段等,InnoDB中對于段的管理,都是引擎自身完成,不需要人為對其控制,一個段中包含多個區,

  • 區:區是表空間的單元結構,每個區的大小為1M,默認情況下,InnoDB存盤引擎頁大小為16k,即一個區中一共有64個連續的頁,

  • 頁:頁是組成區的最小單元,頁也是InnoDB存盤引擎磁盤管理的最小單元,每個頁的大小默認為16KB,為了保證頁的連續性,InnoDB存盤引擎每次從磁盤申請4-5個區,

  • 行:InnoDB存盤引擎是面向行的,也就是說資料是按行進行存放的,在每一行中除了定義表時所指定的欄位以外,還包含兩個隱藏欄位(后面會詳細介紹),

2. MyISAM

(1). 介紹

MyISAM是MySQL早期的默認存盤引擎,

(2). 特點

不支持事務,不支持外鍵

支持表鎖,不支持行鎖

訪問速度快

(3). 檔案

xxx.sdi:存盤表結構資訊

xxx.MYD:存盤資料

xxx.MYI:存盤索引

3. Memory

(1). 介紹

Memory引擎的表資料是存盤在記憶體中的,由于受到硬體問題或斷電問題的影響,只能將這些表作為臨時表或快取使用,

(2). 特點

記憶體存放

hash索引(默認)

(3). 檔案

xxx.sdi:存盤表結構資訊

4. InnoDB、MyISAM和Memory的區別及特點

特點 InnoDB MyISAM Memory
存盤限制 64TB
事務安全 支持 - -
鎖機制 行鎖 表鎖 表鎖
B+tree索引 支持 支持 支持
Hash索引 - - 支持
全文索引 支持(5.6版本之后) 支持 -
空間使用 N/A
記憶體使用 中等
批量插入速度
支持外鍵 支持 -

四. 存盤引擎的選擇

在選擇存盤引擎時,應該根據應用系統的特點選擇合適的存盤引擎,對于復雜的應用系統,還可以根據實際情況選擇多種存盤引擎進行結合,

  • InnoDB:是Mysql的默認存盤引擎,支持事務、外鍵,如果應用對事務的完整性有比較高的要求,在并發條件下要求資料的一致性,資料操作除了插入和查詢之外,還包含很多的更新、洗掉操作,那么InnoDB存盤引擎是比較合適的選擇,

  • MyISAM:如果應用是以讀操作和插入操作為主,只有很少的更新和洗掉操作,并且對事務的完整性、并發性要求不是很高,那么選擇這個存盤引擎是非常合適的,

  • Memory:將所有資料保存在記憶體中,訪問速度快,通常用于臨時表及快取,MEMORY的缺陷就是對表的大小有限制,太大的表無法快取在記憶體中,而且無法保障資料的安全,

更多mysql學習請關注微信公眾號”云哥技術yun3k”,回復”mysql學習”,免費領取mysql全套學習資料,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/556655.html

標籤:MySQL

上一篇:MySQL的match函式在sp中使用的BUG決議

下一篇:返回列表

標籤雲
其他(162108) Python(38266) JavaScript(25524) Java(18290) C(15238) 區塊鏈(8275) C#(7972) AI(7469) 爪哇(7425) MySQL(7288) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5876) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4611) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2438) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) HtmlCss(1989) .NET技术(1985) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1882) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • Mysql進階篇(一)之存盤引擎

    # 一. MySQL體系結構 ![](https://tcs-devops.aliyuncs.com/storage/112v957e3962f4a8a6d4d8eb1a194d885fa0?Signature=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBcHB ......

    uj5u.com 2023-07-06 09:13:13 more
  • MySQL的match函式在sp中使用的BUG決議

    ## 一、問題發現 在一次開發中在sp中使用`MySQL PREPARE`以后,使用`match AGAINST`陳述句作為`prepare stmt`的引數后,發現執行第二遍call會導致資料庫crash,于是開始動手調查問題發生的原因。 > 注:本次使用的 MySQL 資料庫版本為最新的debug ......

    uj5u.com 2023-07-06 09:12:50 more
  • 分布式資料庫 Join 查詢設計與實作淺析

    相對于單例資料庫的查詢操作,分布式資料查詢會有很多技術難題。本文記錄 Mysql 分庫分表 和 Elasticsearch Join 查詢的實作思路,了解分布式場景資料處理的設計方案。

    文章從常用的關系型資料庫 MySQL 的分庫分表Join 分析,再到非關系型 ElasticSearch 來分析... ......

    uj5u.com 2023-07-06 09:12:42 more
  • Spark的一些重要概念

    # Shuffle的深入理解 什么是Shuffle,本意為洗牌,在資料處理領域里面,意為將數打散。 問題:shuffle一定有網路傳輸嗎?有網路傳輸的一定是Shuffle嗎? ## Shuffle的概念 通過網路將資料傳輸到多臺機器,資料被打散,但是有網路傳輸,不一定就有shuffle,Shuffl ......

    uj5u.com 2023-07-06 09:12:15 more
  • 基于袋鼠云實時開發平臺開發 FlinkSQL 任務的實踐探索

    隨著業務的發展,[實時場景](https://www.dtstack.com/dtinsight/streamworks?src=https://www.cnblogs.com/DTinsight/p/szsm)在各個?業中變得越來越重要。?論是?融、電商還是物流,實時資料處理都成為了其中的關鍵環節。Flink 憑借其強?的[流處理特性](https://www.dts ......

    uj5u.com 2023-07-06 09:11:54 more
  • ORA-20000: Unable to set values for index xxx: does not exis

    使用expdp/impdp匯出匯入資料時,遇到ORA-2000錯誤,如下所示: Processing object type SCHEMA_EXPORT/TABLE/GRANT/OWNER_GRANT/OBJECT_GRANTProcessing object type SCHEMA_EXPORT/ ......

    uj5u.com 2023-07-05 09:04:50 more
  • “遠程客戶端操作hdfs創建檔案夾”,驗證環境是否配置成功,以及HDFS

    文章中包含我所遇到的錯誤,進行了HDFS錯誤整改,以及后面有操作創建“遠程客戶端操作hdfs創建檔案夾”,驗證環境是否配置成功的程序。 ......

    uj5u.com 2023-07-05 09:04:09 more
  • 數倉性能調優:大寬表關聯MERGE性能優化

    摘要:本文主要為大家講解在數倉性能調優程序中,關于大寬表關聯MERGE性能優化程序。 本文分享自華為云社區《GaussDB(DWS)性能調優:大寬表關聯MERGE性能優化》,作者:譡里個檔。 【業務背景】 如下MERGE陳述句執行耗時長達2034s MERGE INTO sdifin.hah_ae_l ......

    uj5u.com 2023-07-05 09:03:43 more
  • 數倉性能調優:大寬表關聯MERGE性能優化

    摘要:本文主要為大家講解在數倉性能調優程序中,關于大寬表關聯MERGE性能優化程序。 本文分享自華為云社區《GaussDB(DWS)性能調優:大寬表關聯MERGE性能優化》,作者:譡里個檔。 【業務背景】 如下MERGE陳述句執行耗時長達2034s MERGE INTO sdifin.hah_ae_l ......

    uj5u.com 2023-07-05 09:02:32 more
  • ORA-20000: Unable to set values for index xxx: does not exis

    使用expdp/impdp匯出匯入資料時,遇到ORA-2000錯誤,如下所示: Processing object type SCHEMA_EXPORT/TABLE/GRANT/OWNER_GRANT/OBJECT_GRANTProcessing object type SCHEMA_EXPORT/ ......

    uj5u.com 2023-07-05 09:02:08 more