主頁 > 資料庫 > Redis資料結構二之SDS和雙向鏈表

Redis資料結構二之SDS和雙向鏈表

2023-05-16 15:30:27 資料庫

本文首發于公眾號:Hunter后端
原文鏈接:Redis資料結構二之SDS和雙向鏈表

這一篇筆記介紹一下 SDS(simple dynamic string)和雙向鏈表,

以下是本篇筆記目錄:

  1. SDS
    1. 常數復雜度獲取字串長度
    2. 杜絕緩沖區溢位
    3. 減少修改字串帶來的記憶體重分配次數
    4. 二進制安全
    5. 兼容C字串函式
  2. 雙向鏈表

1、 SDS

SDS,simple dynamic string,即簡單動態字串

SDS 在 Redis 2.9 版本中資料結構如下:

struct sdshdr {
    int len;
    int free;
    char buf[];
};

在這個結構中,len 表示 buf 陣列中已使用位元組的數量,free 表示 buf 陣列中未使用位元組的數量,buf 則表示是一個 char 型別的陣列,

Redis 沒有復用 C字串,有以下幾個方面的考慮和優點,

1. 常數復雜度獲取字串長度

C字串并不記錄自身的長度資訊,如果要獲取C字串的長度,必須遍歷整個字串然后計數,

SDS 結構中有 len 屬性記錄 SDS 本身的長度,可以直接獲取,

2. 杜絕緩沖區溢位

因為 C字串并不記錄自身的長度資訊,在執行某些操作,比如拼接字串的時候,并不會自動查詢是否擁有足夠記憶體,那么這個操作可能就會造成緩沖區溢位的問題

而 SDS 執行相應的字串修改時,其 API 會先檢查 SDS 的空間是否需求,不滿足則會進行擴展,這個空間分配策略也就是下面要講的

3. 減少修改字串帶來的記憶體重分配次數

C字串每次進行字串修改時,程式都需要手動進行記憶體重分配的操作,而 SDS 通過空間預分配和惰性空間釋放兩種策略對此進行了優化

空間預分配

當 SDS API 對一個 SDS 進行修改并需要對 SDS 進行空間擴展時,程式不僅會為 SDS 分配修改所需要的空間,還會為其分配額外的未使用空間

如果修改之后,SDS 的長度,也就是結構中的 len 屬性小于 1MB,那么程式會額外分配同樣大小的未使用空間,這個時候,len 屬性和 free 屬性將相同

如果修改之后,SDS 的長度,也就是結構中的 len 屬性大于等于 1MB,那么程式會額外分配 1MB 的未使用空間

惰性空間釋放

當需要對SDS保存的字串進行縮短時,程式并不會重新分配記憶體來回收多出來的位元組,而是會使用 free 屬性將這些位元組記錄下來,以備后面使用

4. 二進制安全

C字串保存的字符結尾都是以空字符結尾,所以字串中間不能包含空字符,否則程式讀入空字符的時候就會被認為是字串結尾,因此C字串只能保存文本資料,不能保存圖片、音頻等這樣的二進制資料

而 SDS 的 API 都是以處理二進制的方式來處理 SDS 中存放在 buf 里的資料,程式不會對資料做任何限制、過濾,所以 SDS 的 API 都是二進制安全的

SDS 使用 len 屬性值而不是空字串來判斷字串是否結束

5. 兼容C字串函式

雖然SDS的API都是二進制安全的,但是仍然遵循C字串以空字符結尾的慣例,而且在為 buf 陣列分配空間的時候總是會多分配一個位元組來容納這個空字符,所以保存文本資料的 SDS 可以重用一部分C中的函式

以下是 SDS 與 C字串區別的總結:

C字串 SDS
獲取字串長度復雜度為 O(N) 獲取字串長度復雜度為O(1)
API是不安全的,可能會造成緩沖區溢位 API是安全的,不會造成緩沖區溢位
修改字串長度N次必須執行N次記憶體重分配 修改長度N次最多需要執行N次記憶體重分配
只能保存文本資料 可以保存文本或者二進制資料
可以使用<string.h>庫中函式 可以使用部分

在之后的的 Redis 版本對 SDS 的結構有過更新,將 free 屬性換成了 alloc,這個屬性表示的意思是分配的空間長度,和之前的 free 屬性比較,其關系是 alloc = free + len

2、 雙向鏈表

C 語言沒有鏈表這個結構,所以 Redis 自己設計了一個鏈表資料結構,

在 Redis 中,鏈表節點的結構擁有指向前置節點和后置節點的屬性,

鏈表結構則包含鏈表表頭節點、表尾節點、節點長度等屬性,便于快速獲取鏈表相關資訊,

雙向鏈表是串列物件的底層實作之一,什么情況下使用雙向鏈表作為串列物件的底層實作我們之后再介紹,

以下是鏈表節點的結構:

typedef struct listNode{
    // 前置節點
    struct listNode *prev;
    
    // 后置節點 
    struct listNode *next;
    
    // 節點值
    struct *value;

}listNode;

在鏈表節點中,擁有前置節點和后置節點的指標構成雙向的鏈表,

以下是鏈表的結構:

typedef struct list{
    // 表頭節點
    listNode *head;
    
    // 表尾節點
    listNode *tail;
    
    // 鏈表包含的節點數量
    unsigned long len;
    
    ...
}list;

在鏈表結構中,有表頭節點和表尾節點可快速定位到鏈表的頭部和尾部,以及用有 len 屬性表示鏈表包含的節點數量,

如果想獲取更多后端相關文章,可掃碼關注閱讀:
image

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/552589.html

標籤:其他

上一篇:Apache Arrow DataFusion原理與架構

下一篇:返回列表

標籤雲
其他(159124) Python(38137) JavaScript(25431) Java(18044) C(15226) 區塊鏈(8267) C#(7972) AI(7469) 爪哇(7425) MySQL(7191) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5871) 数组(5741) R(5409) Linux(5340) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4572) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2433) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1973) 功能(1967) Web開發(1951) HtmlCss(1937) python-3.x(1918) C++(1917) 弹簧靴(1913) xml(1889) PostgreSQL(1877) .NETCore(1860) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • Redis資料結構二之SDS和雙向鏈表

    本文首發于公眾號:Hunter后端 原文鏈接:Redis資料結構二之SDS和雙向鏈表 這一篇筆記介紹一下 SDS(simple dynamic string)和雙向鏈表。 以下是本篇筆記目錄: SDS 常數復雜度獲取字串長度 杜絕緩沖區溢位 減少修改字串帶來的記憶體重分配次數 二進制安全 兼容C字 ......

    uj5u.com 2023-05-16 15:30:27 more
  • Apache Arrow DataFusion原理與架構

    本篇主要介紹了一種使用Rust語言撰寫的查詢引擎——DataFusion,其使用了基于Arrow格式的記憶體模型,結合Rust語言本身的優勢,達成了非常優秀的性能指標 DataFusion是一個查詢引擎而非資料庫,因此其本身不具備存盤資料的能力。但正因為不依賴底層存盤的格式,使其成為了一個靈活可擴展的 ......

    uj5u.com 2023-05-16 15:30:16 more
  • MySQL的varchar存盤原理:InnoDB記錄存盤結構

    摘要:varchar(M) 能存多少個字符,為什么提示最大16383?innodb怎么知道varchar真正有多長?記錄為NULL,innodb如何處理?某個列資料占用的位元組數非常多怎么辦?影響每行實際可用空間的因素有哪些?本篇圍繞innodb默認行格式dynamic來說說原理。 本文分享自華為云社 ......

    uj5u.com 2023-05-16 15:29:49 more
  • 架構師日記-從資料庫發展歷程到資料結構設計探析

    本文針對資料存盤相關名詞概念進行了解釋,重點介紹了資料庫技術的發展史。為了豐富文章的可讀性以及實用性,又從資料結構設計層面進行了部分技術實戰能力的外延擴展,闡述了拉鏈表,位運算,環形佇列等相關資料結構在軟體開發領域的應用,希望本文給你帶來識訓。 ......

    uj5u.com 2023-05-16 15:29:42 more
  • MySQL 存盤程序&觸發器&事務

    存盤程序 概念 存盤程序(Stored Procedure),是為了完成特定功能的SQL陳述句集。 優點 存盤程序可以理解為shell腳本這型別的命令集輸出工具,但是在底層,存盤程序擁有更多的優點: ==語言的靈活性跟功能性更強==,在原有基礎之上可以插入控制陳述句、回圈陳述句等讓SQL陳述句的功能更強,能 ......

    uj5u.com 2023-05-16 15:29:30 more
  • pg_enterprise_views偶然發現的PG神仙插件!

    一直從事資料庫相關的作業,對于PG而言最大的問題其實是在運維管理方面,其缺乏有效且直觀成體系的系統表,苦覓良久,今日在PG官網中發現了一款新收錄的免費插件,其提供了數十張系統表,內容涵蓋了從作業系統到資料庫的負載指標、等待事件、會話、客戶端、SQL、SQL執行計劃、超時鎖、長事務、資料庫物件、寫行程 ......

    uj5u.com 2023-05-16 15:28:49 more
  • Redis實戰解讀-初識Redis&Redis基本資料型別

    一.初識Redis
    1.什么是Redis
    ? Redis是一個速度非常快的非關系型資料庫(non-relational database),它可以存盤鍵(key)與五種不同型別的值的映射(mapping),可以將存盤在記憶體的鍵值對資料持久化到磁盤,可以使用復制特性來擴展讀性能,也可以采用客戶端分片來... ......

    uj5u.com 2023-05-16 15:28:18 more
  • Redis資料結構二之SDS和雙向鏈表

    本文首發于公眾號:Hunter后端 原文鏈接:Redis資料結構二之SDS和雙向鏈表 這一篇筆記介紹一下 SDS(simple dynamic string)和雙向鏈表。 以下是本篇筆記目錄: SDS 常數復雜度獲取字串長度 杜絕緩沖區溢位 減少修改字串帶來的記憶體重分配次數 二進制安全 兼容C字 ......

    uj5u.com 2023-05-16 15:28:08 more
  • MySQL 8.0不再擔心被垃圾SQL搞爆記憶體

    MySQL 8.0.28引入的新功能 MySQL 8.0.28開始,新增一個特性,支持監控統計并限制各個連接(會話)的記憶體消耗,避免大量用戶連接因為執行垃圾SQL消耗過多記憶體,造成可能被OOM kill的風險。 首先,需要先設定系統選項 global_connection_memory_tracki ......

    uj5u.com 2023-05-16 15:27:50 more
  • 06~12-Esp8266物聯網芯片的使用(一)-part02/03-ESP8266開發環境、

    上一章主要作了芯片介紹,這一章主要作對開發環境的介紹。 認識Arduino Arduino是一款便捷靈活、方便上手的開源電子原型平臺。包含硬體(各種型號的Arduino板)和軟體(ArduinoIDE)。它構建于開放原始碼simple I/O介面版,并且具有使用類似Java、C語言的Processi ......

    uj5u.com 2023-05-16 15:22:35 more