当前位置: 首页 > news >正文

Redis7 底层数据结构解析

Redis底层数据结构深度解析(基于Redis 7.2.5)

本文深入剖析Redis核心数据类型的底层实现机制,涵盖String、Hash、List、Set、Zset的实现原理及版本演进差异。

一、Redis数据存储核心机制

Redis所有数据以redisObject结构统一封装:

typedef struct redisObject {unsigned type:4;      // 数据类型(string, hash等)unsigned encoding:4;  // 底层编码(int, embstr等)unsigned lru:LRU_BITS; // 缓存淘汰策略信息int refcount;         // 引用计数void *ptr;            // 指向实际数据的指针
} robj;
  • 查看指令
    • TYPE key:返回数据类型
    • OBJECT ENCODING key:查看底层编码

二、String类型底层结构

三种编码方式:

  1. int编码
    • 条件:值为整数字符串(可转为long)
    • 特点:ptr直接存储整数值(省去指针开销)
  2. embstr编码
    • 条件:字符串长度 ≤ 44字节
    • 特点:内存连续分配,RedisObject与SDS共享内存
  3. raw编码
    • 条件:字符串长度 > 44字节
    • 特点:RedisObject与SDS分离存储

SDS(Simple Dynamic String)

动态字符串结构,解决C字符串缺陷:

struct __attribute__ ((__packed__)) sdshdr8 {uint8_t len;         // 已用长度uint8_t alloc;       // 总空间unsigned char flags; // 类型标识char buf[];          // 数据存储
};

优势:

  • O(1)复杂度获取长度
  • 二进制安全(允许存储\0
  • 预分配减少内存重分配

三、Hash类型底层结构

编码切换规则:

条件编码方式
所有键值对数量 ≤ hash-max-listpack-entries (默认512) 且 所有值长度 ≤ hash-max-listpack-value (默认64字节)listpack
任一条件不满足hashtable

Listpack(替代Redis6的ziplist)

连续内存结构解决ziplist连锁更新问题:

字段说明
total-bytes (4B)总字节数
num-elements (2B)元素数量
entry (变长)数据节点(每个键值对)
end-byte (1B)结束标识(0xFF)

节点结构

[编码类型][数据长度][实际数据]

→ 无需记录前驱节点长度,避免连锁更新


四、List类型底层结构

编码规则:

  • listpack编码:元素少且长度小
  • quicklist编码:元素多或长度大(默认切换阈值:list-max-listpack-size = -2 即8KB)

Quicklist结构

双向链表 + Listpack的复合结构:

typedef struct quicklist {quicklistNode *head;quicklistNode *tail;unsigned long count;     // 总元素数unsigned long len;       // 节点数...
} quicklist;typedef struct quicklistNode {struct quicklistNode *prev;struct quicklistNode *next;unsigned char *entry;    // 指向listpacksize_t sz;               // listpack字节大小...
} quicklistNode;

优势:

  • 链表结构:高效增删(O(1))
  • Listpack节点:内存连续,减少碎片

五、Set类型底层结构

编码切换规则:

条件编码方式
元素全为整数 & 元素数量 ≤ set-max-intset-entries (默认512)intset
元素数量 ≤ set-max-listpack-entries (默认128) 且 所有元素长度 ≤ set-max-listpack-value (默认64字节)listpack
任一条件不满足hashtable

Intset整数集合

typedef struct intset {uint32_t encoding;  // 编码方式(int16/int32/int64)uint32_t length;    // 元素数量int8_t contents[];  // 数据存储
} intset;

特点:元素有序存储,二分查找效率高


六、Zset类型底层结构

编码切换规则:

条件编码方式
元素数量 ≤ zset-max-listpack-entries (默认128) 且 所有值长度 ≤ zset-max-listpack-value (默认64字节)listpack
任一条件不满足skiplist

Skiplist跳表

多层索引结构实现高效查找:

typedef struct zskiplistNode {sds ele;                         // 元素值double score;                    // 分值struct zskiplistNode *backward;  // 后退指针struct zskiplistLevel {struct zskiplistNode *forward; // 前进指针unsigned long span;          // 跨度} level[];                       // 层级数组
} zskiplistNode;

性能

  • 查询/插入/删除:平均O(logN)
  • 空间复杂度:O(N)

七、Redis版本数据结构对比

数据类型Redis 6Redis 7
stringSDSSDS
hashziplist + hashtablelistpack + hashtable
listquicklist + ziplistquicklist + listpack
setintset + hashtableintset + listpack + hashtable
zsetziplist + skiplistlistpack + skiplist

关键演进:Redis 7使用listpack全面替代ziplist,彻底解决连锁更新问题。

附:Redis高性能核心要素

  1. 精细化数据结构:针对场景选择最优编码
  2. 内存连续存储:SDS/listpack利用CPU缓存
  3. 惰性删除:异步释放避免阻塞
  4. 单线程模型:无锁操作减少竞争
  5. IO多路复用:epoll/kqueue高效网络处理
http://www.lryc.cn/news/591691.html

相关文章:

  • 数据呈现高阶技巧:散点图与桑基图的独特价值
  • 在CentOS7.9服务器上安装.NET 8.0 SDK
  • .Net将控制台的输出信息存入到日志文件按分钟生成日志文件
  • 编译原理第六到七章(知识点学习/期末复习/笔试/面试)
  • Docker-Beta?ollama的完美替代品
  • 如何将 ONLYOFFICE 文档集成到使用 Laravel 框架编写的 PHP 网络应用程序中
  • NO.7数据结构树|线索二叉树|树森林二叉树转化|树森林遍历|并查集|二叉排序树|平衡二叉树|哈夫曼树|哈夫曼编码
  • vue3 自定义vant-calendar header/footer/maincontent
  • Java数组中相关查找排序算法(1)
  • 力扣 hot100 Day47
  • 网络安全威胁下的企业困境与破局技术实践
  • Linux内核内存管理相关的配置参数
  • 电商行业如何做好网络安全工作?
  • 【web安全】DVWA反射型XSS漏洞分析与利用
  • RGBA图片格式转换为RGB格式(解决convert转换的失真问题)
  • 利用node.js在本地搭建简易http服务器
  • 快慢指针的应用
  • RCU机制及常见锁的理解
  • web安全入门 | 记新手小白初次尝试挖越权漏洞
  • Ansible AWX 自动化运维
  • 3t车用手动卧式千斤顶设计含8张CAD图纸PDF图
  • parallels desktop windows win10无法复制文件无法共享剪切板
  • [NIPST AI]对抗性机器学习攻击和缓解的分类和术语
  • RocketMq集群高可用
  • Java并发编程第三篇(深入解析Synchronized)
  • 系统引导修复(2)
  • 《Java语言程序设计》1.2.5 复习题
  • Spring Boot 分层架构详解:Controller、Service、Mapper...
  • SLG 游戏如何进行防破解和防盗版保护?
  • 《迭代器 VS 生成器:Python 惰性计算的两种实现方案详解》