# Redis核心数据结构与高性能原理剖析

# 指令手册

点击跳转 (opens new window)

# 五种数据结构

# string

help @string

# 应用场景

# 单值缓存
  • SET key value
  • GET key
# 对象缓存
  • 使用string进行缓存
    • 优点:简单
    • 缺点:如果需要对对象进行频繁更新就不太友好
set user:1 jsonValue
  • 使用MSET进行缓存
    • 优点:如果设计对象更新,只用更新少数字段即可
MSET user:1:name grasswort user:1:balance 1888
MGET user:1:name user:1:balance
# 分布式锁
SETNX product:10001 true
// 执行相关业务操作
DEL product:10001

SET product:10001 true ex 10 nx // 防止程序意外死锁
# 计数器

比如统计微信某文章的阅读量

INCR article:readcount:{文档ID}
GET article:readcount:{文档ID}
# WEB Session集群共享

spring Session+redis实现session共享

# 分布式系统全局序列号
INCR orderId
INCRBY orderId 1000

# hash

help @hash

# 应用场景

# 电商购物车
1. 以用户id为key
2. 商品id为field
3. 商品数量为value

// 添加商品
hset cart:1001 10088 1
// 增加数量
hincrby cart:1001 10088 1
// 商品总数
hlen cart:1001
// 删除商品
hdel cart:1001 10088
// 获取购物车所有商品
hgetall cart:1001

# 优缺点

# 优点
  • 同类数据归类整合存储,方便数据管理
  • 相比string操作消耗内存与cpu更少
  • 相比string存储更节省空间
# 缺点
  • 过期功能 不能使用在field上,只用用在key上
  • Redis集群架构上不适合大规模使用

# list

help @list

# 常用数据结构

Stack(栈) = LPUSH + LPOP 
Queue(队列)= LPUSH + RPOP
Blocking MQ(阻塞队列)= LPUSH + BRPOP

# 应用场景

# 微博和公众号消息流

比如Grasswort关注了Mark, Tom等大V

  1. Mark发微博,消息ID为10018
LPUSH msg:{Grasswort的唯一标识符} 10018
  1. Tom发微博,消息ID为10086
LPUSH msg:{Grasswort的唯一标识符} 10086
  1. 查看最新的4条消息
LRANGE msg:{Grasswort的唯一标识符} 0 4

# set

help @set

# 应用场景

# 抽奖小程序
  1. 点击参与抽奖加入集合
SADD {活动ID} {用户ID}

SADD act:1001 101
SADD act:1001 102
SADD act:1001 102
SADD act:1001 103
  1. 查看参与抽奖的所有用户
SMEMBERS {活动ID}
SMEMBERS act:1001
  1. 抽取count名中奖者
SRANDMEMBER {key} {count}
or
SPOP {key} {count}
# 微信微博点赞、收藏、标签
  1. 点赞
SADD like:{消息ID} {用户ID}
  1. 取消点赞
SREM like:{消息ID} {用户ID}
  1. 检查用户是否点过赞
SISMEMBER like:{消息ID} {用户ID}
  1. 获取点过赞的用户列表
SISMEMBER like:{消息ID}
  1. 获取点赞用户数
SCARD like:{消息ID}
# 集合操作
  • 并集 SUNION
  • 交集 SINTER
  • 差集 SDIFF 第一个集合为基准,减去剩余所有集合的并集
  • 微信微博关注模型
  1. Mark关注的人
MarkSet -> {A, B}
  1. Tom关注的人
TOM -> {B,C}
  1. ZS关注的人
ZS -> {B,C,D,E}
  1. 我和Mark共同关注
SINTER MarkSet, GrasswortSet-> {B}
  1. 我关注的人也关注他(mark,tom)
SISMEMBER MarkSet Tom
  1. 我可能关注的人
SDIFF MarkSet GrasswortSet
  • 集合操作实现电商商品筛选
SADD {品牌1} {商品名称}
SADD {品牌2} {商品名称}
SADD {配置|ram:8g} {商品名称}

SINTRE {品牌1} {品牌2} {配置|ram:8g}

# zset(有序集合)

help @sorted_set

  1. 点击新闻
ZINCRBY {新闻} {分值} {新闻标题} 
  1. 展示当日排行榜前十(热搜)
ZREVRANGE {新闻:日期} {min分值} {min分值} WITHSCORES
  1. 七日搜索榜单合并
ZUNIONSTORE {新闻:日期1-日期7} {新闻:日期1} {新闻:日期2} {新闻:日期x} {新闻:日期7}
  1. 展示七日榜单前十
ZREVRANGE {新闻:日期1-日期7} {min分值} {min分值} WITHSCORES

# Redis的单线程和高性能

# Redis是单线程吗?

Redis 的单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成的,这也是 Redis 对外提供键值存储服务的主要流程。但Redis的其他功能,比如持久化、异步删除、集群数据同步等,其实是由额外的线程执行的。

# Redis 单线程为什么还能这么快?

因为它所有的数据都在内存中,所有的运算都是内存级别的运算,而且单线程避免了多线程的切换性能损耗问题。正因为 Redis 是单线程,所以要小心使用 Redis 指令,对于那些耗时的指令(比如keys),一定要谨慎使用,一不小心就可能会导致 Redis 卡顿。

# Redis 单线程如何处理那么多的并发客户端连接?

Redis的IO多路复用:redis利用epoll来实现IO多路复用,将连接信息和事件放到队列中,依次放到文件事件分派器,事件分派器将事件分发给事件处理器。 IO多路复用

# 查看redis支持的最大连接数,在redis.conf文件中可修改,# maxclients 10000
127.0.0.1:6379> CONFIG GET maxclients
##1) "maxclients"
##2) "10000"

# 其他高级命令

# keys:全量遍历键

用来列出所有满足特定正则字符串规则的key,当redis数据量比较大时, 性能比较差,要避免使用

127.0.0.1:6379> set grass1 1
OK
127.0.0.1:6379> set grass2 2
OK
127.0.0.1:6379> set grass3 3
OK
127.0.0.1:6379> set grass4 5
OK
127.0.0.1:6379> set grass6 6
OK
127.0.0.1:6379> keys grass*
1) "grass3"
2) "grass6"
3) "grass1"
4) "grass4"
5) "grass2"

# scan:渐进式遍历键SCAN cursor [MATCH pattern] [COUNT count]

注意:但是scan并非完美无瑕, 如果在scan的过程中如果有键的变化(增加、 删除、 修改) ,那 么遍历效果可能会碰到如下问题: 新增的键可能没有遍历到, 遍历出了重复的键等情况, 也就是说 scan并不能保证完整的遍历出来所有的键, 这些是我们在开发时需要考虑的

127.0.0.1:6379> SCAN 0 match grass* count 3  // 从0开始遍历
1) "2"  // cursor下一次开始遍历的游标
2) 1) "grass6"
   2) "grass2"
127.0.0.1:6379> SCAN 2 match grass* count 3
1) "6"
2) 1) "grass4"
127.0.0.1:6379> SCAN 6 match grass* count 3
1) "15"
2) 1) "grass3"
   2) "grass1"
127.0.0.1:6379> SCAN 15 match grass* count 3
1) "0" // 游标到0说明遍历完成
2) (empty list or set)

# Info:查看redis服务运行信息,分为 9 大块

  • Server 服务器运行的环境参数
  • Clients 客户端相关信息
  • Memory 服务器运行内存统计数据
  • Persistence 持久化信息
  • Stats 通用统计数据
  • Replication 主从复制相关信息
  • CPU CPU 使用情况
  • Cluster 集群信息
  • KeySpace 键值对统计数量信息
connected_clients:2 # 正在连接的客户端数量

instantaneous_ops_per_sec:789 # 每秒执行多少次指令

used_memory:929864 # Redis分配的内存总量(byte),包含redis进程内部的开销和数据占用的内存
used_memory_human:908.07K # Redis分配的内存总量(Kb,human会展示出单位)
used_memory_rss_human:2.28M # 向操作系统申请的内存大小(Mb)(这个值一般是大于used_memory的,因为Redis的内存分配策略会产生内存碎片)
used_memory_peak:929864 # redis的内存消耗峰值(byte)
used_memory_peak_human:908.07K # redis的内存消耗峰值(KB)

maxmemory:0 # 配置中设置的最大可使用内存值(byte),默认0,不限制
maxmemory_human:0B # 配置中设置的最大可使用内存值
maxmemory_policy:noeviction # 当达到maxmemory时的淘汰策略