Redis核心机制-缓存、分布式锁

发布于:2025-04-05 ⋅ 阅读:(15) ⋅ 点赞:(0)

目录

缓存

缓存更新策略

定期生成

实时生成

缓存问题

缓存预热(Cache preheating)

缓存穿透(Cache penetration)

缓存雪崩(Cache avalanche)

缓存击穿(Cache breakdown)

分布式锁

分布式锁基础实现

引入过期时间

引入校验id

引入lua脚本

引入watch dog(看门狗)

引入Redlock算法


缓存

缓存的核心思路就是把常用的数据放入访问速度更快的地方,方便随时读取。使用Redis作为缓存,数据是直接存储在内存上的,对于关系型数据库例如MySql来说速度更快。

为什么说关系型数据库性能不高?

1.数据库将数据存储在硬盘上,硬盘的IO速度没有内存快。

2.如果查询不能命中索引,就需要进行表的遍历,这就会大大增加硬盘IO次数。

3.关系型数据库会对SQL的执行做一系列的解析,校验,优化工作。

4.复杂查询更加消耗效率。(笛卡尔积)

 如果全部请求直接访问数据库,对于数据库压力很大,很容易使数据库服务器宕机。使用Redis缓存可以加快读操作,写操作还是得写在数据库中。

缓存更新策略

定期生成

每隔一定时间,对访问数据频次较高的数据进行统计,挑选出访问频次最高的前N%的数据,导入到Redis中。实时性比较低,面对突发情况不友好。如春节期间,“春节”的搜索频率变高,在平时搜索频率比较低。

实时生成

用户查询数据,如果没有在Redis中命中,就在数据库中查询,然后将结果更新到Redis中。如果Redis缓存满了,就可以使用内存淘汰策略进行删除:

FIFO(First In First Out)先进先出

将缓存中存在时间最久的数据淘汰。

LRU(Least Recently Used)淘汰最久未使用的

记录每个key的最近访问时间,把最近访问时间最老的key淘汰。

LFU(淘汰访问次数最少的)

记录每个key最近一段时间的访问次数,淘汰访问次数最少得到。

Random随机淘汰

随机淘汰缓存中的key。

缓存问题

缓存预热(Cache preheating)

刚刚启动Redis作为MySQL缓存时,Redis自身为空,所有请求都会直接直接访问数据库,从而对数据库造成很大的压力。

提前准备热点数据导入Redis中,使Redis更快提供服务,解决缓存预热问题。

缓存穿透(Cache penetration)

访问的key在Redis和MySQL中都不存在,此时key不会放入缓存中,后续如果接着访问这个key,依然会访问到数据库。这样会给数据库造成压力。

针对查询的key进行校验,如要查询的key为手机号,首先对key的格式进行校验。

针对数据库不存在的key也放入redis中。

使用布隆过滤器,判定key是否存在。

缓存雪崩(Cache avalanche)

短时间内,大量的key失效(Redis挂了/大量key同时过期),导致数据库压力增大。

部署高可用的Redis系统,完善监控报警体系。

不给key设置过期时间,或者设置过期时间时加入随机因子。

缓存击穿(Cache breakdown)

热点key突然过期,大量请求直接访问MySQL数据库。

将这些热点key设置为永不过期。

分布式锁

分布式系统中,当不同节点访问统一资源时,就需要通过锁进行互斥控制,避免出现类似“线程 安全”问题。在分布式这种多进程,多主机的的场景中,就需要有一台服务器进行记录加锁操作。

分布式锁基础实现

使用Redis实现分布式锁,本质上就是通过设置一个键值对,然后通过键值对来判定是否已有其他进程加锁。

例如在网上买票的时候,车站提供了多个服务器处理买票的请求,客户端每次买票需要查询车票数量,判断车票数量是否大于1,满足条件车票数量减一。在高并发情况下,可能会导致超卖情况,此时引入分布式锁。

此时服务器对数据库进行操作时,就会先判断Redis中是否有加锁的键值对,Redis中的key就可以代表车次,表示该车次的票正在其他进程中进行操作。Redis中提供了setnx操作,当key设置成功,则代表加锁成功,反之就代表已经有其他进程进行加锁了。设置成功后,就可以对数据库进行读写操作了,操作完成之后再把Redis上刚刚的key进行删除。

但是这个方案并不完整,当加锁的进程在执行删除key操作之前遇到问题(如宕机),此时删除操作不能进行,其他进程也不能获取锁

引入过期时间

为解决加锁后加锁进程意外宕机的情况,在设置key时顺便设置过期时间,表示进程持有锁的最大时间,达到时间后就会自动删除key,使用set ex nx命令进行设置,不能分开设置,由于Redis事务不能保证两个操作都能成功执行,可能就会出现set nx操作成功,但是expire失败的情况。此时任然会出现无法正确释放锁的问题。

但是仍然存在问题,其他进程也可以操作Redis删除key,此时加锁就失去了意义

引入校验id

为解决其他进程删除key,引入校验机制,在设置键值对时,value设置为可以识别加锁服务器的身份。在执行解锁操作时,先根据value判断是否为加锁的服务器。该逻辑用伪代码表示:

String key = "要加锁的资源id";
String serverId = "服务器的编号";
//加锁,设置过期时间为10s
redis.set(key,serverId,"NX","EX","10s");
//执行各种逻辑,如数据库的增删查改
select();
update();
delete();
insert();
//解锁,先判断是否为加锁进程
if(redis.get(key) == serverId) {
    redis.del(key);
}

在执行解锁操作时,解锁的逻辑是分为两步的,不是原子操作。一个服务器内部,可能是多线程的,同一个服务器内部,两个线程都在执行解锁操作,就可能导致del操作被重复执行,然后将其他加锁线程的锁给删除了。

引入lua脚本

 为了使解锁操作变为原子的,使用Redis支持的lua脚本,将查询和删除操作打包为原子操作,可以将上述代码编写成一个.lua后缀的文件,一个lua脚本会被Redis服务器以原子的方式进行执行。

引入watch dog(看门狗)

设置key过期时间后,任然存在当前任务没有执行完,key就过期了的情况,导致锁提前失效。引入watch dog,本质上是加锁的服务器上一个单独的线程,通过这个线程来对锁的过期时间进行“续约”。这个线程并不是Redis提供,而是业务服务器上的线程。

假设设置一个key,过期时间为10s,设定看门狗线程没3s检测一次。

当3s时间到的时候,看门狗就会判定当前任务是否完成。

如果完成,可通过lua脚本直接释放锁。

未完成,则将过期时间重新设置为10s(续约)。

这样就不用担心锁提前失效的问题。如果该服务器挂了,那么看门狗线程也随之挂了,没人给锁续约,到达过期时间后key就会过期,让其他服务器能够获取锁。

引入Redlock算法

 实践中Redis一般是以集群的方式部署的(至少是主从结构),Redis成为分布式锁可能会遇到一些极端情况:负责加锁的master节点刚刚进行加锁操作,然后就挂了,此时slave节点成了新的master节点,由于此时的key并没有同步给slave节点,导致加锁操作形同虚设。

解决办法:引入一组Redis节点,每一组Redis节点都包含master节点和slave节点,组与组之间的数据都是一致的,相互之间为“备份”关系。在进行加锁操作时,设置加锁操作的超时时间,比如设置为30ms,超过30ms没有加锁,则视为加锁失败。如果当前节点加锁失败。就立即尝试下一个节点,当加锁成功的节点超过总结点的一半,则视为加锁成功。即使某些节点挂了也不会影响锁的正确性。

文章结束,感谢观看!