前言:此篇文章系本人学习过程中记录下来的笔记,里面难免会有不少欠缺的地方,诚心期待大家多多给予指教。
基础篇:
进阶篇:
接上期内容:上期完成了RedLock相关知识学习。下面学习redis的缓存过期淘汰策略,话不多说,直接发车。
一、什么是缓存过期淘汰策略?
在使用 Redis 作为缓存时,随着数据不断写入,缓存空间会逐渐被占满。缓存过期淘汰策略就是在缓存达到一定容量限制或者某些数据过期时,由Redis 决定删除哪些数据以释放空间,从而保证缓存能够持续高效运行的机制。它确保了缓存中始终保留着最有价值或最常访问的数据,避免因缓存溢出导致性能下降甚至服务不可用。
二、如何设置和查看Redis内存设置
(一)、查看Redis内存
①、命令查看
* 在 64bit 系统下,maxmemory 设置为 0 表示不限制 Redis 内存使用,物理机有多大内存,redis就使用多大内存。
生产上一般推荐配置物理机四分之三。
config get maxmemory
info memory
②、配置文件查看
vim redis6379.conf
(二)、修改设置Redis内存
①、命令设置
命令设置只针对本次生效,redis服务重启后失效。*maxmemory是bytes字节类型
config set maxmemory 10
config get maxmemory
②、配置文件设置
配置文件配置,永久生效。
vim redis6379.conf
三、Redis如何删除数据
如果一个key设置了过期时间,那它到了过期时间之后是不是马上就从内存中被被删除呢?如果不是,那过期后到底什么时候被删除呢??是个什么操作?
(一)、立即删除
Redis不可能时时刻刻遍历所有被设置了生存时间的key,来检测数据是否已经到达过期时间,然后对它进行删除。
立即删除能保证内存中数据的最大新鲜度,因为它保证过期键值会在过期后马上被删除,其所占用的内存也会随之释放。
但是立即删除对cpu是最不友好的。因为删除操作会占用cpu的时间,如果刚好碰上了cpu很忙的时候,比如正在做交集或排序等计算的时候,就会给cpu造成额外的压力,让CPU心累,时时需要删除,忙死。。。。。。。这会产生大量的性能消耗,同时也会影响数据的读取操作。
总结:对CPU不友好,用处理器性能换取存储空间 (拿时间换空间)
(二)、惰性删除
# 开启憜性淘汰
lazyfree-lazy-eviction=yes
数据到达过期时间,不做处理。等下次访问该数据时,如果未过期,返回数据 ;发现已过期,删除,返回不存在。
惰性删除策略的缺点是,它对内存是最不友好的。如果一个键已经过期,而这个键又仍然保留在redis中,那么只要这个过期键不被删除,它所占用的内存就不会释放。在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB),我们甚至可以将这种情况看作是一种内存泄漏–无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。
总结:对memory不友好,用存储空间换取处理器性能(拿空间换时间)
(三)、定期删除
定期删除策略是前两种策略的折中:定期删除策略每隔一段时间执行一次删除过期键操作并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。
周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度。主要有两个特点:
- CPU性能占用设置有峰值,检测频度可自定义设置
- 内存压力不是很大,长期占用内存的冷数据会被持续清理
定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁或者执行的时间太长,定期删除策略就会退化成立即删除策略,以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除束略一样,出现浪费内存的情况。因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。
总结:用的好,万事大吉;用不好,比前两种策略好不到哪里去。
(四)、总结
立即删除,对CPU不友好,影响系统性能;惰性删除和定期删除,都有可能出现漏网之鱼,如果使用这两种策略,那么会导致redis内存空间紧张或者很快耗尽。必须要有一个更好的兜底方案......从而引出redis缓存过期淘汰策略。
四、Redis常见的缓存过期淘汰策略
(一)、常见淘汰策略
①、noeviction
当内存达到上限时,不淘汰任何数据,直接返回错误。这意味着如果继续尝试写入数据,命令将执行失败,适用于不允许数据丢失的场景。
②、alkeys-lru
从所有键(包括设置了过期时间和未设置过期时间的键)中,选择最近最少使用(Least Recently Used,LRU)的键进行淘汰。这种策略假设最近最少使用的键在未来一段时间内也不太可能被使用,通过淘汰这些键来释放内存空间。
③、volatile-lru
仅从设置了过期时间的键中,选择最近最少使用的键进行淘汰。与alkeys-lru相比,它只关注有过期时间的键,保留了未设置过期时间的键,适用于希望优先淘汰可能过期的数据,以保留更重要的长期数据的场景。
④、allkeys-random
从所有键中随机选择键进行淘汰。这种策略不考虑键的使用频率或过期时间,完全随机地选择要淘汰的键,适用于对数据的使用情况没有明显规律,或者希望均匀地淘汰数据的场景。
⑤、volatile-random
仅从设置了过期时间的键中随机选择键进行淘汰。类似于allkeys-random
,但只针对有过期时间的键,适用于在有过期时间的键中随机释放内存的场景。
⑥、volatile-tt
从设置了过期时间的键中,选择剩余生存时间(Time To Live,TTL)最短的键进行淘汰。即优先淘汰即将过期的键,这种策略能保证尽可能长时间地保留其他数据,同时及时清理即将过期的键,以释放内存空间。
⑦、allkeys-lfu
从所有键中,根据最近的使用频率(Least Frequently Used,LFU)来淘汰键。LFU 算法通过记录键的访问频率来判断其重要性,选择访问频率最低的键进行淘汰,认为使用频率低的键在未来被使用的可能性也较小。
⑧、volatile-lfu
仅从设置了过期时间的键中,根据使用频率选择淘汰的键。与allkeys-lfu
类似,但只针对有过期时间的键,适用于希望在有过期时间的键中,优先淘汰使用频率较低的键的场景。
(二)、LRU和LFU区别(重点)
LRU:最近最少使用页面置换算法,淘汰最长时间未被使用的页面,看页面最后一次被使用到发生调度的时间长短,首先淘汰最长时间未被使用的页面。
LRU(最近最少使用页面置换算法)例子:
假设系统为进程分配了 3 个物理块,初始时物理块为空。现在有一个页面访问序列:4,7,0,7,1,0,1,2,1,2,6 。
- 访问页面 4,由于物理块为空,将页面 4 装入第一个物理块,此时物理块内容为:[4]。
- 访问页面 7,将页面 7 装入第二个物理块,此时物理块内容为:[4, 7]。
- 访问页面 0,将页面 0 装入第三个物理块,此时物理块内容为:[4, 7, 0]。
- 再次访问页面 7,页面 7 已在内存中,无需置换,物理块内容仍为:[4, 7, 0]。
- 访问页面 1,内存已满,根据 LRU 算法,页面 4 是最长时间未被使用的页面,将页面 1 置换页面 4,此时物理块内容为:[1, 7, 0]。
- 再次访问页面 0,页面 0 已在内存中,无需置换,物理块内容仍为:[1, 7, 0]。
- 再次访问页面 1,页面 1 已在内存中,无需置换,物理块内容仍为:[1, 7, 0]。
- 访问页面 2,内存已满,此时页面 7 是最长时间未被使用的页面,将页面 2 置换页面 7,此时物理块内容为:[1, 2, 0]。
- 再次访问页面 1,页面 1 已在内存中,无需置换,物理块内容仍为:[1, 2, 0]。
- 再次访问页面 2,页面 2 已在内存中,无需置换,物理块内容仍为:[1, 2, 0]。
- 访问页面 6,内存已满,页面 0 是最长时间未被使用的页面,将页面 6 置换页面 0,此时物理块内容为:[1, 2, 6]。
LFU:最近最不常用页面置换算法,淘汰一定时期内被访问次数最少的页,看一定时间段内页面被使用的频率,淘汰一定时期内被访问次数最少的页。
LFU(最近最不常用页面置换算法)例子:
同样假设系统为进程分配了 3 个物理块,初始时物理块为空。有一个页面访问序列:1,2,3,2,4,3,2,1,4,5 。
- 访问页面 1,将页面 1 装入第一个物理块,此时物理块内容为:[1],页面 1 的访问次数记为 1 次。
- 访问页面 2,将页面 2 装入第二个物理块,此时物理块内容为:[1, 2],页面 2 的访问次数记为 1 次。
- 访问页面 3,将页面 3 装入第三个物理块,此时物理块内容为:[1, 2, 3],页面 3 的访问次数记为 1 次。
- 再次访问页面 2,页面 2 已在内存中,其访问次数增加到 2 次,物理块内容仍为:[1, 2, 3]。
- 访问页面 4,内存已满,此时页面 1、3 的访问次数都是 1 次(最少),选择先进入内存的页面 1 进行置换(在访问次数相同的情况下,一般先淘汰先进入的页面),将页面 4 装入第一个物理块,此时物理块内容为:[4, 2, 3],页面 4 的访问次数记为 1 次,页面 2 访问次数为 2 次,页面 3 访问次数为 1 次。
- 再次访问页面 3,页面 3 已在内存中,其访问次数增加到 2 次,物理块内容仍为:[4, 2, 3]。
- 再次访问页面 2,页面 2 已在内存中,其访问次数增加到 3 次,物理块内容仍为:[4, 2, 3]。
- 再次访问页面 1,内存已满,此时页面 4 的访问次数为 1 次(最少),将页面 1 置换页面 4,此时物理块内容为:[1, 2, 3],页面 1 的访问次数记为 1 次,页面 2 访问次数为 3 次,页面 3 访问次数为 2 次。
- 再次访问页面 4,内存已满,页面 1 的访问次数为 1 次(最少),将页面 4 置换页面 1,此时物理块内容为:[4, 2, 3],页面 4 的访问次数记为 1 次,页面 2 访问次数为 3 次,页面 3 访问次数为 2 次。
- 访问页面 5,内存已满,页面 4 的访问次数为 1 次(最少),将页面 5 置换页面 4,此时物理块内容为:[5, 2, 3],页面 5 的访问次数记为 1 次,页面 2 访问次数为 3 次,页面 3 访问次数为 2 次。
(三)、如何配置和修改
①、命令配置,单次生效
config get maxmemory-policy
config set maxmemory-policy volatile-lru
②、文件配置,永久生效
maxmemory-policy noeviction
(四)、如何选择哪种淘汰策略
- 在所有的 key 都是最近最经常使用,那么就需要选择 allkeys-lru 进行置换最近最不经常使用的key,如果你不确定使用哪种策略,那么推荐使用 alkeys-lru。
- 如果所有的 key 的访问概率都是差不多的,那么可以选用 allkeys-random 策略去置换数据
- 如果对数据有足够的了解,能够为 key 指定 hint(通过expire/ttl指定),那么可以选择 volatile-ttl 进行置换。
(五)、缓存过期淘汰策略配置性能建议
- 合理设置最大内存:根据服务器的实际内存情况和应用程序的需求,设置一个合适的maxmemory值。如果设置过小,可能导致频繁淘汰数据,影响缓存命中率;设置过大,则可能导致服务器内存不足,影响其他服务的运行。
- 监控内存使用和淘汰情况:通过INFO memory命令定期监控 Redis 的内存使用情况,以及查看淘汰策略的执行效果。
- 结合业务场景优化:根据应用程序的业务特点和数据访问模式,选择最适合的淘汰策略。对于一些读多写少,且热点数据明显的场景,allkeys-lru或volatile-lru可能效果较好;对于数据更新频繁,且对数据存活时间有特定要求的场景,volatile-ttl可能更合适。
五、总结
Redis 缓存过期淘汰策略是保证 Redis 缓存高效运行的关键机制。通过合理设置和选择淘汰策略,可以在有限的内存资源下,最大限度地提高缓存命中率,提升应用程序的性能。在实际应用中,需要根据业务需求、数据特点和服务器资源等多方面因素,综合考虑并优化缓存过期淘汰策略的配置。同时,持续监控和调整相关设置,以适应不断变化的业务场景。
ps:努力到底,让持续学习成为贯穿一生的坚守。学习笔记持续更新中。。。。