Redis
关系型数据库和非关系型数据库
关系型数据库(Relational Database)和非关系型数据库(Non-Relational Database)是两种不同的数据库管理系统。
关系型数据库是按照关系模型组织数据的数据库。它使用表格(也称为关系)来存储和组织数据,并使用结构化查询语言(SQL)进行数据的增删改查操作。关系型数据库的特点是数据之间的关系被明确定义和约束,数据存储在二维表格中,具有 ACID(原子性、一致性、隔离性和持久性)的事务特性。
关系型数据库的优点:
- 便于理解:二维表构造非常贴近逻辑,关系模型相对网状、层次等其他模型来说更容易理解
- 使用方便:通用的SQL语言使得操作关系型数据库非常方便
- 易于维护:全部由表结构组成,文件格式一致
- 数据稳定:数据持久化到磁盘,没有丢失数据风险
关系型数据库的缺点:
- 对于海量信息的查询效率较低,读写能力较差
- 网站高并发读写需求对于传统关系型数据库来说,硬盘I/O是一个很大的瓶颈
- 灵活度欠佳:为了保证数据库的ACID特性,必须尽量按照其要求的范式进行设计,关系型数据库中
的表都是存储一个格式化的数据结构。
非关系型数据库是一种不使用关系模型的数据库。它可以使用不同的数据模型来组织和存储数据,如键值对(Key-Value),文档型(Document),列族(Column-Family)和图形(Graph)等。非关系型数据库的特点是扩展性好、性能高、灵活性大,适用于大数据量、高并发、非结构化和半结构化数据存储和处理的场景。
非关系型数据库的优点:
- 格式灵活:存储数据的格式可以是key,value形式、文档形式等等,文档形式、图片形式等等,使
用灵活,应用场景广泛 - 性能优:nosql是根据键值对的,不用历经sql层的分析,因此 性能非常高。
- 扩展性高:基于键值对,数据之间耦合度极低,因此容易水平扩展。
- 成本低:nosql数据库部署简单,基本都是开源软件
非关系型数据库的缺点:
- 不提供sql支持,学习和使用成本较高
- 事务处理机制较弱或无
- 数据结构相对复杂,复杂查询不容易实现
关系型数据库适用于需要保证数据一致性和完整性的场景,如金融系统和企业级应用。非关系型数据库适用于需要高扩展性、高性能和灵活性的场景,如社交媒体、物联网和大规模数据分析。选择使用关系型数据库还是非关系型数据库,需要根据具体场景的需求进行权衡和选择。
区别
- 数据一致性不同;
- 数据存储方式不同;
- 扩展方式不同;
- 对事务性的支持不同。
Redis 简介
Redis(Remote Dictionary Server)是一个开源的内存数据库,遵守 BSD 协议,它提供了一个高性能的键值(key-value)存储系统,常用于缓存、消息队列、会话存储等应用场景。
性能极高:Redis 以其极高的性能而著称,能够支持每秒数十万次的读写操作24。这使得Redis成为处理高并发请求的理想选择,尤其是在需要快速响应的场景中,如缓存、会话管理、排行榜等。
丰富的数据类型:Redis 不仅支持基本的键值存储,还提供了丰富的数据类型,包括字符串、列表、集合、哈希表、有序集合等。这些数据类型为开发者提供了灵活的数据操作能力,使得Redis可以适应各种不同的应用场景。
原子性操作:Redis 的所有操作都是原子性的,这意味着操作要么完全执行,要么完全不执行。这种特性对于确保数据的一致性和完整性至关重要,尤其是在高并发环境下处理事务时。
持久化:Redis 支持数据的持久化,可以将内存中的数据保存到磁盘中,以便在系统重启后恢复数据。这为 Redis 提供了数据安全性,确保数据不会因为系统故障而丢失。
支持发布/订阅模式:Redis 内置了发布/订阅模式(Pub/Sub),允许客户端之间通过消息传递进行通信。这使得 Redis 可以作为消息队列和实时数据传输的平台。
单线程模型:尽管 Redis 是单线程的,但它通过高效的事件驱动模型来处理并发请求,确保了高性能和低延迟。单线程模型也简化了并发控制的复杂性。
主从复制:Redis 支持主从复制,可以通过从节点来备份数据或分担读请求,提高数据的可用性和系统的伸缩性。
应用场景广泛:Redis 被广泛应用于各种场景,包括但不限于缓存系统、会话存储、排行榜、实时分析、地理空间数据索引等。
社区支持:Redis 拥有一个活跃的开发者社区,提供了大量的文档、教程和第三方库,这为开发者提供了强大的支持和丰富的资源。
跨平台兼容性:Redis 可以在多种操作系统上运行,包括 Linux、macOS 和 Windows,这使得它能够在不同的技术栈中灵活部署。
redis速度快的原因
I/O多路复用程序虽然会同时监听多个socket连接,但是其会将监听的socket都放到衣蛾队列里面,然后通过这个队列有序的,同步的将每个socket对应的时间传送给文件事件分派器,再由文件事件分派器分派给对应的事件处理器进行处理,只有一个socket所对应的事件被处理完毕之后,I/O多路复用程序才会继续向文件事件分派器传送下一个socket所对应的事件,这也可以验证上面的结论,处理客户端的命令请求时单线程的方式逐个处理,但是事件处理器内并不是只有一个线程。
(1)redis是一款纯内存结构,避免了磁盘I/O等耗时操作
(2)redis命令处理的核心模块为单线程,减少了锁竞争,以及频繁创建线程和销毁线程的代价,减少了线程上下文切换的消耗
(3)采用了I\O多路复用机制,大大提升了并发效率
Redis 配置
Redis 的配置文件位于 Redis 安装目录下,文件名为 redis.conf
序号 | 配置项 | 说明 |
---|---|---|
1 | daemonize no |
Redis 默认不是以守护进程的方式运行,可以通过该配置项修改,使用 yes 启用守护进程(Windows 不支持守护线程的配置为 no ) |
2 | pidfile /var/run/redis.pid |
当 Redis 以守护进程方式运行时,Redis 默认会把 pid 写入 /var/run/redis.pid 文件,可以通过 pidfile 指定 |
3 | port 6379 |
指定 Redis 监听端口,默认端口为 6379,作者在自己的一篇博文中解释了为什么选用 6379 作为默认端口,因为 6379 在手机按键上 MERZ 对应的号码,而 MERZ 取自意大利歌女 Alessia Merz 的名字 |
4 | bind 127.0.0.1 |
绑定的主机地址 |
5 | timeout 300 |
当客户端闲置多长秒后关闭连接,如果指定为 0 ,表示关闭该功能 |
6 | loglevel notice |
指定日志记录级别,Redis 总共支持四个级别:debug、verbose、notice、warning,默认为 notice |
7 | logfile stdout |
日志记录方式,默认为标准输出,如果配置 Redis 为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给 /dev/null |
8 | databases 16 |
设置数据库的数量,默认数据库为0,可以使用SELECT 命令在连接上指定数据库id |
9 | save <seconds> <changes> Redis 默认配置文件中提供了三个条件: save 900 1 save 300 10 save 60 10000 分别表示 900 秒(15 分钟)内有 1 个更改,300 秒(5 分钟)内有 10 个更改以及 60 秒内有 10000 个更改。 |
指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合 |
10 | rdbcompression yes |
指定存储至本地数据库时是否压缩数据,默认为 yes,Redis 采用 LZF 压缩,如果为了节省 CPU 时间,可以关闭该选项,但会导致数据库文件变的巨大 |
11 | dbfilename dump.rdb |
指定本地数据库文件名,默认值为 dump.rdb |
12 | dir ./ |
指定本地数据库存放目录 |
13 | slaveof <masterip> <masterport> |
设置当本机为 slave 服务时,设置 master 服务的 IP 地址及端口,在 Redis 启动时,它会自动从 master 进行数据同步 |
14 | masterauth <master-password> |
当 master 服务设置了密码保护时,slave 服务连接 master 的密码 |
15 | requirepass foobared |
设置 Redis 连接密码,如果配置了连接密码,客户端在连接 Redis 时需要通过 AUTH <password> 命令提供密码,默认关闭 |
16 | maxclients 128 |
设置同一时间最大客户端连接数,默认无限制,Redis 可以同时打开的客户端连接数为 Redis 进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis 会关闭新的连接并向客户端返回 max number of clients reached 错误信息 |
17 | maxmemory <bytes> |
指定 Redis 最大内存限制,Redis 在启动时会把数据加载到内存中,达到最大内存后,Redis 会先尝试清除已到期或即将到期的 Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis 新的 vm 机制,会把 Key 存放内存,Value 会存放在 swap 区 |
18 | appendonly no |
指定是否在每次更新操作后进行日志记录,Redis 在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis 本身同步数据文件是按上面 save 条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为 no |
19 | appendfilename appendonly.aof |
指定更新日志文件名,默认为 appendonly.aof |
20 | appendfsync everysec |
指定更新日志条件,共有 3 个可选值:
|
21 | vm-enabled no |
指定是否启用虚拟内存机制,默认值为 no,简单的介绍一下,VM 机制将数据分页存放,由 Redis 将访问量较少的页即冷数据 swap 到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析 Redis 的 VM 机制) |
22 | vm-swap-file /tmp/redis.swap |
虚拟内存文件路径,默认值为 /tmp/redis.swap,不可多个 Redis 实例共享 |
23 | vm-max-memory 0 |
将所有大于 vm-max-memory 的数据存入虚拟内存,无论 vm-max-memory 设置多小,所有索引数据都是内存存储的(Redis 的索引数据 就是 keys),也就是说,当 vm-max-memory 设置为 0 的时候,其实是所有 value 都存在于磁盘。默认值为 0 |
24 | vm-page-size 32 |
Redis swap 文件分成了很多的 page,一个对象可以保存在多个 page 上面,但一个 page 上不能被多个对象共享,vm-page-size 是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page 大小最好设置为 32 或者 64bytes;如果存储很大大对象,则可以使用更大的 page,如果不确定,就使用默认值 |
25 | vm-pages 134217728 |
设置 swap 文件中的 page 数量,由于页表(一种表示页面空闲或使用的 bitmap)是在放在内存中的,,在磁盘上每 8 个 pages 将消耗 1byte 的内存。 |
26 | vm-max-threads 4 |
设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4 |
27 | glueoutputbuf yes |
设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启 |
28 | hash-max-zipmap-entries 64 hash-max-zipmap-value 512 |
指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法 |
29 | activerehashing yes |
指定是否激活重置哈希,默认为开启(后面在介绍 Redis 的哈希算法时具体介绍) |
30 | include /path/to/local.conf |
指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件 |
Linux 源码安装
下载地址:http://redis.io/download,下载最新稳定版本。
# wget http://download.redis.io/releases/redis-6.0.8.tar.gz
# tar -xzvf redis-6.0.8.tar.gz
# cd redis-6.0.8
# make
执行完 make 命令后,redis-6.0.8 的 src 目录下会出现编译后的 redis 服务程序 redis-server,还有用于测试的客户端程序 redis-cli:
下面启动 redis 服务:
# cd src
# ./redis-server
注意这种方式启动 redis 使用的是默认配置。也可以通过启动参数告诉 redis 使用指定配置文件使用下面命令启动。
# cd src
# ./redis-server ../redis.conf
redis.conf 是一个默认的配置文件。我们可以根据需要使用自己的配置文件。
启动 redis 服务进程后,就可以使用测试客户端程序 redis-cli 和 redis 服务交互了。 比如:
# cd src
# ./redis-cli
redis> set foo bar
OK
redis> get foo
"bar"
redis命令工具
redis-server:用于启动redis的工具
redis-benchmark:用于检测redis在本机的运行效率
redis-check-aof:修复AOF持久化文件
redis-check-rdb:修复RDB持久化文件
redis-cli:redis命令行工具
1、redis-cli命令行工具
语法
redis-cli -h host -p port -a password
-h:指定远程主机
-p:指定redis服务的端口号
-a:指定密码,未设置数据库密码可以省略-a选项
若不添加任何选项表示,则使用127.0.0.1:6379 连接本机上的redis数据库
redis-cli -h 192.168.142.20 -p 6379
有时候会有中文乱码。
要在 redis-cli 后面加上 --raw
redis-cli --raw
就可以避免中文乱码了。
2、redis-benchmark测试工具
redis-benchmark是官方自带的redis性能测试工具,可以有效的测试redis服务的性能
基本的测试语法:
redis-benchmark [选项] [选项值]
-h:指定服务器主机名
-p:指定服务器端口
-s:指定服务器的socket
-c:指定并发连接数
-n:指定请求数
-d:以字节的形式指定SET/GET值的数据大小
-k:1=keep alive 0=reconnect
-r:SET/GET/INCR 使用随机key,SADD使用随机值
-p:通过管道传输<numreq>请求
-q:强制退出redis。仅显示query/sec值
--csv:以CSV格式输出
-l:生成循环,永久执行测试
-t:仅运行以逗号分隔的测试命令列表
-I:Idle模式,仅打开N个idle连接并等待
#向IP地址为192.168.80.11、端口为6379的redis服务器发送100个并发连接与100000个请求测试性能
redis-benchmark -h192.168.142.20 -p 6379 -c 100 -n 100000测试存取大小为100字节的数据包的性能
redis-benchmark -h 192.168.142.20 -p 6379 -q -d 100
测试本机上Redis服务在进行set与lpush操作时的性能
redis-benchmark -t set,lpush -n 100000 -q