【redis数据持久化】

save是阻塞的，会先产生一个临时rdb文件，再持久化到指定的rdb文件中

bgsave非阻塞，会产生子进程去执行，执行完后子进程中止

rdb的问题：

耗时，耗性能；

不可控，丢失数据

AOF：

记录执行的命令，有点像laravel的migration对数据表的修改操作

先将写命令刷新到缓冲区， 再持久化到硬盘aof文件

三种策略：

always:每条命令记录，io开销大，硬盘压力大

everysex:每秒，有可能丢失数据，默认配置

no:由操作系统决定，不可控

AOF重写：

由于aof文件可能会变得很大，系统会将多条命令合并，或者过期的命令删除；

如：

set a 1

set a 2

aof中存的可能就是set a 2

假如自增一亿次，aof会很大，则优化后可能就是存的最后累计自增多少次

命令：

由客户端发送bgrewriteaof到redis server,然后产生一个子进程，生成aof文件；非阻塞

配置参数：

appendonly yes此项需开启

appendfilename文件名

appendfsysnc everysec策略

dir目录

no-appendfsync-on-rewrite yes 写aof时不进行append操作，磁盘压力大，可能丢失数据

auto-aof-rewrite-min-size:文件最少到达多大才重写

aoto-aof-rewrite-percentage:aof文件增长率，假如上面那个参数设置的是100M,这个参数设置为100%,则下次达到200M时才会重写

统计：

aof_current_size:aof当前大小（字节）

aof_base_size:aof上次启动和重写的大小（字节）

缓存穿透问题

产生原因：不存在的id,无法命中缓存，如：恶意攻击，爬虫

解决方法：

key => 缓存一个空值 过期时间

布隆过滤器

热点key重建优化：

互斥锁（缺点，需要等待）

永不过期，但在数据中加个逻辑过期时间（缺点：增加内存使用量，要存的数据变多），set ex nx保证只有一个请求去重建

附：Redis的持久化机制 - RDB

RDB: Redis DataBase
AOF: Append Only File

1. 什么是RDB

RDB：每隔一段时间，把内存中的数据写入磁盘的临时文件，作为快照，恢复的时候把快照文件读进内存。如果宕机重启，那么内存里的数据肯定会没有的，那么再次启动redis后，则会恢复。

2. 备份与恢复

内存备份 --> 磁盘临时文件
临时文件 --> 恢复到内存

3. RDB优劣势

• 优势

1. 每隔一段时间备份，全量备份

2. 灾备简单，可以远程传输

3. 子进程备份的时候，主进程不会有任何io操作（不会有写入修改或删除），保证备份数据的的完整性

4. 相对AOF来说，当有更大文件的时候可以快速重启恢复

• 劣势

1. 发生故障是，有可能会丢失最后一次的备份数据

2. 子进程所占用的内存比会和父进程一模一样，如会造成CPU负担

3. 由于定时全量备份是重量级操作，所以对于实时备份，就无法处理了。

4. RDB的配置

1. 保存位置，可以在redis.conf自定义：
   /user/local/redis/working/dump.rdb

2. 保存机制：

save 900 1
save 300 10
save 60 10000
save 10 3

* 如果1个缓存更新，则15分钟后备份
* 如果10个缓存更新，则5分钟后备份
* 如果10000个缓存更新，则1分钟后备份
* 演示：更新3个缓存，10秒后备份
* 演示：备份dump.rdb，删除重启

1. stop-writes-on-bgsave-error

• yes：如果save过程出错，则停止写操作

• no：可能造成数据不一致

2. rdbcompression

• yes：开启rdb压缩模式

• no：关闭，会节约cpu损耗，但是文件会大，道理同nginx

3. rdbchecksum

• yes：使用CRC64算法校验对rdb进行数据校验，有10%性能损耗

• no：不校验

总结

RDB适合大量数据的恢复，但是数据的完整性和一致性可能会不足。

附：Redis的持久化机制 - AOF

引子

RDB会丢失最后一次备份的rdb文件，但是其实也无所谓，其实也可以忽略不计，毕竟是缓存，丢了就丢了，但是如果追求数据的完整性，那就的考虑使用AOF了。

AOF特点

1. 以日志的形式来记录用户请求的写操作。读操作不会记录，因为写操作才会存存储。

2. 文件以追加的形式而不是修改的形式。

3. redis的aof恢复其实就是把追加的文件从开始到结尾读取执行写操作。

优势

1. AOF更加耐用，可以以秒级别为单位备份，如果发生问题，也只会丢失最后一秒的数据，大大增加了可靠性和数据完整性。所以AOF可以每秒备份一次，使用fsync操作。

2. 以log日志形式追加，如果磁盘满了，会执行 redis-check-aof 工具

3. 当数据太大的时候，redis可以在后台自动重写aof。当redis继续把日志追加到老的文件中去时，重写也是非常安全的，不会影响客户端的读写操作。

4. AOF 日志包含的所有写操作，会更加便于redis的解析恢复。

劣势

1. 相同的数据，同一份数据，AOF比RDB大

2. 针对不同的同步机制，AOF会比RDB慢，因为AOF每秒都会备份做写操作，这样相对与RDB来说就略低。 每秒备份fsync没毛病，但是如果客户端的每次写入就做一次备份fsync的话，那么redis的性能就会下降。

3. AOF发生过bug，就是数据恢复的时候数据不完整，这样显得AOF会比较脆弱，容易出现bug，因为AOF没有RDB那么简单，但是呢为了防止bug的产生，AOF就不会根据旧的指令去重构，而是根据当时缓存中存在的数据指令去做重构，这样就更加健壮和可靠了。

AOF的配置

# AOF 默认关闭，yes可以开启
appendonly no

# AOF 的文件名
appendfilename "appendonly.aof"

# no：不同步
# everysec：每秒备份，推荐使用
# always：每次操作都会备份，安全并且数据完整，但是慢性能差
appendfsync everysec

# 重写的时候是否要同步，no可以保证数据安全
no-appendfsync-on-rewrite no

# 重写机制：避免文件越来越大，自动优化压缩指令，会fork一个新的进程去完成重写动作，新进程里的内存数据会被重写，此时旧的aof文件不会被读取使用，类似rdb
# 当前AOF文件的大小是上次AOF大小的100% 并且文件体积达到64m，满足两者则触发重写
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

到底采用RDB还是AOF呢？

1. 如果你能接受一段时间的缓存丢失，那么可以使用RDB

2. 如果你对实时性的数据比较care，那么就用AOF

3. 使用RDB和AOF结合一起做持久化，RDB做冷备，可以在不同时期对不同版本做恢复，AOF做热备，保证数据仅仅只有1秒的损失。当AOF破损不可用了，那么再用RDB恢复，这样就做到了两者的相互结合，也就是说Redis恢复会先加载AOF，如果AOF有问题会再加载RDB，这样就达到冷热备份的目的了。