穿透&雪崩&击穿
| 雪崩 | 穿透 | 击穿 | |
|---|---|---|---|
| 概念 | 当某一个时刻出现大规模的缓存失效的情况，那么就会导致大量的请求直接打在数据库上面，导致数据库压力巨大，如果在高并发的情况下，可能瞬间就会导致数据库宕机。这时候如果运维马上又重启数据库，马上又会有新的流量把数据库打死。 | 访问redis中一个不存在的key的时候,会直接穿过缓存,去数据库中进行查询。 | |
| 场景 | 就是每秒有5000个请求过来时候,redis缓存库崩了,然后这些请求瞬间落在了mysql数据库上,直接导致数据库死机. | 如果是黑客,进行恶意攻击的时候,每次都请求超过2000个/秒的时候,这个时候mysql基本上就挂了. | |
| 解决方案 | 事前:提高缓存库的高可用, 使用主从结构加哨兵 cluster集群 事中:使用ehcache+hystrix限流组件(当请求量非常巨大的时候,就调用自己开发好的一个降级饿组件,返回一些默认值,如友情提示,或者空白值) 事后:做持久化,尽快恢复缓存集群,一旦恢复,自动从磁盘上读取数据,恢复内存中的数据. | 每次从数据库中查询到一个不存在的key的时候,就写一个空值到缓存库中,有恶意攻击的时候,直接从缓存中取到这个空值. | 永不过期 |
| 分析 | 造成缓存雪崩的关键在于在同一时间大规模的key失效 |
这三个问题在使用Redis的时候是肯定会遇到的，而且是非常致命性的问题，所以在日常开发中一定要注意，每次使用Redis时，都要对其保持严谨的态度。还有一个需要注意的是要做好熔断，一旦出现缓存雪崩，击穿，穿透这种情况，至少还有熔断机制保护数据库不会被打死。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Michael's Blog！
相关推荐
2019-03-20
Redis缓存穿透
我们使用Redis大部分情况都是通过Key查询对应的值，假如发送的请求传进来的key是不存在Redis中的，那么就查不到缓存，查不到缓存就会去数据库查询。假如有大量这样的请求，这些请求像“穿透”了缓存一样直接打在数据库上，这种现象就叫做缓存穿透。 分析： 关键在于在Redis查不到key值，这和缓存击穿有根本的区别，区别在于缓存穿透的情况是传进来的key在Redis中是不存在的。假如有黑客传进大量的不存在的key，那么大量的请求打在数据库上是很致命的问题，所以在日常开发中要对参数做好校验，一些非法的参数，不可能存在的key就直接返回错误提示，要对调用方保持这种“不信任”的心态。 解决方案： 1、把无效的Key存进Redis中。如果Redis查不到数据，数据库也查不到，我们把这个Key值保存进Redis，设置value=”null”，当下次再通过这个Key查询时就不需要再查询数据库。这种处理方式肯定是有问题的，假如传进来的这个不存在的Key值每次都是随机的，那存进Redis也没有意义。 2、使用布隆过滤器。布隆过滤器的作用是某个 key 不存在，那么就一定不存在，它说某...
2020-07-25
Redis Cluster 原理探讨
Redis Cluster hash(key) % 16384 = slot 哈希槽 = hash(key) & 2^n^ slot - hash槽分布范围[0-5460] 、 [5461-10922]、[10923-16383] 12345678910111213141516171819202122232425# 创建RedisCluster配置的节点目录[root@redis]$ mkdir -p rediscluster/node800{1,2,3,4,5,6}# 复制Redis配置到每个节点目录[root@redis]$ cp redis-5.0.2/redis.conf rediscluster/node8001/# 修改节点配置[root@redis]$ vim rediscluster/node8001/redis.conf# 批量修改:%s/8001/8002/g# 启动集群配置[root@redis]$ redis-server rediscluster/800*/redis.conf# 校验启动情况[r...
2021-03-20
Redis高并发
背景 Redis是不会存在并发问题的，因为他是单进程的，再多的命令都是一个接一个地执行的。 场景 GET & SET 利用Jedis等客户端对Redis进行并发访问 远程访问Redis的时候，因为网络等原因造成高并发访问、延迟返回 我们使用的时候，可能会出现并发问题，比如获得和设定这一对。 Redis的为什么 有高并发问题？Redis的的出身决定。 Redis是一种单线程机制的nosql数据库，基于key-value，数据可持久化落盘。 由于单线程所以Redis本身并没有锁的概念，多个客户端连接并不存在竞争关系， 但是利用Jedis等客户端对Redis进行并发访问时会出现问题。 原因 发生【连接超时】、【数据转换错误】、【阻塞】、【客户端关闭连接】等问题， 这些问题均是由于【客户端连接混乱】造成。 单线程的天性决定，高并发对同一个键的操作会排队处理， 如果并发量很大，可能造成后来的请求超时。 在远程访问Redis的时候，因为网络等原因造成高并发访问延迟返回的问题。 解决办法 客户端角度，将连接进行池化，同时对读写Redis操作采用内部锁 sy...
2022-08-20
Redis常见的问题及方案
为了便于大家查找问题，了解全貌，整理个目录，我们可以快速全局了解关于Redis 缓存，面试官一般喜欢问哪些问题？ 接下来，我们逐条来看看每个问题及解决方案 Redis 有哪些特性？ 性能高， 读的速度是100000次/s，写的速度是80000次/s 数据持久化，支持RDB 、AOF 支持事务。通过MULTI和EXEC指令包起来。 多种数据结构类型 主从复制 其他特性：发布/订阅、通知、key过期等 Redis 为什么这么快？ 完全基于内存，没有磁盘IO上的开销，异步持久化除外 单线程，避免多个线程切换的性能损耗 非阻塞的IO多路复用机制 底层的数据存储结构优化，使用原生的数据结构提升性能。 Redis 底层的基础数据结构有哪些？ 字符串。没有采用C语言的传统字符串，而是自己实现的一个简单动态字符串SDS的抽象类型，并保存了长度信息。 链表（linkedlist）。双向无环链表结构，每个链表的节点由一个listNode结构来表示，每个节点都有前置和后置节点的指针 字典（hashtable）。保存键值对的抽象数据结构，底层使用hash表，每个...
2019-03-20
Redis缓存雪崩
当某一个时刻出现大规模的缓存失效的情况，那么就会导致大量的请求直接打在数据库上面，导致数据库压力巨大，如果在高并发的情况下，可能瞬间就会导致数据库宕机。这时候如果运维马上又重启数据库，马上又会有新的流量把数据库打死。这就是缓存雪崩。 分析： 造成缓存雪崩的关键在于在同一时间大规模的key失效。为什么会出现这个问题呢，有几种可能，第一种可能是Redis宕机，第二种可能是采用了相同的过期时间。搞清楚原因之后，那么有什么解决方案呢？ 解决方案： 1、在原有的失效时间上加上一个随机值，比如1-5分钟随机。这样就避免了因为采用相同的过期时间导致的缓存雪崩。 如果真的发生了缓存雪崩，有没有什么兜底的措施？ 2、使用熔断机制。当流量到达一定的阈值时，就直接返回“系统拥挤”之类的提示，防止过多的请求打在数据库上。至少能保证一部分用户是可以正常使用，其他用户多刷新几次也能得到结果。 3、提高数据库的容灾能力，可以使用分库分表，读写分离的策略。 4、为了防止Redis宕机导致缓存雪崩的问题，可以搭建Redis集群，提高Redis的容灾性。
2021-03-20
Redis缓存
数据结构：memcache仅支持简单的key-value形式，Redis支持的数据更多（string字符串，set集合，list列表，hash散列，zset有序集合）； 多线程：memcache支持多线程，Redis支持单线程 持久化：Redis支持持久化，memcache不支持持久化 分布式：Redis做主从结构，memcache服务器需要通过hash一致化来支撑主从结构 实际运用中可以redis，memcache结合，memcache可作为session存储的方式，session都是KV类型键值对。 Redis中，并不是所有的数据都一直存储在内存中的，这是和Memcache相比一个最大的区别。 Redis在很多方面具备数据库的特征，或者说就是一个数据库系统，而Memcache只是简单的K/V缓存。 他们的扩展都需要做集群；实现方式：master-slave、Hash。 在100k以上的数据中，Memcache性能要高于Redis。 如果要说内存使用效率，使用简单的key-value存储的话，Memcached的内存利用率更高，而如果Redis采用hash结...
评论