Redis的缓存穿透——布隆过滤器BloomFilter
什么是缓存击穿
在高并发场景下,如果某一个key被高并发访问,没有被命中,出于对容错性考虑,会尝试去从后端数据库中获取,从而导致了大量请求达到数据库,而当该key对应的数据本身就是空的情况下,这就导致数据库中并发的去执行了很多不必要的查询操作,从而导致巨大冲击和压力。 在高并发的场景下,缓存相当于数据库的防火墙,如果用一个肯定不存在的key去访问系统,每次都会绕过缓存去访问数据库,缓存则失去了作用。
BloomFilter原理: 简单的说就是:通过将一个key的hash值分布到一个大的bit数组上面,判断一个key是否存在时只需判断该的hash对应的bit位是否都是1,如果全是1则表示存在,否则不存在。 优点:性能很高主要在hash算法上面,空间占用小,能够极大的缩小存储空间。 缺点:存在误判。既对应的bit位刚好被其他的key置为1了。
好在误判率是可控的,我们假设kn<m且各个哈希函数是完全随机的。当集合S={x1, x2,…,xn}的所有元素都被k个哈希函数映射到m位的位数组中时,误判率的计算公式是: (1 – e^(-k * n / m)) ^ k 对应的java代码:Math.pow((1 – Math.exp(-k * numberOfElements / (double) bitSetSize)), k);
对于公式对应的具体原理,个人觉得不必去深究,只需要记住下面两句话,即可将BloomFilter应用自如: 1,如果他告诉你不存在,则一定不存在; 2,如果他告诉你存在,则可能不存在。
因此BloomFilter最理想的应用场景是在一些复杂的查询时,在DB上做一层BloomFilter判断,如果BloomFilter判断不存在,则没必要到DB去查了。顶多就是出现误判时,多到DB查询一下,而这个概率是很低的。
解决缓存穿透 引入redisson
配置
@Configuration public class RedissonConfig { @Bean public RedissonClient redissonClient(){ Config config = new Config(); config.useSingleServer().setAddress("redis://127.0.0.1:6379"); return Redisson.create(config); } }
布隆过滤器的封装类
@Component public class BloomFilterUtils { @Autowired private RedissonClient redisson; private RBloomFilter<Long> bloomFilter; @PostConstruct private void initBloomFilter(){ this.bloomFilter = redisson.getBloomFilter("Id_List"); //初始化布隆过滤器:预计元素为10000L,误差率为3% this.bloomFilter.tryInit(10000L,0.03); } public boolean isContains(Long id){ return this.bloomFilter.contains(id); } public void put(Long id){ this.bloomFilter.add(id); } }
首先可以用isContains方法进行判断某个id存在与否,如果存在则直接返回,再进行查询数据库,如果数据库中不存在,则将这个id,放入过滤器。