当前位置: 首页 > news >正文

布隆过滤器进阶:布谷鸟过滤器 (Cuckoo Filter) 是如何支持“删除”操作的?

标签:#Algorithm #BloomFilter #CuckooFilter #DataStructure #SystemDesign


🚫 前言:布隆过滤器的“死穴”

布隆过滤器的原理是将一个元素通过 个哈希函数映射到位数组的 个点上。

为什么不能删?
假设元素 A 映射到了位置[1, 5, 8],元素 B 映射到了[2, 5, 9]
它们共享了位置5
如果你想删除 A,把1, 5, 8都置为 0,那么 B 在查询时,发现位置5是 0,就会被误判为“不存在”。
这破坏了过滤器的正确性(False Negative 是绝对不允许的)。


🥚 一、 布谷鸟哈希 (Cuckoo Hashing) 的基本思想

布谷鸟过滤器不再存 Bit,而是存储元素的指纹 (Fingerprint)(比如 8-12 bit 的哈希值)。
它有两个哈希桶(Bucket),每个桶有 个位置(Slot)。

“鸠占鹊巢”的插入逻辑:

  1. 计算元素 的两个候选桶索引: 和 。
  2. 如果 有空位,放进去。
  3. 如果 满了,试试 。
  4. 如果 也满了?踢人!
    随便把 或 里现有的一个指纹踢出来,把新指纹放进去。
    被踢出来的那个倒霉蛋,再去寻找它自己的另一个备用位置。如果备用位置也满了,继续踢……
    直到所有鸟都有巢,或者达到最大踢出次数(扩容)。

交互流程图 (Mermaid):

计算位置

计算位置

有空位

已满

有空位

已满 (冲突)

旧元素 Y

插入元素 X

位置 1

位置 2

插入成功

尝试位置 2

插入成功

👿 踢出旧元素 Y

插入 X

计算 Y 的另一个位置

重新插入 Y


🪄 二、 核心魔法:对偶位置计算 (XOR)

在标准的 Cuckoo Hash Map 中,我们需要存储完整的 Key,才能在被踢出时重新计算它的另一个哈希位置。
但在过滤器中,为了省空间,我们只存了指纹(Fingerprint)。由于指纹丢失了信息,我们无法通过指纹还原出原始 Key,那怎么算它的另一个位置呢?

Cuckoo Filter 的作者设计了一个极其巧妙的异或 (XOR)公式:

这个公式的精髓在于“自反性”:

这意味着:

  • 如果你在位置 ,指纹是 ,那么另一个位置 。
  • 如果你在位置 ,指纹是 ,那么另一个位置 。

结论:只要知道当前位置和指纹,就可以算出的另一个位置,根本不需要原始元素 !这就是布谷鸟过滤器支持“踢人”和“移动”的数学基础。


🗑️ 三、 删除操作的实现

有了上面的基础,删除操作变得异常简单且安全。

删除流程:

  1. 用户请求删除元素 。
  2. 计算指纹 。
  3. 计算两个候选位置:
    1. 检查桶 :有没有指纹 ?如果有,从桶里移除它,返回成功。
    2. 检查桶 :有没有指纹 ?如果有,从桶里移除它,返回成功。
    3. 都找不到?说明元素不存在。

    为什么安全?
    因为我们删除的是一个具体的指纹,而不是像布隆过滤器那样粗暴地把一个置零。
    即使两个不同的元素 和 发生了哈希碰撞(映射到了同一个桶),只要它们的指纹不同(概率极高),删除 就绝对不会影响 。

    如果指纹也碰撞了呢?(两个元素哈希位置一样,指纹也一样)。
    这被称为False Deletion。但这只会发生在你有两个完全一样的数据,或者极低概率的指纹碰撞时。对于过滤器来说,这通常是可以接受的(只会导致该存在的元素被误删,变为 False Negative,但这在工程上极少发生)。


    ⚔️ 四、 布隆 vs 布谷鸟:巅峰对决

    特性布隆过滤器 (Bloom Filter)布谷鸟过滤器 (Cuckoo Filter)
    删除支持不支持支持
    空间效率只有在 FPR (误判率) 很高时占优在低 FPR (❤️%) 时更省空间
    查询性能总是 K 次哈希访问2 次内存访问 (通常 1 次命中)
    插入性能稳定快满了会变慢 (因为要踢人)
    实现难度简单稍复杂 (需处理挤兑死循环)
    容量限制必须预估,不可动态扩容必须预估 (虽然支持删除,但桶大小固定)

    🎯 总结

    布谷鸟过滤器通过“指纹存储”+“异或位置推导”,完美解决了布隆过滤器的删除难题。
    它的核心在于那个精妙的异或公式,让我们在不存储原始数据的情况下,依然能在两个哈希桶之间反复横跳。

    Next Step:
    如果你的业务场景是Redis 缓存穿透防护,且数据基本不删除,继续用 Bloom Filter 即可,简单稳定。
    但如果你的场景是垃圾邮件黑名单实时风控系统,黑名单里的 IP 需要频繁添加和移除,那么Cuckoo Filter(或者 Redis 的模块RedisBloom里的 CF 实现)绝对是你的最佳选择。

    http://www.jsqmd.com/news/263763/

    相关文章:

  • Codeforces Round 1073 Div1 + Div2 部分题目题解
  • web入门111-120
  • 第 485 场周赛Q1——3813. 元音辅音得分
  • 恶意代码分析:在沙箱中运行勒索病毒,用 IDA Pro 逆向它的加密逻辑
  • 导师严选2026 AI论文网站TOP8:继续教育写作全攻略
  • LLM 推理加速:深入 vLLM 源码,揭秘 PagedAttention 如何让吞吐量提升 20 倍?
  • 完整教程:【Go/Python/Java】基础语法+核心特性对比
  • 数据交易中的数据质量评估方法
  • 数据结构3.0 栈、队列和数组
  • 算子优化实战:手写 Triton Kernel,将 LayerNorm 算子的执行时间压缩 50%
  • 深度测评自考必备一键生成论文工具TOP8
  • Linux实操篇
  • 51单片机智能遮阳篷窗户帘衣架蓝牙APP光雨滴检测41(设计源文件+万字报告+讲解)(支持资料、图片参考_相关定制)_文章底部可以扫码
  • Java 并发探秘:JCTools 源码剖析,为什么 Netty 放弃 JDK 自带队列而选择 MpscArrayQueue?
  • todo
  • Go 调度器 (GMP) 揭秘:从汇编角度看 Goroutine 是如何实现“协程切换”的?
  • 【创新未发表】基于matlab鸡群算法CSO和自适应双种群协同鸡群算法ADPCCSO无人机避障三维航迹规划【含Matlab源码 14980期】
  • 第 174 场双周赛Q2——3810. 变成目标数组的最少操作次数
  • 【无人机三维路径规划】基于matlab鸡群算法CSO和自适应双种群协同鸡群算法ADPCCSO复杂山地模型下无人机路径规划【含Matlab源码 14981期】
  • Day22-20260118
  • 强烈安利9个AI论文写作软件,专科生搞定毕业论文!
  • 【雷达跟踪】基于matlab面向目标跟踪的雷达干扰方法:提升航空器战场生存力的关键技术【含Matlab源码 14983期】复现含文献
  • 【雷达相控阵】毫米波相控阵中空间Zadoff-Chu调制快速波束对准【含Matlab源码 14977期】
  • 卷积神经网络的开端:$LeNet-5$
  • 【雷达相控阵】基于matlab毫米波相控阵中空间Zadoff-Chu调制快速波束对准【含Matlab源码 14977期】
  • 【心电信号ECG】SVM心电图心搏检测与分类【含Matlab源码 14982期】复现含文献
  • 【心电信号ECG】基于matlab SVM心电图心搏检测与分类【含Matlab源码 14982期】复现含文献
  • 【心血管疾病】心脏病数据集Kaggle医学特征二元分类预测心血管疾病【含Matlab源码 14984期】含报告
  • 社交网络数据科学:完整项目实战指南
  • Hive与DynamoDB集成:云原生大数据方案