当前位置: 首页 > news >正文

分布式数据分片怎么做

一致性哈希的核心是增量迁移。普通取模,节点数一变,所有 数据都要重新分布。一致性哈希用哈希环,节点变化只影响格 邻区间,数据迁移量可控。举个例子,原来3个节点,现在加 到4个节点,只有1/3的数据需要迁移。
那一致性哈希环怎么构建?节点怎么分布?
哈希环本质是把节点和Key都映射到一个环形空间。节点! 的哈希值是100,节点B是300,节点C是600,环从0到 99。那哈希值150的Key,会落在A和B之间,由A负责。 具体实现上,有两种方式
第一种是排序后二分查找,把所有节点哈希值排序,查找 第一个大千等于Key哈希值的节点。 第二种是TreMapceilingkey,0(logN)时间复朵度。 我之前用TreeMap实现过,代码很简单。
虚拟节点是解决什么问题的?
解决数据倾斜。如果3个节点的哈希值分别是100、400、800,环上100到400的区间有300个位置,400 到800只有400个,800到100要跨环有300个--数 据分布不均匀。
虚拟节点的解法是:每个物理节点映射100个虚拟节点 ,比如节点A有A-1、A-2到A-100,都在环上均匀分布。这样实际数据会均匀散列到虚拟节点上,再映射回物 理节点。

总结:一致性哈希的本质:节点和数据映射到环形空间,数据找最近节点。
核心:节点变化只影响相邻区间数据,其他数据完全不受影响。

哈希环的java实现
用TreeMap一行代码搞定--把每一个节点的哈希值作为Key存进TreeMap,查询时,用ceilingEntry方法找大于等于Key哈希值的最小节点,如果找不到就返回环起点(firstEntry),这就是顺时针找最近节点的逻辑。
换句话说,哈希环的核心就是“找一个就近的节点”,treeMap帮你干了这事。

虚拟节点解决数据倾斜
物理节点只有3个,哈希值分布在环上可能很近,导致数据分布不均匀。
虚拟节点的解法:每个物理节点生成100个虚拟节点(比如“nodeA-v0”到“nodeA-v99”),哈希值分布在环上。查询时从TreeMap找到虚拟节点,再映射回物理节点。100个虚拟节点能让数据分布的方差缩小到原来的1/100.

三个常见的应用场景:
场景一:Redis集群分片。Redis Cluster用的是槽(16384个),本质上是一致性哈希的离散分布版本。
场景二:Kafka分区分配。新消费者加入消费者组时,用一致性哈希分配分区,最小数据迁移。
场景三:CDN就近访问。用户请求映射到最近的CDN节点,减少延迟。

最后总结:一致性哈希不是什么高深理论,就是一个“环”加一个“找最近的节点”。

http://www.jsqmd.com/news/984323/

相关文章:

  • 智能象棋助手VinXiangQi:深度学习如何让AI看懂中国象棋棋盘
  • RTX 3090装Detectron2踩坑记:一招解决nvcc报错‘compute_86‘不支持
  • 告别误报!用MATLAB手把手教你实现雷达CFAR检测(附完整代码与对比分析)
  • 2026导向:片材板材控温机生产企业综合实力甄选 - 企业推荐官【官方】
  • 从 WWDC 到 AI Agent:开发者为什么又开始重新关心 DeepSeek API Key、Base URL 和统一模型入口
  • 2026年6月正规的青岛采光井防水补漏公司有哪些推荐 现浇混凝土/玻璃采光顶/地下室采光井公司选择指南 - 海棠依旧大
  • 2026年制造业温控设备供应厂家:精准温控与品质保障实力解析 - 企业推荐官【官方】
  • 2026年新消息:南京施工合同纠纷处理新趋势,律师蒋晓峰的专业选择指南 - 2026年企业资讯
  • 2026年6月值得信赖的温和洗面奶品牌有哪些推荐,氨基酸/控油/敏感肌温和洗面奶生产厂家选择指南 - 海棠依旧大
  • 2026年超声波熔接机设备供应商综合能力分析报告 - 优质品牌商家
  • YOLO26涨点改进| TPAMI 2026顶刊| 独家卷积注意力改进篇 | 引入CCCA循环一致性交叉注意力模块,生成更可靠、更聚焦的视觉提示,助力YOLO目标检测、小目标检测、图像分割任务高效涨点
  • 酒精流量计定制厂家行业现状与技术选型分析 - 优质品牌商家
  • 告别DQN的离散局限:用DDPG和TD3搞定机器人连续动作控制(附PyTorch实战代码)
  • 从OFDM仿真到5G NR:深入聊聊LMMSE信道估计中那个关键的‘自相关矩阵’到底怎么来的
  • 从“创新之城”到“AI认知高地”——2026年深圳企业GEO选型实战指南 - GEO优化
  • 从‘膨胀的木棍’到‘弯曲的钢轨’:实数二分法在工程计算中的一次有趣实践
  • 四川及成都奢侈品回收服务商综合评估与选择指南(2026版) - 优质品牌商家
  • 2026年6月有实力的白洋淀短途旅行农家院哪家强推荐,包吃住型、整院出租型、家庭出游型选择指南 - 海棠依旧大
  • AlistHelper终极指南:3步图形化管理Alist,告别命令行烦恼
  • 默认就是批派发,主 Agent 不阻塞
  • 告别Windows资源管理器中APK文件图标混乱的3个简单步骤
  • DIY T12烙铁,用NMOS做上管驱动?一个电容加俩二极管就能搞定(附仿真)
  • Steam挂刀监控系统:三步打造你的个人饰品交易智能助手
  • 实战指南:如何让老旧Mac重获新生——OpenCore Legacy Patcher深度解析
  • 世毫九实验室认知几何学理论深度研究报告:思维如何弯曲意义空间
  • 期货量化主力换月程序怎么移仓:天勤 underlying_symbol 与任务切换
  • 深度拆解 AutoGen 代码执行器:沙箱隔离、依赖管理与安全风险防控
  • 5分钟彻底解决Visual C++运行库问题:Windows软件闪退的终极修复方案
  • 从零到云:用一台旧电脑+CentOS 7 搭建你的第一个OpenStack私有云实验环境(手把手图文)
  • STM32F407智能鱼缸实战工程:带FreeRTOS多任务、温位照氧控制与云对接能力