当前位置: 首页 > news >正文

[数据模型/大数据] 数据建模之缓慢变化维

1 概述: 数据建模之缓慢变化维场景(SCD)

  • 缓慢变化维,是大数据或数据仓库中,维度表(如用户、商品表)的属性随时间缓慢变更(非实时高频),却需保留历史状态以支持多时间点数据分析的问题,核心是平衡“数据时效性”与“历史可追溯性”。

比如,用户表中,用户“所在城市”从“北京”变更为“上海”,若直接覆盖旧数据,将无法统计该用户变更前在北京产生的订单数据;若不处理,当前数据又会失真,这就是典型的缓慢变化维问题。

2 常见缓慢变化维(SCD)处理方案及适用场景

以下是4种核心处理方案,均以“用户ID=10001的用户,所在城市从北京变更为上海”为例说明:

方案1:覆盖式更新

  • 处理逻辑:直接用新属性值覆盖旧值,不保留历史记录。
  • 示例:用户表中,将用户10001的“所在城市”字段直接从“北京”改为“上海”,原“北京”记录被删除。
  • 适用场景:无需追溯历史、仅需保留最新状态的场景,如用户“昵称”“头像”等非核心属性的变更,或数据录入错误后的修正。

方案2:新增行式更新

  • 处理逻辑:不修改旧数据,新增一行包含新属性值的记录,通过“生效时间”“失效时间”“是否当前记录”等字段区分状态。
  • 示例:保留原“用户10001-北京”的记录,新增“用户10001-上海”的记录;原记录失效时间设为变更日期,新记录生效时间设为变更日期、“是否当前”设为“是”。
  • 适用场景:需完整追溯历史状态的核心场景,如用户“所在城市”“会员等级”等影响业务统计(如区域订单量、会员消费分析)的属性变更。

方案3:新增列式更新

  • 处理逻辑:在原表中新增“旧属性列”(如“原所在城市”),保存旧值,原字段更新为新值,仅保留最近一次历史记录。
  • 示例:用户表新增“原所在城市”列,将旧值“北京”存入该列,原“所在城市”列更新为“上海”,仅记录“上海→北京”这一次变更。
  • 适用场景:仅需对比“当前值”与“最近一次旧值”,无需完整历史轨迹的场景,如商品“原价”与“现价”的对比展示,或用户“上次所在城市”与“当前城市”的简单分析。

方案4:组合式更新,Type1+2+3

  • 处理逻辑:结合Type1(覆盖)、Type2(新增行)、Type3(新增列)的特点,既新增行保留完整历史,又在当前行新增列记录关键历史信息。
  • 示例:新增“用户10001-上海”的行(Type2),同时在当前行新增“上次所在城市”列记录“北京”(Type3),原记录标记失效(Type2)。
  • 适用场景:需兼顾完整历史追溯与便捷查询关键历史信息的场景,如金融领域客户“职业”“收入等级”变更,既需追溯每一次变更以满足合规审计(Type2),又需快速获取“当前职业”与“上一职业”进行对比分析(Type3)。

Y 推荐文献

X 参考文献

http://www.jsqmd.com/news/12595/

相关文章:

  • python第四天
  • Win10如何彻底关闭自动更新
  • 2025 年国内最新漏水维修公司推荐:涵盖厨卫 / 屋顶 / 管道 / 高空等场景,帮您精准选靠谱维修团队
  • 25.10.13 C语言 运算符
  • matlabe东向偏移、北向偏移、垂直偏移转经纬度
  • 在AI技术唾手可得的时代,挖掘新需求成为核心竞争力——某知名媒体系统生态需求洞察
  • 2025 年立体画厂家最新推荐榜单:涵盖 3d 光栅立体画、立体光栅卡、3D 装饰立体画、三维立体画,助力企业与消费者精准挑选优质品牌
  • 修改Windows10的TLS版本和Ciphers加密算法 导致 sql server 2008 连接不上
  • 20232403 2025-2026-1 《网络与系统攻防技术》实验一实验报告
  • 2025 年板材厂家推荐:兔宝宝以绿色创新筑根基,全链服务护健康家居需求
  • 基于SC译码算法的极化码解码实现与优化
  • idea远程连接并本地打包到远程服务器
  • 2025 年快速退火炉优质厂家最新推荐榜单:真空 / 半导体 / 晶圆 / 高温 / 桌面 / 半自动 / 全自动 / 芯片 / 硅片 / RTP 设备企业核心竞争力全面解析
  • 2025 年窗帘品牌最新推荐权威排行榜:精准剖析各品牌优势,定制 / 设计领先 / 家居等多类型窗帘优选母婴/遮光/智能/蕾丝/百叶/阳台/隔音/卷帘窗帘厂家推荐
  • ElasticSearch基础入门和基本概念 - 详解
  • 电子合同时代来了!推荐一款人人都能用得起的电子合同系统,虽然现在电子合同平台很多,但成本都不低,现推荐一款可能是成本z低的电子合同签署系统,套餐没有有效期,并且可转让,用不完的永远不浪费
  • 2025 年最新推荐!停车场系统厂商榜单重磅发布,涵盖管理 / 收费 / 无人值守 / 道闸 / 车牌识别系统优质服务商
  • 2025 年汽车托运公司推荐排行榜,靠谱的汽车托运服务哪家好?推荐这五家汽车托运公司!优质企业深度解析,助您轻松选对汽车物流服务提供商全国门到门 / 仓储 / 跨境货运服务公司推荐
  • 3C电子企业柔性制造转型:如何依据MES管理系统完成快速换线与弹性生产?
  • oo
  • 实用指南:20250926的学习笔记
  • 2025 最新移民机构推荐排行榜:精选国内靠谱移民服务机构,助力高效规划澳洲/美国/欧洲等国移民方案
  • 2026 NOI 做题记录(六)
  • 2025 年安防系统厂商最新推荐榜:弱电 / 智能 / 周界 / 监控等全品类服务商深度测评及选择指南
  • 献丑贴:Task.Run中foreach优化
  • 完整教程:应用部署(后端)
  • C# 定时任务 Quartz.NET 的使用
  • 2025.10.13——1橙
  • WPF 通过RawInput获取系统全局触摸事件
  • 基于高频电流探头的电磁兼容(EMI/EMC)测试与诊断技术方案