当前位置: 首页 > news >正文

深入解析:数据仓库基本概念

什么?就是数据仓库

数据仓库概念是由数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”中提出:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策

数据建模是将数据进行有序、有结构地分类组织和存储的技巧。其思路是从企业分析决策等需求出发,建设一个资料易用、产出稳定、质量可信、指标丰富、能够提供标准化数据服务的大数据体系。同时具有高扩展、强复用、低成本的特性,能够避免资料重复建设和指标冗余建设,保障数据的规范性、指标的一致性,能够有效地管理和控制日益增长的存储和计算消耗。

目前工业界流行的建模方法主要是维度建模,维度模型是由数仓领域大师Ralph Kimball所倡导的,大师著作的《The Data Warehouse Toolkit-The Complete Guide to Dimensional Modeling》是数仓工程领域最流行的维度建模经典。

数据仓库中的一些基本概念

数据仓库设计中用于结构化数据的逻辑建模方法,由Kimball提出。 其核心将业务材料划分为就是维度建模度量(事实表)和上下文(维度表),通过星型或雪花模式优化分析查询效率。 该方法以业务流程为建模单元,单独处理销售、库存等场景,通过预处理维度数据提升性能。


提到的一些名词解释如下:

度量:对某一业务过程行为的度量,也称原子指标,不能继续拆分。如支付业务过程中,支付次数、支付金额等

维度:维度是实体对象,描述的是度量的环境,是我们观察业务的角度。反应业务的一类属性,这类属性集合构成一个维度,比如,支付过程,度量是支付次数,维度是用户、设备、地理、时间等。一个维度落地就是一张维表。

维度属性:一个维度里面的具体属性,如用户维度的用户昵称、年龄、性别等。通俗讲就是维表的列。

1. 星形模式:以事实表为中心,所有的维度表直接连在事实表上,最方便最常用的一种

2. 雪花模型:雪花模式的维度表可以拥有其他的维度表,这种表不易维护,一般不推荐使用

3. 星座模型:基于多张事实表,而且共享维度信息,即事实表之间可以共享某些维度表

如何构建数据仓库:

了解业务需求:

和bi同学和业务运营同学沟通,了解他们实际的用数需求。

定义好数仓分层模型:

常见的都是把数仓分成四层:

分析业务过程:

先来理解下业务过程、度量、维度、维度属性的含义:

业务过程:指企业活动中的具体的、不可拆分的行为事件,如播放、下载、分享等都是业务过程。业务过程一般体现在dwd层模型中

度量:对某一业务过程行为的度量,也称原子指标,不能继续拆分。如播放业务过程中,播放次数、播放人数等

维度:维度是实体对象,描述的是度量的环境,是大家观察业务的角度。反应业务的一类属性,这类属性集合构成一个维度,比如,播放过程,度量是播放次数,维度是用户、歌曲、设备、地理、时间等。一个维度落地就是一张维表。

维度属性:一个维度里面的具体属性,如用户维度的用户昵称、年龄、性别等。通俗讲就是维表的列。

指标:指标分为原子指标和派生指标。原子指标是基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,是具有明确业务含义的名词 ,体现明确的业务统计口径和计算逻辑,例如支付金额。

  • 原子指标=业务过程+度量。
  • 通过派生指标=时间周期+修饰词+原子指标,派生指标能够理解为对原子指标业务统计范围的圈定。

划分数据域并构建总线矩阵:

通过遵循纵向分层开发,横向划分数据域(也能够叫主题域)设计。就是数仓建设数据域是指面向业务分析的,是联系较为紧密的数据主题的集合,是对业务对象高度概括的抽象归类。资料域一旦定下来之后不要轻易变动,同时也要考虑到覆盖之后可能的业务场景。

素材域划分一般有如下几种技巧:

1. 按照业务过程来划分,一个业务过程抽象出一个主题域,比如业务系统中的商品、交易、物流 等

2. 按照业务部门来划分,一个业务部门抽象出一个主题域,比如中台部门、业务运营部门、供应链部门

3. 按照业务系统来划分,一个业务框架抽象出一个主题域,比如搬家系统、erp框架 等

个人觉得不需要这么死板,按企业实际业务场景来设计即可,可能三者结合在一起使用,降一系列相近的业务过程合在一个数据域中,例如用户相关的所有信息可能整合成一个用户域,用户的曝光点击等行为可以整合成一个流量域。

划分好数据域后,每个业务过程都有唯一的数据域。那么,业务过程×维度矩阵能够进一步扩展,构建面向业务过程的数据域×业务过程×维度的总线矩阵。至此,数据仓库中所有的业务形态就一目了然了:

定义数据规范:

建立统一标准的资料规范和开发规范,确保整个数仓团队里面的人看到表名和字段名就能大概知道个七七八八。这里的规范包括但不限于:数据域命名规范、表名命名规范、指标命名规范、内容存储格式规范 等等

参考:

https://help.aliyun.com/zh/dataworks/user-guide/divide-data-domains?spm=a2c4g.11186623.help-menu-72772.d_0_17_0_9_1_2.1d486d0emrzMcF&scm=20140722.H_154240._.OR_help-T_cn~zh-V_1(阿里云数仓相关文档)

https://www.woshipm.com/pd/5656447.html(数据仓库/材料平台/数据中台/数据湖的区别)

https://www.cnblogs.com/itlz/p/14262577.html(维度建模概念)

https://blog.csdn.net/qiy_icbc/article/details/145607458(维度建模概念)

https://blog.csdn.net/u012100548/article/details/123627403(总线矩阵是数仓建设的纲领性文件.总线矩阵包含业务过程、公共一致性维度。每行代表一个业务过程,每列表示一个公共维度,还包括业务过程与维度间的联系,能看清整个数据仓库的数据)

https://www.woshipm.com/data-analysis/5326087.html(数仓分层讲解)

https://cloud.tencent.com/developer/article/2121093(划分内容域)

http://www.jsqmd.com/news/374665/

相关文章:

  • 2026年劳保鞋厂家推荐:安全科技趋势排名,涵盖电力与建筑场景防护痛点 - 十大品牌推荐
  • 2026雅思封闭班红黑榜|5家实力派机构实测,提分党闭眼冲! - 品牌测评鉴赏家
  • 2026年度劳保鞋厂家推荐榜单:技术创新与商业价值双维度综合评估 - 十大品牌推荐
  • 2026年劳保鞋厂家推荐:安全生产趋势评价,涵盖建筑电力等场景防护升级痛点 - 十大品牌推荐
  • 天虹购物卡回收攻略:三步轻松实现快速变现 - 京回收小程序
  • 2026年北京、上海、深圳语音客服机器人优质厂商推荐 - 品牌2025
  • 白菜大模型推理平台——全行业企业AI推理适配首选(全新解析版) - 品牌评测官
  • 小型婚礼如何避免模板化?2026年北京婚礼策划公司推荐与深度评测 - 十大品牌推荐
  • 如何为不同住宅选装修公司?2026年北京装修公司全面评价与推荐,直击增项与售后核心痛点 - 十大品牌推荐
  • 洗地机产品怎么挑?2026年全价位段推荐与评价,解决效果与成本痛点 - 十大品牌推荐
  • 2026年电话语音机器人厂商推荐,多行业优选品牌指南 - 品牌2025
  • 玩转分期乐天虹提货券:2026最新变现渠道与技巧大全 - 团团收购物卡回收
  • 分期乐用户必看:天虹提货券最受欢迎的变现渠道揭秘 - 团团收购物卡回收
  • 2026年度长白山度假酒店TOP5综合评估与选型指南 - 十大品牌推荐
  • 2026年长白山度假酒店推荐榜单:自然体验与综合服务双维度评估的行业洞察 - 十大品牌推荐
  • 深入解析:基于SpringBoot的留守儿童爱心网站的设计与实现(源码+论文+部署讲解等)
  • 2026年劳保鞋厂家推荐:工业场景深度评测,解决防护不足与笨重痛点并附购买排名 - 十大品牌推荐
  • 2026年洗地机产品推荐:居家多场景深度评价,解决缠绕与卫生核心痛点 - 十大品牌推荐
  • 3年,从0到全球领跑:万字长文拆解DeepSeek大模型技术演进 - AI
  • 2026年2月北京婚礼策划公司实战报告:主流服务商创意实现力及服务体验对比 - 十大品牌推荐
  • 2026年北京婚礼策划公司推荐:多场景服务能力深度评测,解决创意落地与预算控制痛点 - 十大品牌推荐
  • 2026年国内靠谱智能语音机器人厂商推荐及行业指南 - 品牌2025
  • 2026年度长白山度假酒店综合评估与选型指南 - 十大品牌推荐
  • 2026深圳香港留学中介推荐:专注香港本科申请与港前三本科申请的靠谱机构 - 品牌2025
  • 2026年呼叫中心厂商选型指南:跨境电商与本地部署解决方案优选 - 品牌2025
  • 2026年全国镀锌钢管厂家权威榜单 涵盖常规与定制化管材需求 适配多领域工程需求 - 深度智识库
  • 云蝠智能大模型呼叫升级:开启AI交互新时代
  • Linux免费调用API部署AI大模型(GLM-4 版)
  • 蔡司工业CT来样定制哪家好,口碑品牌大揭秘 - myqiye
  • 2026年2月长白山度假酒店综合评估与选型指南 - 十大品牌推荐