在数字化浪潮下，数据成为企业核心资产，如何高效管理与运用数据至关重要。为此，白鲸开源特推出系列文章，围绕数据湖仓设计与实践展开，深度剖析数据架构、开发规范等关键内容。
从传统数仓困境到数据湖仓融合，从整体架构分层到各层设计要点，再到 DataOps 开发标准及调度、集成开发建议，全面且深入，旨在帮助读者掌握数据湖仓建设精髓，提升数据管理与运用能力，为企业数据驱动决策筑牢根基。
下文为本系列文章第 0 章，主要探讨传统数仓困境，对比数据仓库、湖及湖仓特点，阐述湖仓 “统一” 诉求，为数据湖仓实践奠基。
传统数仓为何渐感吃力
数据源数量爆炸
随着数字化进程加速，传统数据仓库面临诸多挑战。数据源方面，业务库、日志、埋点及外部数据接入方式繁杂多样。接入数量增多不仅导致字段频繁变更，而且上游的不稳定会直接影响下游。
需求碎片化与迭代加速
需求层面，呈现碎片化且迭代加速的态势，同一指标在不同报表中反复定义，致使指标口径难以统一，争议常态化，尤其到年底常引发 “口径大战”。
链路增长与稳定性下降
数据链路随着业务发展越堆越长，稳定性随之下降。众多依赖关系使得排查问题困难重重，重跑数据也颇为不易，一处出现故障便会波及多层，往往定位问题需耗费半天时间，补数则要花费一天。
数据形态多样化
数据形态日益多样化，涵盖结构化、半结构化（如JSON）以及文件/文档等。仅依靠传统仓库范式，接入与治理成本高昂，常出现 “想存存不下、想管管不住” 的情况。
实时诉求普遍化
实时诉求从原本的T + 1逐渐向小时级甚至分钟级转变。传统离线链路若要改为实时，常常需推倒重来，且实时与离线口径不一致，反而让数据管理更加混乱。
成本压力上升
成本压力不断上升，计算、存储以及研发人力成本都在增长。重复开发、存储及口径不一致带来的隐性成本巨大，“越做越贵”比“做不出来”对业务的影响更为致命。
治理滞后
治理工作滞后，血缘关系不清晰、权限混乱、质量难以度量。一旦数据被广泛使用，后期再进行治理的成本极高，因为治理并非锦上添花，而是数据可持续发展的根基。
数据湖、数据仓库与湖仓的差异
数据仓库的优势与短板
数据仓库（Warehouse）以强治理、强一致性以及高性能分析见长，适用于经营分析、固定报表以及核心指标体系的构建。其具有清晰的schema，口径易于控制，数据质量也能得到有效保障。然而，它存在接入速度慢、扩展成本高以及对变化敏感的短板，上游字段的变动往往会引发大量改造工作，对半结构化和非结构化数据的承载能力较弱。
数据湖的特点与风险
数据湖（Lake）的优势在于低成本存储、多格式接入以及先存再算的模式，适合用于原始数据留存、探索式分析以及AI/特征数据处理。它接入速度快，兼容性强，扩容具备良好的弹性。但数据湖若缺乏治理，就容易沦为“沼泽”，出现目录混乱、定义缺失、重复数据泛滥的问题，导致数据找不到、看不懂、不敢用。
湖仓的目标
湖仓（Lakehouse）旨在融合“湖的广度”与“仓的稳定性”，在数据湖的基础上实现事务能力、版本管理、增量处理、质量管控以及权限管理等关键治理能力，让数据的留存、加工、服务与治理形成一体化流程。
湖仓的 “统一” 诉求
统一存储层与数据组织
要能够承载结构化、半结构化以及文件类数据，同时支持分区、冷热数据管理以及生命周期管理，确保成本可控。
统一事务与版本能力
旨在让数据“可用、可信”，支持增量读、历史追溯、回滚与重放功能，面对变更时，schema的演进不会导致系统崩溃。
统一计算与批流协同
防止口径分裂，批处理具备稳定口径、可回溯以及成本效率优势，流处理具有低延迟、事件驱动和增量更新特点，关键在于批流共享同一份数据定义与指标口径。
统一元数据与数据目录
使数据“找得到、看得懂”，明确表与字段的含义、负责人、更新频率以及血缘关系，支持影响分析，即知晓上游改变会影响哪些下游环节。
统一质量与可观测
以便让问题“可发现、可定位、可恢复”，制定质量规则，如完整性、唯一性、范围、对账等，同时实现任务的可观测，包括延迟、失败、重跑以及数据量波动等情况。
统一安全与合规
确保数据“可控地被使用”，进行分级分类、权限管理、脱敏处理以及审计工作，在面向跨部门或外部共享数据时，这一点尤为关键。
统一交付方式
让数据“更容易被消费”，为BI/报表、API/应用、算法/特征等提供一致的交付路径，减少“每个团队一套导出脚本”的低效方式。
👀👉下篇预告：第1章 整体数据架构