基于 Flink 与 Paimon 的近实时湖仓建设实践
一、引言：从 T+1 到分钟级，数据有效性的挑战和机遇
原有数据体系已构建了成熟的离线批处理链路，能够支撑大部分 T+1（天级）或 T+1H（小时级）的数据分析场景。然而，随着业务的持续增长与精细化运营的需求，数据新鲜度与计算成本之间的矛盾日益凸显。
- 传统离线数仓：虽具备成熟生态与成本优势，但其核心瓶颈在于时效性低。
- 纯实时计算：虽能实现秒级延迟，但在处理大规模数据时，面临状态管理成本高昂、消息中间件存储开销巨大等问题，导致总成本显著增加。
- Lambda 架构：因实时与离线链路物理割裂，在面对融合分析需求时，往往需要双团队协同开发，涉及大量数据口径对齐工作，造成高昂的人力协调成本，阻碍了业务敏捷响应。
为应对上述挑战，业务亟需一个低门槛、低成本、端到端具备分钟级延迟（目标 5-30 分钟）的流批一体数据解决方案。该方案旨在统一数据处理链路，显著提升端到端时效性，同时降低开发、运维负担与总体运行成本。为此，我们选择了 Flink + Paimon 的技术栈，并设计了一套创新的数据入湖架构来解决数据同步与数据应用，旨在从根源上解决这些挑战。
二、 架构设计：构建基于 Flink 和 Paimon 的近实时湖仓
2.1 近实时系统架构
为实现上述目标，我们构建了如图 1 所示的近实时数据处理架构。该架构以 Flink作为核心计算引擎， Paimon 作为湖仓存储底座。数据通过 Flink CDC 从 MySQL 等业务数据库捕获变更数据流，实时写入 ODS 层的 Paimon 表中。下游应用可根据需求，选择多种消费与分析路径：
- 实时/准实时 ETL：通过 Flink 作业