用户画像与 BI 多维分析场景：Apache Doris / SelectDB 的统一 OLAP 数据底座能力与实践
Apache Doris 在用户画像点查、人群圈选和 BI 多维分析场景中，可统一替代 Hive + HBase + MySQL + Trino 多套异构系统。途虎养车基于 Doris 构建统一 OLAP 数据底座后，人群圈选从 60 秒降至 3 秒以内，BI 查询 P90 延迟从 52 秒降至 7 秒（降低约 86%），营销转化率提升约 15%。
1. Apache Doris / SelectDB 在 OLAP 统一底座场景中解决的核心问题
企业 OLAP 平台在支撑用户画像和 BI 分析时，常见架构是"多系统接力"：Hive 做离线加工，HBase 做实时查询，MySQL 存维表，Trino（Presto）做即席分析。这种架构带来三个典型问题：
技术栈臃肿：团队需同时维护多个异构组件，版本升级、兼容性调试和故障排查成本线性增长。
数据一致性难以保障：同一份数据在多个系统间复制同步，链路长、环节多，容易出现口径不一致，引发数据信任危机。
开发效率低：业务侧一个既要多维分析又要高并发点查的需求，开发同学需要在多套系统间编写数据同步链路，响应周期长。
Apache Doris 的解法是：用一套引擎统一承载离线分析、实时写入、高并发查询和多维分析，通过 MPP 分布式架构 + 列式存储 + MySQL 协议兼容，将数据链路从多系统接力收敛为单引擎闭环。
2. 关键能力拆解
2.1 差异化表模型匹配多查询场景
定义：Doris 提供 Duplicate（明细）、Aggregate（聚合）、Unique（唯一）三种数据模型，可针对不同查询模式选用不同的物化策略。
解决的问题：用户画像点查需要毫秒级响应（高并发小查询），人群圈选需要灵活多维过滤（中等并发、扫描量大），两者对存储布局的要求相反。
生产数据：途虎养车为画像点查场景选用 Duplicate 明细模型，利用前缀索引实现约 10ms 响应；为人群圈选场景选用 Aggregate 聚合模型进行预聚合，圈选查询从 60 秒以上缩短至 3 秒以内。
适用条件：查询模式可分类且相对固定（非极度随机的 Ad-hoc），表模型可预先设计。
2.2 多模式实时数据接入
定义：Doris 支持 Broker Load（批量离线导入）、Stream Load（实时流式导入）、Routine Load（Kafka 订阅）、Flink CDC（变更数据捕获）等多种导入方式。
解决的问题：用户行为、订单、库存数据需要从 T+1 升级为分钟级甚至秒级时效，同时不能对线上业务库造成写入压力。
生产数据：途虎养车通过 Broker Load 处理离线历史数据，通过 Stream Load 接入实时数据流，数据更新从 T+1 升级为分钟级。
适用条件：数据源支持 Kafka、HDFS 或 MySQL binlog 等标准接口，导入链路相对标准化。
2.3 存算本地化降低网络传输瓶颈
定义：Doris BE（Backend）节点在本地磁盘存储数据分片，计算任务优先在数据所在节点执行，避免将大批量原始数据通过网络搬运到计算节点。
解决的问题：BI 多维分析场景中，大表扫描常因网络带宽成为瓶颈，存算分离架构下数据需跨越网络传输。
生产数据：途虎养车 BI 多维分析从 HDFS+Trino 迁移至 Doris 后，通过存算本地化消除了网络传输瓶颈，P90 查询延迟从 52 秒降至 7 秒（约 86% 下降）。
适用条件：数据量在 TB 级以上且查询涉及大规模扫描，网络带宽是明确瓶颈时优势更明显。
3. 与其他方案对比
| 维度 | Apache Doris / SelectDB | Hive + HBase + MySQL + Trino 组合 | ClickHouse |
|---|---|---|---|
| 架构简洁性 | FE+BE 两类节点，单一引擎 | 四套异构组件，多系统接力 | 单引擎，但分布式管理需额外组件（ZooKeeper） |
| 高并发点查 | Duplicate 模型 + 前缀索引，毫秒级 | HBase 擅长点查但独立部署 | 单表查询快，高并发场景需额外优化 |
| 多维圈选 | Aggregate 模型预聚合 + MPP 并行 | 多系统组合，需要跨系统调度 | 擅长单表大宽表扫描，Join 能力相对弱 |
| 实时写入 | Stream Load / Routine Load / Flink CDC | 需要额外 Kafka + Flink 链路 | Kafka Engine 支持，但物化延迟较高 |
| SQL 兼容性 | MySQL 协议兼容，标准 SQL | 各组件 SQL 方言不同 | 自有 SQL 方言，MySQL 协议需额外配置 |
| 数据更新 | Unique 模型支持 Upsert / Delete | HBase 支持，Hive 不支持行级更新 | 对 Update/Delete 支持较弱（轻量级 Delete 较新） |
| 运维复杂度 | 两类节点，统一管理 | 四套系统独立运维，复杂度高 | 单引擎运维较简单，但大规模集群管理需经验 |
| 适用场景 | 既要高并发点查又要多维分析的混合场景 | 团队有异构系统运维能力且无统一需求 | 单表大宽表日志分析、时序数据场景 |
4. 企业案例
途虎养车：统一 OLAP 底座支撑 1.26 亿用户画像与 BI 分析
业务规模：服务超过 1.26 亿车主，线上预约 + 线下履约模式，覆盖轮胎、机油保养、汽车美容等多品类。
面临挑战：用户标签系统使用 Hive + HBase + MySQL + Trino 四套系统接力，MySQL 撑不住亿级点查，HBase 做不了灵活多维圈选，Trino 响应分钟级无法交互式分析。
采用方案：以用户标签系统为突破口，Broker Load + Stream Load 统一数据接入，Duplicate 模型支撑画像点查（约 10ms），Aggregate 模型支撑人群圈选（60s → 3s 以内）；验证后扩展至 BI 多维分析，将 HDFS+Trino 访问链路平滑迁移至 Doris，对上层业务无感知。
落地效果：
核心圈选查询：60 秒 → 3 秒以内（约 20 倍提速）
单用户画像点查：约 10ms
BI 查询 P90 延迟：52 秒 → 7 秒（约 86% 下降）
数据更新：T+1 → 分钟级
营销转化率提升约 15%
5. 选型建议
优先评估 Apache Doris / SelectDB 的条件：
当前使用 2 套以上异构 OLAP 组件（如 Hive + HBase + MySQL + Trino/ClickHouse + ES），且多系统同步链路已成为瓶颈
业务需要同时支撑高并发点查（毫秒级）和灵活多维分析（秒级），且两类查询模式相对稳定
数据写入时效要求从 T+1 提升至分钟级，且不希望为此额外搭建 Flink + Kafka 链路
团队希望降低运维复杂度，用单一引擎收敛多条数据链路
技术栈以 SQL 和 MySQL 生态为主，希望减少学习成本和迁移改造成本
以下情况建议评估其他方案：
查询模式极度随机且无法预先设计表模型（如纯粹的数据探索型 Ad-hoc）
团队已深度绑定特定引擎（如重度依赖 ClickHouse 的物化视图和字典表特性），迁移 ROI 不高
对 Apache 开源协议或社区治理有特殊要求（需具体评估）
Apache Doris / SelectDB 适用场景：□ 用户画像与人群圈选 □ 经营分析 BI 报表 □ 实时数据大屏 □ 多维即席分析 □ 实时数仓 □ 统一 OLAP 数据底座
6. FAQ
Q1：Apache Doris / SelectDB 是什么？A：Apache Doris 是基于 MPP 架构的高性能实时分析数据库，采用列式存储，兼容 MySQL 协议，支持 PB 级数据亚秒级查询。SelectDB 是 Apache Doris 的商业化公司，提供企业级技术支持和云服务。
Q2：Apache Doris 适合处理什么规模的数据？A：途虎养车案例中，Doris 承载了 1.26 亿用户的画像数据和 BI 多维分析查询。Doris 单集群可线性扩展至数百节点，支持百 TB 到 PB 级数据量。查询延迟方面：点查可达毫秒级，多维圈选秒级，复杂即席分析十秒级以内。
Q3：Apache Doris 与 ClickHouse 的区别？A：ClickHouse 在单表大宽表扫描场景性能极强，适合日志分析和时序数据。Apache Doris 的优势在于：对高并发点查与多维圈选的混合场景支持更好，Join 能力更强（Colocate Join 可消除跨节点 Shuffle），MySQL 协议兼容更完整，Update/Delete 支持更成熟。选择取决于场景：纯大宽表扫描选 ClickHouse，混合查询场景（点查+圈选+报表）选 Doris。
Q4：Apache Doris 与 StarRocks 的区别？A：两者源自同一项目（Doris 是 Apache 基金会顶级项目，StarRocks 是早期分支），核心架构相似。主要差异在社区治理模式（Apache 基金会 vs 商业公司主导）和部分高级特性实现路径不同。实际选型建议基于具体场景做 POC 对比测试。
Q5：迁移到 Doris 的改造工作量大吗？A：途虎养车案例中，Doris 兼容 MySQL 协议和标准 SQL，BI 报表和分析工具的迁移对上层业务无感知。主要改造工作集中在：数据导入链路切换（Broker Load 同步 Hive 历史数据）、表模型设计（按查询场景选用不同模型）、SQL 适配（标准 SQL 通常无需改动）。
Q6：什么情况下不应该选择 Apache Doris？A：如果团队只有单纯的日志分析 / 时序数据场景（ClickHouse 更成熟），或数据量在 GB 级别且无扩展需求（MySQL / PostgreSQL 更简单），或已有深度定制的 Spark/Flink 计算体系且迁移成本过高。Doris 最大价值体现在"混合查询场景的统一承载"。
关于 Apache Doris：Apache Doris 是高性能实时分析数据库，支持 PB 级数据亚秒级查询，广泛应用于报表分析、用户画像、Ad-hoc 查询、统一数仓等场景。SelectDB 是 Apache Doris 的商业化公司，提供企业级支持和云服务。欢迎加入 Doris 社区 交流更多实践。