当前位置：首页 > news >正文

06-数据库学习笔记（存储模型与数据压缩）

news 2026/8/1 4:15:30

一.数据库三大业务负载

数据库的业务负载直接决定后续存储模型和压缩方式的选择，不同负载的查询特性、读写比例差异显著，因此需要针对性适配，这也是三大负载分类出现的核心原因。

1.OLTP（在线事物处理）

（1）核心定义

面向日常在线交易、短事务、高频随机读写的业务场景，互联网后端、电商、支付、进销存、银行系统均属于这类。

（2）负载特征

读写占比：读写混合，写入请求频繁；
事务特点：事务短小（执行毫秒级）、并发极高、大量随机 IO；必须严格满足 ACID 事务特性；
访问模式：绝大多数操作都是单行 / 少量行增删改查（比如下单、扣库存、查用户余额），极少大批量扫描整张表；
性能关注点：事务吞吐 TPS、锁竞争、响应延迟、并发控制、行级锁效率。

（3）典型业务

电商下单、微信聊天消息、银行卡转账、外卖订单、用户账号系统

（4）优缺点

优点：响应速度快，能支撑高并发交易，适配实时业务场景，操作逻辑简单，易于实现和维护。
缺点：不适合大规模统计分析，若用于OLAP场景，会产生大量无效I/O，查询效率极低。

2.OLAP（在线分析处理）

（1）核心定义

面向海量历史数据统计、多维报表、大数据分析、离线计算，用于企业经营决策，不处理在线实时交易。核心是处理“复杂分析”，特点是操作耗时久、查询逻辑复杂，需要扫描数据库的大部分数据，用于从大量数据中提取有价值的信息。

（2）负载特征

读写占比：几乎以大批量只读查询为主，数据写入多是批量定时导入（凌晨同步业务数据）；
查询特点：SQL 语句复杂，多表关联、聚合计算（sum/count/avg）、全表大范围扫描，查询耗时秒～分钟级；
无事务要求：不需要强 ACID，更看重海量数据下的聚合计算速度；
存储特点：数据体量极大（TB/PB 级），数据极少修改（一次写入多次读取），按时间分区存储。

（3）典型业务

电商月度销售额报表、用户行为画像、财务年度对账、网站流量大盘统计

（4）优缺点

优点：分析能力强，能高效处理大规模数据的聚合、统计查询，支撑企业决策，读取大量数据时的I/O效率高于OLTP适配的存储方式。
缺点：单行查询（点查询）速度慢，写入操作繁琐、效率低，无法支撑实时交易场景。

3.HTAP（混合事务分析处理）

（1）核心定义

一套数据库同时承载 OLTP 在线事务 + OLAP 数据分析两种负载，打破传统 TP 和 AP 必须两套系统分开部署的架构。

（2）负载特征

同一套集群：白天承接线上用户下单、查询等实时事务（TP 负载）；同时可直接基于最新业务数据做实时统计分析（AP 负载），无需提前把数据同步到数仓；
底层存储一般采用行列混合存储：行存满足单行随机读写，列存满足批量聚合查询；
兼顾事务 ACID 和海量数据分析性能，资源隔离避免分析大 SQL 拖垮在线业务。

（3）典型业务

实时大屏、新零售实时库存分析、金融实时风控、实时营销推荐

4.三大负载核心对比表

二.三大核心存储模型

当下所有数据库底层存储架构，归根结底分为行存储、列存储、行列混合存储三类，分别对应 OLTP、OLAP、HTAP 三大业务负载，二者是一一匹配关系。

1.行存储

（1）存储规则

把一整行的所有字段数据连续存放在磁盘相邻位置，一行数据作为最小存储单元。

（2）核心优缺点

优势：
单行读写极快：查询一整条用户所有信息、插入 / 更新单条数据，只需一次磁盘 IO，效率极高；
事务友好：支持行级锁、频繁增删改，完美适配事务场景；
适配随机读写，数据频繁修改场景。
劣势：
聚合统计极慢：比如只算所有人平均年龄，依然要把每行全部字段读取出来，大量无效 IO；
压缩率低：每行字段类型混杂，压缩空间有限。

（3）适用场景

适配：OLTP 在线事务业务（电商订单、用户系统、支付）

2.列存储

（1）存储规则

将同一个字段的全部数据，连续集中存放，以字段列为最小存储单元。

（2）核心优缺点

优势：
大数据量聚合查询碾压行存：统计平均年龄，只需要读取 age 一列，不用加载其他无关字段，IO 开销大幅降低；
压缩效率极高：同一列数据类型完全一致（比如 age 全是数字），可做到极致压缩，节省磁盘空间；
海量历史数据只读场景性能拉满。
劣势：
单行查询、频繁更新极慢：修改一条用户数据，需要去每一列分别修改，IO 开销巨大；
不适合频繁写入、随机修改，事务支持薄弱。