DeepSeek总结PostgreSQL存储体系的核心单元——8KB大小的数据页

原文地址：https://boringsql.com/posts/inside-the-8kb-page/

文章解释了为什么是8KB、页的内部结构布局，以及这些结构如何影响数据库的I/O、并发控制和清理机制。

一、为什么是8KB？

• 历史渊源：源自1980年代的伯克利POSTGRES项目，当时选择8KB是为了匹配Unix系统的虚拟内存页（4KB/8KB）和磁盘扇区（512字节），实现高效对齐。
• 现代权衡：8KB是OLTP场景下的平衡点——太小会导致元数据开销占比过高；太大会造成空间浪费和单次I/O读取过多无用数据（如只读一行也要加载整个大块）。
• 对比：分析型数据库（如DuckDB）使用更大的块（如256KB）以提升顺序扫描吞吐量。
• 灵活性：PostgreSQL支持在编译时通过--with-blocksize调整为1/2/4/8/16/32KB，但默认8KB适用于绝大多数场景。

二、页的内部结构（Slotted Page 布局）

页采用“槽页”布局，数据从两端向中间填充，中间留出空闲空间：

1. 页头（Page Header，24字节）：

   • pd_lsn（8字节）：最后修改该页的WAL日志序号，用于崩溃恢复。
   • pd_checksum（2字节）：页数据校验和（需启用）。
   • pd_flags（2字节）：页状态标志，如PD_ALL_VISIBLE（页内所有行对所有事务可见，是实现仅索引扫描的关键）。
   • pd_lower（2字节）：行指针数组的结束偏移量（指向空闲空间起点）。
   • pd_upper（2字节）：元组数据的开始偏移量（指向空闲空间终点）。
   • pd_special（2字节）：特殊空间起始位置（堆页为8192，即无特殊空间；索引页用于存储B-Tree元数据）。
   • pd_pagesize_version（2字节）：页大小与版本。
   • pd_prune_xid（4字节）：用于页级剪枝，允许查询在访问时就地清理死元组，避免等待VACUUM。

2. 行指针（Line Pointer，4字节/个）：

   • 紧接页头向下增长，相当于页的“目录”。
   • 结构：lp_off（元组偏移量）、lp_flags（状态：未使用/正常/重定向/死亡）、lp_len（元组长度）。
   • 作用：索引指向的是（页号，行指针序号）即ctid，而非物理偏移。这使得页内碎片整理或HOT更新可以移动元组，而索引无需变更。

3. 空闲空间：位于pd_lower和pd_upper之间的区域。

4. 元组数据：从页底向上增长，包含元组头（23字节）+ 对齐填充 + 实际列数据。

三、关键机制与观察

• 容量估算：
  • 每行开销 ≈ 4字节行指针 + 23字节元组头（通常对齐到24字节）+ 实际数据。
  • 示例表中，平均每行约76字节，单页可容纳约110-120行。
• 多页扩展：
  • 当数据超过单页容量，PostgreSQL分配新页（relpages增长）。
  • 通过pageinspect可以查看每一页的填充情况（如第一页只剩52字节空闲，第二页只剩8字节）。
• 索引页的特殊空间：
  • 堆页的pd_special=8192（无特殊空间）。
  • B-Tree索引页使用最后16字节存储兄弟页指针、树层级等元数据。

四、使用pageinspect进行内部观察

文章演示了如何通过pageinspect扩展直接查看页的原始内容：

• page_header(get_raw_page('表', 0))：解析页头信息（LSN、lower/upper、特殊空间等）。
• heap_page_items(get_raw_page('表', 0))：列出页内所有行指针及对应元组长度、状态。
• bt_page_stats('索引', 1)：查看索引页的统计信息（类型、活动项、空闲大小等）。

五、总结：页是I/O的原子单元

• 读一行= 加载整个8KB页到缓冲区。
• 写一标志= 重写整个页（并记录WAL）。
• 可见性优化：PD_ALL_VISIBLE标志使仅索引扫描得以跳过堆检查。
• 轻量清理：pd_prune_xid允许普通查询在访问页时触发页级剪枝，回收空间。
• 布局优势：Slotted Page设计将固定大小的行指针与可变大小的元数据分离，减少碎片，便于管理。