音视频学习（八十八）：mp4

MP4 的本质：基于 Box 的树状结构

MP4 文件由一系列独立的单元组成，这些单元被称为Box。 每个 Box 的结构都非常统一，包含两部分：

1. Header：包含 4 字节的 Box 长度（Size）和 4 字节的 Box 类型（Type，如ftyp,moov,mdat）。
2. Data：实际的内容，可以是二进制数据，也可以是嵌套的其他子 Box。

这种设计让 MP4 具有极强的扩展性——如果播放器不认识某个 Box，直接根据 Header 里的 Size 跳过即可。

核心Box解密：文件的“骨架”

一个标准的 MP4 文件通常由以下三个顶级 Box 组成：

1）ftyp (File Type Box)

文件类型的“名片”。它出现在文件的最开头，告诉解码器：“我是一个符合 MPEG-4 标准的文件，建议用某种版本的规范来解析我”。

2）mdat (Media Data Box)

这是文件的“肌肉”，占据了 95% 以上的体积。它存放的是经过编码后的原始音视频流。

• 注意：mdat里的数据是没有任何索引的。如果你直接从mdat中间截取一段，解码器是无法播放的，因为它不知道哪里是帧头，哪里是关键帧。

3）moov (Movie Box)

这是文件的“大脑”，也是最复杂的部分。它不包含任何媒体数据，而是存储了所有的元数据（Metadata）。

• mvhd：视频的创建时间、持续时长、播放速度等整体信息。
• trak：轨道信息。一个 MP4 包含多个 trak（如视频轨、音频轨、字幕轨）。
• stbl (Sample Table Box)：这是 MP4 最精妙的设计所在。它记录了每一帧（Sample）在mdat中的具体位置、偏移量、时间戳和大小。

MP4 的索引逻辑：从“时间”到“位置”

播放器如何实现拖动进度条跳转？流程如下：

1. 用户点击 01:00 处。
2. 播放器查找moov下的stbl表。
3. 通过stts(时间转采样) 找到那一秒对应的帧号。
4. 通过stss(同步采样) 找到最近的关键帧。
5. 通过stco(分块偏移) 找到该帧在mdat里的二进制物理地址。
6. 跳转到该地址，开始读取数据给解码器。

关键问题：FastStart 与元数据位置

MP4 有一个臭名昭著的缺点：moov 默认在文件尾部。

在早期网络环境下，浏览器必须下载完整个 MP4 文件（为了读到最后的moov）才能开始播放。这对于流媒体是灾难性的。

• 解决方案：使用 FFmpeg 的-movflags +faststart。这个命令会将moov移动到文件头部。这样浏览器只要下载了几 KB 的头部信息，就能获取索引并立即开始首屏播放。

-movflags +faststart的工作原理

当你在 FFmpeg 命令中加入该标志时，FFmpeg 在完成初次封装后，会执行一个**后处理（Post-processing）**步骤：

1. 扫描文件：视频录制结束，moov已生成在文件末尾。
2. 计算偏移：FFmpeg 计算moov盒子的总大小。
3. 平移数据：将原本在mdat之后的所有数据（即moov）搬运到文件的开头（紧跟在ftyp之后）。
4. 修正索引：这是最关键的一步。由于moov被放到了前面，后面mdat中所有数据的物理位置（File Offset）都往后挪了。FFmpeg 必须递归遍历moov中的stco(Chunk Offset) 和co64表，将里面记录的所有偏移量加上moov的大小。

Step 1 (封装中): [ftyp] [mdat (视频流)] [moov (索引)] Step 2 (执行faststart): - 将 [moov] 移动到 [ftyp] 后面 - 更新 [moov] 内部所有 stco/co64 的偏移数值 Step 3 (最终结果): [ftyp] [moov (修正后的索引)] [mdat (视频流)]

关键 Box 的变化：stco与co64

在 MP4 结构中，stco（Sample Table Chunk Offset）存储的是 32 位的偏移量。

• 如果移动moov后，视频数据的起始位置超过了 4GB，FFmpeg 会自动将stco升级为co64（64 位偏移量）。
• 这就是为什么有些视频在转换后，其moov盒子体积会略微变大的原因。

进阶：Fragmented MP4 (fMP4)

传统的 MP4 结构在直播和自适应流媒体（DASH/HLS）面前显得过于臃肿，因为每次更新内容都要重写整个moov。 于是fMP4应运而生。它将文件拆成许多个微小的片段：

• moov：只存基本信息。
• moof (Movie Fragment)：存放这一小段视频的索引。
• mdat：存放这一小段视频的数据。

fMP4 是现代流媒体技术的基石。它不需要一个巨大的索引表，而是随传随解。

MP4 的封装开销与兼容性

MP4 虽然强大，但它是一种“重封装”。

• AVCC vs Annex-B：MP4 内部存储 H.264 时使用的是AVCC格式（长度前缀），而不是直播流常用的 Annex-B（起始码）。
• 为什么 MP4 不适合录制？如果你在录制 MP4 时突然断电或程序崩溃，由于moov还没来得及写入（或者索引没更新完成），整个文件将无法打开。对于实时录制场景，TS或FLV格式通常更安全。

MP4 结构