MediaCodec 编解码基础：Buffer 队列、状态机与零拷贝的艺术
引言：你以为简单，其实暗流涌动
MediaCodec是 Android 视频开发绕不开的核心类。初学者往往觉得它"挺简单的"——创建一个、配置一下、喂数据、取输出——然后在第一个IllegalStateException面前愣住，接着花一下午研究为什么 Buffer 一直取不到，最后发现自己把releaseOutputBuffer写在了错误的地方……
MediaCodec设计于 Android 4.1，是 Android 第一个直接暴露硬件加速编解码能力的公开 API。它的设计并不复杂，但有几个核心概念必须真正理解，否则代码跑得通但性能一塌糊涂，或者在特定设备上莫名崩溃。
本文把MediaCodec从状态机讲到 Buffer 队列，从同步模式讲到异步模式，再到 Surface 零拷贝的精髓，最后用两个实战案例（视频转码 + 实时编码）把所有知识串起来。
一、架构定位：MediaCodec 在哪一层？
App │ java: android.media.MediaCodec │ JNI (android_media_MediaCodec.cpp) │ ├── ACodec（OMX 通道，旧路径，Android 10 前主流） │ └── OMXNodeInstance → libstagefright_omx.so │ └── CCodec（Codec 2.0 通道，Android 10+ 主流） └── C2Component → Vendor Codec2 HAL └── 硬件编解码器（高通 MSM / MTK Vcodec / Google Tensor）MediaCodec是一个门面（Facade），底层实际由两条路径支撑：旧 OMX（ACodec）和新 Codec2（CCodec）。Android 10 开始，Codec2 成为主推路径，但对应用层完全透明——你写的MediaCodec代码不需要感知底层走哪条路。
关键知识点：硬件编解码器（HW）优先于软件（SW）。MediaCodec.createEncoderByType("video/avc")默认返回硬件 H.264 编码器；如果你非要软件，用createByCodecName("OMX.google.h264.encoder")，但通常不该这么做。
二、状态机：MediaCodec 的生命周期
MediaCodec 有一套严格的状态机，在错误状态调用方法必然抛IllegalStateException。把它记住，能省掉大量调试时间。
2.1 状态迁移的关键约束
| 当前状态 | 允许的操作 |
|---|---|
| Initialized | configure() |
| Configured | start()、setInputSurface()（编码器） |
| Executing | dequeueInputBuffer()、queueInputBuffer()、dequeueOutputBuffer()、releaseOutputBuffer()、flush()、stop() |
| Stopped | reset()（回到 Initialized）、release() |
| Any | release()（任意状态均可释放） |
flush()vsreset()：
flush()：清空所有 Buffer，留在 Executing 状态，适合 seek 后重新开始喂数据reset()：回到 Initialized，需要重新 configure/start，适合格式变更
三、MediaFormat：把参数配对配全
MediaFormat是MediaCodec.configure()的核心参数，配错了轻则编码质量差，重则直接报错。
3.1 视频编码参数
MediaFormatformat=MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC,// "video/avc"，即 H.2641920,1080// 宽 × 高);// 必填参数format.setInteger(MediaFormat.KEY_BIT_RATE,8_000_000);// 码率：8 Mbpsformat.setInteger(MediaFormat.KEY_FRAME_RATE,30);// 帧率：30fpsformat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL,1);// I帧间隔：每秒一个关键帧// 直播建议 0.5，录像建议 1~2// 颜色格式（Surface 输入时不需要手动设）format.setInteger(MediaFormat.KEY_COLOR_FORMAT,MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);// Surface 输入// 或 COLOR_FormatYUV420Flexible（ByteBuffer 输入时用）// 可选但重要的参数format.setInteger(MediaFormat.KEY_PROFILE,// 编码 ProfileMediaCodecInfo.CodecProfileLevel.AVCProfileHigh);// High Profileformat.setInteger(MediaFormat.KEY_LEVEL,MediaCodecInfo.CodecProfileLevel.AVCLevel41);// Level 4.1（1080p@30fps）// 码率控制模式（Android 8+）format.setInteger(MediaFormat.KEY_BITRATE_MODE,MediaCodecInfo.EncoderCapabilities.BITRATE_MODE_VBR);// 可变码率// BITRATE_MODE_CBR：恒定码率（直播/实时通话）// BITRATE_MODE_CQ：恒定质量（不控码率，看画质）3.2 视频解码参数
// 解码时 MediaFormat 来自 MediaExtractor，通常不需要手动构造// 但如果手动构建，至少需要：MediaFormatformat=MediaFormat.createVideoFormat("video/avc",width,height);// CSD（Codec-Specific Data）：SPS/PPS，H.264 解码器必须有format.setByteBuffer("csd-0",ByteBuffer.wrap(sps));// Sequence Parameter Setformat.setByteBuffer("csd-1",ByteBuffer.wrap(pps));// Picture Parameter Set// H.265/HEVCformat.setByteBuffer("csd-0",ByteBuffer.wrap(vpsSpsPps));// VPS+SPS+PPS 合并// VP9 / AV1 无需 CSD，直接解码3.3 常见参数错误
// ❌ 错误：Surface 输入时还设置了 COLOR_FormatYUV420Flexible// 这两种模式互斥，用 Surface 就别设颜色格式format.setInteger(KEY_COLOR_FORMAT,COLOR_FormatYUV420Flexible);// 多余且可能报错// ❌ 错误：I 帧间隔设为 0format.setInteger(KEY_I_FRAME_INTERVAL,0);// 0 在某些厂商 ROM 上表示"无限间隔"（全 P 帧），播放器无法 seek// 如果真的需要每帧都是关键帧（如截屏录制），应该每帧手动触发关键帧：Bundleparams=newBundle();params.putInt(MediaCodec.PARAMETER_KEY_REQUEST_SYNC_FRAME,0);encoder.setParameters(params);// ❌ 错误：码率单位误用（填成 Kbps 而非 bps）format.setInteger(KEY_BIT_RATE,8000);// 8000 bps = 极低质量！format.setInteger(KEY_BIT_RATE,8_000_000);// ✅ 8 Mbps四、同步模式：最直接的用法
同步模式是最经典的MediaCodec用法——通过dequeueInputBuffer/dequeueOutputBuffer主动轮询：
4.1 完整的同步编码流程
MediaCodecencoder=MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);MediaFormatformat=buildVideoFormat();// 见上节encoder.configure(format,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);encoder.start();MediaCodec.BufferInfobufferInfo=newMediaCodec.BufferInfo();booleaninputDone=false;booleanoutputDone=false;while(!outputDone){// ─── 喂输入 ───if(!inputDone){// 超时 10ms，-1 表示无限等待，0 表示立即返回intinputIndex=encoder.dequeueInputBuffer(10_000);if(inputIndex>=0){ByteBufferinputBuffer=encoder.getInputBuffer(inputIndex);inputBuffer.clear();// 填入一帧 YUV 数据intsampleSize=fillYuvFrame(inputBuffer);if(sampleSize<0){// 没有更多数据了：发送 EOSencoder.queueInputBuffer(inputIndex,0,0,0,MediaCodec.BUFFER_FLAG_END_OF_STREAM);inputDone=true;}else{// 提交数据，presentationTimeUs 是显示时间戳（微秒）longpts=computePresentationTimeUs(frameIndex++);encoder.queueInputBuffer(inputIndex,0,sampleSize,pts,0);}}}// ─── 取输出 ───intoutputIndex=encoder.dequeueOutputBuffer(bufferInfo,10_000);switch(outputIndex)