当前位置：首页 > news >正文

AndroidInstantVideo架构设计：视频数据流动与MediaCodec封装原理

news 2026/7/21 21:24:51

AndroidInstantVideo架构设计：视频数据流动与MediaCodec封装原理

【免费下载链接】AndroidInstantVideo展现Android硬编码下的视频数据流动，可以对视频做处理，例如加滤镜，加水印等，做直播推流（用RTMP）。 Show the stream of Android video hardware encode, including video processing and video publishing by RTMP.项目地址: https://gitcode.com/gh_mirrors/an/AndroidInstantVideo

AndroidInstantVideo是一个展现Android硬件编码下视频数据流动的开源项目，它能够对视频进行实时处理，如添加滤镜、水印等，并支持RTMP直播推流。本文将深入解析AndroidInstantVideo的架构设计，重点探讨其视频数据流动机制和MediaCodec封装原理，为Android视频处理开发者提供完整的技术指南。

🎯 项目核心功能与架构概览

AndroidInstantVideo项目采用了分层架构设计，将视频采集、编码、处理和推流等核心功能模块化封装。项目主要包含以下几个关键模块：

相机模块(applibs/src/main/java/com/chillingvan/lib/camera/)：负责相机视频流的采集和管理
编码器模块(applibs/src/main/java/com/chillingvan/lib/encoder/)：封装MediaCodec实现H.264视频编码和AAC音频编码
多路复用器模块(applibs/src/main/java/com/chillingvan/lib/muxer/)：处理音视频数据的复用和封装
推流器模块(applibs/src/main/java/com/chillingvan/lib/publisher/)：整合所有组件实现完整的直播推流功能

🔄 视频数据流动的完整流程

1. 视频采集与预处理

视频数据流动始于相机采集。项目中的InstantVideoCamera类封装了Android Camera2 API，通过SurfaceTexture获取相机预览帧。关键代码位于CameraStreamPublisher.java：

surfaceTexture.setOnFrameAvailableListener(new SurfaceTexture.OnFrameAvailableListener() { @Override public void onFrameAvailable(SurfaceTexture surfaceTexture) { cameraPreviewTextureView.requestRenderAndWait(); streamPublisher.drawAFrame(); } });

当有新帧可用时，系统会触发渲染请求，将视频帧送入处理流水线。

2. OpenGL ES图像处理

项目利用OpenGL ES进行实时图像处理，这是实现滤镜和水印功能的关键。MultiTexOffScreenCanvas类提供了离屏渲染能力，开发者可以通过OnDrawListener接口自定义绘制逻辑：

public interface OnDrawListener { void onGLDraw(ICanvasGL canvasGL, List<GLTexture> producedTextures, List<GLTexture> consumedTextures); }

这种设计允许在视频编码前对每一帧进行自定义处理，如添加水印、应用滤镜效果等。

3. MediaCodec硬件编码封装

AndroidInstantVideo的核心创新在于对MediaCodec的优雅封装。H264Encoder类封装了视频编码的复杂逻辑：

public class H264Encoder { private final Surface mInputSurface; private final MediaCodecInputStream mediaCodecInputStream; MediaCodec mEncoder; public H264Encoder(final StreamPublisher.StreamPublisherParam params, final EglContextWrapper eglCtx) throws IOException { MediaFormat format = params.createVideoMediaFormat(); format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface); mEncoder = MediaCodec.createEncoderByType(params.videoMIMEType); mEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE); mInputSurface = mEncoder.createInputSurface(); mEncoder.start(); } }

通过创建Surface作为编码器输入，项目实现了高效的GPU到编码器的零拷贝数据传输。

4. 音频编码同步处理

音频编码同样采用MediaCodec，但处理方式有所不同。AACEncoder类在独立线程中处理音频数据：

public void start() { mAudioRecord.startRecording(); mMediaCodec.start(); mThread = new Thread(new Runnable() { @Override public void run() { while (isStart && !Thread.interrupted()) { bufferIndex = mMediaCodec.dequeueInputBuffer(10000); if (bufferIndex >= 0) { len = mAudioRecord.read(inputBuffers[bufferIndex], bufferSize); mMediaCodec.queueInputBuffer(bufferIndex, 0, len, presentationTimeUs, 0); } } } }); mThread.start(); }

🏗️ MediaCodec封装的核心设计模式

1. 流式处理架构

项目采用生产者-消费者模式处理视频数据。StreamPublisher类作为协调者，管理视频编码器、音频编码器和多路复用器之间的数据流动：

public class StreamPublisher { private H264Encoder h264Encoder; private AACEncoder aacEncoder; private IMuxer muxer; public boolean drawAFrame() { if (isStart) { h264Encoder.requestRender(); writeVideoHandler.sendEmptyMessage(MSG_WRITE_VIDEO); return true; } return false; } }

2. 异步数据处理机制

为了避免阻塞主线程，项目使用HandlerThread进行异步数据处理。视频编码数据通过MediaCodecInputStream流式读取：

writeVideoHandler = new Handler(writeVideoHandlerThread.getLooper()) { @Override public void handleMessage(Message msg) { MediaCodecInputStream mediaCodecInputStream = h264Encoder.getMediaCodecInputStream(); MediaCodecInputStream.readAll(mediaCodecInputStream, writeBuffer, new MediaCodecInputStream.OnReadAllCallback() { @Override public void onReadOnce(byte[] buffer, int readSize, MediaCodec.BufferInfo bufferInfo) { muxer.writeVideo(buffer, 0, readSize, bufferInfo); } }); } };

3. 可扩展的多路复用器接口

项目定义了IMuxer接口，支持不同的输出格式和协议：

public interface IMuxer { int open(StreamPublisher.StreamPublisherParam params); void writeVideo(byte[] buffer, int offset, int length, MediaCodec.BufferInfo bufferInfo); void writeAudio(byte[] buffer, int offset, int length, MediaCodec.BufferInfo bufferInfo); int close(); }

目前实现了RTMPStreamMuxer用于直播推流和MP4Muxer用于本地文件录制。

⚡ 性能优化关键技术

1. 纹理共享机制

为了减少内存拷贝，项目实现了纹理共享机制。H264Encoder支持添加外部纹理：

public void addSharedTexture(GLTexture texture) { offScreenCanvas.addConsumeGLTexture(texture); }

这使得相机预览纹理可以直接用于编码，避免了CPU和GPU之间的数据拷贝。

2. 时间戳同步

音视频同步是直播系统的关键挑战。项目使用TimeIndexCounter维护精确的时间戳：

public class BufferInfoEx { private final MediaCodec.BufferInfo bufferInfo; private final long timeIndex; public BufferInfoEx(MediaCodec.BufferInfo bufferInfo, long timeIndex) { this.bufferInfo = bufferInfo; this.timeIndex = timeIndex; } }

3. 帧池管理

为了避免频繁的内存分配，项目实现了FramePool进行帧对象复用：

public class FramePool { private Queue<Frame> videoFramePool = new LinkedList<>(); private Queue<Frame> audioFramePool = new LinkedList<>(); public Frame obtainFrame(int type) { Queue<Frame> pool = type == TYPE_VIDEO ? videoFramePool : audioFramePool; return pool.isEmpty() ? new Frame() : pool.poll(); } }

🚀 快速入门：构建你的第一个视频处理应用

1. 初始化相机和预览视图

InstantVideoCamera instantVideoCamera = new InstantVideoCamera(); GLMultiTexProducerView cameraPreviewTextureView = findViewById(R.id.texture_view);

2. 配置推流参数

StreamPublisher.StreamPublisherParam param = new StreamPublisher.StreamPublisherParam.Builder() .setWidth(640) .setHeight(480) .setVideoBitRate(2949120) .setFrameRate(30) .createStreamPublisherParam(); param.outputUrl = "rtmp://your-server/live/stream";

3. 创建推流器并开始推流

CameraStreamPublisher streamPublisher = new CameraStreamPublisher( new RTMPStreamMuxer(), cameraPreviewTextureView, instantVideoCamera); streamPublisher.prepareEncoder(param, new H264Encoder.OnDrawListener() { @Override public void onGLDraw(ICanvasGL canvasGL, List<GLTexture> producedTextures, List<GLTexture> consumedTextures) { // 在此处添加自定义视频处理逻辑 canvasGL.drawBitmap(watermarkBitmap, 10, 10); } }); streamPublisher.resumeCamera(); streamPublisher.startPublish();

📊 架构优势与最佳实践

1. 模块化设计

AndroidInstantVideo的模块化架构使得各个组件可以独立测试和替换。例如，你可以轻松替换RTMPStreamMuxer为其他协议的实现。

2. 错误处理与资源管理

项目采用了严格的资源管理策略，确保在异常情况下正确释放MediaCodec、Camera等系统资源：

public void close() { isStart = false; if (h264Encoder != null) { h264Encoder.close(); } if (aacEncoder != null) { aacEncoder.close(); } if (muxer != null) { muxer.close(); } }

3. 配置灵活性

通过StreamPublisherParam类，开发者可以灵活配置编码参数：

public static class StreamPublisherParam { public int width = 640; public int height = 480; public int videoBitRate = 2949120; // 3Mbps public int frameRate = 30; public int iframeInterval = 5; public int samplingRate = 44100; public int audioBitRate = 32000; // 32kbps }

🔧 调试与性能调优建议

1. 监控编码延迟

在H264Encoder中添加性能监控代码：

long startTime = System.nanoTime(); h264Encoder.requestRender(); long encodeTime = System.nanoTime() - startTime; Log.d("Performance", "Frame encode time: " + encodeTime / 1000000 + "ms");