InVideo：基于UE4/UE5的RTSP视频播放与运行时MP4录制插件深度解析

InVideo：基于UE4/UE5的RTSP视频播放与运行时MP4录制插件深度解析

【免费下载链接】InVideo基于UE4实现的rtsp的视频播放插件项目地址: https://gitcode.com/gh_mirrors/in/InVideo

InVideo是一款专为Unreal Engine 4/5设计的开源视频处理插件，实现了RTSP视频流实时播放和游戏运行时场景录制功能。该插件通过深度集成OpenCV和UE4/UE5渲染管线，为游戏开发者提供了专业级的视频处理解决方案，适用于监控系统集成、游戏内视频播放、场景录制等多种应用场景。

快速开始：五分钟部署InVideo插件

环境要求与依赖安装

InVideo插件基于Unreal Engine 4.27+或UE5开发，需要OpenCV 4.6.0作为核心依赖。插件已内置OpenCV库支持，开发者无需单独配置OpenCV环境。

// 插件模块依赖配置（Source/InVideo/InVideo.Build.cs） PrivateDependencyModuleNames.AddRange( new string[] { "InOpenCV", // OpenCV集成模块 "UMG", // UE用户界面框架 "CoreUObject", "Engine", "RHI", // 渲染硬件接口 "RenderCore", "InputCore" } );

插件集成步骤

1. 克隆插件仓库到项目插件目录

git clone https://gitcode.com/gh_mirrors/in/InVideo.git YourProject/Plugins/InVideo

2. 配置游戏视口客户端类打开项目设置 -> 引擎 -> 一般设置，将Game Viewport Client Class设置为InRecordGameViewportClient。

3. 重新编译项目启用插件后，重新编译Unreal Engine项目以确保插件正确加载。

核心模块解析：架构设计与实现原理

视频播放模块（InVideoWidget）

InVideoWidget是插件的核心播放组件，基于UE4的UserWidget扩展实现，支持RTSP、HTTP等多种流媒体协议。

异步视频解码架构

class VideoPlay : public FRunnable { public: void StartPlay(const FString VideoURL, FDelegatePlayFailed Failed, FDelegateFirstFrame FirstFrame, const bool RealMode = true, const int Fps = 25, UInVideoWidget* widget = nullptr); bool Init() override; uint32 Run() override; void Stop() override; private: cv::VideoCapture m_Stream; // OpenCV视频捕获对象 TAtomic<bool> m_Stopping; // 线程安全停止标志 float m_UpdateTime; // 帧更新间隔 };

纹理更新机制

插件使用UE4的纹理动态更新机制，将OpenCV解码的帧数据实时传输到UMG Image组件：

void VideoPlay::UpdateTexture() { if (VideoTexture && m_widget && m_widget->ImageVideo) { // 将OpenCV Mat转换为UE纹理数据 UpdateTextureRegions(VideoTexture, 0, 1, &UpdateRegion, m_WrapOpenCv->m_Frame.step, m_WrapOpenCv->m_Frame.elemSize(), m_WrapOpenCv->m_Frame.data, false); // 更新UI显示 m_widget->ImageVideo->SetBrushFromTexture(VideoTexture); } }

场景录制模块（InSceneRecord）

InSceneRecord模块实现了游戏运行时场景录制功能，支持MP4格式输出，帧率可配置。

录制流程架构

class AInSceneRecord : public AActor, public FRunnable { public: UFUNCTION(BlueprintCallable, Category = "InVideo") void StartRecord(const FString FilePath, const int Fps = 25); UFUNCTION(BlueprintCallable, Category = "InVideo") void StopRecord(); void HandleFrameData(TArray<FColor> Bitmap, int32 x, int32 y); private: cv::VideoWriter m_VideoWriter; // OpenCV视频写入器 TQueue<TArray<FColor>> m_FrameQueue; // 帧数据队列 };

录制性能优化

插件采用双缓冲队列机制，将渲染线程捕获的帧数据异步写入MP4文件，避免阻塞游戏主线程：

void AInSceneRecord::Run() { while (m_IsRecording) { TArray<FColor> FrameData; if (m_FrameQueue.Dequeue(FrameData)) { // 异步编码写入MP4 cv::Mat Frame(m_ImageY, m_ImageX, CV_8UC4, FrameData.GetData()); m_VideoWriter.write(Frame); } FPlatformProcess::Sleep(1.0f / m_Fps); } }

实战应用场景：蓝图集成与代码调用

视频播放集成示例

蓝图可视化集成

1. 创建UI组件

   • 新建Blueprint Widget继承自InVideoWidget
   • 添加Image组件并命名为ImageVideo
   • 添加两个Button组件作为播放控制

2. 播放控制逻辑

// 开始播放事件 On Clicked (Button_0) -> GetText (Editable Text) -> Start Play (Target: self, Video URL: [Text], Failed: CustomEvent_0, Real Mode: true, Fps: 25) // 停止播放事件 On Clicked (Button_1) -> Stop Play (Target: self)

C++代码集成

// 创建视频播放组件 UInVideoWidget* VideoWidget = CreateWidget<UInVideoWidget>(GetWorld()); // 配置播放回调 FDelegatePlayFailed FailedDelegate; FailedDelegate.BindUObject(this, &AMyActor::OnVideoPlayFailed); FDelegateFirstFrame FirstFrameDelegate; FirstFrameDelegate.BindUObject(this, &AMyActor::OnFirstFrameReceived); // 开始播放RTSP流 VideoWidget->StartPlay(TEXT("rtsp://192.168.1.100:554/stream1"), FailedDelegate, FirstFrameDelegate, true, 30);

场景录制集成示例

自动录制配置

// 游戏开始时自动开始录制 Event BeginPlay -> Start Record (Target: InSceneRecord1, File Path: "D:/GameRecording.mp4", Fps: 60) // 游戏结束时自动停止录制 Event EndPlay -> Stop Record (Target: InSceneRecord1)

手动录制控制

// 获取场景录制Actor AInSceneRecord* Recorder = GetWorld()->SpawnActor<AInSceneRecord>(); // 开始录制 Recorder->StartRecord(FPaths::ProjectSavedDir() / TEXT("ManualRecording.mp4"), 30); // 录制过程中... // 执行游戏逻辑 // 停止录制 Recorder->StopRecord();

高级配置选项：性能优化与扩展开发

视频播放参数调优

实时模式与缓冲模式

InVideo支持两种播放模式，适应不同网络环境：

// 实时模式（低延迟，适合局域网） VideoWidget->StartPlay(URL, FailedDelegate, FirstFrameDelegate, true, 25); // 缓冲模式（稳定流畅，适合高延迟网络） VideoWidget->StartPlay(URL, FailedDelegate, FirstFrameDelegate, false, 25);

帧率自适应策略

// 动态调整帧率避免卡顿 void UInVideoWidget::AdaptiveFrameRate() { float CurrentFps = CalculateCurrentFPS(); if (CurrentFps < TargetFps * 0.8f) { // 降低帧率保证流畅性 AdjustPlaybackFrameRate(TargetFps * 0.8f); } }

录制功能高级配置

多分辨率录制支持

// 配置录制分辨率 void AInSceneRecord::ConfigureResolution(int32 Width, int32 Height) { m_ImageX = Width; m_ImageY = Height; // 重新初始化VideoWriter m_VideoWriter = cv::VideoWriter( TCHAR_TO_UTF8(*m_FilePath), cv::VideoWriter::fourcc('H', '2', '6', '4'), m_Fps, cv::Size(Width, Height) ); }

录制质量参数

性能优��建议

内存管理优化

// 使用对象池管理纹理资源 TArray<UTexture2D*> TexturePool; UTexture2D* GetTextureFromPool(int32 Width, int32 Height) { for (UTexture2D* Texture : TexturePool) { if (Texture->GetSizeX() == Width && Texture->GetSizeY() == Height) { return Texture; } } return CreateNewTexture(Width, Height); }

线程安全设计

// 使用原子操作保证线程安全 TAtomic<int32> FrameCounter(0); void VideoPlay::UpdateTexture() { // 使用互斥锁保护共享资源 FScopeLock Lock(&TextureMutex); // 更新纹理数据 if (!m_Stopping) { // 安全的纹理更新逻辑 } }

常见问题排查指南

视频播放问题

问题1：RTSP流无法连接

症状：播放器显示黑屏或连接失败排查步骤：

1. 检查网络连接和RTSP服务器状态
2. 验证URL格式：rtsp://username:password@ip:port/stream
3. 检查防火墙设置，确保554端口开放
4. 使用VLC等工具测试RTSP流可用性

问题2：播放卡顿或掉帧

解决方案：

// 调整播放参数 VideoWidget->StartPlay(URL, FailedDelegate, FirstFrameDelegate, false, 15); // 降低帧率 // 或 VideoWidget->StartPlay(URL, FailedDelegate, FirstFrameDelegate, true, 25); // 启用实时模式

录制功能问题

问题1：录制文件无法播放

排查步骤：

1. 检查文件路径权限：确保有写入权限
2. 验证编码器支持：确保系统安装了H.264编码器
3. 检查帧数据格式：确认RGB到BGR颜色空间转换正确

问题2：录制性能影响游戏帧率

优化建议：

// 降低录制分辨率 Recorder->StartRecord(FilePath, 30); // 使用默认分辨率 // 或调整录制帧率 Recorder->StartRecord(FilePath, 15); // 降低到15fps

插件集成问题

问题1：编译错误

常见原因：

1. OpenCV库路径配置错误
2. UE版本不兼容（需要4.27+或UE5）
3. 模块依赖缺失

解决方案：

1. 检查InOpenCV.Build.cs配置
2. 确认UE版本符合要求
3. 重新生成项目文件

问题2：运行时崩溃

调试方法：

// 启用详细日志 UE_LOG(LogTemp, Verbose, TEXT("VideoPlay: Opening stream %s"), *VideoURL); // 检查OpenCV初始化 if (!m_WrapOpenCv->m_Stream.open(TCHAR_TO_UTF8(*VideoURL))) { UE_LOG(LogTemp, Error, TEXT("Failed to open video stream: %s"), *VideoURL); return; }

扩展开发指引：自定义功能实现

添加新的视频协议支持

// 扩展视频源支持 class FVideoSourceAdapter { public: virtual bool Open(const FString& Url) = 0; virtual bool ReadFrame(cv::Mat& Frame) = 0; virtual void Close() = 0; }; // RTSP源实现 class FRTSPSource : public FVideoSourceAdapter { public: bool Open(const FString& Url) override { return m_Capture.open(TCHAR_TO_UTF8(*Url)); } private: cv::VideoCapture m_Capture; };

实现视频滤镜处理

// 集成OpenCV图像处理 void UInVideoWidget::ApplyVideoFilter(EFilterType FilterType) { switch (FilterType) { case EFilterType::Grayscale: cv::cvtColor(m_CurrentFrame, m_ProcessedFrame, cv::COLOR_BGR2GRAY); break; case EFilterType::EdgeDetection: cv::Canny(m_CurrentFrame, m_ProcessedFrame, 100, 200); break; } UpdateTextureWithFrame(m_ProcessedFrame); }

添加音频录制支持

// 扩展录制功能支持音频 class AInSceneRecordWithAudio : public AInSceneRecord { public: void StartRecordWithAudio(const FString& FilePath, int32 Fps) { // 初始化音频录制 m_AudioRecorder.Initialize(); // 调用父类视频录制 Super::StartRecord(FilePath, Fps); } private: FAudioRecorder m_AudioRecorder; };

技术架构图：InVideo插件组件关系

InVideo插件采用分层架构设计，确保各模块职责清晰、耦合度低：

┌─────────────────────────────────────────────────────┐ │ 应用层（蓝图/C++） │ ├─────────────────────────────────────────────────────┤ │ 视频播放控制 │ 场景录制控制 │ 参数配置界面 │ 状态监控 │ └──────────────────────────┬──────────────────────────┘ │ ┌──────────────────────────┼──────────────────────────┐ │ 业务逻辑层（InVideoWidget/InSceneRecord） │ ├─────────────────────────────────────────────────────┤ │ 视频解码线程 │ 纹理更新管理 │ 录制队列管理 │ 帧率控制 │ └──────────────────────────┬──────────────────────────┘ │ ┌──────────────────────────┼──────────────────────────┐ │ OpenCV集成层（WrapOpenCv/VideoUtils） │ ├─────────────────────────────────────────────────────┤ │ RTSP流处理 │ H.264编码 │ 图像格式转换 │ 编解码器管理 │ └──────────────────────────┬──────────────────────────┘ │ ┌──────────────────────────┼──────────────────────────┐ │ UE4/UE5渲染层（RHI/RenderCore） │ ├─────────────────────────────────────────────────────┤ │ 纹理资源管理 │ GPU数据传输 │ 着色器处理 │ 显示输出 │ └─────────────────────────────────────────────────────┘

性能基准测试与最佳实践

性能测试数据

最佳实践建议

1. 网络优化：对于RTSP流，建议使用有线网络连接，确保带宽稳定
2. 分辨率选择：根据显示需求选择合适分辨率，避免不必要的性能开销
3. 内存管理：定期释放不再使用的纹理资源，避免内存泄漏
4. 错误处理：实���完善的错误回调机制，确保用户体验
5. 日志记录：在生产环境中启用适当的日志级别，便于问题排查

多平台适配建议

InVideo插件主要针对Windows平台开发，如需扩展到其他平台：

1. Linux/macOS支持：需要重新编译OpenCV库
2. 移动端适配：考虑使用硬件加速解码
3. 控制台平台：需要平台特定的视频API集成

总结：InVideo插件的技术价值

InVideo插件通过深度集成OpenCV与Unreal Engine，为游戏开发者提供了完整的视频处理解决方案。其核心价值体现在：

1. 专业级视频处理：基于OpenCV的成熟编解码库，支持多种视频格式和协议
2. 高性能异步架构：多线程设计确保视频处理不影响游戏主循环
3. 易用的蓝图接口：可视化编程降低使用门槛，快速集成到现有项目
4. 灵活的扩展性：模块化设计支持自定义功能扩展
5. 生产环境稳定性：经过实际项目验证，具备良好的稳定性和可靠性

无论是开发游戏内视频播放功能，还是实现游戏过程录制分享，InVideo插件都能提供专业级的技术支持。通过本文的深度解析和实战指南，开发者可以快速掌握插件的核心功能，并根据项目需求进行定制化开发。

【免费下载链接】InVideo基于UE4实现的rtsp的视频播放插件项目地址: https://gitcode.com/gh_mirrors/in/InVideo