Simulcast多流自适应技术详解
一、Simulcast技术原理
Simulcast（联播）是WebRTC中一种通过同时编码并发送多个不同分辨率与帧率的视频流副本，以适配不同下行网络环境与终端显示需求的技术机制。其核心运作范式为：推流端（发送端）在编码环节生成多个独立的质量层级（通常称为“层”或“流”），例如高清（HD）、标清（SD）与低清（LD），并将这些并行的视频流传输至服务器（SFU）。服务器作为中间节点，并不对视频流进行转码，而是根据订阅端（接收端）实时上报的网络带宽、设备性能或用户显式选择，动态地选择并转发其中最适配的一路视频流。这种设计旨在解决单一固定码率流无法同时满足多类接收方差异化需求的问题，其核心价值在于提升大规模视频会议或直播场景下的网络自适应能力与用户体验。
二、Simulcast的配置与开启方式
在mediasoup框架中，Simulcast功能的启用与配置主要通过生产者（Producer）在创建时指定的编码参数（encodings）实现。这是一个典型的技术配置表格，展示了关键参数及其作用：
| 参数名 | 数据类型 | 作用描述 | 配置示例/说明 |
|---|---|---|---|
scaleResolutionDownBy | number | 分辨率缩放因子。值为2表示将原始分辨率宽高各除以2。用于定义不同视频层级的空间分辨率。 | { scaleResolutionDownBy: 1 }表示原始分辨率层（大流）。{ scaleResolutionDownBy: 2 }表示二分之一分辨率层（中流）。 |
maxBitrate | number | 该编码层的最大比特率（单位bps）。用于控制不同层级的码率上限。 | 例如，可为大流设置maxBitrate: 1500000（1.5 Mbps），为中流设置maxBitrate: 500000（500 kbps）。 |
scalabilityMode | string | 指定可伸缩视频编码（SVC）或Simulcast模式。对于Simulcast，通常设置为"L1T3"等。 | "L1T3"表示1个空间层，3个时间层。在纯Simulcast场景下，通常每个encoding对应一个独立的Simulcast流。 |
以下是一个在创建视频生产者时，配置双流Simulcast（大流、小流）的JavaScript代码示例：
// 假设 transport 是一个已建立的 WebRTC Transport const videoProducer = await transport.produce({ track: videoTrack, // 从 getUserMedia 获取的视频轨道 encodings: [ // 第一层：大流（原始分辨率，高码率） { scalabilityMode: 'L1T3', scaleResolutionDownBy: 1, maxBitrate: 1500000, }, // 第二层：小流（1/2分辨率，低码率） { scalabilityMode: 'L1T3', scaleResolutionDownBy: 2, maxBitrate: 500000, // 可选：通过 rid 和 codecPayloadType 进行更精细的RTP流标识 rid: 'q', codecPayloadType: 103, // 假设的Payload Type，需与协商一致 }, ], // 其他参数... codecOptions: { videoGoogleStartBitrate: 1000, }, });此配置指示mediasoup和浏览器端同时编码并发送两路不同质量的视频流。
三、Simulcast的流切换过程
服务器端的流切换逻辑是Simulcast功能的关键。mediasoup中的消费者（Consumer）是接收方实体，服务器通过控制消费者来实现在不同Simulcast流间的切换。切换的触发条件通常包括：
- 网络带宽自适应：接收端通过RTCP反馈（如REMB, Transport-CC）或带宽估算算法检测到可用带宽下降，请求切换至更低码率的流。
- 用户手动选择：UI提供“画质切换”按钮，用户主动选择“流畅”、“清晰”等模式。
- 服务端策略：基于订阅人数、服务器负载等策略性选择转发某一路流。
切换过程在源码层面主要涉及对消费者setPreferredLayers方法的调用。此方法用于指示服务器希望接收哪个Simulcast层。例如，当需要从大流切换到小流时，接收端或服务端逻辑会执行类似以下操作：
// consumer 是已创建的视频消费者对象 await consumer.setPreferredLayers({ spatialLayer: 0, // 空间层索引 (对于Simulcast，通常每个encoding视为一个独立的“流”，此处索引可能对应encoding顺序) temporalLayer: 2, // 时间层索引（最高时间层） }); // 注意：实际参数需根据mediasoup的层级映射关系确定。对于典型的Simulcast，`spatialLayer`参数可能用于选择不同的`encoding`索引。服务器（mediasoup-worker）在收到此请求后，会执行内部RTP路由的切换，停止转发之前的流，开始转发新选中的流。这个过程在服务器内部完成，无需推流端重新编码或调整发送，因此切换延迟极低，通常在百毫秒级别，实现了无缝的画质适应。
综上所述，Simulcast通过推流端的多重编码与服务器端的智能路由，构建了一套高效的自适应视频分发体系。其配置集中于生产者编码参数，而核心控制逻辑体现在消费者的层级切换接口，二者协同工作以应对复杂的实时通信网络环境。
参考来源
- mediasoup 源码分析 （二十七）simulcast