Vidu S1：全球领先的实时交互模型

过去，大模型主要用于生成一段预先设定好的视频：用户输入提示词，等待模型完成计算，再获得最终结果。虽然这一模式推动了 AI 视频创作的发展，但模型始终停留在"生成内容"层面，无法像人与人交流一样，在生成过程中持续理解用户、实时响应新的输入。

ViduS1 ，让 AI 视频从"离线生成"迈向"实时交互"。

作为全球领先的实时交互模型，Vidu S1 面向实时对话、AI情感陪伴、虚拟IP角色、互动游戏等场景，实现视频在生成过程中持续接收语音、理解指令，并实时生成新的画面反馈，让 AI 从"播放视频"升级为"实时互动"。这套实时交互能力在消费级显卡中即可运行。

【 立即体验S1 】【 接入企业API 】【技术报告】

实时交互，并不仅意味着更低的延迟，而是要求模型能够持续理解用户输入，并在每一帧画面中实时做出响应。

为了实现这一目标，Vidu S1 构建了一套面向实时视频生成的新技术，通过高质量数据、模型架构、训练算法、极致推理加速和部署深度协同，使模型能够持续生成视频、持续保持角色一致性，并在交互过程中不断响应新的语音和指令。

基于这一技术体系，Vidu S1 实现了四项核心能力：

这意味着，视频大模型从一次性的内容生成工具，演进为能够长期在线、持续交互的新一代实时视频生成系统。

1.语音指令实时跟随：从“语音驱动口型”到“语音控制行为”

传统数字人大多采用"语音驱动口型"方案。

模型能够让嘴型与声音保持同步，但人物的表情、动作和手势通常依赖预设动作库，交互方式相对固定，难以根据用户实时输入产生自然反馈。

Vidu S1 则进一步实现了语音控制角色行为。

系统能够结合用户当前输入的语音内容、情绪以及画面状态，在角色说话的同时，实时生成对应的口型、表情、手势和身体姿态，而非调用固定动作模板。

整个交互过程从过去的：

语音输入 → 口型同步

升级为：

语音输入 → 行为理解 → 实时生成表情、动作与反馈

数字人因此从"会说话的虚拟形象"，升级为能够被语音实时控制的生成式角色。

2.实时生成 无限时长：自回归视频生成，让视频走向可实时改变

传统视频生成模型通常一次生成一段固定长度的视频。用户输入条件后，模型生成完整片段，视频内容基本已经确定。生成过程中如果用户再发出新的语音指令，模型很难实时改变后续画面，只能重新生成一段视频，只能作为“离线视频创作工具”。

Vidu S1采用自回归视频生成路线，不是一次性生成完整视频，而是基于已经生成的历史画面，持续预测视频的下一帧。

历史画面状态 + 当前语音 / 指令 / 对话上下文

↓

自回归生成下一帧

↓

更新角色状态缓存

↓

继续生成下一帧

这种机制带来的核心优势是：视频生成过程中可以实时接收新的用户语音信息，并用新的语音指令决定后续视频走向。也就是说，视频不是预先生成好的固定内容，而是在交互过程中持续生成、持续响应、持续演化。

传统视频生成：

输入条件 → 生成一段固定视频 → 播放结束

我们的自回归视频生成：

历史画面 → 接收实时语音 → 生成下一帧 → 持续改变后续视频走向

为了保证长时间生成的稳定性，生成过程中同时维护两类上下文：

长期身份 anchor：保持人物长相、服饰、风格一致

短期滑动窗口：保持最近表情、动作、姿态连续

长期身份 anchor 负责防止角色偏离预定义形象；短期滑动窗口负责保证相邻帧之间动作自然衔接。通过这种方式，数字人既能长时间稳定在线，也能在生成过程中实时响应用户语音，实现真正的交互式视频生成。

3.540P + 25 FPS 实时交互：从“离线生成”到“视频通话级输出”

传统视频生成模型主要面向离线内容创作。用户输入提示词后，模型经过一段时间计算，再输出一个完整视频。这种方式局限于短视频生成，无法服务于视频通话、直播互动、实时陪伴等场景，因为这些场景要求模型能够持续输出、快速响应、帧率稳定。

Vidu S1则面向实时交互重新设计，目标是在540P(960x540) 分辨率、25FPS（最高支持42FPS） 帧率下，让视频模型像视频通话和游戏一样持续生成和响应。

这一能力不是简单地“把模型跑快”，而是从两个层面同时优化：

模型侧：降低单帧生成成本，让每一帧更快生成

系统侧：优化流式服务调度，让视频流稳定输出

在模型侧，使用生数科技的 TurboDiffusion、SageAttention、SLA、SpargeAttention 等视频生成加速路线[1-4]，通过少步生成、注意力计算优化、模型量化和推理内核优化，降低每一帧视频生成所需的计算量，在消费级显卡上就可以实现 540P 分辨率、25FPS（最高支持42 FPS）实时生成。

在系统侧，使用生数科技的 TurboServe [5] 流式视频生成 Serving 方案 ，利用针对流式视频生成的先进大规模集群部署技术，动态分配计算资源，保证视频可以连续输出、延迟稳定。

可以概括为：

传统离线视频生成：

提交请求 → 等待完整视频生成 → 播放结果

我们的实时交互式数字人生成：

实时语音输入 → 逐帧生成 → 持续播放 → 持续响应

为了降低感知延迟，系统采用流式流水线执行：在播放当前画面的同时，模型已经在计算后续画面；在用户输入新语音指令后，系统可以快速将新指令注入后续帧生成中，使视频生成内容实时变化。

更直观地说，540P + 25FPS (最高支持42FPS) 的意义不只是画质和帧率指标，而是让实时视频生成模型具备进入视频通话、直播、实时陪伴、互动游戏和 XR 场景的关键基础。它要求模型、推理引擎和服务系统共同工作，持续保证低延迟、稳定帧率和长时间在线。

4.支持任意图片任意音色即时创建角色，告别逐角色训练

传统数字人通常需要上传多张图片或视频素材，再经过建模、绑定、口型适配或角色训练，制作周期从几分钟到一天不等。Vidu S1 采用纯生成式路线，彻底取消了离线建模与角色训练环节：用户只需上传一张首帧图，模型即可即时理解角色的身份、外观与风格，无需任何预处理或等待，随即在交互中实时生成该角色的表情、口型、动作与姿态。

同时，Vidu S1支持自定义音色，使数字人在视觉形象和声音身份上保持一致。这让数字人创建从“上传素材后等待训练”变成“上传首帧后直接交互”，大幅降低了个性化数字人的使用门槛。数字人的创建方式因此从：

上传素材 → 等待训练 → 开始使用

升级为：

上传首帧 → 即时交互

显著降低了个性化数字人的创建门槛。

多项全球领先技术协同，支撑实时交互能力

实时交互视频模型的实现，并非依赖单一技术突破，而是模型架构、训练算法、推理优化与系统部署的全面协同。

在模型推理层，Vidu S1 融合生数科技的TurboDiffusion[1]、SageAttention[2]、SLA[3]、SpargeAttention[4] 等视频生成加速技术路线，大幅降低视频生成所需计算量。

在系统部署层，Vidu S1 使用生数科技的TurboServe[5] 大规模集群部署方案，动态调度计算资源，使视频能够持续输出、稳定响应，有效降低实时交互过程中的感知延迟。

模型侧与系统侧的深度融合，共同构成了 Vidu S1 实时交互能力的技术基础。

Vidu S1 已完全开放，用户可自定义初始图像并进行实时互动体验，还开放了 API 平台：

线上体验已全面开放：

线上体验地址：https://www.vidu.cn/vidu-stream

API开放平台：https://platform.vidu.cn/

APP体验方式：在应用商店搜索「Vidu Ai Pro」，下载后进入 Vidu S1即可体验

[1] TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times.

[2] Sageattention: Accurate 8-bit attention for plug-and-play inference acceleration.

[3] Sla: Beyond sparsity in diffusion transformers via fine-tunable sparse-linear attention.

[4] Spargeattention: Accurate and training-free sparse attention accelerating any model inference.

[5] TurboServe: Serving Streaming Video Generation Efficiently and Economically.