Fay+UE5超写实数字人开发实战：从AI驱动到实时渲染全链路解析

1. 项目概述：当Fay遇见UE5，一个超写实数字人的诞生

如果你和我一样，一直在寻找一个既能快速集成AI对话能力，又能驱动高保真虚拟形象的开源方案，那么Fay数字人框架与Unreal Engine 5的结合，绝对是一个值得投入时间研究的“宝藏”组合。这不仅仅是把一个人物模型放到引擎里那么简单，它打通了从后端智能决策到前端实时渲染的完整链路，让你能亲手打造一个会思考、会表达、表情生动的“数字员工”或“虚拟伙伴”。

简单来说，Fay负责“大脑”和“神经系统”。它是一个集成了大语言模型（LLM）和语音技术的开源框架，能处理自然语言对话、生成语音、分析情感，并输出对应的表情和口型指令。而UE5，则扮演着“身体”和“世界”的角色。凭借其Nanite虚拟几何体和Lumen全局光照等次世代技术，它能以电影级的画质实时渲染出毛孔级精度的数字人，并流畅地驱动其面部表情与肢体动作。我们的工作，就是在这两者之间架起一座高速、稳定的“桥梁”——通过WebSocket等通信协议，让Fay的指令精准地控制UE5中数字人的一颦一笑。

这套方案适合谁？对于虚拟主播、数字员工、沉浸式教育或导览应用的开发者来说，它提供了一个从零到一的完整参考。对于技术美术（TA）或引擎程序员，这是一个深入理解AI驱动动画与实时渲染结合的绝佳案例。即使你是个UE新手，跟着教程一步步走，也能亲眼见证一个静态模型如何“活”过来。接下来，我会结合我实际对接中的经验，拆解从环境搭建到高级优化的全流程，并分享那些官方文档里不会写的“坑”和技巧。

2. 核心思路与架构设计：为什么是Fay+UE5？

在动手写第一行代码之前，理解整个系统的设计思路至关重要。这能帮助你在遇到问题时，快速定位是通信、渲染还是逻辑层的故障。

2.1 技术选型背后的逻辑

为什么选择Fay而不是其他数字人框架？核心在于它的“AI原生”与“开源可定制”。许多商业数字人方案是黑盒，你很难修改其内部的对话逻辑或情感分析模型。Fay则把LLM集成、语音合成（TTS）、语音识别（ASR）以及最重要的——情感与表情的映射逻辑——都开源了出来。这意味着你可以根据你的应用场景，训练或微调专属的AI模型，让数字人的反应更贴合你的业务需求。例如，做一个法律咨询数字人，你可以强化其严谨、冷静的语料和对应表情；做一个游戏NPC，则可以注入更多夸张和戏剧化的反应。

为什么选择UE5而不是Unity或其他引擎？答案在于“超写实”与“生产管线成熟度”。UE5的MetaHuman Creator生态是目前创建高保真数字人门槛最低、效果最好的方案，没有之一。它提供了一整套从扫描数据级的面部模型、成千上万个Blendshape（形变目标）到高度完善的骨骼绑定（Rig）。这意味着你无需从零开始建模、绑定骨骼、雕刻表情，而是可以直接在MetaHuman Creator里通过滑块“捏”出一个独一无二的角色，并导出UE5完全兼容的资源。此外，UE5的动画蓝图（Animation Blueprint）和控制绑定（Control Rig）系统，为接收外部数据驱动面部动画提供了极其灵活和强大的节点化编程能力。

2.2 系统架构拆解

整个系统可以清晰地分为四个层次，理解每一层的职责，对接时才能有的放矢。

1. AI与业务逻辑层（Fay后端）：这是系统的大脑。它部署在服务器或本地，通常是一个Python服务。它接收用户的文本或语音输入，调用LLM（如GPT、ChatGLM等）生成回复文本，再通过TTS引擎将文本转为语音音频流。同时，Fay的核心功能在于，它能分析生成文本的情感色彩（如开心、悲伤、惊讶），并将其量化为一系列面部动作单元（Facial Action Units）的强度值。这些数据（音频流+表情参数）就是需要发送给UE5的“指令”。

2. 通信传输层（WebSocket/HTTP）：这是连接大脑与身体的神经。为什么常用WebSocket而不是普通的HTTP？因为数字人的交互需要双向、低延迟、持续的数据流。HTTP的“请求-响应”模式不适合实时推送表情参数和音频流。WebSocket建立一次连接后，双方可以随时互发消息，完美适配音频流传输和实时表情控制。消息格式通常采用轻量级的JSON，结构清晰，易于解析。

3. 渲染与驱动层（UE5客户端）：这是系统的身体。UE5项目运行在用户终端（PC、移动设备或云端串流）。它需要做三件事：

   • 建立连接：启动一个WebSocket客户端，连接到Fay后端服务。
   • 解析与驱动：接收并解析JSON消息。将表情参数映射到角色面部的Morph Target（形变目标）或骨骼动画上；将音频流数据送入音频组件播放，并同步驱动基于音频分析的嘴唇同步（Lip Sync）动画。
   • 超写实渲染：利用UE5的渲染管线，对数字人模型进行实时渲染，呈现皮肤次表面散射、眼球湿润感、发丝细节等效果。

4. 资源层：包括数字人模型（FBX/ABC格式）、骨骼绑定、材质贴图、动画序列等所有静态资源。这部分的质量直接决定了最终效果的保真度。

注意：在实际架构中，为了减轻UE5客户端的计算压力，通常会将语音识别（ASR）放在Fay后端进行。即用户通过麦克风输入语音到UE5，UE5将音频流发送给Fay，Fay完成语音转文本后，再走完整的AI生成流程。这样UE5只负责渲染、播放和简单的音频转发，架构更清晰。

3. 环境准备与项目初始化：避开第一个坑

万事开头难，环境配置往往是劝退第一关。按照以下步骤，可以确保你有一个干净、可用的起点。

3.1 开发环境清单与版本控制

软件清单：

• Unreal Engine 5：版本建议5.3或5.4。这两个是长期支持（LTS）版本，稳定性和插件兼容性最好。务必通过Epic Games Launcher安装，并勾选安装“Android”或“iOS”平台支持（即使你目前不做移动端），因为这会包含一些必要的编译工具链。
• Python：版本3.8 到 3.11。Fay后端通常基于此版本范围。强烈建议使用conda或venv创建独立的虚拟环境，避免包冲突。
• Git：用于克隆Fay项目代码。
• IDE：UE5开发推荐使用Visual Studio 2022(社区版即可) 并安装“使用C++的游戏开发”工作负载。Python开发推荐VSCode或PyCharm。

第一个实操心得：UE5源码编译 vs 预编译版本如果你需要深度修改引擎或集成特定插件，需要下载UE5源码进行编译。但这过程耗时（可能数小时）且对硬件要求高（32GB内存是舒适起点）。对于大多数对接开发，直接使用Epic Games Launcher提供的预编译版本是最快最稳的选择。我们对接Fay，99%的工作在项目层面，无需动引擎源码。

3.2 Fay后端服务部署详解

1. 获取代码：

   git clone https://gitcode.com/GitHub_Trending/fay/Fay.git cd Fay

   进入目录后，先别急着运行。花5分钟浏览一下项目结构。通常你会看到config（配置文件）、core（核心逻辑）、tts（语音合成）、llm（大语言模型接口）等目录。理解结构有助于后续自定义。

2. 安装依赖与常见坑：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

   • 坑点一：网络超时。使用国内镜像源（如-i https://pypi.tuna.tsinghua.edu.cn/simple）能极大提升成功率。
   • 坑点二：特定版本冲突。如果遇到某个包（如torch）安装失败或版本不兼容，先别慌。打开requirements.txt看看，有时可以适当放宽版本限制（如torch>=1.10.0改为torch），让pip自动选择兼容版本。或者，根据错误信息单独安装指定版本。
   • 坑点三：系统级依赖缺失。在Windows上，可能需要安装Microsoft Visual C++ Redistributable；在Linux上，可能需要libasound2-dev（音频相关）。根据报错提示搜索解决。

3. 配置与启动： 找到配置文件（可能是config.yaml或config.ini），你需要配置几个关键项：

   • LLM API密钥：如OpenAI的API Key，或本地部署的ChatGLM等模型的访问地址。
   • TTS服务：选择并配置一个TTS服务，如微软Azure Speech、Google TTS或开源的VITS等。Fay通常支持多种。
   • WebSocket服务器设置：指定服务监听的IP和端口（如0.0.0.0:8080）。 配置完成后，启动服务：

   python main.py --mode ue5 --port 8080

   看到类似“WebSocket server started on port 8080”的日志，说明后端大脑已经就绪。

3.3 UE5客户端项目搭建

1. 创建或打开项目：如果你有Fay提供的UE5示例工程模板，直接打开.uproject文件。如果没有，就新建一个第三人称游戏（C++）项目。选择C++项目是因为后续我们大概率需要编写C++代码或插件来高效处理WebSocket通信。

2. 启用必需插件：进入编辑（Edit） -> 插件（Plugins）。

   • 搜索并启用“WebSockets”插件。这是UE官方插件，提供了WebSocket客户端功能。
   • 搜索并启用“Audio Synesthesia”插件。这个插件用于音频分析，是实现嘴唇同步的关键。
   • 重启编辑器以使插件生效。

3. 项目设置关键项：

   • 编辑 -> 项目设置 -> 引擎 -> 网络：确保相关网络功能正常。
   • 编辑 -> 项目设置 -> 平台 -> Windows（或其他目标平台）：在“打包（Packaging）”设置中，将Fay后端可能用到的Python脚本或其他资源文件目录，添加到“附加非资产（Additional Non-Asset）”目录中，确保打包时这些文件能被包含。

4. 数字人模型导入与资产准备：从MetaHuman到UE5角色

这是视觉效果的基础，步骤繁琐但每一步都直接影响最终效果。

4.1 使用MetaHuman Creator创建角色

1. 访问与准备：通过Epic Games Launcher打开Quixel Bridge，登录你的Epic账户。在MetaHuman标签页中，你可以浏览大量预设角色。
2. 自定义角色：选择一个基础模型后，点击“在MetaHuman Creator中编辑”。这个基于浏览器的工具功能强大：
   • 面部特征：你可以像玩高级捏脸游戏一样，调整五官、脸型、年龄特征。技巧：不要调得过于夸张，尽量在预设的“自然”范围内，否则可能导致表情动画失真。
   • 发型与妆容：选择发型、眉毛、胡须，调整化妆和皮肤细节。
   • 身体：选择体型、身高，搭配服装。
3. 导出：完成创作后，点击“导出（Export）”。关键设置如下：
   • 导出目标：选择“Unreal Engine”。
   • 细节水平（LOD）：勾选所有LOD，确保不同距离下的模型质量。
   • 骨骼（Rig）：必须勾选“包含骨骼（Include Rig）”。这是动画驱动的根本。
   • 动画蓝图：建议勾选“生成MetaHuman动画蓝图”。这会自动创建一个基础的动画蓝图，省去很多手动配置的麻烦。
   • 纹理分辨率：根据你的项目性能要求选择，通常2K是平衡画质与性能的好选择。 导出后，你会得到一个包含FBX文件、纹理贴图和UE5工程文件的压缩包。

4.2 在UE5中导入与配置

1. 导入资产：在UE5内容浏览器中，右键选择“导入到/Game...”，选择导出的.fbx文件。在导入选项中，保持默认设置即可，引擎能很好地识别MetaHuman格式。
2. 创建角色蓝图：
   • 导入后，你会得到骨骼网格体（Skeletal Mesh）、材质、动画蓝图等资产。
   • 右键点击骨骼网格体，选择“创建 -> 角色蓝图（Blueprint Class based on Skeletal Mesh）”。这将以你的模型为基础，创建一个可放置到关卡中的Actor。
   • 打开这个角色蓝图，在组件面板中，确保骨骼网格体组件已正确赋值。
3. 配置动画蓝图：
   • 打开随模型一起导入或生成的动画蓝图（通常命名为ABP_MetaHuman）。
   • 这是数字人的“运动中枢”。我们后续从Fay接收的表情参数，最终将输入到这里，驱动面部形变。
   • 在动画蓝图中，找到“事件图表（Event Graph）”和“动画图表（Anim Graph）”。事件图表用于处理逻辑（如接收外部数据），动画图表用于混合最终姿势。

4.3 材质与光照初步优化

1. 材质检查：MetaHuman的材质已经非常完善，但你可以打开其材质实例进行微调，例如皮肤红润度（Rudiness）、油脂感（Specular）等，使其更符合场景色调。
2. 光照设置：为了测试数字人，建议创建一个简单的测试关卡。
   • 添加一个“定向光源（Directional Light）”作为主光源。
   • 添加一个“天光（Sky Light）”，并点击“捕获场景（Capture Scene）”来获取环境光照。
   • 启用Lumen：在项目设置 -> 引擎 -> 渲染中，确保“全局光照（Global Illumination）”和“反射（Reflections）”方法都设置为“Lumen”。这是实现实时超写实光照的关键。
   • 调整光源角度和强度，观察数字人面部的光影变化是否自然。好的布光能立刻提升角色的真实感。

5. 核心通信与驱动实现：让数字人“活”起来

这是技术核心，我们将建立Fay与UE5的对话通道，并让数据驱动模型。

5.1 WebSocket通信模块实现

在UE5中，我们通常需要编写一个C++类或使用蓝图来管理WebSocket连接。这里以C++为例，因为它更稳定、高效。

1. 创建WebSocket客户端类： 在UE5 C++项目中，新建一个继承自UObject的类，例如FayWebSocketClient。在头文件中引入WebSocket模块并声明关键函数。

   // FayWebSocketClient.h #pragma once #include "CoreMinimal.h" #include "UObject/NoExportTypes.h" #include "IWebSocket.h" // 需要包含WebSocket头文件 #include "FayWebSocketClient.generated.h" UCLASS() class YOURPROJECT_API UFayWebSocketClient : public UObject { GENERATED_BODY() public: UFayWebSocketClient(); // 连接服务器 void Connect(const FString& ServerUrl); // 发送消息 void SendMessage(const FString& Message); // 关闭连接 void Close(); // 声明一个委托，当收到消息时广播 DECLARE_DYNAMIC_MULTICAST_DELEGATE_OneParam(FOnMessageReceived, const FString&, Message); UPROPERTY(BlueprintAssignable) FOnMessageReceived OnMessageReceived; private: TSharedPtr<IWebSocket> WebSocket; void OnConnected(); void OnMessage(const FString& Message); void OnError(const FString& Error); };

2. 实现连接与消息处理：

   // FayWebSocketClient.cpp #include "FayWebSocketClient.h" #include "WebSocketsModule.h" // 必须包含 #include "Modules/ModuleManager.h" void UFayWebSocketClient::Connect(const FString& ServerUrl) { // 确保WebSocket模块已加载 if (!FModuleManager::Get().IsModuleLoaded("WebSockets")) { FModuleManager::Get().LoadModule("WebSockets"); } // 创建WebSocket连接 WebSocket = FWebSocketsModule::Get().CreateWebSocket(ServerUrl); // 绑定回调函数 WebSocket->OnConnected().AddLambda([this]() { OnConnected(); }); WebSocket->OnMessage().AddLambda([this](const FString& Msg) { OnMessage(Msg); }); WebSocket->OnConnectionError().AddLambda([this](const FString& Error) { OnError(Error); }); // 开始连接 WebSocket->Connect(); } void UFayWebSocketClient::OnMessage(const FString& Message) { // 当收到Fay后端发来的消息时，通过委托广播出去 UE_LOG(LogTemp, Log, TEXT("Received: %s"), *Message); OnMessageReceived.Broadcast(Message); }

   将这个类实例化并保存到你的GameInstance或某个全局管理器中，在游戏开始时调用Connect("ws://localhost:8080")。

5.2 表情数据解析与映射

Fay后端发送的表情数据通常是JSON格式，包含了表情类型和强度。我们需要在UE5中解析它，并应用到模型的Morph Target上。

1. 定义数据结构与解析： 首先，定义与Fay协议匹配的数据结构，并使用UE5的Json解析库。

   // 在某个头文件或.cpp中定义 struct FExpressionData { FString Type; // 如 "smile", "blink_left" float Intensity; // 强度 0.0 ~ 1.0 float Duration; // 可选，持续时间 }; // 解析JSON字符串到FExpressionData bool ParseExpressionJson(const FString& JsonString, TArray<FExpressionData>& OutExpressions) { TSharedPtr<FJsonObject> JsonObject; TSharedRef<TJsonReader<>> Reader = TJsonReaderFactory<>::Create(JsonString); if (FJsonSerializer::Deserialize(Reader, JsonObject) && JsonObject.IsValid()) { // 根据Fay实际的JSON结构进行解析 // 示例：假设数据在 {"expressions": [{"type":"smile", "intensity":0.7}, ...]} 中 const TArray<TSharedPtr<FJsonValue>>* ExpressionArray; if (JsonObject->TryGetArrayField(TEXT("expressions"), ExpressionArray)) { for (auto& Elem : *ExpressionArray) { auto Obj = Elem->AsObject(); FExpressionData Data; Obj->TryGetStringField(TEXT("type"), Data.Type); Obj->TryGetNumberField(TEXT("intensity"), Data.Intensity); OutExpressions.Add(Data); } return true; } } return false; }

2. 在动画蓝图中驱动Morph Target：

   • 在角色蓝图中，获取到WebSocket客户端解析出的FExpressionData数组。
   • 在角色的动画蓝图事件图表中，每帧（Event Tick）或收到新数据时（通过委托事件），遍历这个数组。
   • 对于每个FExpressionData，使用“设置形变目标（Set Morph Target）”节点。你需要将Data.Type（如“smile”）转换为对应的形变目标名称（Morph Target Name），并将Data.Intensity作为值输入。
   • 关键技巧：MetaHuman的面部有数百个形变目标，名称是标准化的（如browsInnerUp，eyeBlinkLeft）。你需要事先在UE5中打开角色的骨骼网格体资产，在“形变目标（Morph Targets）”预览面板中查看所有可用的名称，并与Fay输出的表情类型做好映射。这个映射关系可以预先配置在一个数据表（DataTable）或Map中。

5.3 语音播放与嘴唇同步集成

让数字人说话时嘴唇同步动起来，是沉浸感的关键。

1. 播放接收到的音频：

   • Fay后端通常会以音频流（如PCM、WAV格式）或Base64编码的音频数据通过WebSocket发送。
   • 在UE5中，你需要编写代码将接收到的音频数据解码，并填充到一个USoundWave动态资源中，然后通过UAudioComponent播放。
   • 这是一个相对底层的音频操作过程。一个更简单稳定的替代方案是：Fay后端将TTS生成的音频保存为临时文件（如.wav），并通过一个简单的HTTP服务器提供访问。UE5端则使用UMediaSoundComponent或通过FFileHelper加载音频文件后播放。虽然略有延迟，但实现复杂度大大降低。

2. 配置嘴唇同步（Lip Sync）：

   • 确保已启用“Audio Synesthesia”插件。
   • 在内容浏览器中右键，选择“声音 -> 嘴唇同步分析（Lip Sync Analysis）”。这会创建一个.lip文件的分析器。
   • 将你的角色动画蓝图中的嘴唇骨骼（通常是jaw，mouth_left，mouth_right等）与控制绑定（Control Rig）或直接与动画蓝图的动画图表连接。
   • 使用“嘴唇同步（Lip Sync）”动画节点。将该节点与播放的音频组件关联，它会自动分析音频的振幅和频率，输出驱动嘴唇骨骼的值。
   • 实操心得：MetaHuman自带的面部控制绑定（Rig）对嘴唇同步有很好的支持。你可以直接使用MetaHuman动画蓝图中的“Face Controls”图表，其中已经集成了基于音频的嘴唇驱动逻辑。你只需要将音频流输入进去即可。这比从头开始驱动每个嘴唇骨骼要高效和准确得多。

6. 高级功能与性能优化：从“能用”到“好用”

基础功能跑通后，我们需要关注稳定性、真实感和性能。

6.1 情感化语音与表情联动

单纯的嘴唇同步还不够，结合情感的语音和表情才能打动人心。

1. 集成情感TTS：在Fay的后端配置中，选择支持情感合成（SSML）的TTS服务，如微软Azure Neural TTS。你可以在发送给TTS的文本中嵌入情感标签，例如<speak version=\"1.0\" xmlns=\"http://www.w3.org/2001/10/synthesis\" xml:lang=\"en-US\"><voice name=\"en-US-JennyNeural\"><prosody rate=\"fast\" pitch=\"high\">I'm so excited!</prosody></voice></speak>。这样生成的语音本身就带有兴奋的语调。
2. 情感参数传递：Fay在调用TTS时，除了文本，还应生成一个代表情感类型（如excited）和强度（如0.9）的参数。这个参数需要和音频数据一起打包发送给UE5。
3. UE5端情感映射：UE5在收到情感参数后，不应只驱动嘴部。它可以：
   • 驱动面部表情：将情感类型映射到一组更丰富的面部Morph Target组合上。例如，“兴奋”可以同时增强“眉毛上扬”、“眼睛睁大”、“嘴角上扬”的强度。
   • 驱动肢体动画：触发一个短暂的“兴奋”身体动画蒙太奇（Montage），比如身体前倾、手势变化。
   • 调整语音播放参数：虽然音调已由TTS决定，但UE5可以微调播放时的音量或空间化效果来配合情绪。

6.2 性能优化全策略

数字人系统是资源消耗大户，优化至关重要。

6.3 常见问题排查实录

这里记录几个我踩过的坑和解决方案：

1. 问题：WebSocket连接成功，但收不到任何数据。

   • 排查：首先在Fay后端日志中确认消息是否已发送。然后在UE5端，检查OnMessage回调是否被触发，打印接收到的原始字符串。
   • 解决：最常见的原因是JSON格式不匹配。仔细对比Fay发送的JSON结构和UE5解析代码中预期的结构。使用在线JSON格式化工具校验Fay发出的数据。确保字段名大小写完全一致。

2. 问题：表情动画僵硬、不自然或抽搐。

   • 排查：检查从Fay收到的表情Intensity值是否在剧烈跳变（如0.3, 0.8, 0.1, 0.9）。
   • 解决：在UE5端对接收到的强度值进行线性插值（Lerp）或平滑处理。不要直接用最新值设置Morph Target，而是每帧向目标值平滑过渡。这能消除因网络延迟或AI输出波动导致的动画抽搐。

   // 伪代码示例：平滑处理 float CurrentSmileValue = 0.0f; float TargetSmileValue = 0.0f; // 从网络接收的目标值 float SmoothSpeed = 5.0f; // 平滑速度 // 每帧Tick中 void Tick(float DeltaTime) { CurrentSmileValue = FMath::FInterpTo(CurrentSmileValue, TargetSmileValue, DeltaTime, SmoothSpeed); SkeletalMeshComponent->SetMorphTarget(FName("smile"), CurrentSmileValue); }

3. 问题：嘴唇同步动画对不上或根本不动。

   • 排查：确认音频组件是否在正常播放声音。检查嘴唇同步分析节点是否正确关联了音频组件和嘴唇骨骼。
   • 解决：确保播放的音频采样率与嘴唇同步分析器预期的采样率一致（通常为16000Hz或44100Hz）。如果使用动态生成的USoundWave，务必正确设置其采样率参数。另一个常见原因是音频播放延迟。确保从收到音频数据到开始播放的延迟尽可能小，必要时对音频流进行缓冲处理以消除网络抖动。

4. 问题：打包（Packaging）后程序无法连接到本地Fay服务。

   • 排查：开发时用localhost或127.0.0.1，打包后程序是一个独立的exe，localhost指向它自己。
   • 解决：将连接地址改为你运行Fay后端机器的实际局域网IP地址（如192.168.1.100:8080）。并确保防火墙允许该端口的连接。

7. 实战扩展：构建一个虚拟导览员案例

让我们把上述所有技术整合到一个简单场景中：一个博物馆展厅里的虚拟导览员。

1. 场景搭建：在UE5中创建一个简单的展厅内部场景，放置一些展示品（静态网格体）。将你的MetaHuman角色放置其中，并调整好光照，使其与环境融合。

2. 交互逻辑设计：

   • 触发对话：玩家走到导览员附近时，按“E”键或自动触发对话。
   • 输入：玩家通过键盘输入文本，或通过集成的语音识别模块（如UE5的UWindowsSpeechRecognition插件或第三方SDK）进行语音输入。
   • 流程：玩家输入 -> UE5客户端将文本/音频发送给Fay后端 -> Fay调用LLM生成符合“导览员”身份的回复 -> Fay调用TTS生成带情感的语音 -> Fay将语音流和表情参数打包发送回UE5 -> UE5播放语音并驱动数字人表情和口型。
   • 内容生成：可以在Fay的提示词（Prompt）中精心设计，让LLM扮演一个知识渊博、语气亲切的博物馆导览员，并限制其回答与展厅展品相关。

3. 核心代码片段（UE5端交互触发）：

   // 在角色蓝图或交互Actor中 void AInteractiveGuide::OnPlayerInteract() { // 1. 显示一个输入UI，获取玩家文本 FString PlayerText = GetPlayerInputText(); // 2. 构建发送给Fay的消息 FString JsonPayload = FString::Printf(TEXT("{\"type\": \"user_query\", \"content\": \"%s\"}"), *PlayerText); // 3. 通过WebSocket客户端发送 if (FayWebSocketClient && FayWebSocketClient->IsConnected()) { FayWebSocketClient->SendMessage(JsonPayload); } else { UE_LOG(LogTemp, Warning, TEXT("WebSocket not connected!")); } }

通过这个案例，你将完整走通从用户输入、AI处理、到最终超写实数字人呈现的闭环。这不仅仅是技术的堆砌，更是创造有温度、有灵魂的数字交互体验的开始。