山东大学软件学院创新项目实训记录 —— 基于UE与LLM的医患沟通模拟与评价系统（三）

前言

本项目研发面向医学教育的医患沟通模拟与评价系统，基于大模型实现智能交互、个性化病例模拟和评分，为医学生提供沉浸式医患沟通实训场景，解决线下标准化病人资源稀缺的问题，提升医学生医患沟通实操能力。本人负责UE5前端工作，语音输入、语音输出功能的制作、UI面板的搭建（主场景、SEGUE评分面板、聊天框等）。本周重点完成了全部UI面板的搭建工作。

UI面板大致分为三个界面：主菜单界面、聊天界面以及SEGUE评分面板界面。

一、主菜单界面的搭建

完成了主场景的UI基础搭建，支持场景自主选择进行对话测试，目前暂定为三个场景，如后续添加场景，可以设计一个轮播面板，供场景选择使用。

二、聊天界面的优化

完成聊天整体布局设计，包含患者信息展示区、对话触发区及系统设置入口。实现主场景与子面板的交互逻辑，确保面板可正确打开、关闭及层级管理。已搭建对话历史展示区与消息输入区，后续待实现消息气泡的左右区分（医患双方）。支持文本消息的动态添加与滚动更新。

效果展示：

点击右上角的设置按钮后，设置面板淡入，显示设置选项可供点击；点击关闭按钮后，设置面板淡出。

三、SEGUE评分面板实现

按照SEGUE量表框架完成评分面板的UI搭建，涵盖成绩总览、历史回顾、问诊技巧三个功能的按键以及覆层，点击相应按钮就会出现对应的面板，后续待实现面板内容的填充以及WebUI连入前端实现内容的实时更新。

通过蓝图连接和动画效果，实现各个面板的丝滑切换，点击同一按钮两次可将该面板退出，点击不同按钮不会发生冲突，各面板之间不会相互覆盖，避免信息堆叠导致的卡顿。

效果展示：

后续任务

1.对接语音输入模块（麦克风采集、实时语音转文字API），完成语音输入UI状态反馈（录音动效、波形显示）。

2.实现语音输出功能（将大模型返回的文本转为语音并播放），集成至聊天框消息流中。

3.优化UI交互细节，进一步完善UI功能，如：与后端关联的场景的选择切换；消息气泡的冒出以及左右区分（医患双方）；面板内容的填充以及WebUI连入前端实现内容的实时更新等。

4.配合后端调试评分逻辑，完成SEGUE评分与对话数据的关联存储，将具体的评分内容以及功能集成到前端。