Linly-Talker在博物馆文物复活创意展中的互动设计

Linly-Talker在博物馆文物复活创意展中的互动设计

在西安一座博物馆的秦始皇兵马俑展区，一位小朋友站在交互屏前，仰头问道：“你是怎么被发现的？”话音刚落，屏幕上的陶俑缓缓“苏醒”，双唇微启，以低沉而威严的声音回应：“1974年，陕西农民打井时意外挖到了我……”一旁的家长惊讶地低头查看设备说明——这并非预录视频，而是实时生成的对话。

这不是科幻电影，而是基于Linly-Talker实现的真实场景。这套AI数字人系统正悄然改变着博物馆的叙事方式：不再只是“看”历史，而是与历史“对话”。

让文物“开口说话”，听起来浪漫，但背后是一整套复杂技术链的协同运作。从听懂问题，到组织语言，再到发声、动嘴、传情达意，每一步都依赖现代人工智能的关键突破。而Linly-Talker的真正价值，在于它把这条原本需要多个团队协作的技术链条，压缩成一个可快速部署的闭环系统。

先说“大脑”——也就是大型语言模型（LLM）。传统导览内容是固定的，你只能按设定路径接收信息；而有了LLM，系统能理解开放性问题，比如“这件青铜鼎和周礼有什么关系？”或“如果我是当时的工匠会怎样生活？”这类问题没有标准答案，但LLM可以通过上下文推理，结合知识库生成符合逻辑的回答。

我们常用如ChatGLM、Qwen等开源模型作为底座，通过指令微调让其扮演特定角色。例如，给唐代壁画配一个“诗人讲解员”，只需在提示词中写明：“你现在是一位盛唐时期的文人，请用典雅且略带感慨的语气介绍这幅画。”模型就能自动生成带有时代感的语言风格。

from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "THUDM/chatglm3-6b" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True) def generate_response(prompt: str) -> str: inputs = tokenizer(prompt, return_tensors="pt", padding=True) outputs = model.generate( **inputs, max_new_tokens=256, do_sample=True, temperature=0.7, top_p=0.9 ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response.replace(prompt, "").strip() question = "请以汉代工匠的口吻介绍这尊陶俑的制作过程。" answer = generate_response(question) print(answer)

当然，LLM也有“幻觉”风险——它可能编造看似合理但错误的历史细节。因此我们在实际应用中会引入外部校验机制，比如连接文物数据库或知识图谱，对关键事实进行交叉验证。工程上更稳妥的做法是：将LLM视为“内容生成引擎”，而非“权威信源”。

接下来是“耳朵”——自动语音识别（ASR）。观众不会打字提问，他们习惯直接说话。这就要求系统能在嘈杂环境中准确捕捉语音并转为文本。过去，展厅背景人声、混响常常导致识别失败；如今基于Whisper这类端到端模型，即使在轻度噪声下也能保持较高鲁棒性。

import whisper model = whisper.load_model("small") def speech_to_text(audio_path: str) -> str: result = model.transcribe(audio_path, language="zh") return result["text"] audio_file = "user_question.wav" text_input = speech_to_text(audio_file) print("识别结果:", text_input)

选择small模型不仅因为其精度足够，更因它适合边缘部署。在Jetson Orin这类嵌入式设备上运行时，推理延迟可控制在300ms以内，配合流式处理甚至能实现近实时转录。不过要注意音频质量——建议使用定向麦克风，并确保采样率为16kHz，避免因格式不匹配造成性能下降。

然后是“声音”——文本到语音（TTS）。如果说LLM决定了讲什么，TTS则决定了怎么讲。同样是介绍一件文物，用播音腔朗读和用老匠人口吻讲述，给人的情感冲击完全不同。VITS这类端到端神经网络合成模型，已经能做到MOS评分超过4.5（满分5），接近真人水平。

更重要的是，它可以支持语音克隆。只需几段历史人物配音样本（哪怕是演员演绎的），就能训练出专属音色模型。在敦煌莫高窟的一个试点项目中，我们就为飞天形象定制了空灵柔和的女性声线，使虚拟讲解更具沉浸感。

import torch from text import text_to_sequence from models import SynthesizerTrn from scipy.io.wavfile import write net_g = SynthesizerTrn( num_phone=..., out_channels=100, ...).eval() _ = net_g.load_state_dict(torch.load("pretrained_vits.pth")) def tts_inference(text: str, output_wav: str): seq = text_to_sequence(text, ["zh_clean"]) with torch.no_grad(): x = torch.LongTensor(seq).unsqueeze(0) x_length = torch.LongTensor([len(seq)]) audio = net_g.infer(x, x_length, noise_scale=0.667)[0] audio = audio.squeeze().cpu().numpy() write(output_wav, 22050, audio) tts_inference("欢迎来到唐代壁画展区，让我为您讲述这段千年往事。", "output.wav")

这里noise_scale参数很关键：设得太低，语音平稳但呆板；太高则显得夸张。实践中我们会根据文物气质调整，比如青铜器讲解偏向庄重，儿童绘本类展品则允许更高表现力。

最后是“面孔”——面部动画驱动。很多人以为只要声音配上静态图像就够了，但心理学研究表明，视觉同步显著增强可信度与注意力留存。当观众看到嘴唇动作与语音节奏精准匹配时，大脑更容易将其视为“活体”而非播放器。

Wav2Lip是目前最实用的方案之一：输入一段语音和一张人脸照片，就能生成口型同步的动态视频。它不需要3D建模，也不依赖关键点标注，特别适合快速为古代画像、雕塑“注入生命”。

import cv2 from wav2lip import Wav2LipModel model = Wav2LipModel() model.load_weights("wav2lip.pth") def generate_talking_head(face_image_path: str, audio_path: str, output_video: str): face_img = cv2.imread(face_image_path) face_tensor = preprocess(face_img).unsqueeze(0) wav, sr = librosa.load(audio_path, sr=16000) mel = get_mel_spectrogram(wav) frames = [] for i in range(mel.shape[0]): mel_batch = mel[i:i+T] pred_frame = model(face_tensor, mel_batch) frames.append(postprocess(pred_frame)) out = cv2.VideoWriter(output_video, cv2.VideoWriter_fourcc(*'mp4v'), 25, (480, 480)) for f in frames: out.write(f) out.release()

尽管效果惊艳，但它对输入图像有要求：正脸、无遮挡、光照均匀。我们在布展时常遇到肖像画角度偏斜的问题，这时会先用GAN做姿态矫正，再送入动画模块。另外，高清素材（≥512px）能明显提升唇部细节真实感。

整个系统的运行流程可以概括为一条流水线：

[用户语音] ↓ ASR [文本输入] ↓ LLM [回答文本] ↓ TTS [语音信号] + [人物图像] ↓ 面部动画驱动 [动态讲解视频] → 展示屏播放

在实际部署中，我们通常提供两种模式：离线预生成用于循环播放的标准导览，适合预算有限的小型展览；在线实时交互则部署于触摸终端，支持自由问答，适用于重点文物或教育活动区。

为了保障体验流畅，工程优化至关重要。各模块尽量共用GPU资源，启用FP16混合精度推理，整体响应时间压至1.5秒内——这个阈值接近人类对话的心理预期，不会让人感到“卡顿”。

同时，我们也加入了一些人性化设计：
- 设置语音唤醒词（如“你好，兵马俑”），避免持续监听带来的误触发；
- 对敏感问题（政治、宗教等）设置过滤规则，返回预设安全应答；
- 为不同文物配置个性化表情倾向：帝王类偏严肃，童俑类可加入微笑动画；
- 关键模型本地化部署，确保断网时仍能基本运行。

曾有一位观众问秦俑：“你害怕黑暗吗？”系统本可简单回答“我没有感觉”，但我们选择让LLM结合语境生成更有温度的回应：“我已在地下沉睡两千多年，黑暗是我的老友。”那一刻，屏幕前的孩子安静了几秒，轻声说：“那你现在醒来，真好。”

这正是技术的意义所在——不只是还原历史，更是唤起共情。

未来，随着多模态大模型的发展，数字人还将具备眼神追踪、手势模拟、情绪感知等能力。也许不久后，当你靠近展柜，虚拟讲解员会主动转向你，微微点头：“你想听听我的故事吗？”

而Linly-Talker所走的这条路，正是通向那个“有思想、有情感”的智能体形态的第一步。它让文化遗产不再是静止的物件，而成为可以对话的生命体，在科技与人文的交汇处，重新焕发生机。