SenseVoiceSmall情感标签乱码？rich_transcription后处理详解

SenseVoiceSmall情感标签乱码？rich_transcription后处理详解

1. 问题背景：你看到的不是乱码，是富信息

你有没有遇到这种情况——用SenseVoiceSmall识别完一段音频，结果里突然冒出一堆像<|HAPPY|>、<|BGM|>这样的奇怪符号？第一反应是不是以为模型出错了，或者编码有问题？

别急，这根本不是乱码。

这些带尖括号的标记，其实是SenseVoice模型输出的富文本标签（Rich Transcription Tags），它们承载了比普通文字转录多得多的信息：说话人的情绪、背景音乐、笑声掌声，甚至语气停顿。这才是SenseVoice真正厉害的地方——它不只是“听清你说什么”，还能“听懂你为什么这么说”。

但问题来了：这些原始标签对开发者不友好，直接展示给用户更是一头雾水。怎么把<|ANGRY|>今天这服务太差了！<|APPLAUSE|>变成可读性强的“【愤怒】今天这服务太差了！【掌声】”？

答案就是：rich_transcription_postprocess后处理函数。

本文将带你彻底搞懂这套机制，从原理到实战，让你轻松驾驭SenseVoice的富文本输出。

2. 核心机制解析：富文本标签到底是什么

2.1 富文本识别（Rich Transcription）是什么

传统的语音识别（ASR）只做一件事：把声音变成文字。而SenseVoiceSmall属于新一代的富文本语音理解模型，它的输出不仅包含文字，还包括：

• 情感标签：HAPPY（开心）、SAD（悲伤）、ANGRY（愤怒）、NEUTRAL（中性）
• 声音事件：BGM（背景音乐）、LAUGHTER（笑声）、APPLAUSE（掌声）、CRY（哭声）、NOISE（噪音）
• 语速与停顿：通过特殊标记体现语流节奏

这些信息以结构化标签的形式嵌入在文本中，比如：

<|HAPPY|>今天天气真好啊<|LAUGHTER|>哈哈哈<|BGM|>🎵轻快的背景音乐🎵

这种设计极大提升了语音内容的理解深度，特别适合用于客服质检、视频字幕生成、情感分析等场景。

2.2 为什么看起来像“乱码”

因为这些标签使用了特殊的分隔符<|XXX|>，这是现代大模型常用的特殊token标记方式。它的好处是：

• 在训练时能被模型准确识别为独立语义单元
• 推理时不会和正常文本混淆
• 易于后续程序化提取和处理

但它的问题也很明显：对人类阅读极不友好。所以我们需要一个“翻译器”，把这些机器可读的标签转换成人类可读的格式。

这就是rich_transcription_postprocess的使命。

3. 后处理实战：如何正确使用 rich_transcription_postprocess

3.1 函数来源与调用方式

rich_transcription_postprocess是 FunASR 库内置的一个工具函数，专门用于清洗 SenseVoice 的原始输出。

你需要先安装依赖：

pip install funasr modelscope av gradio

然后在代码中导入：

from funasr.utils.postprocess_utils import rich_transcription_postprocess

3.2 基础用法示例

假设模型原始输出如下：

raw_text = "<|HAPPY|>这个产品我很喜欢<|LAUGHTER|>哈哈<|BGM|>🎵舒缓的音乐🎵"

我们进行后处理：

clean_text = rich_transcription_postprocess(raw_text) print(clean_text)

输出结果会是：

【开心】这个产品我很喜欢【笑声】哈哈【背景音乐】🎵舒缓的音乐🎵

看到了吗？自动完成了三件事：

1. 将<|HAPPY|>转为【开心】
2. 将<|LAUGHTER|>转为【笑声】
3. 保留并美化 BGM 描述

3.3 支持的标签类型全解析

目前rich_transcription_postprocess支持的主要标签包括：

所有标签都会被统一转换为中文方括号格式，极大提升可读性。

3.4 自定义后处理逻辑（进阶）

如果你不满意默认的中文标签，或者想导出结构化数据（如JSON），可以手动解析原始文本。

方法一：正则提取 + 自定义替换

import re def custom_postprocess(text): # 定义替换规则 replacements = { "<|HAPPY|>": "[Happy]", "<|SAD|>": "[Sad]", "<|ANGRY|>": "[Angry]", "<|BGM|>": "[BGM]", "<|APPLAUSE|>": "[Applause]", "<|LAUGHTER|>": "[Laughter]" } for old, new in replacements.items(): text = text.replace(old, new) return text # 示例 raw = "<|HAPPY|>太棒了<|LAUGHTER|>" result = custom_postprocess(raw) print(result) # 输出: [Happy]太棒了[Laughter]

方法二：提取结构化事件流

def extract_events(text): events = [] pattern = r"<\|([A-Z]+)\|>" matches = re.finditer(pattern, text) for match in matches: event_type = match.group(1) position = match.start() events.append({ "type": event_type, "position": position, "label": match.group(0) }) return events # 示例 events = extract_events("<|HAPPY|>不错<|APPLAUSE|>") for e in events: print(e) # 输出: # {'type': 'HAPPY', 'position': 0, 'label': '<|HAPPY|>'} # {'type': 'APPLAUSE', 'position': 7, 'label': '<|APPLAUSE|>'}

这种方式适合做数据分析、时间轴标注、可视化展示等高级应用。

4. WebUI 集成实践：打造可视化语音分析平台

前面提到的 Gradio 界面脚本已经集成了后处理功能，我们再来重点看关键部分：

from funasr.utils.postprocess_utils import rich_transcription_postprocess def sensevoice_process(audio_path, language): if audio_path is None: return "请先上传音频文件" res = model.generate( input=audio_path, language=language, use_itn=True, batch_size_s=60, merge_vad=True ) if len(res) > 0: raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) return clean_text else: return "识别失败"

这里的关键步骤是：

1. model.generate()获取原始带标签文本
2. rich_transcription_postprocess()进行清洗
3. 返回干净结果给前端显示

这样用户在界面上看到的就是清晰易懂的内容，而不是一堆“乱码”。

4.1 如何部署并访问

如果你使用的是预置镜像环境，只需两步：

第一步：运行服务脚本

python app_sensevoice.py

该脚本会启动 Gradio 服务，默认监听6006端口。

第二步：本地隧道转发

由于云服务器通常不直接开放端口，需通过 SSH 隧道：

ssh -L 6006:127.0.0.1:6006 -p [你的SSH端口] root@[你的IP地址]

连接成功后，在本地浏览器打开：

http://127.0.0.1:6006

即可进入交互式语音识别界面。

4.2 实际效果演示

上传一段带有笑声和背景音乐的中文对话音频，识别结果可能如下：

【中性】你好，请问有什么可以帮助您？ 【开心】最近买了你们的新手机，体验非常好。 【笑声】哈哈哈，特别是拍照功能，简直惊艳。 【背景音乐】🎵柔和的钢琴曲🎵 【愤怒】但是上一次客服态度真的很差！

一眼就能看出情绪起伏和环境变化，远超传统字幕的价值。

5. 常见问题与最佳实践

5.1 为什么有时情感标签没出现

可能原因包括：

• 音频太短或情绪不明显，模型未检测到足够特征
• 语言设置错误，导致情感分支未激活
• 音质较差，影响情绪特征提取

建议：确保音频清晰、时长适中（>3秒），并正确选择语言参数。

5.2 是否必须使用 rich_transcription_postprocess

不是必须，但强烈推荐。

如果你要做以下事情，可以直接处理原始标签：

• 构建自动化分析流水线
• 提取情绪时间序列
• 训练下游分类模型

但如果是面向用户的展示场景，一定要做后处理，否则用户体验极差。

5.3 性能与资源消耗

• GPU加速：推荐使用NVIDIA GPU（如RTX 4090），推理速度可达实时倍数以上
• 内存占用：模型约占用3~4GB显存
• 延迟表现：在高端GPU上，30秒音频可在2秒内完成识别+后处理

5.4 多语言支持注意事项

虽然支持中英日韩粤五种语言，但在调用时建议明确指定语言参数：

language="zh" # 中文 language="en" # 英文 language="ja" # 日语 language="ko" # 韩语 language="yue" # 粤语 language="auto" # 自动识别（有一定误差）

自动识别虽方便，但在混合语言场景下可能出现偏差，关键业务建议手动指定。

6. 总结：从“听清”到“听懂”的跨越

SenseVoiceSmall 不只是一个语音识别模型，它是通往语音智能理解的一扇门。那些看似“乱码”的标签，其实是通往深层语义的钥匙。

通过本文你已经掌握：

• 理解<|XXX|>标签的真实含义
• 正确使用rich_transcription_postprocess清洗输出
• 手动解析标签实现定制化处理
• 部署 WebUI 实现可视化交互
• 解决常见使用问题

现在你可以自信地说：那不是乱码，那是情绪、是氛围、是声音里的故事。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。