当前位置：首页 > news >正文

ASR和TTS处理

news 2026/5/11 11:50:31

1. ASR（Automatic Speech Recognition）自动语音识别

通过语音模型将人类语音转化为文本

常见开源/知名模型/工具：

Whisper (OpenAI)：目前最主流的开源选择，支持多语言，识别精度高。
FunASR (阿里巴巴达摩院)：专注中文场景，对嘈杂环境鲁棒性强。
- Paraformer-large长音频模型集成VAD、ASR、标点与时间戳功能，可直接对时长为数小时音频进行识别，并输出带标点文字与时间戳

ASR的处理流程

# 音频处理流程
原始音频文件(mp3, m4a, wav等)↓
[FFmpeg 解码] → 转换为原始PCM数据↓
[Paraformer 处理] → 语音识别↓
文本结果

原始长音频↓
[VAD模型] → 检测语音活动，分割音频↓
音频片段列表（时间戳标记）↓
[ASR模型] → 每个片段转为文本↓
无标点文本片段↓
[标点模型] → 添加标点符号↓
最终带标点文本（含时间戳）

1）Paraformer ASR模型

功能

核心语音识别：将音频信号转换为文本
声学建模：处理音频特征，识别音素/字词
语言建模：结合语言上下文，提高识别准确性

特点

输入要求：需要预分割的短音频片段
输出格式：纯文本，无标点，无时间戳
适用场景：已分割好的短音频文件

2）VAD模型（vad_model）- 语音活动检测

功能

端点检测：检测音频中有人声的部分
静音去除：过滤背景噪声和静音段
说话人分段：识别说话人切换点

特点

输出：带时间戳的短音频片段

原始音频： [静音10s] [语音5s] [静音3s] [语音8s] [静音...]
VAD处理后：          [片段1]           [片段2]
时间戳：         [10.0-15.0]      [18.0-26.0]

3）标点模型（punc_model）- 标点恢复

功能

标点插入：在识别文本中添加标点符号
文本格式化：提高文本可读性
语义分段：根据语义插入适当标点

特点

输出：带标点符号的文本

支持的标点类型：

,  逗号
.  句号
?  问号
!  感叹号
:  冒号
;  分号
"  引号
、 顿号
《 》书名号
（ ）括号

from funasr import AutoModel
import numpy as np# 使用一体化模型
model = AutoModel(model=r"E:\03_model\fun-asr-model\speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch",vad_model=r"E:\03_model\fun-asr-model\speech_fsmn_vad_zh-cn-16k-common-pytorch",punc_model=r"E:\03_model\fun-asr-model\punc_ct-transformer_zh-cn-common-vocab272727-pytorch",device="cpu")# 1. 测试短音频
short_result = model.generate(input="vad_example.wav",  # 10秒音频batch_size_s=0,  # 不分片
)
print("短音频结果:", short_result[0]["text"])# 2. 测试长音频
long_result = model.generate(input="vad_example.wav",  # 5分钟音频batch_size_s=100,  # 启用分片处理
)
print("长音频结果:", long_result[0]["text"])
print("时间戳:", long_result[0]["timestamp"])