Can large audio language models understand child stuttering speech? speech summarization, and sou...
文章核心总结与创新点
一、主要内容
本文聚焦大型音频语言模型（LALMs）在口吃儿童语音处理中的表现，围绕两个核心任务展开研究：一是单通道源分离（从儿童-成人混合语音中分离儿童语音），二是儿童专属摘要生成（保留临床相关不流畅特征、避免成人语音泄露）。研究采用两种场景（儿童朗读任务、儿童-成人访谈任务），评估了5种音频优先LALMs（Qwen2-Audio、SALMONN等）和1种文本优先基线模型，通过自动指标（BERTScore、ROUGE）、LLM作为评判者（Qwen2-7B等）及人类专家评分的三重评估框架，分析模型在内容准确性、说话人纯度、临床实用性等维度的表现。结果显示，Audio Flamingo 3（AF3）整体表现最优，Kimi Audio在访谈场景、SALMONN在朗读场景分别展现优势，而GAMA表现持续滞后；LLM评判者中Llama 3.2与人类评估一致性最高。
二、创新点
- 首次系统探索LALMs在口吃/流畅性障碍儿童语音中的应用，填补了该领域研究空白。
- 提出带说话人纯度约束的儿童专属摘要生成任务，设计了文本优先和音频优先两种可复现流程。
- 构建多维度评估框架，融合自动指标、LLM评判与人类专家评分，涵盖内容覆盖度、说话人纯度、临床实用性等核心维度，并验证了LLM评判者的可靠性。
- 公开了提示词、评估脚本等复现资源，为临床和教育场景中LALMs工具的部署提供实用指导（如模型选择、提示词设计、源分离质量优先级等）。