ISA-Bench: Benchmarking Instruction Sensitivity for Large Audio Language Models

文章总结与翻译

一、主要内容

1. 研究背景：大型音频语言模型（LALMs）结合声学感知与大语言模型能力，可从音频中提取多样信息，但现有模型对指令表述高度敏感，会影响指令遵循率和任务性能，而目前缺乏系统全面的相关基准测试。
2. 核心贡献：提出ISA-Bench基准测试，从指令描述（D维度）、输出格式（F维度）、任务组合（N维度）三个维度动态评估LALMs的指令敏感性。
3. 测试设计：涵盖5类原子任务（自动语音识别ASR、语音到文本翻译S2TT、语音情感识别SER、性别识别GR、音频字幕生成AAC）和基于ASR、SER、GR的复合任务；通过LLM重写生成多样化指令变体，采用合规感知指标（MetricIF）和相对性能分数（RPS）进行评估。
4. 实验结果：
   • 即使最先进的LALMs仍存在显著指令敏感性，指令形式变化会导致性能大幅下降；
   • 基于多样化指令的监督微调（SFT）可提升指令遵循能力，但会引发严重的灾难性遗忘（模型丢失已掌握的任务能力）；
   • 不同模型各有优劣，DeSTA2.5-Audio指令遵循能力最优，Gemini 2.5 Pro在JSON格式约束下表现不佳，GPT-4o-Audio存在性别识别缺陷且输出易含额外评论。
5. 研究意义：为评估和改进LALMs的指令敏感性提供标准化基准，强调真实场景中音频理解需具备指令鲁棒性。