当前位置：首页 > news >正文

我们如何教AI听懂一首歌的“好”？——ICASSP 2026音乐美学评估竞赛方案解读

news 2026/5/8 7:07:08

一、技术解读

最近，AI生成音乐（如Suno, Udio）的爆发让我们惊叹于机器的创造力。但一个随之而来的问题是：我们如何客观地评价一首AI生成的歌是不是真的“好听”？

传统的音频指标对此无能为力。信噪比、频谱失真度这些数字，衡量不了旋律的动人、结构的精巧或人声的感染力。这就像用尺子去丈量一幅画的情感深度——工具完全不对路。

为此，ICASSP 2026 自动歌曲美学评估挑战赛（SongEval Challenge）应运而生。它的目标很明确：开发一个能像人类一样，对歌曲的“美感”进行量化评估的人工智能系统。

我们团队参与了这项挑战，并提出了一个名为“多流音乐Transformer”的模型。该模型在比赛的细粒度美学维度预测赛道（Track 2）中获得了第二名。

1 挑战的核心：两个赛道，一个共同的核心维度

比赛设置了两个并行的评测赛道，从不同粒度评估歌曲美学：

赛道一（整体评估）：预测1个“整体音乐性”分数。这是一个高度概括的任务，要求模型直接给出对歌曲艺术品质的总体印象分。
赛道二（细项评估）：预测5个细分的美学维度分数。这五个维度是：整体音乐性、连贯性、自然度、清晰度、记忆点。

一个优秀的模型需要既能精准地把握这个“总体印象”，又能理解它如何从“连贯性”、“记忆点”等其他四个具体维度中衍生出来。这要求模型具备强大的特征解耦与融合能力。

2 我们的解决方案：三段式“音乐品鉴AI”

我们设计的系统，模拟了一个专业的音乐品鉴流程，分为三个阶段：

第一阶段：组建“专家评审团”（多流特征提取）
我们不再让模型从原始的音频波形中从头学起，而是为它配备了一个顶尖的“外部专家顾问团”。我们整合了六个在各自领域表现卓越的预训练模型，分别从不同角度“聆听”歌曲：

MuQ：理解音色、和声与长期音乐语义的“作曲家”。
SongFormer：分析歌曲结构（主歌、副歌、桥段）的“结构分析师”。
MuQ-MuLan：感知歌曲整体情感与风格的“乐评人”。
节拍检测模型：把握节奏与强拍脉搏的“节奏大师”。
人声音高与Whisper模型：专注于人声旋律轮廓和演唱细节的“声乐教练”。

这个“评审团”确保了我们能从各个专业维度获取最丰富的音乐信息。

第二阶段：召开“专项研讨会”（维度特定精炼）
拿到了所有专家的意见后，在进入最终合议前，我们会针对不同的评分维度，召开小型的“专项研讨会”。

当要评估连贯性时，我们会主要邀请结构分析师（SongFormer）和作曲家（MuQ）一起讨论，看音乐的发展是否逻辑自洽。
当要评估自然度时，我们会请声乐教练（人声Whisper）和专注于纯人声的作曲家来重点研判演唱的呼吸与乐句。
当要评估记忆点时，我们则会从所有意见中，敏锐地捕捉那些重复出现的、抓耳的旋律动机。
当要评估整体音乐性（无论是作为赛道一的目标还是赛道二的维度之一）时，则需要综合所有专家的意见，进行全局权衡。

这个步骤通过轻量级的网络模块实现，让模型学会为不同任务“聚焦”不同的特征组合。

第三阶段：终审与评分（控制条件Transformer）
最后，所有经过聚焦处理的信息，会送入一个轻量级的Transformer“决策中枢”。这里有一个精妙的设计：我们向这个中枢注入一个代表当前评估维度（如“正在评估记忆点”）的条件信号。

这个信号就像一个开关，能轻微地调整神经网络内部的行为，使其化身为该领域的“终极专家”。最终，模型会通过一个“注意力”机制，自主决定歌曲中哪些段落对当前维度的评分最关键（比如，副歌部分对“记忆点”打分权重更高），然后给出1-5的分数。

整个过程，实现了底层特征共享（高效）与高层决策特异（精准）的完美结合。

三、效果如何

我们在官方测试集上进行了验证。下图为我们的模型在赛道二（预测五个维度）上与官方基线模型的对比。

可以看到，我们的模型在绝大多数指标上全面超越了基线。尤其在衡量排名一致性的SRCC上，五个维度的平均分从0.655提升到了0.713，这意味着我们的AI打分与人类打分的“审美排序”达到了更高的一致性。在“音乐性”和“记忆点”这两个核心维度上，提升最为显著。

四、不止于竞赛：AIGC时代的“质量守门员”

这项工作不仅仅是为了在竞赛中取得好名次。随着AIGC音乐创作的普及，一个能够自动化、可量化、与人类感知对齐的评估器将变得至关重要。它可以：

作为筛选工具：从海量AI生成的音乐中，快速筛选出高质量作品。
作为优化向导：为音乐生成模型提供反馈信号，引导其生成更符合人类审美的作品。
作为研究平台：让我们得以更精细地分析和理解音乐美学的构成要素。

我们相信，让AI学会“鉴赏”，是让AI更好地“创造”的关键一步。

二、论文翻译：用于多维度自动歌曲美学评估的多流音乐Transformer

0 摘要

评估全长歌曲的美学质量具有挑战性，因为诸如连贯性、乐句和结构等感知属性无法被信号级指标很好地捕捉。我们为ICASSP 2026 SongEval挑战赛[1]提出了一个统一的多流音乐Transformer。该模型集成了来自多个预训练系统的语义、结构、节奏和人声表征，通过一个轻量级拼接编码器进行融合，并利用一个控制条件Transformer进行维度特定的精炼。在官方测试集上的实验显示出与人类评分的高度一致性，并相较于官方基线取得了持续的提升。

索引术语—音乐美学评估，多流Transformer，SongEval

1 引言

评估歌曲美学需要理解局部声学特征和长期音乐结构元素，这些是传统DSP特征难以捕捉的。随着音乐生成模型的发展，与感知对齐的自动评估器变得至关重要。

SongEval挑战赛[1]要求参赛者从输入波形中预测一个整体音乐性分数和五个感知维度，这些维度共享音乐线索但对不同线索的敏感度不同。这激励我们设计一个平衡特征共享和维度特定专业化的框架。

我们提出了一种统一的多流音乐Transformer，它通过控制条件机制，将一个共享的Transformer主干网络[2]适配到每个维度，从而实现高效的特征复用和细粒度的专业化。

2 任务与数据集

SongEval任务是从输入波形中预测一个整体音乐性分数和五个感知维度（连贯性、自然度、音乐性、清晰度、记忆点[1]）。分数遵循1-5分制，评估使用皮尔逊、斯皮尔曼和肯德尔相关系数，以及顶级准确率。该数据集包含2,399首歌曲（约140小时），涵盖多种流派和语言[3]，每首歌曲由16名训练有素的标注者评分。

3. 模型架构

3.1 概述

我们的系统包含三个主要模块：(1) 多流特征提取，(2) 维度特定精炼，(3) 以目标维度为条件的Transformer主干网络。图1提供了一个高层概览。所有特征流在时间上对齐，并融合成一个统一的表示，作为所有下游评估器的共享基础。

3.2 多流特征设计

我们利用六种预训练表征来编码互补的音乐属性：
(1)MuQ语义特征（最后/中间层）[4]：1024维嵌入，用于音色特征、表达细微差别和长程和声一致性。
(2)SongFormer结构嵌入[5]：512维特征，用于捕捉结构模式（段落边界、整体形式）。
(3)MuQ-MuLan嵌入[4]：512维描述符，提取与语言对齐的高级音乐语义表示，捕捉情感、风格等全局属性，而非低层声学或时序细节。
*通讯作者
(4)节拍/强拍激活[6]：2维特征，用于评估节奏强度和节拍位置（对流畅性评估至关重要）。
(5)人声MIDI音高[7]：原始音高特征，捕捉旋律轮廓和音调稳定性。
(6)Whisper人声特征[8]：高维人声表示，用于检测乐句/呼吸。

所有特征流被重采样到MuQ的帧率，然后通过线性映射投影到1024维以确保维度一致性；填充和掩码操作使得能够进行高效的批处理而无需担心时间错位。

3.3. 维度特定融合编码器

拼接操作保留了每个模态的信息：一个线性投影将ZtZ_tZt压缩到模型维度，产生共享的融合表示。

每个维度需要对不同的音乐因素敏感。因此，我们应用了轻量级的精炼模块：

连贯性：强调语义流和结构流之间的一致性；包含平滑操作以减少噪声变化。
记忆点：突出令人难忘的歌曲中特有的钩子、动机和旋律重复模式。
清晰度：强化来自SongFormer[5]和MuQ-MuLan[4]的具有分割意识的线索。
自然度：用仅包含人声的MuQ[4]替换混合源衍生的MuQ，并整合Whisper[8]用于呼吸/乐句线索。
音乐性：直接使用融合后的基础表示，受益于所有特征流的多样性。

输出是H~t(c)\tilde{H}_{t}^{(c)}H~t(c)，它以维度ccc为条件。

3.4 控制条件Transformer

我们采用一个紧凑的3层Transformer[2]，其包含多头自注意力和位置前馈网络块。为了实现混合专家效果，我们将每个Transformer层中的单个前馈网络替换为四个并行的前馈网络，以模拟多专家评分。一个可学习的嵌入ece_{c}ec对目标维度c进行编码，并在时间维度上进行广播，其中WcW_cWc是一个小的线性投影：
Ht′=H~t(c)+Wcec,H_{t}^{\prime}=\tilde{H}_{t}^{(c)}+W_{c}e_{c},Ht′=H~t(c)+Wcec,

单查询注意力池化将时序信息总结为一个固定大小的向量：
αt=softmax(q⊤ht),z=∑tαtht,\alpha_{t}=softmax(q^{\top}h_{t}),\quad z=\sum_{t}\alpha_{t}h_{t},αt=softmax(q⊤ht),z=t∑αtht,
其中hth_{t}ht是最后一层的隐藏状态，q是一个可学习的查询向量。与简单的平均池化相比，这允许模型专注于信息特别丰富的片段，例如钩子或结构上重要的过渡。最终输出分数通过以下公式限定在1-5范围内：
y^=2tanh⁡(y^raw)+3.\hat{y}=2\tanh(\hat{y}_{ raw})+3.y^=2tanh(y^raw)+3.

4 实验

4.1 训练目标与优化

模型使用一个多目标损失函数进行训练，该函数平衡了回归精度、与人类感知的相关性以及高质量样本的排名：
L=LSmoothL1+0.15 LPearson+0.05 LTTA.\mathcal{L}=\mathcal{L}_{SmoothL1}+0.15\,\mathcal{L}_{Pearson}+0.05\,\mathcal{L}_{ TTA}.L=LSmoothL1+0.15LPearson+0.05LTTA.
我们采用了结合LSmoothL1L_{\text{SmoothL1}}LSmoothL1、LPearsonL_{\text{Pearson}}LPearson和LTTAL_{\text{TTA}}LTTA的多目标损失函数。LSmoothL1L_{\text{SmoothL1}}LSmoothL1确保稳健的分数回归，LPearsonL_{Pearson}LPearson强制感知趋势一致性，LTTAL_{TTA}LTTA提高了面向排名评估时对顶级质量样本的区分能力。