【ICLR26-Oral Paper-字节跳动】推理即表征：重新思考图像质量评估中的视觉强化学习
文章：Reasoning as Representation: Rethinking Visual Reinforcement Learning in Image Quality Assessment
代码：暂无
单位：字节跳动、北京大学、香港中文大学
一、问题背景
图像质量评估的核心需求，一是泛化能力，能跨数据集、跨场景准确评判不同类型的图像质量；二是部署效率，能适配手机、实时检测等对速度和内存有要求的场景。
随着多模态大语言模型的发展，以Q-Insight为代表的推理式IQA模型通过强化学习训练，实现了远超传统模型的泛化能力，能同时生成图像质量描述和评分。但这类模型存在致命短板：依赖大模型的多步推理，参数规模动辄数十亿，推理时的能耗、延迟都比传统模型高几个数量级，内存占用大，无法在移动端、在线强化学习等场景落地。
同时，现有研究尚未明确这类推理式模型泛化能力的核心来源，也缺乏有效的方法，在保留其高精度的前提下实现模型的轻量化，成为了IQA领域的核心痛点。
二、方法创新
研究团队通过大量实验，先解开了推理式IQA模型的核心谜题：其泛化能力并非来自推理步骤本身，而是强化学习让模型将冗余的视觉特征，压缩成了紧凑、跨域对齐的文字描述特征，再基于文字描述完成评分。
基于这一核心发现，团队提出了两个互补的创新方法，既解决了跨数据集训练的对齐问题，又实现了模型的极致轻量化：
1. RACT：推理对齐的跨域训练框架
针对不同IQA数据集打分标准、数据分布差异大，混训效果差的问题，RACT先对每个数据集单独做强化学习训练，让模型生成统一的图像质量文字描述；再以这些文字描述为统一标签，对模型做跨域微调，仅适配视觉编码器以兼容不同数据集的图像特征，同时仅引入单个数据集的评分信息保证训练收敛。这一方法让模型突破了数据集的域间隔阂，大幅提升了跨域泛化能力。
2. RALI：推理对齐的轻量级IQA框架
这是研究的核心成果，核心思路是扔掉大模型推理步骤，直接让视觉模型学会对齐推理式模型的高质量文字描述特征，三步实现轻量化：
构建数据：用推理式模型Q-Insight生成“图像-质量文字描述-评分”三联数据，丰富描述的多样性；
对比对齐：冻结CLIP文本编码器，仅训练视觉编码器，通过对比学习让其学会将图像映射到质量文字描述的特征空间；
构建打分空间：对视觉特征做PCA降维和分桶K-means聚类，过滤无关信息，构建紧凑的质量打分空间，后续通过相似度计算即可直接输出评分，无需任何推理步骤。
三、实验结果
研究团队在KonIQ、SPAQ、AGIQA等7个主流IQA数据集（涵盖自然图像、合成失真图像、AI生成图像等类型）上开展了全面实验，结果验证了新方法的优越性：
1. RALI的轻量化与高性能
单数据集训练下，RALI的评分准确率（PLCC/SRCC）与SOTA推理式模型Q-Insight基本持平，平均评分指标甚至小幅领先，同时远超CLIP-IQA+等传统非大模型IQA方法；参数规模仅为Q-Insight的**4%**，在NVIDIA A100显卡上，推理时间仅为Q-Insight的3.4%，内存占用仅为14.7%。
2. RACT的跨域泛化能力
多数据集混训下，RACT在域外数据集的评分性能远超Q-Insight、VisualQuality-R1等主流推理式模型，也优于Q-Align等监督微调模型，成为跨域IQA任务的新SOTA，在保持一定域内性能的同时，实现了域外评分的大幅提升。
3. 组件有效性验证
消融实验证明，RALI的对比对齐、分桶K-means、特征降维等核心组件缺一不可，移除任意组件都会导致性能明显下降，充分验证了各模块设计的合理性。
四、优势与局限
核心优势
性能与效率兼顾：RALI首次在保持推理式模型高精度的前提下，实现了极致轻量化，参数、推理时间、内存占用均减少95%以上，适配移动端、实时检测等落地场景；
泛化能力出众：RACT和RALI均继承了推理式模型的跨域泛化优势，能跨数据集、跨场景准确评估图像质量，包括AI生成图像这类新型图像；
迁移性强：研究的核心发现（视觉特征转文字描述特征是泛化核心）和方法思路，不仅适用于IQA任务，还能拓展到其他视觉-语言任务，为各类推理式模型的轻量化提供了参考；
部署友好：RALI无需加载大语言模型，无推理步骤，仅通过简单的特征映射和相似度计算即可打分，工程实现难度低。
现存局限
RALI的性能上限受限于底层CLIP视觉编码器的表征和推理能力，尚未结合更先进的视觉编码器做进一步优化；
实验主要针对自然图像的IQA任务展开，虽方法具备可拓展性，但尚未在视频、AIGC内容质量评估等更复杂的场景做充分验证。
五、一句话总结
该研究首次明确了强化学习推理式IQA模型泛化能力的核心来源是视觉特征到紧凑文字描述特征的转换，提出的RACT框架解决了跨域训练的对齐问题，而RALI框架仅用4%的参数就实现了与SOTA推理式模型相当的评分性能，大幅降低了推理成本和内存占用，为高精度IQA模型的实际落地提供了高效解决方案，也为其他推理式视觉-语言模型的轻量化提供了新思路。