【CVPR26-陈志波-中国科学技术大学】混合智能体用于图像恢复
文章： Hybrid Agents for Image Restoration
Code: 暂无
单位：中国科学技术大学
一、问题背景
图像恢复（Image Restoration, IR）一直是低级计算机视觉中的热门研究话题，旨在将低质量的输入图像恢复为高质量的输出。然而，现有的图像恢复方法通常依赖于任务特定的恢复模式，或者是通用的恢复模型，导致对于复杂的实际应用场景，尤其是涉及多种图像退化情况时，难以高效地处理。传统的图像恢复流程通常要求用户选择适当的恢复模式，缺乏智能化的协作机制，这使得非专业用户很难实现高效的图像恢复。
二、方法创新
为了解决这一问题，本文提出了一种新型的互动图像恢复框架——HybridAgent。该框架结合了多种恢复模式，通过三种主要的恢复代理（FastAgent、SlowAgent和FeedbackAgent）实现了灵活高效的用户交互。
FastAgent：基于轻量级大语言模型（LLM）处理简单明了的用户需求，直接执行任务，从而避免了使用更重的模型造成的计算开销。
SlowAgent：基于多模态大语言模型（MLLM），能够识别复杂退化情况，并自动选择合适的恢复工具。
FeedbackAgent：负责评估恢复图像的质量，确保恢复过程的准确性，并为SlowAgent提供反馈，决定是否需要继续恢复。
此外，HybridAgent还引入了一种新的混合退化移除工具，能够有效防止逐步处理过程中错误传播问题。
三、实验结果
通过广泛的实验，HybridAgent在处理复杂退化问题上展示了优越的性能。实验结果表明：
FastAgent显著提升了恢复效率，对于直接请求的图像恢复任务，减少了约88%的推理时间。
在混合退化的处理上，HybridAgent通过混合退化移除工具的应用，比传统的逐步单一退化移除方法显著提高了恢复质量，尤其是在低光照和雾霾图像的恢复任务中。
四、优势与局限
优势：
通过混合恢复模式，HybridAgent能够灵活应对多种退化类型，尤其适合复杂和多样化的图像恢复任务。
高效的恢复代理设计（FastAgent和SlowAgent）能根据任务的复杂性自动切换，优化了恢复速度与准确度的平衡。
混合退化移除工具能够有效减少错误传播，提高了恢复效果。
局限：
混合退化移除工具在处理更为复杂的现实场景时，仍然存在一定的表现限制，尤其是在应对更复杂的退化组合时。
尽管系统灵活高效，但对于某些新型退化类型，仍需进一步优化和训练更多的恢复工具。
五、一句话总结
HybridAgent通过结合快慢恢复代理与混合退化移除工具，为图像恢复任务提供了高效且智能的解决方案，尤其在处理复杂退化时表现出色。
This outline gives a structured and concise view of the paper, suitable for public dissemination on platforms like WeChat.