SAGE-Net：融合语义信息的自动驾驶注意力预测框架

摘要

在自动驾驶领域，准确预测驾驶员的注意力焦点对于实现安全高效的驾驶决策至关重要。传统方法主要依赖人类眼动数据来构建显著性图，但这种方式存在明显局限性。本文介绍一种创新的语义增强注视检测方法（SAGE, Semantics Augmented GazE），通过将场景语义信息与原始眼动数据相结合，构建更加全面的注意力预测框架SAGE-Net。

1. 研究背景与动机

1.1 为什么仅依赖眼动数据不够？

现有的驾驶场景显著性预测算法主要通过两种方式获取眼动数据：车载眼动仪采集或实验室环境模拟标注。然而，单纯的眼动信息存在以下四个核心问题：

（1）周边视觉的遗漏

人类驾驶时会利用周边视觉感知环境，即眼睛注视一个物体的同时能够关注到其他区域。眼动仪只能捕捉注视点，无法记录周边视觉获取的信息。

（2）单一焦点的限制

当驾驶员判断来车或行人不会与自车发生碰撞时，往往会将视线移开。这种行为模式是导致交通事故的重要原因之一，而基于眼动的模型会学习到这种不安全的注意力分配模式。

（3）注意力分散的干扰

驾驶过程中，驾驶员可能被路边的建筑物、广告牌等与驾驶无关的物体吸引。这些分散注意力的行为会被记录到眼动数据中，影响模型学习。

（4）中心偏置问题

大部分驾驶时间内，驾驶员的视线集中在道路前方中央区域。深度学习