【中国科学院光电研究所-张建林组-AAAI26】追踪不稳定目标：基于外观引导的运动建模在无人机拍摄视频中实现稳健的多目标跟踪
文章：Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos
代码：暂无
单位：中国科学院光电研究所
一、问题背景：无人机跟踪为啥总“掉链子”？
无人机拍摄场景有两个核心痛点，让传统跟踪算法难以应对：
视角多变+运动复杂：无人机飞行时视角频繁切换（近拍变远拍、左拍变右拍），且与地面目标的相对运动剧烈，导致目标外观和位置变化极大；
传统方法“各自为战”：现有算法大多分开处理“目标外观”和“运动轨迹”信息，忽略了两者的内在关联。一旦目标突然位移或外观模糊，就容易出现跟踪断裂、身份认错的问题。
这些问题最终导致跟踪准确率低、轨迹碎片化，严重影响无人机在安防监控、交通疏导等场景的应用效果。
二、方法创新：AMOT算法的两大“独门绝技”
研究团队提出的AMOT算法，基于联合检测与嵌入（JDE）架构，核心创新在于两个“即插即用”的模块，完美解决了传统方法的缺陷：
1. 外观-运动一致性矩阵（AMC）：让匹配更靠谱
AMC矩阵不再分开看“外观”和“运动”，而是通过双向空间距离计算，将两者深度融合：
先通过目标外观特征（ReID嵌入）生成响应图，预测目标在相邻帧的位置；
再计算“正向距离”（上一帧轨迹预测位置到当前帧检测位置）和“反向距离”（当前帧检测预测位置到上一帧轨迹位置）；
只有双向距离都小时，才判定为可靠匹配，大幅减少误匹配情况。
2. 运动感知轨迹延续模块（MTC）：让跟踪不中断
针对目标被遮挡、漏检导致的轨迹断裂问题，MTC模块能“复活”失联轨迹：
为每个轨迹维护近期状态缓存，若轨迹暂时无匹配检测，就标记为候选；
同时用卡尔曼滤波（运动模型）和外观特征（响应图）分别预测候选轨迹的当前位置；
若两个预测位置距离小于阈值，就判定目标仍在画面中，激活轨迹继续跟踪。
更实用的是，这两个模块无需额外训练，能直接集成到现有JDE类跟踪器中，兼容性拉满。
三、实验结果：三大 benchmark 全面领先
研究团队在VisDrone2019、UAVDT、VT-MOT-UAV三大无人机跟踪基准数据集上做了充分测试，结果惊艳：
VisDrone2019：IDF1（身份一致性指标）达61.4%，MOTA（整体跟踪准确率）达46.0%，超越MM-Tracker等主流算法；
UAVDT：IDF1高达74.7%，MOTA达55.1%，在鸟瞰视角场景中表现突出；
VT-MOT-UAV：面对复杂光照和杂乱背景，仍实现52.7%的IDF1和31.8%的MOTA，优于SORT、FairMOT等经典算法。
更关键的是，AMOT保持36.4 FPS的实时推理速度，完全满足无人机实时跟踪的需求。 ablation实验还证明，AMC和MTC模块联合使用时，能让身份切换次数大幅减少，轨迹连续性显著提升。
四、优势与局限：理性看待这项新技术
核心优势
鲁棒性强：能应对无人机视角多变、目标大幅位移的复杂场景，身份识别更稳定；
即插即用：无需重新训练，可快速集成到现有跟踪器，降低应用成本；
实时高效：在保证精度的同时，推理速度满足实际应用需求；
通用性好：在不同数据集、不同跟踪器上都能带来性能提升。
现存局限
依赖ReID特征质量：若目标外观极度相似（如多辆同款白色汽车），仍可能出现匹配误差；
阈值设置敏感：AMC的尺度因子σ和MTC的距离阈值λ需根据场景微调，缺乏自适应机制；
复杂遮挡应对有限：若目标长时间被严重遮挡，轨迹仍可能断裂。
五、一句话总结
AMOT通过融合外观与运动信息的AMC矩阵和轨迹复活MTC模块，解决了无人机多目标跟踪中“匹配不准”“轨迹断裂”的核心痛点，为实时、稳健的无人机监控提供了高效解决方案。