TPAMI 2025 | 夜间动态成像难题突破！NER-Net + 以时间戳校准 + 非平稳增强双模块，刷新事件相机重建性能
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达晚上想拍张运动的照片，结果要么糊成一团，要么暗得看不清？传统相机在夜间动态场景成像时，仿佛陷入了一个死循环：想拍清楚得长曝光，可一动就模糊；想抓动态得短曝光，画面又黑得没法看。
但现在，事件相机的出现让这个难题有了新解法！今天要给大家介绍的这篇顶会论文——《NER-Net+: Seeing Motion at Nighttime With an Event Camera》，就用硬核技术把事件相机的夜间成像能力拉满，还顺带解决了数据和算法的两大痛点。
论文信息
题目：NER-Net+: Seeing Motion at Nighttime With an Event Camera
基于事件相机实现夜间运动成像的NER-Net+方法
作者：Haoyue Liu, Jinghan Xu, Shihan Peng, Yi Chang, Hanyu Zhou, Yuxing Duan, Lin Zhu, Yonghong Tian, Luxin Yan
先说说为啥传统相机在夜里“不行”？
晚上拍照，传统RGB相机的短板太明显了。比如拍夜间行驶的汽车，长曝光能让画面亮一点，但汽车会拖出长长的虚影；短曝光能冻住瞬间，可除了车灯一片漆黑。这是因为传统相机的曝光时间和动态捕捉需求天生矛盾。
而事件相机就不一样了！它像个“动态捕手”，只对画面中亮度变化的部分敏感，每个像素独立工作，时间分辨率能达到微秒级，动态范围更是高达120dB。简单说，就是既能看清暗处细节，又能精准捕捉快速运动，简直是为夜间动态场景量身定做的！
但事件相机也有难题：
没有专门的夜间事件-图像配对数据集，现有方法大多靠模拟数据训练，一到真实场景就拉垮
夜间事件信号问题多：噪声大、有时间拖尾、空间分布不均匀，重建出的图像质量堪忧
三大创新点，直接解决行业痛点
这篇论文的作者团队可是下了狠功夫，从数据到算法全方位突破，三大创新点直接击中夜间事件成像的要害：
1. 首个真实低光事件数据集RLED：数据不够？我们自己造！
没有好数据，算法再牛也白搭。作者团队搭建了一套同轴成像系统，硬生生造出了80,400组时空对齐的低光事件和清晰图像真值。
这套系统里有事件相机、传统RGB相机、分束器和ND滤光片。分束器把光线一分为二，ND滤光片给事件相机“减光”，模拟夜间低光环境，同时保证两台相机时间同步、像素对齐。
RLED数据集厉害在哪？
光照范围超广：从0.1 lx（伸手不见五指）到1000 lx（昏暗路灯下）
场景超丰富：城市、郊区、村庄、山谷都有涵盖
多阈值数据：包含不同传感器阈值设置的事件，更贴近真实使用场景
看看不同阈值下的事件分布，阈值太低噪声多，太高又丢信息，这数据集简直是为研究量身定做的！
2. NER-Net+网络：针对性解决夜间事件三大顽疾
针对夜间事件的噪声、拖尾、空间不均匀问题，作者设计了NER-Net+网络，两大核心模块堪称“夜间清道夫”。
先看整体框架，是不是一目了然？
（1）LETC模块：给拖尾事件“拨乱反正”
夜间光线暗，事件相机会出现“时间拖尾”——就像运动的物体后面带了个影子，这是因为传感器截止频率降低导致的。
作者发现拖尾事件有个规律：连续事件极性相同、时间间隔越来越大。基于这个特点，先用水滴石穿的ETS方法校正时间戳，再让LETC模块学习这种校正规律，让事件在时间轴上站对位置。
（2）NSIE模块：给事件信号“大扫除”
夜间事件的噪声分两种：随机噪声（到处乱窜）和固定噪声（死磕一个像素）。NSIE模块里的TCNS组件专门收拾它们：
随机噪声没规律，用时间对齐后的特征相乘放大差异来抑制
固定噪声老在同一位置，用相邻帧相减来消除
还有夜间光照不均匀的问题？NSIE的不均匀校正门能根据事件密度动态调整，亮的地方不爆，暗的地方不丢细节。最后通过时空聚合，把长短期信息和多尺度特征整合起来，重建质量直接飙升！
3. 传感器阈值策略：低阈值才是夜间王道！
作者做了个有趣的实验：不同阈值对夜间成像影响太大了！高阈值虽然噪声少，但会丢失大量场景信息；低阈值虽然噪声多，却能保留更多细节——只要算法够强，就能把噪声压下去，信息却能留下来。
看这组对比，低阈值（Th=-30）重建的画面细节明显更丰富，高阈值（Th=+30）直接把暗部信息丢光了！
当光照低于5 lx时，低阈值的优势更是碾压级的，所以夜间用低阈值+强算法才是最优解！
实验结果：全方位吊打现有方法！
作者在三个真实数据集上做了测试，NER-Net+的表现只能用“惊艳”来形容。
先看定性对比，在复杂夜间场景下，其他方法不是有黑色伪影，就是画面不自然，而NER-Net+重建的图像不仅干净，细节还超丰富！
定量指标更能说明问题，在MSE、SSIM、LPIPS等指标上，NER-Net+全都是第一，尤其在真实夜间数据集上优势明显。
消融实验也证明了每个模块的重要性，LETC解决拖尾，NSIE抑制噪声和不均匀性，少了谁都不行！
总结：夜间动态成像的新标杆
这篇论文不仅造出了首个真实低光事件数据集RLED，还提出了针对性的NER-Net+网络，从传感器设置到算法设计全方位优化，让事件相机在夜间动态场景成像中大放异彩。
以后不管是自动驾驶夜间导航，还是安防监控夜间抓拍，有了这项技术，再也不用担心“拍不清”的问题了。期待这项技术早日落地，让我们在黑夜中也能拥有“火眼金睛”！
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：人工智能0基础学习攻略手册
在「小白学视觉」公众号后台回复：攻略手册，即可获取《从 0 入门人工智能学习攻略手册》文档，包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源，可以下载离线学习。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~