【RT-DETR实战】137、Transformer模型压缩:从RT-DETR实战看TinyViT的轻量化哲学
一、深夜的显存告警
上周三凌晨两点,手机突然连续震动——监控系统报警,产线检测服务显存溢出。爬起来连上服务器,看到日志里熟悉的OOM错误,心里一沉。
RT-DETR在产线上跑得好好的,怎么突然崩了?查了半天发现,产线新上了一批高分辨率摄像头,1920x1080的图像喂进去,原本的模型直接吃满了16G显存。
# 这是当时出问题的推理代码片段definfer_batch(images):# 原本的RT-DETR backbone直接上高分辨率features=backbone(images)# 这里踩过大坑:高分辨率时特征图太大