无人机 RGB+热红外融合检测建筑裂缝与渗漏，34 层高楼约 2 小时
导读
住宅建筑的外立面检测传统上依赖人工——爬脚手架、挂绳索、拿检测仪逐面墙检查。一栋 34 层高楼，人工检测需要 2-3 天，覆盖率只有 40-60%，而且肉眼看不到墙体内部的渗漏。
深圳大学团队提出了一套无人机 RGB+热红外双模态检测方案：用 DJI Mavic 3 Thermal 无人机同时拍摄可见光和热红外图像，可见光用于检测裂缝，热红外用于检测渗漏（水分蒸发导致的温度异常）。在深圳三个住宅小区的实测中，裂缝检测 mIoU 达到 87.86%，渗漏检测 mIoU 达到 79.05%。一栋 34 层高楼的完整外立面检测约2 小时完成，覆盖率 ≥95% 。
论文信息
标题：UAV and Deep Learning for Automated Detection and Visualization of Façade Defects in Existing Residential Buildings
作者：Yue Fan, Jinghua Mai, Fei Xue（通讯）, Stephen Siu Yu Lau, San Jiang, Yiqi Tao（通讯）, Xiaoxing Zhang, Wing Chi Tsang
机构：深圳大学（亚热带建筑与城市科学国家重点实验室、广东省城市信息学重点实验室）；香港大学建筑学院；香港都会大学；深圳物策地理信息技术有限公司
一、为什么需要两种模态？
建筑外立面有两类主要缺陷，单一模态各有盲区：
缺陷类型 | 可见光（RGB） | 热红外 |
|---|---|---|
| 裂缝 | ✓ 几何特征清晰 | ✗ 空间分辨率不足（640×512） |
| 渗漏 | ✗ 墙体内部水分肉眼不可见 | ✓ 水分蒸发造成温度异常 |
可见光能看到裂缝的几何形状（宽度、走向、分支），但看不到墙体内部的渗漏——水分可能已经渗入保温层但表面无明显痕迹
热红外能检测到渗漏区域的温度异常（蒸发冷却效应），但空间分辨率仅 640×512 像素，无法分辨细小裂缝
两种模态互补：RGB 负责裂缝，热红外负责渗漏。
图片来源于原论文
二、三阶段检测流水线
图片来源于原论文
阶段一：墙体提取
用SegFormer从无人机拍摄的图像中提取建筑墙体区域，排除天空、地面、植被等背景干扰。在 WHU 墙体数据集（900 张标注图像）上微调。
阶段二：裂缝检测（RGB）
对提取的墙体区域，用K-Net + UPerNet做语义分割检测裂缝。采用滑动窗口策略——将高分辨率外立面图像切割为与训练分辨率匹配的小块，逐块检测后拼接。
训练数据：1,892 张公开裂缝数据集图像。
阶段三：渗漏检测（热红外）
同样用K-Net + UPerNet对热红外图像做语义分割检测温度异常区域。标注数据经过可见光图像中的渗水痕迹/泛碱现象交叉验证。
训练数据：340 张自建热红外标注图像。
双模态配准与 3D 可视化
可见光和热红外图像通过单应性矩阵（手动选择 4 个以上匹配点）配准到统一坐标系。
论文的另一个重要环节是将检测结果映射到 3D 建筑模型上。整个数据采集分两步：第一步是粗略倾斜摄影（30m 高度拍摄，用于 SfM 三维重建获取建筑外轮廓和几何信息），第二步才是精细近距拍摄（5-25m，用于缺陷检测）。粗略阶段重建的 3D 模型作为载体，精细阶段检测到的缺陷通过坐标转换（WGS84 → UTM → ENU）映射到模型上，最终在 Grasshopper/Rhino 中实现参数化可视化——每处缺陷都有精确的三维坐标和面积。
三、硬件与飞行方案
无人机平台（规格来自 DJI 官方）
参数 | 规格 |
|---|---|
型号 | DJI Mavic 3 Thermal（M3T） |
广角相机 | 1/2" CMOS, 48MP, 24mm 等效焦距 |
长焦相机 | 1/2" CMOS, 12MP, 162mm 等效, 56× 混合变焦 |
热红外相机 | 非制冷 VOx 微测辐射热计, 640×512, NETD ≤50mK |
续航 | 45 分钟 |
重量 | 920g |
飞行参数建议
建筑类型 | 高度 | 拍摄距离 | 单栋耗时 |
|---|---|---|---|
低层（≤7 层） | ~21m | 5-10m | ~45 分钟 |
中层（8-18 层） | — | 15-20m | — |
高层（≥19 层） | ~100m | 20-25m | ~1.2-1.6 小时 |
关键约束：拍摄距离超过30m后，裂缝检测和低温差渗漏检测性能明显下降。
四、实验结果：深圳三个住宅小区实测
训练配置
参数 | 规格 |
|---|---|
GPU | NVIDIA RTX 4090 (24GB) |
训练迭代 | 墙体提取 40,000 / 裂缝 36,000 / 渗漏 9,500 |
学习率 | 0.0001, Poly 衰减 |
检测精度
任务 | 整体准确率 | mIoU | mPrecision | mRecall |
|---|---|---|---|---|
墙体提取 | 86.11% | 64.04% | 78.9% | 76.33% |
| 裂缝检测 | 98.03% | 87.86% | 94.21% | 92.31% |
| 渗漏检测 | 98.41% | 79.05% | 87.54% | 86.44% |
与传统方法对比
维度 | 传统人工检测 | 无人机 + 深度学习 |
|---|---|---|
单栋高楼耗时 | 2-3 天 | ~2 小时 |
覆盖率 | 40-60% | ≥95% |
裂缝宽度精度 | ±0.1mm | ±1cm |
人工参与度 | 90% | 20% |
无人机方案在效率、覆盖率和人工参与度上大幅领先，但裂缝宽度测量精度（±1cm）远低于传统裂缝计（±0.1mm）——适合大面积筛查，不替代精密测量。
实测案例
在深圳三个住宅小区部署：
小区 | 楼层 | 拍摄距离 | 图像对数 |
|---|---|---|---|
OCT 社区 | 7 层 | 5m | 1,034 |
深南花园 | 34 层 | 22m | 1,400 |
汇芳花园 | 33 层 | 25m | 1,811 |
在深南花园识别出 4 处渗漏缺陷，面积分别为 0.16、0.25、0.47、0.92 m²，并在 3D 模型中定位了精确坐标。
图片来源于原论文
五、总结与思考
这篇论文展示了一套完整的无人机双模态建筑外立面检测方案，从飞行规划到缺陷检测到 3D 可视化：
双模态互补：RGB 检测裂缝（mIoU 87.86%），热红外检测渗漏（mIoU 79.05%）
效率提升：单栋高楼从 2-3 天缩短到约 2 小时，覆盖率从 40-60% 提升到 ≥95%
定位为筛查工具：论文明确将方案定位为"第一阶段筛查"，识别重点区域后再做精密检测
值得注意的几点：
只覆盖两类缺陷：裂缝和渗漏。建筑外立面还有脱落、空鼓、保温层损坏等缺陷类型未涉及
热红外标注数据量有限：仅 340 张标注图像训练渗漏检测模型，泛化到更多建筑类型和场景需要更多数据验证
环境因素敏感：热红外检测受立面朝向、材质、天气影响大。论文实测在深圳（亚热带气候），在北方寒冷气候下的热对比度特性可能不同
双模态配准是手动的：需要人工选择 4 个以上匹配点做单应性配准，这限制了全自动化部署
精度 vs 效率的定位清晰：论文没有声称替代传统精密检测，而是定位为大面积筛查工具——这个定位务实且合理