019、合成数据生成：3D 渲染、GAN 生成缺陷图片补充工业检测数据集
019、合成数据生成：3D 渲染、GAN 生成缺陷图片补充工业检测数据集
上个月在调试一个手机中框划痕检测项目，客户给了300张正品图片，缺陷样本只有12张，其中划痕类型还只有两种。模型在验证集上mAP跑到0.89，一上线就被产线师傅骂——漏检率超过40%。后来我花了三天时间，用Blender渲染了2000张合成划痕图，配合StyleGAN生成的纹理缺陷，硬是把漏检率压到了5%以下。今天就把这套“穷人的数据增强”方案拆开讲。
为什么合成数据在工业检测里是刚需
工业场景的缺陷数据获取成本极高。产线上一个良品率99.5%的工序，要攒够1000张缺陷图，理论上需要跑20万件产品。更麻烦的是，很多缺陷（比如微裂纹、气泡、脏污）在真实产线上出现频率极低，而且形态多变。你不可能让产线师傅专门给你造缺陷——他们KPI是良品率。
合成数据的核心价值不是“替代真实数据”，而是“覆盖真实数据中缺失的长尾分布”。比如手机中框的划痕，真实样本里只有直线划痕，但实际产线上可能出现弧形划痕、交叉划痕、甚至带毛刺的划痕。这些在合成阶段都可以低成本生成。
3D渲染生成缺陷：Blender + Python自动化管线
我选Blender而不是Unity或Unreal，原因很简单：Blender的Python API最成熟，而且社区有现成的缺陷生成插件。这里踩过坑——别用Blender的物理渲染引擎Cycles做批量生成，速度太慢。用EEVEE实时渲染引擎，配合适当的采样次数，一张1080p的渲染图控制在0.3秒以内。
核心思路是“缺陷作为独立物体叠加到背景上”。比如划痕，我建一个扁平的圆柱体，压扁到0.01mm厚度，随机旋转、缩放、扭曲，然后布尔运算到产品模型表面。代码里这样写：
importbpyimportrandomimportnumpyasnpdefgenerate_scratch(target_obj,scratch_count=5):# 别这样写：直接对原始模型做布尔运算，会破坏网格拓扑# 正确做法：复制一份模型做布尔，保留原始模型做背景scratch_parent=bpy.data.objects.new("ScratchParent",None)bpy.context.collection.objects.link(scratch_parent)foriinrange(scratch_count):bpy.ops.mesh.primitive_cylinder_add(vertices=8,radius=random.uniform(0.001,0.005),depth=random.uniform(0.01,0.05))scratch=bpy.context.active_object# 随机位置和旋转scratch.location=(random.uniform(-0.1,0.1),random.uniform(-0.1,0.1),0.001)scratch.rotation_euler=(0,0,random.uniform(0,3.14))# 这里踩过坑：不应用缩放直接布尔运算会报错bpy.ops.object.transform_apply(location=False,rotation=False,scale=True)scratch.parent=scratch_parent# 布尔运算bpy.context.view_layer.objects.active=target_obj bpy.ops.object.modifier_add(type='BOOLEAN')target_obj.modifiers["Boolean"].operation='DIFFERENCE'target_obj.modifiers["Boolean"].object=scratch_parent bpy.ops.object.modifier_apply(modifier="Boolean")关键参数调优：划痕的深度、宽度、曲率要符合真实物理规律。我参考了金属材料划痕的AFM测量数据，划痕深度控制在0.5-5微米，宽度10-50微米。渲染时用粗糙度贴图模拟划痕边缘的毛刺效果，比单纯用几何体更真实。
GAN生成缺陷：从StyleGAN到条件生成
3D渲染擅长生成几何缺陷（划痕、凹陷、凸起），但对纹理类缺陷（脏污、氧化、水渍）效果很差。这时候GAN就派上用场了。我试过DCGAN、WGAN-GP，最后发现StyleGAN2在工业缺陷生成上效果最好，尤其是它的风格混合能力——可以把正常纹理和缺陷纹理无缝融合。
训练策略上，别直接用缺陷图训练。我收集了500张正常产品图，用Photoshop手动标注了缺陷区域（别笑，这是最有效的方法），然后训练一个pix2pixHD模型，输入正常图，输出缺陷图。这样生成的缺陷图天然对齐到产品表面，不需要后期合成。
这里有个坑：GAN生成的缺陷图分辨率不能太低。我试过256x256，模型训练时能收敛，但部署到YOLOv8上检测时，小缺陷（比如直径小于10像素的脏污点）完全检测不到。后来把生成分辨率提升到1024x1024，配合随机裁剪，效果才上来。
数据合成管线：从渲染到标注的自动化
合成数据最大的坑不是生成图片，而是生成标注。3D渲染时，缺陷物体的3D包围盒可以直接投影到2D图像上，得到精确的边界框。但GAN生成的缺陷图，标注需要额外处理。
我的做法是：GAN生成缺陷图时，同时输出一个二值掩码（mask），然后用OpenCV的findContours提取边界框。代码片段：
importcv2importnumpyasnpdefmask_to_bbox(mask,min_area=50):# 别这样写：直接用cv2.findContours不预处理，会得到大量噪声# 先做形态学操作kernel=cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3))mask_clean=cv2.morphologyEx(mask,cv2.MORPH_CLOSE,kernel)mask_clean=cv2.morphologyEx(mask_clean,cv2.MORPH_OPEN,kernel)contours,_=cv2.findContours(mask_clean,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)bboxes=[]forcntincontours:area=cv2.contourArea(cnt)ifarea<min_area:continuex,y,w,h=cv2.boundingRect(cnt)# 这里踩过坑：边界框要适当扩大，否则YOLO训练时正样本匹配不上expand=5x=max(0,x-expand)y=max(0,y-expand)w=min(mask.shape[1]-x,w+2*expand)h=min(mask.shape[0]-y,h+2*expand)bboxes.append([x,y,x+w,y+h])returnbboxes混合训练策略：合成数据与真实数据的配比
合成数据不能无脑堆。我做过对比实验：只用合成数据训练，mAP只有0.65；合成数据+真实数据（比例3:1），mAP达到0.91；但继续增加合成数据到10:1，mAP反而下降到0.87。原因是合成数据分布和真实数据有偏差，过度拟合合成数据会损害泛化能力。
最佳实践是：合成数据占训练集的60%-70%，真实数据占30%-40%。而且合成数据要加入随机扰动——光照变化、相机噪声、运动模糊、JPEG压缩伪影。这些扰动在Blender渲染时就可以通过修改相机参数实现，不需要后期处理。
个人经验性建议
合成数据不是越多越好。我见过有人用GAN生成10万张缺陷图，结果模型在真实场景下表现更差。关键是多样性，不是数量。每种缺陷类型生成500-1000张，覆盖不同角度、光照、尺度，效果远好于单一类型生成1万张。
标注质量比图片质量更重要。3D渲染的标注是完美的，但GAN生成的标注可能有偏差。我建议对GAN生成的标注做人工抽检，抽检率不低于10%。发现标注偏差超过5像素的，重新调整mask提取参数。
别忽视背景多样性。很多工业检测场景，背景（产品表面纹理、反光、灰尘）比缺陷本身更复杂。合成数据时，背景纹理要随机变化。我常用Perlin噪声叠加真实产品纹理，模拟不同批次产品的表面差异。
最后一条，也是最重要的：合成数据只能作为“种子”，不能作为“主食”。最终模型上线前，必须用真实产线数据做微调。我通常的做法是：先用合成数据预训练，然后用真实数据做fine-tune，学习率设为预训练阶段的1/10。这样既利用了合成数据的多样性，又保证了真实场景的适配性。
这套方案现在已经成为我们团队的标配流程。上周一个新项目，客户只给了50张正常图，我们用Blender+GAN生成了3000张缺陷图，两周内就交付了可用的检测模型。合成数据不是万能药，但在工业检测这个数据稀缺的领域，它确实是性价比最高的解决方案。