当前位置：首页 > news >正文

图像分割：目标检测、语义分割和实例分割

news 2026/3/27 3:56:14

内容来自：《深度学习与计算机视觉》

如今，图像分类、目标检测、语义分割、实例分割和目标追踪是计算机视觉的热门应用方向。其中，图像分类与目标检测是最基础的应用，在此基础上派生出了语义分割、实例分割和目标跟踪等相对高级的应用。

语义分割与实例分割是将图像中的像素点分到对应的类别中，从而实现图像前景和背景分离的目的。

目标追踪是指跟踪图像序列或视频中的目标，从而定位目标在图像帧中的运行轨迹。

语义分割、实例分割和目标跟踪涉及的内容较多，其难度也较大。本章将介绍部分典型模型的原理和使用方法。

本章内容建立在前两章的基础上，建议在充分理解图像分类和目标检测的原理之后再进行本章的学习。

1 图像分割

图像分割(Segmentation)是将图像划分成若干个子区域的过程，划分后的子区域分别属于不同的类别或不同的个体。传统的图像分割方法有以下几种：

阈值分割：根据色彩或灰度特征设置阈值，把图像像素点分为若干类别。
区域分割：根据区域特征的相似性将图像划分成不同的区块。
边缘分割：根据边缘特征（像素的灰度等级或结构突变的地方）将图像划分成不同的区块。

传统的图像分割方法是指根据像素灰度值分布的特征进行区域划分。

在深度学习时代，一些模型（如卷积神经网络）可以识别出图像中每个像素所属的目标，从而诞生了语义分割(Semantic Segmentation)和实例分割(Instance Segmentation)。

1.1 目标检测、语义分割和实例分割

从广义来看，目标检测也属于图像分割的一种。

只是目标检测是**以边界框(bbox)**为单位区分不同边界框内部的目标对象；

语义分割和实例分割则是以像素为单位区分每个像素点属于哪个目标对象或分类。

语义分割和实例分割较为相似，都是将图像中的每个像素点对应到不同的类别上。

二者的区别仅在于，语义分割不区分同一个类别内的对象个体，而实例分割则区分不同的对象个体。

目标检测找到的是一块矩形区域，同时识别出这个区域的物体是瓶子还是杯子；

语义分割找到的是像素点集合，同时识别出这些像素组成的物体是瓶子还是杯子；

实例分割在语义分割的基础上同时区分出每个个体，如像素点组成物体的是杯子A还是杯子B。

图像掩膜(Mask)是一个和原图大小相同的二值图像，它由0和1两种值组成，在图像处理中常用来提取感兴趣的区域(ROI)。图像掩膜是一种滤镜模板，可对图像进行滤镜操作，即将感兴趣的区域或目标从原图中截取出来。

图像掩膜的运算过程是将原图中的像素点和掩膜中对应的像素点进行“与”运算，比如一个3×3的图像与3×3的掩膜，其运算过程如图10.2所示。

图像掩膜中的值为1时，原图中该位置的像素点的值保持不变；
图像掩膜中的值为0时，原图中该位置的像素点的值为0。

可以通过深度学习模型生成一个图像掩膜，然后使用该图像掩膜对原图进行分割，

1.2 FCN模型

全卷积神经网络(Fully Convolutional Network，FCN)是首次使用深度学习进行语义分割的模型，它确定了后续图像分割模型的基本框架。

FCN模型的思想是先通过卷积与池化对图像进行下采样，提取图像的特征，然后再通过反卷积进行上采样，生成与原始图像大小相同的图像，最后对生成的图像中的每个像素进行分类而生成分割图。

FCN模型全部由卷积层组成，因此称为全卷积神经网络，其结构FCN模型有3个特点，分别是全卷积化，反卷积和跨层融合。

使用8个卷积层进行特征提取。
对特征图进行上采样，并通过Softmax进行像素点分类。
根据图像中的不同目标，生成图像掩膜并输出分割结果。

1.全卷积化

在通常情况下，CNN模型最后会使用全连接层进行分类，由于全连接层需要固定维度的输入，因此CNN模型只能处理固定大小的图像。FCN模型将CNN模型最后面的几个全连接层全部换成卷积层，由于FCN模型没有全连接层，因此它可处理任意大小的图像。如图10.5所示，灰色方框部分是CNN模型与FCN模型不同的地方：

FCN模型将CNN模型的全连接层改为卷积层。
FCN模型增加了反卷积操作，实现了上采样，生成与原图同样大小的图像。
FCN模型是对每个像素点进行分类，而CNN模型是对整幅图像进行分类。

2.反卷积

卷积可以将3×3的矩阵对应到特征图上的一个点，而反卷积可以将特征图上的一个点展开，得到一个3×3的矩阵。

由于FCN模型会进行多次卷积或池化操作，最后得到的特征图分辨率远远小于原始图像，并且会丢失很多原始图像的信息，而如果直接使用特征图进行分类，则效果会很差。

因此，FCN模型先使用反卷积实现上采样，通过特征图生成一幅和原始图尺寸相同的图像，然后再对这个图像的每个像素进行分类，从而生成图像掩膜。

反卷积运算和卷积运算类似，都是将矩阵及其对应位置的像素值相乘后再相加。

在FCN中，反卷积的运算过程是先在特征图上的像素点之间补上一定数量的0，然后再进行卷积运算，这样可以将特征图放大到与原图同样的大小。

3.跨层融合

原始图像经过多次卷积和池化后，尺寸会变得很小。例如，在经过模型的pool5层处理后，输出的特征图只有原图的1/32，这时原图中的很多细节已经不能反映在特征图上了。

FCN模型通过跨层融合的方式实现精细分割。如图10.7所示，跨层融合具体包括FCN-32s、FCN-16s和FCN-8s共3种融合方案。

FCN-32s方案：首先直接对pool5输出的特征图进行32倍上采样，得到与原图同样大小的待分割图，然后使用Softmax对待分割图的每个点进行分类预测，从而得到分割图（输出的预测图）。
FCN-16s方案：首先对pool5输出的特征图进行2倍上采样，然后与pool4输出的特征图逐点相加，接着进行16倍上采样，得到与原图同样大小的待分割图，最后使用Softmax对待分割图的每个点进行分类预测，从而得到分割图（输出的预测图）。
FCN-8s方案：首先对pool5输出的特征图进行2倍上采样，然后与pool4输出的特征图逐点相加，接着进行2倍上采样并与pool3输出的特征图逐点相加，接着再进行8倍上采样，得到与原图同样大小的待分割图，最后使用Softmax对待分割图的每个点进行分类预测，从而得到分割图（输出的预测图）。