图像分割到底在分什么——从像素到语义，这活儿没那么神秘
前两天组里来了个实习生，抱着键盘怯生生问我："师兄，图像分割和图像分类到底有什么区别？不都是让机器看图吗？"
我盯着他看了三秒钟，然后把手里那杯美式放下——这问题问得，既蠢又深刻。蠢在"都是看图"这个类比太粗糙了，深刻在他触及了计算机视觉最底层的逻辑分野：分类是回答"图里有什么"，分割是回答"什么在图里的哪里"。
图像分割的核心任务，说白了就一句话：给每个像素打标签。
你有一张图，几百万个像素点，每个像素你都要告诉机器"这是人""这是车""这是路""这是天"。这事儿听着简单，做起来能把你整崩溃——一张1080p的图有两百万个像素，你要标注员一个一个点去标？标一张图的时间够他刷三小时抖音。Cityscapes数据集里一张精细标注的街景图，标注员要花几个小时才能完成。这就是分割跟分类最本质的区别：分类只要一个标签，分割要几百万个标签。
分割分三种，千万别搞混了
新人最容易犯的错误就是把语义分割、实例分割、全景分割混为一谈。我整理了一个粗暴但管用的区分方式：
语义分割——同一类东西全部涂成一个颜色。图里有三条狗？全涂成"狗"的红色，不分彼此。你要的是"哪些像素属于狗"这个区域，不用管"这是狗1还是狗2"。
实例分割——同一类东西每个个体单独标出来。三条狗分别涂成红、蓝、绿，每条狗都有自己的ID。你要的是"每个独立物体"的精确轮廓。
全景分割——把前两者合在一起。可数的"物体"（人、车、狗）做实例分割，不可数的"stuff"（天空、草地、道路）做语义分割，最后合并输出。这是分割领域的"大一统"目标，但实现起来两边互相打架——语义分支想把所有天空标成"天空"，实例分支想把每朵云单独标出来，合并的时候冲突一堆。
在实际项目中，三种任务的选择完全取决于你的业务需求。做自动驾驶的路面检测，语义分割就够了——你只需要知道"哪些像素是路"，不需要区分"这条路是路1还是路2"。做细胞生物学分析，你必须用实例分割——每个细胞单独计数、单独追踪。做室内机器人导航，全景分割才有意义——机器人既要避开"椅子"这个实例物体，也要知道"地面"这个stuff区域可以通行。
分割的"祖宗"们，现在回头看都很糙
在深度学习统治之前，图像分割靠的是传统图像处理那一套：阈值分割、区域生长、边缘检测、分水岭算法。这些方法在简单场景下能用，但遇到复杂背景、光照变化、物体遮挡，基本就废了。我记得刚入行那会儿还用过分水岭算法分割细胞图像，参数调了三天，换个显微镜拍的照片又不灵了——那种无力感，至今记忆犹新。
2014年，Long等人提出了FCN（全卷积网络），第一次把端到端的深度学习用到了像素级预测上。这东西的意义怎么强调都不为过——它证明了"卷积网络可以用来做逐像素分类"，为后面所有分割模型铺了路。但FCN的粗糙也是出了名的：上采样出来的结果边缘模糊得跟狗啃似的，后来U-Net用跳层连接才把这个问题缓解了一些。
分割为什么比检测难？——一个被严重低估的问题
我经常跟人说：检测是"框出物体"，分割是"抠出物体"。检测只要画个矩形框，哪怕框得歪了一点，IoU掉得也有限。分割要求你沿着物体的每一条边缘、每一个凹陷精确地划分像素——边界上差一个像素，在医学场景里可能就是"肿瘤切干净了"和"肿瘤没切干净"的区别。
而且分割的输出维度比检测高得多。检测输出的是几个框的坐标（4个数值×N个框），分割输出的是跟输入图像一样大的标签图（H×W个数值）。这意味着分割任务的输出空间巨大，模型要学的映射关系比检测复杂得多。
还有一个容易被忽略的问题——分割的标注成本太高了。标注一个检测框只要几秒钟，标注一个精细的分割掩膜可能要几分钟到几十分钟。这就是为什么弱监督分割、半监督分割这几年这么火——大家实在标不起了。
分割的"评价指标"，一个比一个坑
分类看准确率就够了，分割的评价指标那叫一个五花八门。
IoU（Intersection over Union）是最常用的——预测区域和真实区域的交集除以并集。取值范围0到1，越接近1越好。这个指标简单直观，但对小物体极其不友好——一个小物体如果预测偏了几个像素，IoU可能直接从0.8掉到0.2。
Dice系数在医学分割里用得特别多，跟IoU是近亲。它等于2×交集/(预测面积+真实面积)。Dice对小物体的惩罚比IoU温和一些，所以医学领域更喜欢用。
边界指标（Hausdorff距离、平均表面距离）专门评估分割边界的精度。在需要精确定位边界的场景（比如手术规划）里，光看Dice是不够的——Dice可能很高，但边界差了5个像素，这在临床上可能就是"能用"和"不能用"的区别。
我做项目的时候通常同时看三四个指标——mIoU看整体、Dice看小物体、HD95看边界。任何一个指标异常都得回头查原因，不能只看一个数字就下结论。
好了，第一篇先把"图像分割到底是什么"这个框架搭起来了。后面七篇咱们挨个深入——从FCN到U-Net到Transformer到SAM2，从医学到遥感到自动驾驶，从损失函数到评价指标到工程部署。这活儿水很深，一篇一篇来。