基于Mask R-CNN的牙齿实例分割实战：从手机照片到结构化牙位信息

大家好，我是专注于计算机视觉与深度学习实战的技术博主。在口腔健康数字化、远程医疗等场景中，如何从非标准的智能手机照片中自动、准确地识别和分割每一颗牙齿，一直是一个极具挑战性的工程问题。传统的图像处理方法对此往往力不从心，而基于深度学习的方案则展现出巨大潜力。

本文将以一篇名为《TLNM: Externally Validated Tooth Detection, Numbering and Segmentation from Smartphone Photographs Using Mask R-CNN》的研究工作为蓝本，系统性地拆解如何利用 Mask R-CNN 这一经典实例分割模型，构建一个端到端的牙齿检测、编号与分割系统。无论你是想了解实例分割在医疗影像中的应用，还是希望亲手复现一个完整的CV项目，这篇文章都将提供从核心概念、环境搭建、代码实现到工程优化的全流程指南。

1. 背景与核心概念

在深入代码之前，我们有必要厘清几个关键概念以及这项技术所要解决的核心问题。

1.1 问题定义：从手机照片到结构化牙齿信息

想象一下这样的场景：患者在家中用手机拍摄口腔照片，上传后，系统需要自动完成以下任务：

1. 检测 (Detection)：找出照片中所有牙齿的位置（用边界框框出）。
2. 分割 (Segmentation)：精确地勾勒出每一颗牙齿的轮廓（像素级掩码）。
3. 编号 (Numbering)：按照牙科通用编号系统（如FDI牙位表示法）为每一颗识别出的牙齿赋予一个唯一的标识符。

最终输出是结构化的信息：[牙齿编号: 边界框坐标, 分割掩码]。这比单纯给出分割图更有价值，因为它直接关联了临床知识。

1.2 核心技术：Mask R-CNN 简介

Mask R-CNN 是何恺明等人于2017年提出的一个经典框架，它是在 Faster R-CNN 目标检测框架基础上的扩展，增加了一个并行的分支用于预测目标掩码（Mask）。

其核心流程可以简化为：

1. 骨干网络 (Backbone)：如 ResNet-50/101 + FPN，用于从输入图像中提取多尺度的特征图。
2. 区域提议网络 (RPN)：在特征图上滑动，生成可能包含目标的候选区域（Region Proposals）。
3. RoIAlign：针对每个候选区域，从特征图中精确地对齐并池化出固定大小的特征。这是 Mask R-CNN 性能提升的关键，解决了 RoIPooling 的量化误差问题。
4. 并行头分支：
   • 分类头：预测候选区域内物体的类别。
   • 回归头：精细调整边界框的位置。
   • 掩码头：为每个类别预测一个二进制掩码（通常为 28x28 大小），上采样后得到原图尺度的精确分割。

对于牙齿分割任务，Mask R-CNN 的优势在于它能同时输出检测框和分割掩码，且精度很高，非常适合处理牙齿这类排列紧密、形状各异但类别单一（或可视为单一类别“牙齿”）的物体。

1.3 挑战与 TLNM 的贡献

直接从手机照片处理牙齿面临诸多挑战：

• 非标准化拍摄：光照不均、角度倾斜、焦距变化、部分遮挡（嘴唇、舌头）。
• 牙齿形态相似：不同位置的牙齿形状相似，给编号带来困难。
• 数据稀缺与标注昂贵：高质量的医疗影像数据难以获取，像素级标注成本极高。

TLNM 这项工作不仅应用了 Mask R-CNN，更重要的是它提出了一套完整的流程，并进行了外部验证，这意味着其模型在不同于训练数据来源的新数据集上依然表现稳健，证明了方案的泛化能力和实用潜力。本文将复现和解读这一流程的核心部分。

2. 环境准备与版本说明

为了顺利复现，我们需要搭建一个标准的深度学习开发环境。以下配置是一个经过验证的稳定组合。

操作系统： Ubuntu 20.04 LTS 或 Windows 10/11 (WSL2 推荐)。macOS 也可行，但可能在某些依赖上需要额外处理。Python： 3.8 或 3.9。这是与后续深度学习框架兼容性较好的版本。深度学习框架： PyTorch 1.12.0 + torchvision 0.13.0。关键库：

• mmcv-full： OpenMMLab 的计算机视觉基础库，我们将使用其实现的 Mask R-CNN。
• labelme： 用于图像标注（如果你需要创建自己的数据集）。
• opencv-python,pillow,numpy,pandas,scikit-learn,matplotlib等数据处理和可视化库。

版本说明：深度学习生态更新迅速，不同版本间可能存在 API 差异。本文以 PyTorch 1.12 和 MMDetection 2.x 的 API 风格为例进行讲解。如果你的环境不同，请参考对应版本的官方文档调整代码。

安装命令： 建议使用 Conda 创建独立的虚拟环境。

# 创建并激活环境 conda create -n tooth_seg python=3.8 -y conda activate tooth_seg # 安装 PyTorch (请根据你的CUDA版本访问PyTorch官网获取最新命令) # 例如，对于CUDA 11.3 pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 安装 MMDetection 及其依赖 pip install openmim mim install mmcv-full==1.7.0 # 匹配你的CUDA和PyTorch版本 # 克隆 MMDetection 仓库并安装（使用较稳定的2.x版本） git clone -b v2.28.0 https://github.com/open-mmlab/mmdetection.git cd mmdetection pip install -v -e . # 点 . 表示以可编辑模式安装，方便修改源码 # 安装其他工具库 pip install labelme opencv-python pillow numpy pandas scikit-learn matplotlib seaborn tqdm

项目结构： 一个清晰的项目结构有助于管理代码、数据和模型。

tooth_segmentation_project/ │ ├── configs/ # 模型配置文件 ├── datasets/ # 数据集 │ ├── raw_images/ # 原始手机照片 │ ├── annotations/ # 标注文件 (COCO格式或自定义) │ └── splits/ # 训练集/验证集/测试集划分文件 ├── src/ # 源代码 │ ├── data_preprocessing.py │ ├── dataset.py # 自定义数据集类 │ ├── train.py │ ├── inference.py │ └── visualize.py ├── models/ # 存放训练好的模型权重 ├── results/ # 推理结果可视化 ├── requirements.txt └── README.md

3. 核心流程拆解：从数据到预测

整个项目流程可以分解为几个关键阶段，我们将逐一深入。

3.1 数据准备与标注

这是最重要也是最耗时的一步。我们需要将手机照片转化为模型能理解的格式。

1. 图像收集与预处理：

• 来源：可以来自公开数据集（如：部分口腔影像数据集），或在符合伦理和隐私规定的前提下收集。
• 预处理：统一调整图像大小（如 1333x800，这是 MMDetection 中常见的尺度），进行简单的归一化。对于手机照片，可能还需要进行亮度、对比度调整或直方图均衡化来减弱光照影响。

2. 数据标注： 我们使用labelme进行像素级标注。每张图中，为每一颗可见的牙齿绘制多边形轮廓。

• 安装后运行labelme。
• 打开图像，使用多边形工具仔细勾勒每颗牙齿的边界。
• 保存后会生成一个同名的.json文件，其中包含了多边形顶点的坐标。

3. 格式转换： Mask R-CNN 在 MMDetection 中通常使用 COCO 数据集格式进行训练。我们需要将labelme的 JSON 格式转换为 COCO 格式。 COCO 格式的标注文件是一个大的 JSON，包含images,annotations,categories三个主要字段。

# src/data_preprocessing.py 片段：labelme转COCO格式的核心函数 import json import os import numpy as np from PIL import Image from pycocotools import mask as maskUtils def labelme_to_coco(labelme_json_dir, output_coco_json_path): """ 将labelme标注的多个json文件转换为一个COCO格式的json文件。 """ coco_output = { "images": [], "annotations": [], "categories": [{"id": 1, "name": "tooth", "supercategory": "medical"}] } image_id = 1 annotation_id = 1 for json_file in os.listdir(labelme_json_dir): if not json_file.endswith('.json'): continue with open(os.path.join(labelme_json_dir, json_file), 'r') as f: labelme_data = json.load(f) # 添加图像信息 image_path = labelme_data['imagePath'] img = Image.open(os.path.join(labelme_json_dir, image_path)) width, height = img.size image_info = { "id": image_id, "file_name": image_path, "width": width, "height": height } coco_output["images"].append(image_info) # 处理每个标注（每颗牙齿） for shape in labelme_data['shapes']: if shape['shape_type'] != 'polygon': continue # 只处理多边形标注 # 将多边形点转换为轮廓 points = np.array(shape['points'], dtype=np.float32) segmentation = points.flatten().tolist() # 计算边界框 [x_min, y_min, width, height] x_coords = points[:, 0] y_coords = points[:, 1] x_min, x_max = np.min(x_coords), np.max(x_coords) y_min, y_max = np.min(y_coords), np.max(y_coords) bbox = [float(x_min), float(y_min), float(x_max - x_min), float(y_max - y_min)] # 创建RLE编码的掩码（COCO标准） rle = maskUtils.frPyObjects([segmentation], height, width) area = maskUtils.area(rle).item() rle = maskUtils.merge(rle) annotation_info = { "id": annotation_id, "image_id": image_id, "category_id": 1, # 只有‘tooth’一类 "segmentation": [segmentation], # 多边形格式 "area": area, "bbox": bbox, "iscrowd": 0 } coco_output["annotations"].append(annotation_info) annotation_id += 1 image_id += 1 with open(output_coco_json_path, 'w') as f: json.dump(coco_output, f, indent=2) print(f"转换完成！共 {len(coco_output['images'])} 张图像，{len(coco_output['annotations'])} 个标注。")

3.2 模型选择与配置

我们将使用 MMDetection 库中实现的 Mask R-CNN。其优势是模块化，便于更换骨干网络、调整超参数。

配置文件： 在 MMDetection 中，模型的所有结构、训练策略、数据流水线都定义在一个配置文件中。我们可以基于一个预定义的配置文件进行修改。

# configs/mask_rcnn_r50_fpn_1x_coco.py (基于官方配置修改) # 继承基础配置 _base_ = [ '../mmdetection/configs/_base_/models/mask_rcnn_r50_fpn.py', '../mmdetection/configs/_base_/datasets/coco_instance.py', '../mmdetection/configs/_base_/schedules/schedule_1x.py', '../mmdetection/configs/_base_/default_runtime.py' ] # 修改模型头，因为我们只有‘tooth’一个类别 model = dict( roi_head=dict( bbox_head=dict(num_classes=1), # 将bbox分类头类别数改为1 mask_head=dict(num_classes=1) # 将mask分类头类别数改为1 ) ) # 修改数据集相关配置 dataset_type = 'CocoDataset' classes = ('tooth',) # 指定类别名称 data = dict( samples_per_gpu=2, # 根据你的GPU内存调整 batch size workers_per_gpu=2, # 数据加载线程数 train=dict( type=dataset_type, ann_file='datasets/annotations/train_coco.json', # 你的训练集COCO标注路径 img_prefix='datasets/raw_images/train/', # 训练图像路径 classes=classes ), val=dict( type=dataset_type, ann_file='datasets/annotations/val_coco.json', img_prefix='datasets/raw_images/val/', classes=classes ), test=dict( type=dataset_type, ann_file='datasets/annotations/test_coco.json', img_prefix='datasets/raw_images/test/', classes=classes ) ) # 修改学习率策略（可选，对于小数据集可能需要调整） optimizer = dict(type='SGD', lr=0.0025, momentum=0.9, weight_decay=0.0001) # 基础lr是0.02，对于1类可调低 lr_config = dict( policy='step', warmup='linear', warmup_iters=500, warmup_ratio=0.001, step=[8, 11]) # 学习率衰减的epoch数 # 运行设置 runner = dict(type='EpochBasedRunner', max_epochs=12) # 训练总轮数 checkpoint_config = dict(interval=1) # 每1个epoch保存一次模型 log_config = dict(interval=50, hooks=[dict(type='TextLoggerHook')]) # 日志打印间隔 evaluation = dict(metric=['bbox', 'segm'], interval=1) # 评估指标和间隔

3.3 模型训练

配置好环境和数据后，就可以启动训练了。MMDetection 提供了简洁的训练 API。

# src/train.py import os import mmcv from mmdet.apis import init_detector, train_detector from mmdet.datasets import build_dataset from mmdet.models import build_detector from mmcv.runner import get_dist_info, init_dist, load_checkpoint def main(): # 指定配置文件路径 config_file = 'configs/mask_rcnn_r50_fpn_1x_coco.py' cfg = mmcv.Config.fromfile(config_file) # 创建工作目录 work_dir = './work_dirs/mask_rcnn_tooth' mmcv.mkdir_or_exist(work_dir) cfg.work_dir = work_dir # 构建数据集 datasets = [build_dataset(cfg.data.train)] # 构建模型 model = build_detector(cfg.model) model.init_weights() # 初始化权重（加载预训练模型） # 开始训练 train_detector(model, datasets, cfg, distributed=False, validate=True) if __name__ == '__main__': main()

在终端运行训练脚本：

cd /path/to/your/project python src/train.py

训练过程会输出损失值、学习率以及周期性的评估结果（如 mAP）。

3.4 推理与可视化

训练完成后，我们可以加载最佳模型对新的手机照片进行推理。

# src/inference.py import mmcv import torch from mmdet.apis import init_detector, inference_detector, show_result_pyplot import cv2 import numpy as np def tooth_segmentation_inference(config_file, checkpoint_file, img_path, score_thr=0.5): """ 对单张图像进行牙齿检测与分割推理。 Args: config_file: 模型配置文件路径 checkpoint_file: 训练好的模型权重路径 img_path: 待推理图像路径 score_thr: 置信度阈值，低于此阈值的预测将被过滤 """ # 初始化模型 device = 'cuda:0' if torch.cuda.is_available() else 'cpu' model = init_detector(config_file, checkpoint_file, device=device) # 推理 result = inference_detector(model, img_path) # 可视化结果 img = mmcv.imread(img_path) img_with_result = model.show_result( img, result, score_thr=score_thr, show=False, # 不直接显示 wait_time=0, bbox_color=(72, 101, 241), # 框的颜色 text_color=(72, 101, 241), # 文本颜色 mask_color=None # 掩码颜色，None则为随机颜色 ) # 保存结果 output_path = img_path.replace('.jpg', '_result.jpg').replace('.png', '_result.png') mmcv.imwrite(img_with_result, output_path) print(f"推理结果已保存至: {output_path}") # 解析结果 # result 是一个元组 (bbox_results, mask_results) # 对于单类别，bbox_results[0] 是形状为 (N, 5) 的数组，每行 [x1, y1, x2, y2, score] # mask_results[0] 是一个包含 N 个掩码的列表，每个掩码是二值图像 bboxes = result[0][0] masks = result[1][0] detected_teeth = [] for i, (bbox, mask) in enumerate(zip(bboxes, masks)): if bbox[4] >= score_thr: # 检查置信度 tooth_info = { 'id': i, 'bbox': bbox[:4].astype(int).tolist(), # 转为整数列表 'score': float(bbox[4]), 'mask': mask # 布尔掩码 } detected_teeth.append(tooth_info) print(f"检测到牙齿 {i}: 框 {tooth_info['bbox']}, 置信度 {tooth_info['score']:.3f}") return detected_teeth, img_with_result if __name__ == '__main__': config = 'work_dirs/mask_rcnn_tooth/latest.pth' # 或你的最佳模型路径，如 epoch_12.pth checkpoint = 'work_dirs/mask_rcnn_tooth/latest.pth' test_image = 'datasets/raw_images/test/test_photo_1.jpg' teeth, result_img = tooth_segmentation_inference(config, checkpoint, test_image, score_thr=0.7)

4. 进阶：牙齿编号的实现思路

Mask R-CNN 完成了检测和分割，但还没有编号。编号是一个后处理任务，需要结合先验的牙科知识。TLNM 论文中可能使用了基于规则或轻量级网络的方法。这里提供一个基于规则的后处理思路：

假设：我们处理的是上颌或下颌的单张正面照片。

1. 确定牙弓中线：根据所有检测框的中心点，拟合一条垂直中轴线。
2. 左右分区：以中轴线为界，将牙齿分为左、右两侧。
3. 排序：在每一侧，按照牙齿中心点的水平坐标（X轴）进行排序。对于下颌，从左到右（从患者视角）编号递增；对于上颌，同样从左到右。
4. 映射到FDI编号：根据是上颌(1-开头)还是下颌(3-或4-开头，取决于地区系统)，以及是左侧还是右侧，为排序后的牙齿赋予对应的两位数FDI编号。

# src/numbering.py (简化示例) import numpy as np def assign_fdi_numbers(detected_teeth, jaw='upper'): """ 为检测到的牙齿分配FDI编号（简化规则版）。 detected_teeth: 列表，每个元素是包含‘bbox’[x1,y1,x2,y2]的字典。 jaw: 'upper' 或 'lower' """ if not detected_teeth: return [] # 计算每个牙齿的中心点 for tooth in detected_teeth: x1, y1, x2, y2 = tooth['bbox'] tooth['center'] = [(x1 + x2) / 2, (y1 + y2) / 2] # 1. 拟合垂直中轴线（简单取所有中心点x坐标的中位数） centers_x = np.array([t['center'][0] for t in detected_teeth]) midline_x = np.median(centers_x) # 2. 分区和排序 left_teeth = [] right_teeth = [] for tooth in detected_teeth: if tooth['center'][0] < midline_x: left_teeth.append(tooth) else: right_teeth.append(tooth) # 左侧牙齿按x坐标降序排列（从中间向左边，x减小） left_teeth_sorted = sorted(left_teeth, key=lambda t: t['center'][0], reverse=True) # 右侧牙齿按x坐标升序排列（从中间向右边，x增大） right_teeth_sorted = sorted(right_teeth, key=lambda t: t['center'][0]) # 3. 分配编号 fdi_numbers = [] start_left = 2 if jaw == 'upper' else 3 # 简化假设，实际更复杂 start_right = 1 if jaw == 'upper' else 4 for i, tooth in enumerate(left_teeth_sorted): # FDI: 左侧牙齿编号十位是 start_left，个位从1开始递增（从中间开始） number = start_left * 10 + (i + 1) tooth['fdi'] = number fdi_numbers.append(tooth) for i, tooth in enumerate(right_teeth_sorted): # FDI: 右侧牙齿编号十位是 start_right，个位从1开始递增（从中间开始） number = start_right * 10 + (i + 1) tooth['fdi'] = number fdi_numbers.append(tooth) return fdi_numbers

注意：这是一个极度简化的示例。真实的牙齿编号需要考虑牙弓形状、牙齿类别（门牙、犬齿、臼齿）识别、是否存在缺失牙等复杂情况，通常需要训练一个额外的分类网络或使用更复杂的图模型。

5. 常见问题与排查思路

在复现过程中，你可能会遇到以下典型问题：

6. 最佳实践与工程建议

要将这个原型推进到更接近实际应用的阶段，需要考虑以下工程化细节：

1. 数据工程是核心

• 高质量标注：牙齿边缘的标注精度直接影响分割效果。建议由专业人员进行标注，或至少经过多轮复核。
• 数据增强：针对手机照片的多样性，必须使用强数据增强。除了标准的翻转、旋转，还可以模拟不同的光照、模糊、遮挡（模拟舌头或手指）。
• 数据集划分：确保训练集、验证集、测试集来自不同的患者或不同的手机设备，以评估模型的泛化能力，这也是“外部验证”的精神。

2. 模型优化策略

• 使用预训练权重：务必在 ImageNet 等大型数据集上预训练的骨干网络上进行初始化，这能极大加速收敛并提升性能。
• 冻结骨干网络：如果数据集较小，可以先冻结骨干网络的前几层，只训练网络头部，防止过拟合。
• 尝试不同的实例分割模型：Mask R-CNN 是经典，但可以探索更新的模型，如 Cascade Mask R-CNN（更准）、PointRend（边缘更精细）、SOLO（无需锚框）等，MMDetection 中都提供了实现。

3. 后处理与集成

• 鲁棒的编号算法：基于规则的编号很脆弱。可以考虑训练一个轻量的牙齿类别分类网络（识别门牙、犬齿、前臼齿、臼齿），再结合牙齿序列模型（如隐马尔可夫模型或图神经网络）进行编号，鲁棒性会强很多。
• 结果可视化与交互：开发一个简单的 Web 界面（使用 Gradio 或 Streamlit），允许用户上传照片，实时查看检测、分割和编号结果，并能手动修正编号，将 AI 作为辅助工具。

4. 部署考量

• 模型轻量化：考虑将 PyTorch 模型转换为 ONNX 格式，进而使用 TensorRT 或 OpenVINO 进行推理加速，以满足可能的实时性要求。
• 隐私与安全：医疗数据极其敏感。所有流程必须符合数据隐私法规（如 HIPAA, GDPR）。确保训练和推理过程在安全的环境中进行，对传输和存储的数据进行加密。

通过以上步骤，你不仅能够复现一个基于 Mask R-CNN 的牙齿分割系统，更能深入理解将一个学术研究转化为稳健工程应用所面临的挑战和解决方案。从数据准备、模型训练、调试优化到后期处理，每一步都需要耐心和细致的工程实践。