遥感开放词汇分割：Pi-Seg框架的语义引导扰动学习原理与实践

1. 项目背景：遥感图像分割的“词汇墙”与破局之路

如果你做过遥感图像的分析，尤其是地物分割，一定对“标注”这件事深恶痛绝。传统的语义分割模型，无论是U-Net、DeepLab还是HRNet，都像是一个个“死记硬背”的优等生。你喂给它1000张标注了“建筑”、“道路”、“水体”的图片，它就能学会识别这几种地物。但问题是，遥感世界太复杂了。今天客户想找“光伏板”，明天想圈出“露天矿坑”，后天又需要统计“违建大棚”。每一种新需求，都意味着你需要重新收集数据、标注数据、训练模型。这个循环不仅成本高昂，周期漫长，更关键的是，它把模型的认知能力死死地锁在了一个封闭的词汇集里。这堵“词汇墙”，是遥感智能解译走向规模化、自动化应用的最大障碍。

而“开放词汇分割”的目标，就是推倒这堵墙。它希望模型能够理解自然语言描述，比如“一片被蓝色屋顶覆盖的工业园区”或者“河流交汇处的沙洲”，并直接在图像上分割出对应的区域。这听起来像是CV与NLP的梦幻联动，但在遥感领域，实现起来尤为困难。遥感图像存在“同物异谱”（同一地物在不同时间、角度、传感器下光谱特征不同）和“同谱异物”（不同地物可能具有相似的光谱特征）的固有难题，使得基于文本的语义引导更加具有挑战性。

正是在这个背景下，我注意到了“Pi-Seg”这个框架。它的全称是“基于语义引导扰动学习的遥感开放词汇分割框架”。这个名字拆开来看，包含了三个核心关键词：“语义引导”、“扰动学习”和“开放词汇分割”。简单来说，它试图用一种“主动制造困难并学习克服”的方式，让模型学会将图像区域与开放世界的文本描述更鲁棒地对应起来。这让我想起了教孩子认东西，不是只给他看标准的苹果图片，而是给他看不同光照、不同角度、甚至被咬了一口的苹果，同时告诉他“这是苹果”。这样学出来的认知，才更接近“开放世界”的理解。接下来，我将结合对相关技术的理解，深入拆解Pi-Seg可能的工作原理、实现难点以及它为我们带来的全新可能性。

2. 核心原理拆解：语义引导扰动学习是如何工作的？

要理解Pi-Seg，关键在于弄懂“语义引导扰动学习”这个核心机制。它不是简单的数据增强，而是一种针对跨模态对齐（图像与文本）的、有目的的“对抗性”训练策略。我们可以将其分解为“语义引导”、“扰动”和“学习”三个部分来理解。

2.1 语义引导：为图像和文本搭建沟通的桥梁

在开放词汇分割中，模型通常包含一个视觉编码器（如ResNet、ViT）和一个文本编码器（如CLIP的文本编码器）。它们的任务是将图像块和文本描述映射到同一个“共享语义空间”。在这个空间里，“城市建筑”的图像特征向量和“城市建筑”这个文本的向量应该距离很近，而和“森林”的文本向量距离很远。

语义引导的作用，就是确保这种对齐是有效的、有方向的。在Pi-Seg的上下文中，“引导”可能体现在两个层面：

1. 损失函数引导：训练时，模型会计算图像特征与正确文本描述之间的相似度损失（如对比损失），同时也会计算与错误描述之间的差异。语义信息通过损失函数反向传播，指导视觉和文本编码器调整参数，拉近正确配对，推远错误配对。
2. 特征层面引导：在模型中间层，可能会利用文本特征的注意力图，来调制或引导视觉特征的提取过程。例如，当文本描述是“矩形农田”时，模型会更多地关注图像中具有规则几何形状和特定纹理的区域。

2.2 扰动学习：主动制造并克服“语义噪声”

这是Pi-Seg最具创新性的部分。传统的训练追求“干净”的数据对齐，但现实世界充满噪声。扰动学习反其道而行之，主动在训练过程中引入可控的“噪声”或“干扰”，迫使模型学会在非理想条件下仍能保持正确的语义关联。

在Pi-Seg框架中，扰动可能施加于两个模态：

• 视觉扰动：对输入图像进行多种变换。这不仅仅是旋转、裁剪这类几何变换，更可能包括模拟遥感特有的干扰，例如：
  • 光谱扰动：轻微调整不同波段的强度，模拟不同大气条件、传感器差异或季节变化下的光谱偏移。
  • 空间扰动：加入模拟云层遮挡、阴影的噪声块，或进行非均匀的模糊，模仿低分辨率或传输误差。
  • 对抗性扰动：添加人眼难以察觉、但会使原始模型产生错误分类的微小像素扰动，以提升模型的鲁棒性。
• 文本扰动：对类别名称或描述性文本进行改写。
  • 同义词替换：将“建筑”替换为“楼房”、“屋舍”。
  • 描述泛化/具体化：将“车辆”具体化为“小型白色轿车”，或将“大型工业园区”泛化为“工业设施”。
  • 引入干扰词：在描述中加入无关词汇，如“寻找图像中的水体，忽略旁边的树木”。

关键点在于，这些扰动是“语义引导”的。也就是说，施加扰动时，模型知道原始的、正确的语义配对是什么。训练的目标是，即使输入被扰动，模型最终输出的分割结果和语义关联，仍能尽可能接近原始、正确的目标。这个过程就像让模型进行“抗干扰训练”，最终使其对真实世界中复杂的、有噪声的输入具有更强的泛化能力。

2.3 学习框架：一个闭环的自我增强系统

将语义引导和扰动学习结合起来，Pi-Seg可能形成一个高效的训练闭环：

1. 前向传播：输入一对（图像I， 文本T）。图像I经过视觉编码器，文本T经过文本编码器。
2. 扰动注入：在特征层面或输入层面，根据当前模型的“薄弱环节”（通过梯度分析或不确定性估计），有选择地注入语义引导的扰动，生成扰动后的特征或输入（I‘， T’）。
3. 跨模态对齐计算：计算原始配对（I, T）和扰动后配对（I‘， T）、（I, T’）甚至（I‘， T’）在共享语义空间中的相似度。模型需要最大化原始正确配对的相似度，同时，对于扰动后的输入，模型仍需努力将其映射回正确的语义关联。
4. 损失优化与特征净化：总损失函数可能包含多个部分：
   • 原始图像-文本对的对比损失。
   • 扰动后图像-文本对的对比损失（要求模型抵抗扰动）。
   • 分割损失（如果有像素级标注的话）。
   • 可能还有一个“去扰动”或“特征稳健化”的损失，鼓励模型从扰动特征中恢复出干净的特征表示。
5. 反向传播与更新：通过总损失反向传播，同时更新视觉编码器、文本编码器以及分割解码器的参数。模型在这个过程中不仅学习了分割，更学会了如何抵御语义干扰，建立起更本质的跨模态关联。

通过这种循环，模型学到的视觉-文本关联，不再是脆弱的、基于表层特征的，而是更深层的、抗干扰的语义理解。这直接提升了其在面对遥感图像复杂多变情况时的开放词汇分割能力。

3. 技术实现关键点与潜在架构猜想

虽然无法获取Pi-Seg论文的精确细节，但基于标题“框架”的描述和现有开放词汇分割（OVS）及视觉-语言模型（VLM）的技术脉络，我们可以勾勒出其大致的实现蓝图和必须攻克的技术山头。

3.1 模型架构的三支柱

一个完整的Pi-Seg框架很可能建立在三大支柱之上：

1. 强大的视觉-语言基础模型作为骨干：最可能的选择是基于CLIP或其变体。CLIP已经在海量互联网图像-文本对上进行了预训练，具备了强大的开放世界概念关联能力。Pi-Seg的工作可能是在此基础上，针对遥感垂直领域进行“领域自适应”微调。这意味着需要构建一个规模可观、质量较高的遥感图像-文本描述对数据集，用于微调CLIP的视觉和文本编码器，让“建筑”、“农田”等概念在遥感语境下得到强化。

2. 轻量级的分割解码器：CLIP本身不具备密集预测（分割）能力。因此，需要一个分割解码器将CLIP视觉编码器输出的图像特征图，上采样还原到原图尺寸，并生成每个像素的类别预测。这个解码器可以是类似FPN、UPerNet的结构。它的输入是CLIP视觉编码器（如ViT）最后一层或中间层的特征图，输出是每个像素与所有文本类别（由文本编码器生成）的相似度得分图。得分最高的文本类别即为该像素的预测类别。

3. 扰动学习模块（核心创新点）：这是Pi-Seg的灵魂。该模块需要集成在训练流程中，负责：

   • 扰动策略生成器：决定对当前训练样本施加何种类型、何种强度的扰动。这可能是一个简单的随机调度器，也可能是一个小型神经网络，根据当前图像和文本的难度动态生成扰动参数。
   • 扰动施加器：在输入层（对图像像素/文本token）或特征层（对编码后的视觉/文本特征）执行具体的扰动操作。
   • 扰动感知的损失计算：需要设计新的损失项，来量化模型对扰动的抵抗能力。例如，可以要求扰动前后的图像特征，其与同一文本特征的相似度变化小于某个阈值。

3.2 针对遥感特性的专门化设计

要让Pi-Seg在遥感领域真正work，必须在通用框架中加入遥感先验知识：

• 多尺度特征融合：遥感地物尺度差异巨大，从小型车辆到大型山脉。分割解码器必须有效融合CLIP编码器不同层级的特征，捕获从细节到上下文的多尺度信息。这可能涉及设计特殊的跨尺度注意力机制。
• 光谱信息利用：CLIP预训练主要用RGB图像，而遥感常有多光谱、高光谱数据。Pi-Seg可能需要一个额外的“光谱编码”支路，或将多波段数据以某种方式（如假彩色合成）适配到CLIP的输入空间，同时不丢失其光谱判别能力。
• 文本提示工程：开放词汇的能力依赖于文本描述的质量。对于遥感，文本提示需要更加精确和具有空间关系。例如，与其用“建筑”，不如用“密集排列的矩形屋顶结构”；用“线性贯穿农田的灰色带”描述道路。框架可能需要研究如何自动生成或优化针对遥感目标的文本提示模板。

3.3 训练流程与数据 pipeline

一个典型的训练流程可能分两步或端到端进行：

1. 阶段一：视觉-语言对齐微调：使用遥感图像-文本对数据集，微调CLIP模型。在这个阶段，扰动学习模块就可以介入，通过施加光谱、遮挡等遥感相关扰动，强化模型对遥感领域变化的鲁棒性。损失函数以图像-文本对比损失为主。
2. 阶段二：开放词汇分割训练：冻结或微调微调后的CLIP编码器，主要训练分割解码器。输入图像经过视觉编码器得到特征，输入一系列类别名称（如 [“建筑”, “道路”, “水体”, “林地”, “农田”]）到文本编码器得到文本特征。解码器的任务是为每个像素计算其与所有文本特征的相似度。这里的损失是分割损失（如有标注）和跨模态对齐损失的结合。扰动学习在此阶段至关重要，它通过在图像或特征上制造干扰，迫使解码器学习基于更稳健的语义特征进行分割。

注意：这里存在一个“鸡生蛋蛋生鸡”的问题：训练分割需要像素标注，但开放词汇的本意是减少标注。一个可能的解决方案是使用弱监督或半监督，例如仅用图像级标签（图片中有“建筑”和“道路”）或边界框来训练初始模型，再通过模型自身迭代精化。

4. 实战推演：如何构建一个简易版的Pi-Seg思路验证项目

由于Pi-Seg是一个研究框架，完整复现需要大量资源和数据。但我们可以设计一个简化版的验证性实验，来体会其核心思想。这个实验的目标是：在一个小型遥感数据集上，证明引入语义引导的扰动学习，能提升模型对未见过的地物类别的分割泛化能力。

4.1 环境准备与数据模拟

我们选择PyTorch作为深度学习框架。首先安装关键库：

pip install torch torchvision pip install opencv-python pillow pip install transformers # 用于加载CLIP模型 pip install einops # 方便张量操作

数据方面，我们可以使用公开的遥感数据集如LoveDA（城市和农村场景）或ISPRS Vaihingen，但只选用其中部分常见类别（如“建筑”、“道路”、“树木”）进行训练。我们保留一个或多个稀有类别（如“游泳池”、“球场”）作为测试时的“开放词汇”，即这些类别在训练集的标签中从未出现，但我们会在测试时用文本描述来指定它们。

我们需要为每张训练图像准备对应的文本描述。可以简单地用类别名称的合集，例如“一张包含建筑和道路的遥感图像”。更精细的做法是使用BLIP等模型为图像生成描述。

4.2 模型构建：简化版架构

我们基于预训练的CLIP-ViT-B/16和一个轻量级解码器来构建。

import torch import torch.nn as nn import torch.nn.functional as F from transformers import CLIPModel, CLIPTokenizer import einops class SimplePiSeg(nn.Module): def __init__(self, clip_model_name='openai/clip-vit-base-patch16'): super().__init__() # 加载预训练CLIP self.clip = CLIPModel.from_pretrained(clip_model_name) self.tokenizer = CLIPTokenizer.from_pretrained(clip_model_name) # 冻结CLIP参数（或只微调部分），这里先选择冻结 for param in self.clip.parameters(): param.requires_grad = False # 视觉编码器就是CLIP的视觉部分 self.visual_encoder = self.clip.vision_model # 文本编码器就是CLIP的文本部分 self.text_encoder = self.clip.text_model # 一个简单的分割解码器：FPN风格 vit_feat_dim = 768 # CLIP-ViT-B的输出维度 hidden_dim = 256 self.decoder = nn.Sequential( nn.Conv2d(vit_feat_dim, hidden_dim, 1), nn.GroupNorm(32, hidden_dim), nn.ReLU(inplace=True), nn.Conv2d(hidden_dim, hidden_dim, 3, padding=1), nn.GroupNorm(32, hidden_dim), nn.ReLU(inplace=True), nn.Upsample(scale_factor=2, mode='bilinear', align_corners=False), nn.Conv2d(hidden_dim, hidden_dim, 3, padding=1), # 最终输出通道数在forward中动态决定，取决于文本类别数 ) def forward(self, image, text_descriptions): """ image: [B, 3, H, W] text_descriptions: list of strings, length = C (类别数) """ # 1. 提取视觉特征 visual_outputs = self.visual_encoder(pixel_values=image) # 取最后一层隐藏状态，并调整形状 [B, seq_len, dim] -> [B, dim, h, w] visual_features = visual_outputs.last_hidden_state[:, 1:, :] # 去掉[CLS] token b, seq, dim = visual_features.shape h = w = int(seq ** 0.5) # 假设是正方形特征图 visual_features = einops.rearrange(visual_features, 'b (h w) d -> b d h w', h=h, w=w) # 2. 提取文本特征 text_inputs = self.tokenizer(text_descriptions, padding=True, return_tensors="pt") text_inputs = {k: v.to(image.device) for k, v in text_inputs.items()} text_outputs = self.text_encoder(**text_inputs) text_features = text_outputs.last_hidden_state[:, 0, :] # 取[EOS] token作为句子特征 [C, dim] # 3. 解码视觉特征 decoded_features = self.decoder(visual_features) # [B, hidden_dim, H', W'] # 4. 计算像素-文本相似度 # 将解码特征投影到与文本特征相同的维度，或直接计算余弦相似度 # 这里简化处理：对解码特征做1x1卷积，输出通道数等于文本类别数C seg_head = nn.Conv2d(decoded_features.shape[1], len(text_descriptions), 1).to(image.device) segmentation_logits = seg_head(decoded_features) # [B, C, H', W'] # 上采样到原始图像尺寸（如果需要） segmentation_logits = F.interpolate(segmentation_logits, size=image.shape[2:], mode='bilinear', align_corners=False) return segmentation_logits

4.3 实现语义引导的扰动学习

我们实现一个最关键的组件：在训练循环中动态施加扰动。

class SemanticGuidedPerturbation: def __init__(self, perturbation_types=['spectral', 'spatial'], strength=0.1): self.types = perturbation_types self.strength = strength def apply_to_image(self, image, text_embedding=None): """ 对图像施加扰动。text_embedding可选，用于更高级的语义引导扰动。 """ perturbed_image = image.clone() b, c, h, w = image.shape for p_type in self.types: if p_type == 'spectral' and c == 3: # 模拟光谱偏移 # 为每个通道生成一个小的增益因子 gain = 1.0 + (torch.randn(c, device=image.device) * self.strength) gain = gain.view(1, c, 1, 1) perturbed_image = perturbed_image * gain perturbed_image = torch.clamp(perturbed_image, 0, 1) elif p_type == 'spatial': # 模拟局部遮挡（如云、阴影） # 随机生成一些遮挡块 num_patches = torch.randint(1, 5, (1,)).item() for _ in range(num_patches): patch_h = torch.randint(h//10, h//5, (1,)).item() patch_w = torch.randint(w//10, w//5, (1,)).item() pos_h = torch.randint(0, h - patch_h, (1,)).item() pos_w = torch.randint(0, w - patch_w, (1,)).item() # 用高斯噪声或恒定值填充 noise = torch.randn((b, c, patch_h, patch_w), device=image.device) * 0.5 + 0.5 perturbed_image[:, :, pos_h:pos_h+patch_h, pos_w:pos_w+patch_w] = noise elif p_type == 'texture': # 简单纹理噪声 noise = torch.randn_like(image) * self.strength * 0.1 perturbed_image = perturbed_image + noise perturbed_image = torch.clamp(perturbed_image, 0, 1) return perturbed_image def apply_to_text(self, text_embeddings): """对文本特征施加轻微扰动（例如，添加噪声）""" # 这是一个简化版，更高级的做法可以是在词嵌入空间进行插值或替换 if text_embeddings is not None: noise = torch.randn_like(text_embeddings) * self.strength * 0.01 return text_embeddings + noise return text_embeddings

4.4 训练循环与损失函数设计

训练循环的核心是同时计算干净样本和扰动样本的损失。

def train_step(model, batch, optimizer, perturbation_module, device): images, true_masks, class_names = batch # true_masks仅用于有标注的类别 images = images.to(device) true_masks = true_masks.to(device) # 1. 干净前向传播 clean_logits = model(images, class_names) # 计算标准分割损失（仅在有标注的类别上） # 假设true_masks的通道数对应class_names中有标注的类别数 loss_clean = F.cross_entropy(clean_logits[:, :true_masks.shape[1]], true_masks) # 2. 施加扰动并前向传播 perturbed_images = perturbation_module.apply_to_image(images) perturbed_logits = model(perturbed_images, class_names) # 计算扰动样本的分割损失 loss_perturbed = F.cross_entropy(perturbed_logits[:, :true_masks.shape[1]], true_masks) # 3. 语义一致性损失：鼓励干净和扰动特征在语义空间接近 # 我们可以通过模型中间的特征来计算，这里简化，直接使用输出logits的KL散度 # 只对模型有信心的区域（如预测概率>0.5）计算一致性 clean_probs = F.softmax(clean_logits, dim=1) perturbed_probs = F.softmax(perturbed_logits, dim=1) # 选择高置信度区域 confidence_mask = (clean_probs.max(dim=1)[0] > 0.5).float().unsqueeze(1) if confidence_mask.sum() > 0: loss_consistency = F.kl_div( perturbed_probs.log(), clean_probs, reduction='none' ).sum(dim=1).unsqueeze(1) loss_consistency = (loss_consistency * confidence_mask).sum() / (confidence_mask.sum() + 1e-8) else: loss_consistency = torch.tensor(0.0, device=device) # 4. 总损失 total_loss = loss_clean + 0.7 * loss_perturbed + 0.3 * loss_consistency optimizer.zero_grad() total_loss.backward() optimizer.step() return total_loss.item(), loss_clean.item(), loss_perturbed.item()

4.5 开放词汇推理

训练完成后，我们可以用模型分割训练时未见过的类别。只需在推理时，将新的类别名称加入到class_names列表中即可。

def open_vocabulary_inference(model, image, known_classes, novel_class_description): """ known_classes: 训练时见过的类别列表，如 ['建筑', '道路', '树木'] novel_class_description: 新类别的文本描述，如 '蓝色屋顶的游泳池' """ # 组合所有需要预测的类别 all_classes = known_classes + [novel_class_description] with torch.no_grad(): logits = model(image.unsqueeze(0), all_classes) # [1, C_all, H, W] probs = F.softmax(logits, dim=1)[0] # [C_all, H, W] # 获取新类别的预测概率图 novel_class_prob = probs[len(known_classes)] # 对应新类别的通道 novel_class_mask = (novel_class_prob > 0.5).cpu().numpy() # 二值化 return novel_class_mask

这个简化实验虽然远不及真正的Pi-Seg框架复杂，但它清晰地展示了核心思想：通过在有监督训练中主动引入并克服扰动，模型学习到的视觉-语义关联更加稳健，从而能够更好地泛化到新的、未见过的文本描述对应的视觉概念上。在实验中，你可以对比引入扰动学习模块和未引入的模型，在保留的“开放词汇”类别上的分割性能，验证其有效性。

5. 潜在挑战与未来展望：Pi-Seg的进击之路

Pi-Seg的思路为遥感开放词汇分割打开了一扇新的大门，但通向实用化还有很长的路要走，充满挑战。

5.1 当前面临的主要挑战

1. 遥感文本-图像对数据稀缺：CLIP的成功建立在数亿的互联网图文对上。遥感领域缺乏如此大规模、高质量、且描述精准的图文对数据。现有的遥感数据集如UC-Merced、RSICD等，规模较小且描述较为笼统（如“机场”、“农田”），缺乏精细的空间关系描述。数据瓶颈是制约性能的首要因素。

2. 跨模态语义鸿沟：自然语言描述与遥感图像特征之间存在巨大的模态差异。语言是抽象的、符号化的，而遥感图像是具体的、数值化的，且包含大量无关背景信息。如何让模型真正理解“蜿蜒的河流”中的“蜿蜒”，或者“成排的温室大棚”中的“成排”，是极大的挑战。简单的全局特征对齐可能不够，需要更细粒度（区域级、像素级）的语义对齐机制。

3. 扰动策略的设计与评估：什么样的扰动最有效？强度如何控制？是随机扰动好，还是基于模型当前弱点（通过梯度、不确定性）的对抗性扰动更好？如何设计一个评估指标，来衡量模型“语义鲁棒性”的提升，而不仅仅是分割精度？这需要大量的实验探索和理论分析。

4. 计算复杂度与效率：同时处理图像和文本，并进行扰动训练，会显著增加计算开销。尤其是当文本类别很多时，需要为每个类别计算文本特征并进行像素级相似度比较，推理速度可能成为实际应用的瓶颈。需要研究更高效的跨模态交互和相似度计算方式。

5. 评价体系的缺失：传统的语义分割有mIoU、F1-score等标准指标。但开放词汇分割的评价更为复杂。如何定义“成功分割”？是看像素级精度，还是看区域级的检索召回？需要建立一套公认的基准数据集和评价协议。

5.2 未来可能的发展方向

1. 构建大规模遥感视觉-语言基础模型：这是根本出路。需要学术界和工业界协同，构建亿级甚至十亿级的遥感图文预训练数据集，并训练一个类似于“遥感CLIP”的基础模型。这个模型将作为所有下游任务（包括分割、检测、变化检测）的强大基石。

2. 从“开放词汇”走向“开放提示”：不仅类别名称是开放的，用户的查询方式也可以更加自由。未来框架可能支持复杂的自然语言指令，如“找出所有面积大于500平方米且与道路相邻的独立建筑”，这需要模型具备更强的逻辑推理和空间关系理解能力。

3. 与小样本、零样本学习深度融合：开放词汇分割本质上是一种零样本学习。可以结合小样本学习中的元学习、原型网络等思想，让模型仅通过少数几个示例图像-文本对，就能快速适应全新的地物概念。

4. 扰动学习的理论深化：研究更智能的扰动生成方式，例如利用扩散模型生成符合遥感物理规律的、逼真的扰动图像（如不同厚度的云层、不同时相的光照）。或者探索在特征空间进行解耦扰动，分别影响颜色、纹理、形状等不同属性，以更可控地提升模型的特定鲁棒性。

5. 边缘计算与轻量化部署：为了在卫星、无人机等边缘设备上实时运行，模型必须轻量化。未来可能会有专门为遥感开放词汇分割设计的轻量级双编码器架构，以及高效的近似相似度计算模块。

在我个人看来，Pi-Seg所代表的“语义引导扰动学习”方向，其价值不仅在于提升分割性能，更在于它揭示了一条让AI模型更接近人类视觉认知本质的路径：通过主动应对复杂性和不确定性来学习，而非仅仅记忆完美样本。尽管前路挑战重重，但这无疑是遥感智能解译从“封闭专家系统”走向“开放感知智能”的关键一步。对于从业者而言，现在正是深入理解这些前沿概念，并在自己的数据和应用场景中进行早期探索和尝试的黄金窗口期。从构建领域特定的图文对数据集开始，到尝试微调现有的视觉-语言模型，每一步实践都会带来对“开放世界视觉理解”更深的体会。