当前位置：首页 > news >正文

服装吊牌信息提取方案：SegFormer 分割结合 GLM-OCR 多级识别链路

news 2026/8/12 22:04:45

1. 服装吊牌信息提取的挑战

在服装零售、仓储管理和供应链数字化场景中，吊牌信息的高效提取是核心需求。传统的人工录入方式效率低下且易出错，而直接使用通用 OCR 识别吊牌图像往往效果不佳。这主要因为：

复杂背景干扰：吊牌常与衣物褶皱、纹理、其他标签混杂
非标准拍摄角度：手持设备拍摄导致透视变形、倾斜、旋转
多样化的版式设计：不同品牌、不同产品线的吊牌布局差异巨大
关键信息分散：品牌、款号、成分、价格、洗涤说明等信息分布在吊牌不同区域

针对这些挑战，我们提出了一套结合深度学习分割、图像矫正、OCR 识别与大模型信息提取的完整流水线方案，并与轻量化 GLM-OCR 直出方案进行对比分析。

2. 完整多级识别链路设计

2.1 整体架构概览

图像输入 → SegFormer 吊牌分割 → 透视矫正 → OCR 识别 → 大模型信息结构化 → JSON 输出

2.2 第一阶段：SegFormer 分割定位

为什么选择 SegFormer？

SegFormer 是一种高效的语义分割模型，相比传统的 U-Net、DeepLab 等架构，具有以下优势：

分层 Transformer 编码器：捕获多尺度上下文信息
轻量级 MLP 解码器：计算效率高，适合实时应用
位置编码消除：避免位置编码在测试时外推问题

实现要点：

importtorchfromtransformersimportSegformerForSemanticSegmentation,SegformerImageProcessor# 加载预训练模型（可在吊牌数据集上微调）model=SegformerForSemanticSegmentation.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512")processor=SegformerImageProcessor.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512")defsegment_clothing_tag(image):"""分割吊牌区域"""inputs=processor(images=image,return_tensors="pt")withtorch.no_grad():outputs=model(**inputs)# 获取分割掩码seg_mask=outputs.logits.argmax(dim=1).squeeze().cpu().numpy()# 提取吊牌区域（假设吊牌对应特定类别）tag_mask=(seg_mask==TAG_CLASS_ID)# 计算最小外接矩形fromskimage.measureimportregionprops props=regionprops(tag_mask.astype(int))ifprops:bbox=props[0].bbox# (min_row, min_col, max_row, max_col)returnbbox,tag_maskreturnNone

2.3 第二阶段：图像透视矫正

分割出的吊牌区域往往存在透视变形，需要矫正为正面视角：

importcv2importnumpyasnpdefperspective_correction(image,bbox):"""基于分割结果进行透视矫正"""# 提取吊牌区域min_row,min_col,max_row,max_col=bbox tag_region=image[min_row:max_row,min_col:max_col]# 边缘检测gray=cv2.cvtColor(tag_region,cv2.COLOR_RGB2GRAY)edges=cv2.Canny(gray,50,150)# 寻找四边形轮廓（吊牌通常为矩形）contours,_=cv2.findContours(edges,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)iflen(contours)>0:# 找到最大轮廓largest_contour=max(contours,key=cv2.contourArea)# 近似多边形epsilon=0.02*cv2.arcLength(largest_contour,True)approx=cv2.approxPolyDP(largest_contour,epsilon,True)iflen(approx)==4:# 四边形# 排序四个顶点：左上、右上、右下、左下rect=order_points(approx.reshape(4,2))# 计算变换矩阵并执行透视变换width=max(np.linalg.norm(rect[1]-rect[0]),np.linalg.norm(rect[2]-rect[3]))height=max(np.linalg.norm(rect[3]-rect[0]),np.linalg.norm(rect[2]-rect[1]))dst=np.array([[0,0],[width-1,0],[width-1,height-1],[0,height-1]],dtype="float32")M=cv2.getPerspectiveTransform(rect,dst)warped=cv2.warpPerspective(tag_region,M,(int(width),int(height)))returnwarpedreturntag_region# 无法矫正时返回原区域

2.4 第三阶段：OCR 识别

矫正后的图像送入 OCR 引擎提取文本：

frompaddleocrimportPaddleOCRclassTagOCRProcessor:def__init__(self):# 使用 PaddleOCR（支持中英文）self.ocr=PaddleOCR(use_angle_cls=True,lang='ch')defextract_text(self,corrected_image):"""提取矫正后吊牌图像中的文本"""result=self.ocr.ocr(corrected_image,cls=True)text_blocks=[]forlineinresult:ifline:# 确保 line 不为空forword_infoinline:text=word_info[1][0]confidence=word_info[1][1]bbox=word_info[0]text_blocks.append({'text':text,'confidence':confidence,'bbox':bbox})returntext_blocks

2.5 第四阶段：大模型信息结构化

OCR 提取的是原始文本块，需要进一步结构化：

importopenai# 或使用 GLM、Qwen 等国产大模型classInfoExtractor:def__init__(self,api_key,model="gpt-4"):self.client=openai.OpenAI(api_key=api_key)self.model=modeldefextract_structured_info(self,ocr_results):"""使用大模型从 OCR 结果中提取结构化信息"""# 合并所有文本all_text="\n".join([block['text']forblockinocr_results])prompt=f""" 请从以下吊牌文本中提取结构化信息，按 JSON 格式返回： 文本内容：{all_text}请提取以下字段（如果存在）： 1. brand（品牌） 2. product_code（款号/货号） 3. size（尺码） 4. color（颜色） 5. material（成分/材质） 6. price（价格） 7. care_instructions（洗涤说明） 8. country_of_origin（产地） 如果某个字段不存在，请设为 null。 请确保返回纯 JSON，不要有其他说明。 """response=self.client.chat.completions.create(model=self.model,messages=[{"role":"system","content":"你是一个专业的服装吊牌信息提取助手。"},{"role":"user","content":prompt}],temperature=0.1)importjsontry:result=json.loads(response.choices[0].message.content)returnresultexceptjson.JSONDecodeError:# 解析失败时的备选方案returnself.fallback_extraction(all_text)

3. 轻量化方案：GLM-OCR 直出对比

3.1 GLM-OCR 方案简介

GLM-OCR 是智谱 AI 推出的端到端 OCR 模型，具备以下特点：

端到端识别：直接输出结构化信息，无需多阶段处理
大模型增强：内置语言模型理解上下文，提升识别准确率
支持多种版式：对非标准版式有较好的适应性

3.2 实现对比

# GLM-OCR 简化实现defglm_ocr_direct(image_path):"""GLM-OCR 直出方案"""importrequests# 调用 GLM-OCR API（示例）api_url="https://api.glm-ocr.com/v1/recognize"withopen(image_path,'rb')asf:files={'image':f}response=requests.post(api_url,files=files)ifresponse.status_code==200:result=response.json()# GLM-OCR 可能直接返回结构化信息returnresult.get('structured_data',{})return{}

3.3 方案对比分析

维度	多级链路方案（SegFormer+OCR+LLM）	GLM-OCR 直出方案
准确率	高（分割+矫正提升 OCR 输入质量）	中等（依赖模型泛化能力）
处理速度	较慢（多阶段处理）	快（单次推理）
部署复杂度	高（需部署多个模型）	低（单一服务）
定制灵活性	高（各阶段可独立优化）	低（端到端黑盒）
成本	高（计算资源+多个 API 调用）	中等（单一 API 成本）
抗干扰能力	强（分割排除背景干扰）	一般（直接处理原图）
版式适应性	需要针对性训练分割模型	内置多种版式支持

4. 方案选择建议

4.1 选择多级链路的场景

高精度要求：如法律文件、医疗标签等容错率低的场景
复杂背景：吊牌与复杂纹理背景混合的情况
严重形变：拍摄角度极端导致严重透视变形
已有分割模型：团队已有相关技术积累
数据安全敏感：希望本地化部署，减少外部 API 依赖

4.2 选择 GLM-OCR 直出的场景

快速上线：项目周期短，需要快速验证
资源有限：计算资源或开发人力有限
版式相对规范：吊牌设计较为统一
云服务友好：可接受 API 调用，无需本地部署
成本敏感：希望控制初期投入

4.3 混合方案：两阶段决策

在实际应用中，可以采用智能路由策略：

defintelligent_pipeline(image):"""智能路由：根据图像质量选择处理方案"""# 1. 快速质量评估quality_score=assess_image_quality(image)ifquality_score>0.8:# 高质量图像# 使用 GLM-OCR 直出result=glm_ocr_direct(image)ifvalidate_result(result):returnresult# 2. 回退到多级链路bbox=segment_clothing_tag(image)ifbbox:corrected=perspective_correction(image,bbox)ocr_text=extract_text(corrected)structured=extract_structured_info(ocr_text)returnstructured# 3. 最终回退：直接 OCRreturnfallback_ocr(image)

5. 性能优化与部署建议

5.1 模型轻量化

SegFormer-B0：最小版本参数量仅 3.7M，适合移动端
知识蒸馏：用大模型指导小模型训练，平衡精度与速度
量化与剪枝：减少模型大小，提升推理速度

5.2 流水线并行化

# 使用异步处理提升吞吐量importasynciofromconcurrent.futuresimportThreadPoolExecutorclassAsyncTagProcessor:def__init__(self):self.executor=ThreadPoolExecutor(max_workers=4)asyncdefprocess_batch(self,image_paths):"""批量异步处理"""tasks=[]forpathinimage_paths:task=asyncio.create_task(self.process_single(path))tasks.append(task)results=awaitasyncio.gather(*tasks)returnresultsasyncdefprocess_single(self,image_path):loop=asyncio.get_event_loop()image=awaitloop.run_in_executor(self.executor,load_image,image_path)# 并行执行分割和初步质量评估seg_future=loop.run_in_executor(self.executor,segment_clothing_tag,image)quality_future=loop.run_in_executor(self.executor,assess_image_quality,image)bbox,quality=awaitasyncio.gather(seg_future,quality_future)ifquality>0.8andbbox:# 高质量且成功分割，使用快速通道corrected=awaitloop.run_in_executor(self.executor,perspective_correction,image,bbox)result=awaitloop.run_in_executor(self.executor,glm_ocr_direct_from_image,corrected)else:# 标准流程result=awaitloop.run_in_executor(self.executor,full_pipeline,image)returnresult