【多模态Grounding】精准识别+定位 营业厅人员行为分析

背景

利用qwen-vl加提示词功能，精准识别营业厅工作人员行为，准确区分顾客与工作人员，并且能够识别工作人员行为、精准定位工作人员，帮助实现相关工作场所的监控管理。

如果只用qwen-vl而不进行提示词工程、流程筛分等工作的话，模型非常有可能把顾客识别成工作人员，我用两个小时才调试好。目前能实现工作人员的精准识别，对于玩手机等行为也能识别出来，但是具体行为分类还有待加强，柜台外的工作人员暂时无法识别。

使用网络图片，效果如下（真正的业务图片会更清楚一些），中间绿色的女工作人员，其实应该是使用手机：

这张图片，使用qwen3-vl-flash，能将左侧女工作人员判定为”正常工作”
使用手机：

整体流程

步骤1：

逐个分析图中的人员，结合衣着（是否是工作服）、位置（是否位于柜台内）来进行识别，重点是让模型理解什么是“柜台内”（我用名词解释实现了），让模型在长上下文推理中始终把握“柜台内是工作人员、柜台外是顾客”（我用复述技巧实现了）。完成了这两点，就可以精准识别工作人员了。

在这一步骤中，我的“复述”技巧，vl视觉模型不太能遵循，我本来是想让vl模型每识别一个人，就复述一遍，但是这会破坏vl模型的理解能力。类似的技巧在语言模型中就能完美适用，充分说明了语言模型与视觉模型的差异。

下面是我的提示词（假设工作人员都在柜台内）：

逐个分析图中人员，找出工作人员和顾客。**逐个识别图中人员，每次分析人员身份前， 请复述【请注意，工作人员位于柜台内（图片下方），穿着工作服；顾客位于柜台外（其他位置），不穿工作服】**每位人员的详细描述：*位置（柜台内或柜台外，见名词解释）*衣着（是否穿工作服）*当前行为（使用电脑、使用手机等） 名词解释：-柜台内：位于屏幕下方，专属于工作人员，可以看到电脑、办公桌等办公设备，类似于办公室-柜台外：位于屏幕中央，顾客等待、接受服务的区域，类似于办事大厅

步骤2（可选）

生成环境描述，这一步可选可不选。提示词（模型生成的）：

请详细描述这张营业厅场景图片的环境和氛围，需要包含以下内容： 【环境描述】1.营业厅的整体环境2.营业厅的设施设备3.人员活动情况

步骤3

在这一部中，需要结合第一步的结果，生成画框，框定工作人员及其行为。参考内容{reference_section}来自步骤1。

结合【参考信息】，识别图片中的所有**工作人员**，并输出坐标：{reference_section}**【识别字段】**1.bbox_2d：bbox_2d格式，坐标值范围0-9992.label：-"使用电脑"：工作人员正在操作电脑-"使用手机"：工作人员正在使用手机-"正常工作"：工作人员在进行其他工作活动（如接待顾客、整理文件、站立服务等）**【输出格式】**请以JSON格式输出：[{{"bbox_2d":[x1,y1,x2,y2],"label":"工作人员-使用电脑"}}]

完整代码

见资源附件，或github