基于GPASS AI眼镜的门店实时导购助手

FDE Vision：基于GPASS AI眼镜的门店实时导购助手

看见商品，即刻生成导购话术。

一、项目简介

FDE Vision是一款面向眼镜门店导购员，尤其是新员工的实时导购教练。员工佩戴GPASS AI眼镜看向一副商品镜架，只需说出“怎么向顾客介绍它”，系统就会拍摄一次当前视野，识别商品外观，检索门店商品知识库，并通过眼镜语音播报一段可立即转述给顾客的销售话术。

项目只聚焦一件事：让门店员工在接待现场快速、准确、自然地介绍商品。最终话术包含品牌、商品名称、价格、核心卖点、适合人群和自然的成交提问，控制在60—120个汉字，语音时长约15—25秒。

二、项目背景与用户痛点

眼镜门店商品数量多，不同镜框在颜色、轮廓和边框粗细上又经常十分相似。新员工很难在短时间内记住每款商品的编号、品牌、价格、风格定位、核心卖点和适合人群，接待顾客时往往需要查看标签、翻找资料或询问其他同事。

传统培训资料与真实销售现场之间存在明显断层。员工虽然知道资料放在哪里，却无法在面对顾客的几秒钟内找到资料并组织成自然的话术。一旦认错商品、漏报价格或说错卖点，不仅会打断接待节奏，还会影响顾客对门店专业度的判断。

因此，FDE Vision将AI能力放入员工的第一视角，让“看商品、查资料、组织话术”在一次交互中完成。

三、总体技术架构

系统采用“眼镜端采集与交互，云端识别与生成”的架构。

员工语音输入 ↓ 对话轮次判断与意图识别 ↓ GPASS眼镜设备拍照采集 ↓ 视觉大模型提取商品特征 ↓ 商品知识库检索与匹配 ↓ 文本大模型生成销售话术 ↓ 眼镜语音播报和信息流卡片展示

系统主要包含对话控制、意图识别、眼镜拍照、视觉理解、知识库检索和话术生成六个模块。各模块通过工作流节点连接，每个环节的输入、输出和异常分支都可以独立配置和调试。

四、工作流设计

1. 首次欢迎

工作流从“开始”节点读取当前对话信息、历史对话信息和当前对话轮次，随后通过分支判断：

• 当前对话轮次等于1时，只播放一次欢迎语；
• 其他轮次直接进入意图识别，不再重复自我介绍。

欢迎语设置为：

你好，我是FDE Vision实时导购教练。看向需要介绍的商品，然后问我怎么向顾客介绍它。

这样可以让第一次使用的员工迅速理解操作方式，同时避免每次提问都重复欢迎语。

2. 意图识别

意图识别节点设置三个方向：

1. 介绍商品：覆盖“怎么介绍”“如何介绍”“卖点是什么”“看一下这个”等表达；
2. 退出：只匹配“退出”“结束”“关闭导购”等明确指令；
3. 其他：处理环境噪声、无关内容和未听清的输入。

“介绍商品”进入拍照识别主流程；“退出”连接GPASS退出指令卡片；“其他”只提示员工重新提问，不连接退出节点，避免环境噪声导致Agent意外关闭。

3. 商品介绍主流程

商品介绍主流程按照以下顺序执行：

1. 通过直接回复节点播报“正在识别当前商品……”；
2. 调用眼镜设备拍照采集插件，获取当前视野图片；
3. 视觉模型分析画面中央最大的一副眼镜；
4. 将视觉识别结果作为关键词检索商品知识库；
5. 文本大模型综合视觉结果和知识库结果生成导购话术；
6. 结束节点只输出最终话术，并通过眼镜语音和信息流卡片呈现。

视觉分析、知识库检索片段和模型判断过程全部作为中间变量隐藏。员工只能听到识别状态和最终导购话术，减少无关信息干扰。

五、端侧与云端能力运用

眼镜端能力

• 麦克风：接收员工的自然语言提问；
• 摄像头：在识别到商品介绍意图后拍摄一次当前视野；
• 扬声器：向员工播报最终销售话术；
• 信息流卡片：显示文字版结果，方便员工快速查看。

云端能力

• 意图识别：区分介绍商品、退出和其他输入；
• Qwen-VL视觉模型：提取商品颜色、轮廓、边框粗细和关键区分点；
• 商品知识库：返回商品品牌、价格、卖点、风格定位和适合人群；
• Qwen文本大模型：将商品资料压缩成可立即转述的自然销售话术；
• 工作流编排：控制首次欢迎、单次拍照、异常分支和最终输出。

这种架构充分利用了AI眼镜第一视角和免手持交互的优势，同时将计算量较大的视觉理解、知识库检索和文本生成放在云端完成，便于快速更新商品资料和模型能力。

六、视觉识别方案

直接让视觉模型根据图片猜测商品，容易受到拍摄角度、灯光反射和背景商品的影响。因此，FDE Vision先让视觉模型提取稳定的外观特征，再通过特征检索知识库。

视觉识别优先级为：

1. 商品编号；
2. 商品颜色；
3. 镜框轮廓；
4. 边框粗细；
5. 镜腿、装饰和一体式镜片等关键区分点。

视觉模型只分析画面中央最大的一副眼镜，忽略货架和背景中的其他商品，输出内容包括商品类别、颜色、镜框轮廓、边框粗细、关键区分点和最可能的商品编号。

五款演示商品的主要识别规则如下：

• YJ001：亮黑粗板材、大尺寸方圆独立镜圈；
• YJ002：酒红透明框、镜框略微上扬、镜腿带金色圆环链饰；
• YJ003：浅金色细金属、半框、透明鼻托、矩形圆角；
• YJ004：深灰或黑色一体式大镜片、盾形包覆运动外观；
• YJ005：黑色细圆框或椭圆框、银色细镜腿。

其中，YJ001和YJ004外观颜色接近，因此增加了“是否存在独立镜圈”和“是否为一体式大镜片”两个高优先级判断条件，提高相似商品的区分能力。

七、商品知识库设计

知识库采用“每款商品一条完整商品卡”的组织方式。每条资料包含：

• 商品编号；
• 商品名称和价格；
• 商品类别与材质；
• 视觉识别特征；
• 与其他商品的关键区分点；
• 风格定位；
• 核心卖点；
• 适合人群；
• 可直接使用的销售话术；
• 不得编造价格、品牌和镜片功能等限制。

知识库节点的搜索关键词引用视觉模型输出，采用智能检索并返回少量高相关结果。商品编号和关键区分点放在资料前部，使相似镜框之间的匹配更加稳定。

本项目使用的品牌、价格和商品名称属于比赛演示数据。实际门店部署时，可以替换为真实商品资料，也可以进一步与门店POS、ERP或商品管理系统同步。

八、销售话术生成

文本大模型同时接收视觉识别结果和知识库检索结果。提示词主要规则如下：

你是FDE Vision新员工实时导购教练。 你的回答通过AI眼镜说给门店员工听，再由员工向顾客介绍商品。 第一句话必须包含品牌、商品名称和价格。 根据知识库提供核心卖点、风格定位和适合人群。 最后补充一个自然的成交提问。 全文控制在60—120个汉字，只输出一个自然段。 不要输出表格、编号、Markdown、视觉分析、检索过程或内部判断。 品牌、价格、材质和镜片功能只能使用知识库明确提供的信息。 无法准确匹配时，只描述可见外观，不得虚构参数。

示例输出：

这是VIZORA曜黑大框方圆镜，售价498元。亮黑粗框轮廓感强，能够突出五官，适合喜欢复古都市风或希望眼镜成为穿搭重点的顾客。您更想修饰脸型，还是偏好日常百搭？

这种回答长度适合通过眼镜实时播报，也方便员工记忆和立即转述。

九、稳定性与异常处理

1. 只拍摄一次

眼镜设备拍照插件的最大重试次数设置为1，工作流中不设置从模型返回拍照节点的循环。只有识别到“介绍商品”意图后才调用相机，避免连续拍照和重复介绍。

2. 避免语音自触发

欢迎语、识别状态和未听清提示中，不重复完整的商品介绍触发句。系统只在员工主动提问后进入介绍分支，避免眼镜播报内容再次被麦克风识别为新指令。

3. 区分退出和未听清

只有明确的退出意图才连接GPASS退出指令卡片。

未听清时返回：

我没听清，请看向商品后重新提问。

该分支只结束当前对话轮次，不发送关闭Agent的指令。平台的连续对话功能随后重新开启监听，降低环境噪声造成误退出的概率。

4. 知识库兜底

如果无法准确匹配具体商品，大模型不会直接说“知识库没有资料”，而是根据可见颜色、轮廓和边框粗细生成保守的导购建议。

系统禁止根据图片自行编造品牌、价格、材质、镜片功能或验光结论。

十、实机测试与优化

实机测试主要覆盖第一次启动、正常介绍、相似商品识别、未听清输入和明确退出五类情况。

测试过程中完成了以下优化：

• 首次欢迎只播放一次；
• 在拍照前增加“正在识别当前商品”状态反馈；
• 拍照最大重试次数由3次调整为1次；
• 视觉提示词加入五款商品的强区分规则；
• 最终节点只引用文本大模型结果；
• 隐藏视觉分析和知识库检索中间结果；
• 将“其他”输入与“退出”意图彻底分开；
• 强制最终话术第一句包含品牌、商品名称和价格；
• 将话术控制在适合眼镜语音播报的长度。

优化后，工作流实现了“一次提问、一次拍照、一次回答”的完整体验。

十一、项目创新点

1. 场景具体：只解决门店员工“眼前这件商品怎么介绍”的高频问题；
2. 第一视角交互：无需手机扫码、手动搜索或离开顾客查看资料；
3. 视觉与知识库结合：图片负责识别商品，知识库负责约束事实，降低模型编造；
4. 面向转述设计：输出不是长篇商品说明，而是可以直接说给顾客听的销售话术；
5. 工作流可复制：替换商品知识库后，可扩展到珠宝、服装、美妆和家电等零售场景。

十二、应用价值与后续规划

FDE Vision可以缩短新员工熟悉商品和组织话术的时间，统一门店介绍口径，减少认错商品和漏报价格等问题。

对顾客而言，商品之间的差异能够被更快、更清楚地说明，有助于提升试戴和成交体验。

后续可以继续增加库存与促销信息同步、顾客偏好记录、多语言导购、销售复盘和门店数据看板等功能。但当前版本仍坚持“小而完整”的产品原则：先把一次看商品、一次提问、一次准确回答做好。

结语

FDE Vision不是让AI替代导购，而是让AI眼镜成为新员工随身的实时教练。

它将视觉识别、商品知识和销售表达连接成一条短链路，让员工看见商品时，就能获得准确、自然、可执行的介绍建议。

作品名称：FDE Vision AI眼镜门店导购助手
作品Slogan：看见商品，即刻生成导购话术