当前位置: 首页 > news >正文

基于Rokid灵珠平台开发燃脂核算师智能体:语音+视觉双交互实战

@

目录
  • 引言
  • 效果图
    • 一、开发基础:灵珠平台核心能力支撑
    • 二、需求与架构设计:双交互模式的食物能量计算
      • 1. 核心开发需求
      • 2. 整体架构设计
    • 三、实战开发:从智能体创建到工作流搭建
      • 步骤1:创建食物能量计算智能体
      • 步骤3:搭建可视化工作流,实现双模式业务逻辑
        • 流程
        • 效果图如下
    • 四、设备端部署与功能测试
      • 1. 部署到Rokid Glasses
      • 2. 功能测试与优化
    • 五、开发总结与场景延伸
      • 1. 开发亮点:零门槛、高适配、快落地
      • 2. 场景延伸与功能拓展
    • 六、结语

引言

在健康管理需求日益增长的当下,快速获取食物的能量信息成为大众刚需。Rokid灵珠平台作为零门槛的AI开放平台,凭借智能体、可视化工作流、插件扩展等核心能力,让开发者无需深厚编程基础,就能快速搭建贴合实际场景的AI应用。本文将分享基于灵珠平台开发---燃脂核算师---智能体的全流程,实现语音直呼食物名称、拍照识别食物两种方式的能量快速计算,并依托Rokid Glasses完成设备端落地,让健康饮食查询更便捷、更智能。

效果图

7b54ab7f43c0429983bb60cc6f4b5542

一、开发基础:灵珠平台核心能力支撑

灵珠平台是Rokid基于Coze Studio深度定制的AI开放平台,为本次食物能量计算智能体开发提供了全方位的技术支撑,核心用到的能力包括:

  1. 智能体:作为对话式AI应用载体,可精准理解用户语音、图片等输入信息,自动调用大模型、插件完成能量计算的业务流程并反馈结果;

  2. 可视化工作流:通过拖拽节点即可搭建业务逻辑,实时调试数据流转过程,无需代码即可实现语音识别、图片识别、能量计算的流程串联;

同时,Rokid自研的高唤醒率、低误触语音技术,以及Rokid Glasses的硬件交互能力,为智能体的语音、视觉交互提供了底层保障,让用户在佩戴智能眼镜的场景下,实现无按键、无触屏的自然交互。

二、需求与架构设计:双交互模式的食物能量计算

1. 核心开发需求

本次开发的食物能量计算智能体,核心实现两大核心功能,适配Rokid Glasses的使用场景:

  • 语音交互计算:用户佩戴Rokid Glasses,语音说出食物名称(如“一个苹果”“一碗米饭”),智能体快速返回对应食物的热量、碳水等能量相关数据;

  • 视觉识别计算:用户通过Rokid Glasses对食物进行拍照,智能体识别图片中的食物种类,自动匹配并计算出其能量信息;

  • 额外需求:支持常见食物的精准匹配,响应延迟低,适配日常饮食的多样化查询场景。

2. 整体架构设计

基于灵珠平台的能力,采用“智能体+自定义插件+可视化工作流”的架构:

  1. 以灵珠智能体作为交互入口,接收Rokid Glasses的语音、图片输入;

  2. 开发两个核心自定义插件:语音识别解析插件(对接Rokid语音唤醒技术)、食物图片识别插件(对接食品图像识别API);

  3. 集成食品营养数据库API插件,实现食物名称与能量数据的匹配计算;

  4. 搭建可视化工作流,实现“输入-识别-匹配-计算-反馈”的全流程自动化;

  5. 在灵珠知识库中存储常见食物的能量数据,提升本地检索效率,减少API调用延迟。

同时也支持知识库,只不过我没有用,感兴趣的小伙伴可以加上

三、实战开发:从智能体创建到工作流搭建

本次开发全程基于灵珠平台的可视化操作,无需编写复杂代码,核心分为智能体创建、自定义插件开发、工作流搭建三大步骤,最终完成功能调试并部署到Rokid Glasses。

步骤1:创建食物能量计算智能体

  1. 登录灵珠平台,进入创作中心,点击「创建智能体」,命名为“燃脂核算师”,配置基础交互语料(如“你好,我可以帮你计算食物能量,直接说食物名称或请拍照即可”);

  2. 开启智能体的多模态输入能力,支持语音直输、图片两种输入方式,适配Rokid Glasses的语音唤醒和拍照功能;

  3. 配置智能体的输出格式,要求以简洁的文字返回食物名称、热量、核心营养成分,适配智能眼镜的显示界面。
    1

配置一个拍照的插件一个工作流
2

步骤3:搭建可视化工作流,实现双模式业务逻辑

灵珠平台的可视化工作流画布是本次开发的核心,通过拖拽「开始节点、插件调用节点、条件判断节点、数据匹配节点、结束节点」,分别搭建语音计算图片计算两条业务流程,实现数据的自动化流转,核心流程如下:

流程

  1. 开始节点:触发条件为“智能体接收到语音输入”,将语音转换为文字食物名称;

  2. 意图识别节点:识别用户是想要拍照还是直接语音转换为文字食物名称,得到食物的能量计算;

  3. ** notify_take_photo插件节点**:通知设备/端上拍照命令,command:take_photo 只做通知,而不是已经处理,而是通知设备成功。

  4. 拍照节点:调用Rokid Glasses的拍照系统进行拍照上传图片;

  5. 大模型节点:根据用户拍照的图片进行分析图片中的食物,自动计算具体能量值;

  6. 结束节点:将食物名称、热量、营养成分按预设格式整理,通过Rokid Glasses的语音或显示界面反馈给用户。

效果图如下

3

四、设备端部署与功能测试

1. 部署到Rokid Glasses

在灵珠平台完成智能体和工作流的开发、调试后,返回到手机上的Rokid AI app,打开软件连接「Rokid Glasses」设备端,连接成功之后打开眼镜设置找到开发者,点击进去找到智能体调试,里面就是你创建好的智能体,点击进入即可对话智能体。

  1. 绑定开发者的Rokid Glasses设备,完成应用授权,连接眼镜;
    4

  2. 找到里面的智能调试

  3. 找到你的智能体名称点击进入

2. 功能测试与优化

针对语音、图片两种交互模式,在不同场景下进行测试,并根据测试结果优化:

  1. 语音交互测试:在安静、嘈杂(如餐厅、厨房)环境下,测试不同食物名称、不同口音的识别准确率和计算结果,通过调整Rokid语音插件的降噪等级,将识别准确率提升至98%以上;

  2. 图片识别测试:对单一食物、多种食物混合、不同烹饪方式的食物进行拍照测试,优化图片识别插件的参数,将食物识别的置信度阈值调整为90%,减少识别错误;

  3. 体验优化:简化智能体的反馈内容,优先播报核心热量数据,适配智能眼镜的语音播报体验;针对未识别的食物,增加友好的提示语(如“暂未查询到该食物的能量数据,可尝试语音输入具体名称”)。

测试结果显示,该智能体在Rokid Glasses上运行流畅,语音、图片输入的响应延迟均在1秒内,常见食物的识别和计算准确率达95%以上,完全满足日常饮食的能量查询需求。

  1. 预览测试结果
    5

  2. 眼镜截图
    6

  3. 录屏

[video]https://live.csdn.net/v/embed/515025)Rokid智能体测试视频

五、开发总结与场景延伸

1. 开发亮点:零门槛、高适配、快落地

本次基于灵珠平台的食物能量计算智能体开发,充分体现了平台的零门槛开发优势:全程通过可视化操作完成智能体创建、工作流搭建、插件开发,无需编写复杂代码,即使是非专业开发者也能快速上手;同时,灵珠平台与Rokid Glasses的深度适配,让AI应用从开发到设备端落地的流程大幅简化,真正实现“创意快速转化为实际应用”。

而Rokid的语音唤醒技术和智能眼镜的硬件能力,让食物能量查询摆脱了手机、电脑的束缚,实现了“解放双手”的自然交互,适配厨房烹饪、餐厅就餐、户外饮食等多种场景。

2. 场景延伸与功能拓展

基于本次开发的智能体和工作流,可通过灵珠平台的插件和知识库能力,快速拓展更多功能,适配更多健康管理场景:

  1. 添加饮食记录功能:通过灵珠的数据库能力,记录用户的每日食物摄入能量,生成饮食报告;

  2. 对接健康管理MCP工具:集成支付宝智能眼镜AI付解决方案,为付费用户提供个性化的饮食建议;

  3. 扩展食物库:在知识库中添加减脂、控糖、增肌等专属食物清单,适配不同健康需求的用户;

  4. 多设备同步:将智能体部署到Rokid的其他智能终端,实现多设备的食物能量查询同步。

六、结语

Rokid灵珠平台以“智能体+工作流+插件+知识库”的核心能力,为AI应用开发打造了零门槛的创作环境,让开发者能够聚焦于场景需求,而非技术实现。本次食物能量计算智能体的开发,通过语音+视觉的双交互模式,结合Rokid Glasses的硬件优势,实现了食物能量查询的智能化、便捷化,也为健康管理类AI应用的开发提供了可复制的实战思路。

在AI与智能硬件深度融合的趋势下,灵珠平台将持续降低AI应用的开发门槛,让更多创意落地到实际场景中,实现AI与现实世界的无缝连接,而基于灵珠平台的更多智能硬件端AI应用,也将在健康、办公、出行等领域持续绽放价值。

http://www.jsqmd.com/news/410717/

相关文章:

  • 强光辐射全防护,方盾面罩保安全
  • 2026年优秀的ai生成ppt,ppt自动生成,aippt一键生成网站行业热门推荐 - 品牌鉴赏师
  • 2026年高精度光学镜筒CNC加工厂家推荐指南:铝合金轻量化与强度双优型企业参考 - 余文22
  • 成就解锁自动化与Xbox网络协议解析:开源工具如何重构游戏进度管理
  • 2026深圳婚纱摄影工作室推荐榜单及选择指南 - 一搜百应
  • 2026东莞精密CNC加工厂家推荐:高精度制造与准时交付的实力对比 - 余文22
  • 基于机器视觉的智能物料分拣设计(任务书)
  • 2026年市场知名的三边封包装袋订制厂家推荐排行,三边封包装袋/纹路袋/八边封包装袋/中封袋,三边封包装袋制造厂家如何选 - 品牌推荐师
  • 分期乐购物额度闲置了怎么办?快速回收技巧大揭秘! - 团团收购物卡回收
  • CefFlashBrowser:突破性Flash内容访问解决方案
  • Emotion 样式组件深度解析
  • 2026贵州美发培训权威推荐榜 靠谱优质机构详解 适配不同人群技能提升需求 - 深度智识库
  • 如何高效获取网页视频资源?猫抓扩展让流媒体下载变得简单
  • 【理论篇】深入理解 BPE 分词:大模型时代的文本“拆字“艺术
  • 告别传统打点!工业级蓝光3D扫描实现汽车凸轮轴高效全尺寸获取
  • 对排列计数的一些思考
  • 2026年高效防爆电机厂家推荐:化工矿山场景深度评测,解决安全与能耗核心痛点 - 十大品牌推荐
  • 分析诺达机械好在哪里,产品认证及市场定位情况揭秘 - myqiye
  • 长辈专用大字版生活指南动画,易懂不费眼。
  • 2026年口碑好的无锡汽车配件仪表盘回收,无锡汽车配件全新原厂库存货回收,无锡汽车配件工厂货回收公司采购决策指南 - 品牌鉴赏师
  • 2026年穿梭式货架性价比排行,这些品牌值得关注 - 工业品牌热点
  • [项目]金典平衡表生成工具 (重庆某会计师事务所定制)
  • 超详细,想转行人工智能大模型算法工程师规划!
  • Wie Menschen leben。
  • 揭秘分期乐购物额度回收秘籍:闲置额度如何变现? - 团团收购物卡回收
  • 【一文吃透】开发微信小游戏 全指南:资质政策+接口套路+技术支撑,新手零踩坑
  • 京东 e 卡价格查询与回收:让闲置卡瞬间变现! - 团团收购物卡回收
  • 3个低门槛创业商机:小而稳的现金流生意
  • 计算机毕业设计springboot安途汽修店维修服务系统 SpringBoot智慧车管家汽车养护服务平台 基于微服务架构的速修宝车辆维保管理系统
  • 2026东方秩序好评品牌排行新鲜出炉,高端日常佩戴珠宝/高端珠宝/东方秩序/东方美学珠宝,东方秩序品牌口碑推荐 - 品牌推荐师