OmAgent实战教程：打造个人移动助手，媲美Google Astral

OmAgent实战教程：打造个人移动助手，媲美Google Astral

【免费下载链接】OmAgent[EMNLP-2024] Build multimodal language agents for fast prototype and production项目地址: https://gitcode.com/gh_mirrors/om/OmAgent

OmAgent是一款强大的开源项目，能够帮助开发者构建多模态语言代理，实现快速原型设计和生产部署。本教程将带你一步步打造属于自己的个人移动助手，其功能可媲美Google Astral，让你随时随地享受智能便捷的服务。

一、OmAgent App简介：你的随身智能助手 📱

OmAgent App是一款专为开发者设计的应用，用于可视化和编辑大模型能力的业务场景内容。它通过获取手机摄像头、音频流等数据，结合记忆、工具调用等能力，支持与多模态大模型进行交互。基于用户开发的业务场景，通过与Agent服务的交互输出相应内容，为智能代理场景开发提供了一个具有多模态内容输入和输出的演示应用。

二、快速安装：三步拥有智能助手 🚀

2.1 获取安装包

OmAgent App的下载二维码如下：

注：目前仅支持Android手机下载使用，iOS支持即将推出。

2.2 安装应用

扫描上方二维码下载安装包后，按照常规应用安装步骤进行安装。安装过程中可能需要开启"未知来源应用安装"权限。

2.3 连接服务

安装完成后，打开App，它会自动搜索并连接到本地网络上运行的环境IP。如果连接成功，会显示"连接成功"的提示；如果连接失败，则会显示"服务连接失败"。若未自动检测到IP，需在IP输入框中手动输入部署应用后端服务的机器的内网IP，默认端口为8082。

三、功能探索：解锁移动助手强大能力 🔍

3.1 APP主页概览

打开APP后，会显示引导页面。APP主页包括Mobile、Glasses和连接设置等部分。

3.2 核心功能介绍

3.2.1 多模态交互

"Mobile"部分主要包括设置、语音输入、摄像头、多模态、画笔功能等。你可以通过语音按钮进行语音对话，长按语音按钮说话后松开，页面会显示对话内容。当模型回复内容包含图片时，点击图片可放大预览。

3.2.2 工作流管理

点击设置中的"Workflow Settings"，可进入工作流列表选择页面。在列表中可以点击选择所需的工作流，仅支持单选。选择后会显示勾选图标，点击刷新按钮可刷新列表。

在对话过程中，点击工作流名称右侧的按钮可以显示工作流进度，进度菜单支持展开和折叠。

3.2.3 媒体处理

OmAgent App支持摄像头实时预览，默认使用后置摄像头，点击可切换至前置。页面支持点击对焦和 pinch 缩放，缩放后会显示1X按钮，点击可返回1X缩放。

此外，还可以使用画笔功能在实时摄像头预览页面上进行标注，支持选择不同颜色，点击橡皮擦可清除所有标注。

3.3 高级设置

3.3.1 相册管理

点击"Album"进入图库页面，一次加载80张图片。你可以进行重新索引、选择、上传和预览图片等操作。

3.3.2 对话历史

点击"Chat history"进入历史对话页面，显示所有对话内容。不同工作流的对话按时间分隔，支持上下滑动。单个工作流的内容对话包括文本和图片，点击图片可预览，多张图片预览支持滑动。

3.3.3 参数配置

点击"Parameter Settings"进入自定义参数设置页面，可添加参数名称和值，最多可添加20个。

四、实战案例：打造个性化移动助手 🛠️

4.1 场景一：日常信息查询

通过语音输入你的问题，OmAgent移动助手会快速为你提供准确的答案，支持多轮对话，让信息获取更加便捷。

4.2 场景二：图像识别与分析

利用摄像头拍摄物体或场景，OmAgent可以对图像进行识别和分析，为你提供相关信息和建议。

4.3 场景三：工作流自动化

通过配置合适的工作流，OmAgent可以帮助你自动化完成一些日常任务，提高工作效率。

五、总结：开启智能助手新时代 🌟

OmAgent为我们提供了构建个人移动助手的强大工具，通过本教程的学习，你已经了解了OmAgent App的安装、连接和主要功能。现在，你可以开始探索更多高级功能，打造属于自己的、媲美Google Astral的智能移动助手。

如果你想深入了解OmAgent的更多功能和开发细节，可以参考项目中的官方文档：docs/concepts/clients/app.md。

快来体验OmAgent带来的智能便捷生活吧！

【免费下载链接】OmAgent[EMNLP-2024] Build multimodal language agents for fast prototype and production项目地址: https://gitcode.com/gh_mirrors/om/OmAgent