Step-GUI 技术报告解读

模型训练、标准化接口、真实场景评估

1、数据生成：如何高效、低成本地获取可靠训练数据
2、部署协议：如何安全、标准地部署成为新问题；敏感数据（如屏幕截图）最好能留在本地设备处理。
3、场景评测：如何科学评估一个GUI智能体是否真的“好用”？

数据生成部分的内容

1、校准步骤奖励系统
【较低的成本将模型自己运行时产生的“轨迹”，转化为高质量的训练数据】
系统不纠结于模型生成的每一步操作是否完美，而是聚焦于最终任务是否被成功完成。
这个最终结果（成功/失败）的判断，可以通过自动化验证脚本或少量人工审核来高精度、低成本地完成。

问题：最终结果的判断具体是怎么做的？

（1）轨迹级验证
成功的轨迹 => 思考模型 => 七类训练数据（进度跟踪、状态总结、效果预测、自我反思、状态验证、意图执行、动作预测）
失败的轨迹 => 系统 => 知识性数据（如前六类）

思考模型和系统 分别是怎么做的？

（2）训练
基模式Qwen3-VL，三阶段训练
第一步，混合了通用的多模态数据（保持知识储备）和初步的智能体导向数据
第二步，在GUI环境中尝试执行任务，失败任务的针对性补强；辅以高质量的真实操作轨迹数据
第三步，GRPO，复合奖励函数（最终成功，点击精准，操作类型和参数正确，任务完成的流畅度和合理性）；半在线探索（失败的尝试 => 提示中注入正确操作作引导）

部署协议部分的内容

高级MCP：云端的主力大模型委派给 端侧的GUI专家模型 做的 明确且常见的GUI任务
高隐私模式：截图和设备信息由 端侧的GUI专家模型分析， 只向云端主力大模型发送 语义摘要

场景评测部分的内容

推出 AndroidDaily，聚焦 出行、购物、社交、娱乐、本地服务
多维分析：
（1）任务类型：筛选、查询、分析
（2）复杂度：原子、组合、条件循环
（3）指令模糊度

4B的开源版本，在复杂任务和指令遵循任务上实测效果不如AutoGLM