UI-TARS：让AI像人一样操作GUI的终极模型

UI-TARS：让AI像人一样操作GUI的终极模型

【免费下载链接】UI-TARS-2B-SFT项目地址: https://ai.gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-2B-SFT

导语

字节跳动最新发布的UI-TARS模型重新定义了AI与图形用户界面(GUI)的交互方式，通过将感知、推理、定位和记忆功能集成到单一视觉语言模型(VLM)中，实现了无需预定义工作流或手动规则的端到端GUI任务自动化。

行业现状

随着大语言模型技术的快速发展，AI与人类交互的方式正在经历根本性变革。传统GUI自动化方案依赖模块化框架和预定义规则，在面对复杂、动态的界面环境时往往显得笨拙且适应性差。近年来，多模态模型的进步为解决这一挑战提供了新思路，但现有解决方案仍难以实现真正类人的GUI交互能力，特别是在跨平台、跨应用场景下的通用操作能力方面存在明显短板。

产品/模型亮点

UI-TARS作为下一代原生GUI代理模型，其核心创新在于将所有关键组件——感知、推理、定位和记忆——集成在单一视觉语言模型中，而非传统的模块化框架。这种端到端设计使AI能够像人类一样感知界面、理解意图、规划操作并记住上下文，无需依赖预先定义的工作流。

该模型系列包括2B、7B和72B等不同规模版本，其中7B和72B的DPO(直接偏好优化)版本被推荐为最佳选择。在感知能力评估中，UI-TARS-72B在VisualWebBench测试中达到82.8分，超过GPT-4o(78.5)和Claude-3.5-Sonnet(78.2)；在SQAshort测试中以88.6分位居榜首，展现出卓越的视觉信息理解能力。

定位能力方面，UI-TARS表现尤为突出。在ScreenSpot Pro评估中，UI-TARS-72B以38.1的平均得分大幅领先于Claude Computer Use(17.1)和OS-Atlas-7B(18.9)。特别是在桌面文本定位(63.0)和图标定位(17.3)等细分指标上，展现出接近人类的界面元素识别能力。

离线代理能力测试中，UI-TARS-72B在Multimodal Mind2Web的跨任务元素准确率达到74.7%，操作F1值92.5%，步骤成功率68.6%，全面超越现有主流模型。在Android Control和GUI Odyssey等实际应用场景中，UI-TARS-72B的成功率分别达到74.7%和88.6%，证明其在真实世界GUI操作中的实用性。

行业影响

UI-TARS的出现标志着AI GUI交互从"规则驱动"向"智能感知驱动"的范式转变。这种端到端的原生代理模型将极大降低自动化流程的开发门槛，使非专业用户也能轻松创建复杂的GUI自动化任务。

对于企业而言，UI-TARS有望显著提升软件测试、数据录入、客户服务等依赖GUI操作的业务流程效率。特别是在跨平台应用管理、复杂系统运维等场景中，其统一的交互接口和强大的环境适应能力将大幅降低集成成本。

从技术演进角度看，UI-TARS展示了视觉语言模型在特定任务领域深度优化的巨大潜力。其将多种能力集成于单一模型的设计思路，可能会影响未来多模态AI系统的架构发展方向，推动更多"感知-决策-行动"一体化的专用AI代理出现。

结论/前瞻

UI-TARS通过突破性的架构设计和优异的性能表现，证明了大型语言模型在GUI自动化领域的巨大潜力。其无需预定义规则即可像人类一样操作图形界面的能力，不仅解决了传统自动化方案的灵活性瓶颈，更为AI与软件系统的自然交互开辟了新路径。

随着模型性能的持续优化和应用场景的不断拓展，我们有理由相信，UI-TARS这类原生GUI代理将在不远的将来成为人机交互的标准方式之一，深刻改变我们与数字设备互动的模式，推动软件自动化进入"类人智能"新阶段。

【免费下载链接】UI-TARS-2B-SFT项目地址: https://ai.gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-2B-SFT