VISTA-9B实战项目：构建智能GUI测试自动化系统

VISTA-9B实战项目：构建智能GUI测试自动化系统

【免费下载链接】VISTA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/VISTA-9B

VISTA-9B是基于Qwen3.5 9B骨干模型训练的GUI-grounding视觉语言模型，采用VISTA（View-Consistent Self-Verified Training for GUI Grounding）技术，能够将截图和自然语言指令映射到标准化0-1000图像框架中的点击坐标，为构建智能GUI测试自动化系统提供强大支持。

为什么选择VISTA-9B进行GUI测试自动化？

突破性的GUI定位能力

VISTA-9B通过视图一致性GRPO训练，从同一GUI实例的目标保留视图构建每个GRPO比较组，并在裁剪视图之间进行精确坐标重映射，能够在语义等效但几何不同的截图下展现出色的定位行为。

卓越的性能表现

在GUI Grounding基准测试中，VISTA-9B表现优异。与Qwen3.5-9B相比，在SSPro上达到69.2%的准确率（提升0.9%），SSV2上达到95.8%（提升0.6%），OSWorld-G上达到68.1%（提升0.6%），OSWorld-G-R上达到75.5%（提升0.3%），为GUI测试自动化提供了可靠的技术保障。

快速搭建VISTA-9B智能GUI测试自动化系统

环境准备

首先，确保你的环境中安装了必要的依赖库，包括torch、PIL和transformers等。

模型获取

通过以下命令克隆VISTA-9B项目仓库：

git clone https://gitcode.com/hf_mirrors/inclusionAI/VISTA-9B

初始化模型和处理器

使用transformers库加载VISTA-9B模型和处理器，代码示例如下：

import torch from PIL import Image from transformers import AutoModelForImageTextToText, AutoProcessor model_id = "inclusionAI/VISTA-9B" model = AutoModelForImageTextToText.from_pretrained( model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True, ) processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

VISTA-9B在GUI测试自动化中的应用实例

单步GUI元素定位

给定GUI截图和指令，VISTA-9B能够准确输出目标元素的中心坐标。例如，对于"Click the search button"这样的指令，模型会返回类似[512,384]的坐标结果。

构建自动化测试流程

将VISTA-9B集成到测试流程中，可以实现自动识别GUI元素、生成点击坐标，进而驱动测试工具执行相应操作，大大减少手动测试的工作量，提高测试效率。

优化VISTA-9B的GUI测试性能

合理设置提示词

推荐使用以下提示词格式：

Output the center point of the position corresponding to the instruction: {instruction}. The output should just be the coordinates of a point, in the format [x,y].

合适的提示词能够帮助模型更准确地理解任务要求，提高定位精度。

调整生成参数

在模型生成坐标时，可以通过调整max_new_tokens、do_sample等参数来优化输出结果。例如，设置do_sample=False进行确定性解码，有助于获得更稳定的坐标预测。

总结

VISTA-9B作为一款强大的GUI-grounding视觉语言模型，为构建智能GUI测试自动化系统提供了全新的可能。通过其卓越的GUI元素定位能力和简单易用的接口，开发者可以快速搭建高效、准确的自动化测试流程，显著提升软件测试的质量和效率。无论是新手还是有经验的开发者，都能借助VISTA-9B轻松实现GUI测试的智能化升级。

【免费下载链接】VISTA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/VISTA-9B