通过ai工具结合agent_操作WindowsUI实现工作_工具思路收集_测试winright_midscene随时更新---AI大模型应用探索0042

前段时间从同事那里知道，他们在用winright，这个是通过识别WindowsUI上的组件，然后

录成流程来进行自动化操作。这个效果还可以。但是对复杂的界面，以及java swing javafx等的界面，可能就不行了。

之前用的midscene+qwenpaw 这个效果还是不错的。可以用视觉识别来操作电脑，但是特点就是很慢，慢到你无法接受，准确度上，有时候会点错，但是ai会自动纠正，但是就是慢，所以后来，就想了一个办法，就是，普通的操作，只是点击坐标的，就把坐标弄到一个流程的json文件中，然后让ai去调用，这样就快了，只有这需要ai的智商去判断的时候，再把ai叫出来，这个是一个方式，这个效果不错。