Qt Windows自定义GUI界面自动化测试——uiautomatio通过树节点属性定位控件

Qt Windows自定义GUI界面自动化测试

提示：点击链接跳转其他相关文章
Windows自定义GUI界面自动化测试框架选择
autoit
uiautomatio基本使用
uiautomatio通过树节点属性定位控件

前言

前面我们已经对与windows GUI应用自动化测试工具进行了大致介绍，并选用python搭建uiautomation的方式实现Qt应用程序的自动化测试，通过inspect.exe进行附注获取窗口界面控件及各个属性。
进行了简单的界面控件操作，我们发现通过调用uiautomation不管是获取item还是button都需要一个控件名或者Id（Name、uiautomationId）等参数，但是稍微复杂一点的Qt项目都涉及到许多自定义控件来封装自定义的样式或实现方法，这就使得uiautomation无法匹配到特定的类型，或通过其名称寻找到指定控件，考虑到直接控制鼠标到固定坐标点进行操作无法应对某些多变的响应情况，所以选用控件父子节点关系来选中到唯一指定的控件。
需要注意的是，某些界面中的控件存在动态显影效果，这会使得uiautomation无法实时获取对应的控件和位置，在史记操作中我们应该对此类控件的查找进行慎重考虑。

一、实现方式？

inspect.exe

标记边框通过快捷键可以查看控件的关系（也可以通过查询窗口左侧的工程树直接查看）

uiautomation.py

获取节点相关函数及使用。
此处建议先浏览def WalkTree(）函数属性一下相关操作原理。
下面是WalkTree()对应源码实现。

defWalkTree(top,getChildren:Callable[[TreeNode],List[TreeNode]]=None,getFirstChild:Callable[[TreeNode],TreeNode]=None,getNextSibling:Callable[[TreeNode],TreeNode]=None,yieldCondition:Callable[[TreeNode,int],bool]=None,includeTop:bool=False,maxDepth:int=0xFFFFFFFF):ifmaxDepth<=0:returndepth=0ifgetChildren:ifincludeTop:ifnotyieldConditionoryieldCondition(top,0):yieldtop,0,0children=getChildren(top)childList=[children]whiledepth>=0:# or while childList:lastItems=childList[-1]iflastItems:ifnotyieldConditionoryieldCondition(lastItems[0],depth+1):yieldlastItems[0],depth+1,len(lastItems)-1ifdepth+1<maxDepth:children=getChildren(lastItems[0])ifchildren:depth+=1childList.append(children)dellastItems[0]else:delchildList[depth]depth-=1elifgetFirstChildandgetNextSibling:ifincludeTop:ifnotyieldConditionoryieldCondition(top,0):yieldtop,0child=getFirstChild(top)childList=[child]whiledepth>=0:# or while childList:lastItem=childList[-1]iflastItem:ifnotyieldConditionoryieldCondition(lastItem,depth+1):yieldlastItem,depth+1child=getNextSibling(lastItem)childList[depth]=childifdepth+1<maxDepth:child=getFirstChild(lastItem)ifchild:depth+=1childList.append(child)else:delchildList[depth]depth-=1

函数说明：不使用递归算法遍历树。
top: 初始节点.
getChildren: 返回子节点listList[TreeNode].
getFirstChild: 返回第一个子节点TreeNode.
getNextSibling: 返回下一个邻节点TreeNode.
yieldCondition: 迭代条件
includeTop: 是否从top节点开始迭代
maxDepth: int, 遍历深度.

如果getChildren有效，则忽略getFirstChild和getNextSibling，迭代3 items元组：（treeNode，depth，在当前深度中保留子项计数）。
如果getChildren无效，则使用getFirstChild和getNextSibling，迭代2 items元组：（treeNode，depth）。
如果yieldCondition不为None，则只生成迭代条件（treeNode:treeNode，depth:int）->bool返回True的树节点。

代码如下（示例）：

defGetDirChildren(dir_):ifos.path.isdir(dir_):return[os.path.join(dir_,it)foritinos.listdir(dir_)]forit,depth,leftCountinWalkTree('D:\\',getChildren=GetDirChildren):print(it,depth,leftCount)

窗口相关

classWindowPattern():defClose(self,waitTime:float=OPERATION_WAIT_TIME)->bool:defIsModal(self)->bool:defIsTopmost(self)->bool:defWindowInteractionState(self)->int:#窗口交互状态classControl():defIsEnabled(self)->bool:defIsKeyboardFocusable(self)->bool:defGetAncestorControl(self,condition:Callable[['Control',int],bool])->'Control':defGetParentControl(self)->'Control':defGetFirstChildControl(self)->'Control':defGetLastChildControl(self)->'Control':defGetNextSiblingControl(self)->'Control':defGetPreviousSiblingControl(self)->'Control':defGetSiblingControl(self,condition:Callable[['Control'],bool],forward:bool=True)->'Control':defGetChildren(self)->List['Control']:defGetPosition(self,ratioX:float=0.5,ratioY:float=0.5)->Tuple[int,int]:defMoveCursorToMyCenter(self,simulateMove:bool=True)->Tuple[int,int]:defClick(self,x:int=None,y:int=None,ratioX:float=0.5,ratioY:float=0.5,simulateMove:bool=True,waitTime:float=OPERATION_WAIT_TIME)->None:defMiddleClick(self,x:int=None,y:int=None,ratioX:float=0.5,ratioY:float=0.5,simulateMove:bool=True,waitTime:float=OPERATION_WAIT_TIME)->None:defRightClick(self,x:int=None,y:int=None,ratioX:float=0.5,ratioY:float=0.5,simulateMove:bool=True,waitTime:float=OPERATION_WAIT_TIME)->None:defDoubleClick(self,x:int=None,y:int=None,ratioX:float=0.5,ratioY:float=0.5,simulateMove:bool=True,waitTime:float=OPERATION_WAIT_TIME)->None:defRightDragDrop(self,x1:int,y1:int,x2:int,y2:int,moveSpeed:float=1,waitTime:float=OPERATION_WAIT_TIME)->None:defWheelDown(self,x:int=None,y:int=None,ratioX:float=0.5,ratioY:float=0.5,wheelTimes:int=1,interval:float=0.05,waitTime:float=OPERATION_WAIT_TIME)->None:defWheelUp(self,x:int=None,y:int=None,ratioX:float=0.5,ratioY:float=0.5,wheelTimes:int=1,interval:float=0.05,waitTime:float=OPERATION_WAIT_TIME)->None:

二、使用步骤

1.引入库

代码如下（示例）：

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore')import ssl ssl._create_default_https_context=ssl._create_unverified_context

2.读入数据

代码如下（示例）：

data=pd.read_csv('https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')print(data.head())

该处使用的url网络请求的数据。

总结

提示：这里对文章进行总结：

例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。