基于计算机视觉的移动端应用控件识别方法

摘要

本发明公开了一种基于计算机视觉的移动端应用控件识别方法。所述方法结合了硬软件方法，利用系统的无障碍功能，实现了非侵入式、普适性强、错误率低的一种移动端应用控件识别方法。首先，打开屏幕阅读器和相应软件，机械臂操作后将截图上传到服务端；其次，对截图进行预处理后对其进行颜色提取和扩充，得到单通道图像。然后，对该单通道图像进行边缘检测和直线检测，过滤噪声后得到控件的中心坐标；最后，利用计算机视觉方法对控件进行功能判别。循环以上步骤，可构建该App的页面控件树。该方法可应用于复杂场景，对每个控件实现功能含义的理解，且普适性强，可应用于移动应用的自动化测试、页面结构分解，人机交互分析等场景。