基于图像识别的移动端应用控件检测方法

摘要

为解决在浮窗等页面和控件重叠场景下,目前移动端应用常用的自动化测试技术无法准确识别待测控件的问题,基于计算机视觉和目标检测技术,提出一种新的移动端应用控件识别方法,将控件识别任务变换为目标检测任务。其次,采集应用的交互界面并标注其中的待测控件位置及类型,并使用多种主流目标检测模型在该数据集上进行训练和验证。最后,实现目标检测结果至Appium测试脚本的自动转换,使得基于目标检测技术的测试工具完全自动化运行成为可能。实验表明,所提方法可以有效识别待测控件,体现了对应用运行平台(Android/iOS)的鲁棒性,最高可取得0.634的平均精度均值(mAP)。