面向无障碍检测的移动端应用页面自动遍历方法

摘要

面向无障碍检测的移动端应用页面自动遍历方法，包括：进入App首页，机械臂每右滑一次，都通过计算机视觉算法，检测出此时停留的聚焦框的坐标，图像等信息，生成一个聚焦框对象；不断右滑直至焦点陷入或者达到设定的遍历次数，由此可以判断页面是否为瀑布流，如果是瀑布流，则还需进行导航栏的遍历；首页的遍历结束，将首页的所有聚焦框加入广度遍历队列中；进行广度遍历，当队列不为空时，从中取第一个聚焦框并出列，计算从当前页面到目标聚焦框的路径，通过操纵机械臂到达对应聚焦框，点击聚焦框，判断是否进入了一个全新的页面，如果是，则对新页面进行相应操作，否则就访问下一个聚焦框，直到队列为空。本发明适用于复杂场景，普适性强，可作为无障碍合规检测的上游服务，爬取应用的页面信息，供后续的检测使用。