提取视口内容、根据视口内容的自动交互的方法及装置

摘要

提供一种提取视口内容、根据视口内容的自动交互的方法及装置。该提取视口内容的方法包括：首先通过渲染上下文获取系统视口中呈现的所有窗口以及各个窗口中正在运行的应用，从而获得当前正在呈现的应用列表，然后遍历当前正在呈现的应用列表，从而针对当前正在呈现的应用列表中的每个应用，通过渲染上下文获取每个应用视口中呈现的内容对象，最后遍历各个呈现的内容对象，从而获取内容对象的文本语义信息，以确定系统当前状态下的一帧视口内容帧，从而提高了提取视口内容的准确性。