基于计算机视觉的车载信息终端功能自动测试方法

摘要

本发明公开了一种基于计算机视觉的车载信息终端功能自动测试方法。包括测试例设计和测试例执行两大步骤。测试例设计，对于每个测试例执行之前，首先需要设计测试例，从视频流中截取相应的验证图标。启动摄像头，实时抓取视频图像，根据校正参数对该视频图像进行变换、插值运算，得到校正的最终车载终端屏幕区域图像。测试例执行过程就是自动化测试系统的调用动作；从摄像头实时采集视频图像，对图像进行校正，发送ADB命令给车载终端，终端接收到ADB命令后响应APP；重新获取视频帧图像，并与测试例设计时截取的APP响应帧进行相似度比较，最终输出验证结果。提高了对车载信息终端测试的智能化程度和测试的自动化程度。

说明书

技术领域

本发明属于汽车技术领域，尤其涉及车载信息终端的测试，具体为基于计算机视觉的车载信息终端功能自动测试方法。

背景技术

随着汽车技术的不断进步，人们对车载终端的品质要求越来越高。终端需要能提供可以使用的稳定的功能需求，需要进行稳定可靠的功能测试。然而现有的应用测试方法多以人、机械为驱动，无法进行长时间、重复性过高的测试，自动化程度不高，存在可靠性不足的缺陷。伴随着车载终端导航、通信、移动办公、多媒体娱乐、远程诊断等系统的集成，车载信息终端与系统的集成度、智能化程度越来越高，迫切要求对传统测试方法进行改进，提升自动化测试程度。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于计算机视觉的车载信息终端功能自动测试方法，旨在解决现有技术中车载信息终端功能验证可靠性低、自动化程度不高等问题。

基于计算机视觉的车载信息终端功能自动测试方法，包括测试例设计和测试例执行两大步骤。其具体方法如下。

（一）、测试例设计，对于每个测试例执行之前，首先需要设计测试例，从视频流中截取相应的验证图标。测试例设计的实施步骤如下。

a．启动摄像头，从视频流中抓取一帧图像。由于摄像头视场大于车载信息终端屏幕区域，即视频图像覆盖了除屏幕以外的其他区域，这些区域包含了冗余信息，因此对图像进行校正，去除冗余信息。

b．视频图像校正，图像校正分为学习阶段和校正阶段，所有测试例执行前只需进行一次图像校正学习，后续执行测试例时直接进行图像校正即可。

所述的学习阶段步骤为：

1）截取一幅车载终端主页图像，手动截取图像屏幕区域图像，并保存到指定目录下，令此图像为基准图像；

2）实时抓取一幅车载终端主页图像，提取该图像与基准图像的surf匹配特征点和特征描述值，依据特征描述值计算两幅图像的匹配特征点；

3）选定三个匹配特征点，依据特征点坐标计算旋转、平移、缩放参数，并储存参数到指定目录下，作为校正参数。

所述的校正阶段步骤为：

1）从指定目录读取校正参数；

2）实时抓取视频图像，根据校正参数对该视频图像进行变换、插值运算，得到校正的最终车载终端屏幕区域图像。

c．截取某个待测试APP（智能终端的应用软件程序）的图标，存到指定测试路径下。

d．点击该APP图像，APP跳转至运行页面，从视频流中抓取运行页面图像，存到指定测试路径下。

（二）、测试例执行，测试例执行过程就是自动化测试系统的调用动作；从摄像头实时采集视频图像，对图像进行校正，采用模板匹配算法验证图像中APP图标是否存在，如存在即获取验证图标坐标，发送ADB（Android提供的一个通用的调试工具）命令给车载终端，终端接收到ADB命令后响应APP；重新获取视频帧图像，并与测试例设计时截取的APP响应帧进行相似度比较，最终输出验证结果。测试例执行的实施步骤如下。

a．启动测试例，从视频流中抓取视频帧，依照上述的视频图像校正方法对该视频帧进行校正。

b．模板匹配算法验证APP图标；经过图像校正算法后，APP图标归一化到相同尺度，这就减小了模板匹配误差；匹配算法采用标准平方差匹配算法，具体步骤如下：

1）读取测试例设计时截取的APP图标，令其为模版子图；

2）子图从左到右，从上到下移动，遍历校正图像，计算其与校正图像的标准平方差系数，公式如下：

其中T为模板图像，I为校正图像，(x,y)为校正后图像像素点坐标，(x',y')为模板图像像素点坐标，R(x,y)系数值范围为[0，1]，如果子图与模板匹配，则系数值越小；

3）设定某个阈值，阈值取值范围[0.05，0.10]，系数小于设定阈值，则认为匹配成功，即校正图像中存在相应的APP图标；

4）模板匹配成功时，记录匹配点像素坐标(x,y)，即为APP图标的中心坐标。

c．根据计算的APP图标坐标，发送ADB命令，启动APP。

d．延时一段时间后，从视频流中抓取一帧视频图像，依照上述图像校正方法进行校正，得到校正图像。

e．读取测试例设计时抓取的APP页面跳转帧，与校正图像作相似度计算，判断两幅图像是否相似，即判断APP是否跳转到正确的页面；相似度计算采用结构相似度算法，算法包含了目标图像与模板图像在亮度、对比度及结构信息方面的比较，能正确反应目标图像与模板图像之间的一个相似度，计算公式如下：

其中μ_x和μ_y为图像的均值，σ_x和σ_y为图像的方差，σ_xy为图像的协方差，C₁和C₂为较小的数值，取值范围为[0.01，0.05]，用于增加计算结果的稳定性，相似度值范围为[0，1]，相似度值越大，相似度越高。

f．验证结果输出。如果两幅图像相似度值超过设定阈值，阈值取值范围[0.95，0.98]，则输出该测试例功能通过测试，结束该测试例。

本方发明采用基于视觉的功能测试方法对测试流程进行设计，提高了对车载信息终端测试的智能化程度和测试的自动化程度，提高了测试的工作效率和测试的质量，降低测试误差。

附图说明

图1为测试例设计流程图。

图2为测试例执行流程图。

具体实施方式

下面结合具体实施例和说明书附图对本发明作进一步说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例：基于计算机视觉的车载信息终端功能自动测试方法，包括依次进行的测试例设计和测试例执行。

对于每个测试例执行之前，首先需要设计测试例，从视频流中截取相应的验证图标。测试例设计流程如图1所示，实施步骤如下。

a．启动摄像头，从视频流中抓取一帧图像。由于摄像头视场大于车载信息终端屏幕区域，即视频图像覆盖了除屏幕以外的其他区域，这些区域包含了冗余信息，因此对图像进行校正，去除冗余信息。

b．视频图像校正，图像校正分为学习阶段和校正阶段，所有测试例执行前只需进行一次图像校正学习，后续执行测试例时直接进行图像校正即可。

所述的学习阶段步骤为：

1）截取一幅车载终端主页图像，手动截取图像屏幕区域图像，并保存到指定目录下，令此图像为基准图像；

2）实时抓取一幅车载终端主页图像，提取该图像与基准图像的surf匹配特征点和特征描述值，依据特征描述值计算两幅图像的匹配特征点；

3）选定三个匹配特征点，依据特征点坐标计算旋转、平移、缩放参数，并储存参数到指定目录下，作为校正参数。

所述的校正阶段步骤为：

1）从指定目录读取校正参数；

2）实时抓取视频图像，根据校正参数对该视频图像进行变换、插值运算，得到校正的最终车载终端屏幕区域图像。

c．截取某个待测试APP的图标，存到指定测试路径下。

d．点击该APP图像，APP跳转至运行页面，从视频流中抓取运行页面图像，存到指定测试路径下。

测试例设计完成后，进入测试例执行步骤。测试例执行过程就是自动化测试系统的调用动作；从摄像头实时采集视频图像，对图像进行校正，采用模板匹配算法验证图像中APP图标是否存在，如存在即获取验证图标坐标，发送ADB命令给车载终端，终端接收到ADB命令后响应APP；重新获取视频帧图像，并与测试例设计时截取的APP响应帧进行相似度比较，最终输出验证结果。ADB(AndroidDebugBridge)是Android提供的一个通用的调试工具，借助这个工具，我们可以很好的调试开发的程序。通过ADB命令可以运行设备的shell(命令行)，管理模拟器或设备的端口映射，计算机和设备之间上传/下载文件，将本地软件安装至Android设备。

测试例执行的流程如图2所示，实施步骤如下。

a．启动测试例，从视频流中抓取视频帧，依照上述的视频图像校正方法对该视频帧进行校正。

b．模板匹配算法验证APP图标；经过图像校正算法后，APP图标归一化到相同尺度，这就减小了模板匹配误差；匹配算法采用标准平方差匹配算法，具体步骤如下：

1）读取测试例设计时截取的APP图标，令其为模版子图；

2）子图从左到右，从上到下移动，遍历校正图像，计算其与校正图像的标准平方差系数，公式如下：

其中T为模板图像，I为校正图像，(x,y)为校正后图像像素点坐标，(x',y')为模板图像像素点坐标，R(x,y)系数值范围为[0，1]，如果子图与模板匹配，则系数值越小；

3）设定某个阈值，阈值取值范围[0.05，0.10]，系数小于设定阈值，则认为匹配成功，即校正图像中存在相应的APP图标；

4）模板匹配成功时，记录匹配点像素坐标(x,y)，即为APP图标的中心坐标。

c．根据计算的APP图标坐标，发送ADB命令，启动APP。

d．延时一段时间后，从视频流中抓取一帧视频图像，依照上述图像校正方法进行校正，得到校正图像。

e．读取测试例设计时抓取的APP页面跳转帧，与校正图像作相似度计算，判断两幅图像是否相似，即判断APP是否跳转到正确的页面；相似度计算采用结构相似度算法，算法包含了目标图像与模板图像在亮度、对比度及结构信息方面的比较，能正确反应目标图像与模板图像之间的一个相似度，计算公式如下：

其中μ_x和μ_y为图像的均值，σ_x和σ_y为图像的方差，σ_xy为图像的协方差，C₁和C₂为较小的数值，取值范围为[0.01，0.05]，用于增加计算结果的稳定性，相似度值范围为[0，1]，相似度值越大，相似度越高。

f．验证结果输出。如果两幅图像相似度值超过设定阈值，阈值取值范围[0.95，0.98]，则输出该测试例功能通过测试，结束该测试例。

综上所述是本发明较佳的实施例，凡依本发明技术方案所做的改变，所生产的功能作用未超出本发明技术方案的范围时均属于本发明的保护范围。