一种对智能视频分析主机进行自动化测试的方法与系统

摘要

本发明涉及视频分析技术领域，特别是涉及一种对智能视频分析主机进行自动化测试的方法与系统，包括任务配置单元、数据处理单元、通讯单元、测试报告生成单元以及可视化页面；任务配置单元配置自动化测试任务并启动测试；数据处理单元对系统进行初始化工作；通讯单元用于接收和推送分析结果；测试报告生成单元对推送的分析结果进行解析并生产测试报告；测试人员通过可视化页面布置测试任务，在可视化页面中点击启动测试，系统自动完成对智能视频分析主机的可信度测试，并输出可信度测试报告。本发明将测试人员手工执行测试用例、收集测试数据、分析测试数据、输出测试报告的过程完全自动化。大大提高了智能视频分析主机可信度测试的效率。

说明书

技术领域

本发明涉及视频分析技术领域，特别是涉及一种对智能视频分析主机进行自动化测试的方法与系统。

背景技术

当前，基于计算机视觉的智能视频分析技术已经非常成熟。基于计算机视觉的智能视频分析核心流程为：将实时视频或录像视频作为输入，智能视频分析系统对视频流进行解码，得到视频帧图片，对视频帧图片进行推理分析，推理分析包括检测、追踪、分类等，最后将推理结果转化为告警事件输出。

为了提升智能视频分析结果的可信度，智能视频分析主机需要不断的修正，修正包括算法模型的更新，业务流程的优化等。测试人员需要针对每一次修正之后的智能视频分析主机进行可信度测试，测试工作量巨大。

发明内容

本发明目的是针对背景技术中存在的问题，提出一种对智能视频分析主机进行自动化测试的方法与系统。

本发明的技术方案，一种对智能视频分析主机进行自动化测试的系统，包括任务配置单元、数据处理单元、通讯单元、测试报告生成单元以及可视化页面；

任务配置单元配置自动化测试任务并启动测试；

数据处理单元对系统进行初始化工作，并将测试视频文件信息存储至内存数据库表tbl_video_file中；

通讯单元用于接收和推送分析结果；

测试报告生成单元对推送的分析结果进行解析并生产测试报告；

测试人员通过可视化页面布置测试任务，在可视化页面中点击启动测试，系统自动完成对智能视频分析主机的可信度测试，并输出可信度测试报告。

优选的，测试系统与本地PC/远程服务器以及智能视频分析主机进行通讯连接；

智能视频分析主机作为测试对象；测试系统作为测试工具；本地PC/远程服务器作为测试视频存储介质进行可信度测试。

一种对智能视频分析主机进行自动化测试的方法，上述测试系统进行自动化测试，包括以下具体步骤：

S1、测试人员准备测试对象智能视频分析主机，同时在本地PC或远程服务器上准备测试视频，以及与视频文件匹配的任务区域数据、任务参数数据，以json格式保存；

S2、配置自动化测试任务，并启动测试；

S3、自动化测试完成，到本地PC或远程服务器上取测试报告。

优选的，S2中自动化测试过程包括以下步骤：

S21、测试系统收到用户启动测试的任务指令之后，读取测试视频文件，以及与视频文件匹配的任务区域数据、任务参数数据；并完成自动化测试系统的初始化工作；

S22、测试系统调用智能视频分析主机的接口依次完成以下步骤：

S221、通过用户名、密码获取智能分析主机的接口请求令牌token；

S222、通过接口设置智能视频分析主机告警消息的推送地址为自动化测试工具的地址；

S223、通过接口给智能视频分析主机添加虚拟相机，智能视频分析主机通过虚拟相机获取视频流；

S224、任务开关设置，针对虚拟相机开启智能视频分析任务；

S225、任务区域添加，为分析任务添加任务区域；

S226、任务参数设置，为分析任务添加任务参数；

S23、测试系统接收智能视频分析主机推送的告警消息，并对告警消息进行解析，生成测试报告；

S24、所生成的测试报告存储在本地PC/远程服务器中；

S25、测试人员在PC/远程服务器中获取测试报告。

优选的，初始化工作是将测试视频文件信息存储至内存数据库表tbl_video_file。

优选的，测试系统将每一段测试视频定义三种状态，分别为：未处理、处理中、已处理。

优选的，测试系统对多个测试视频进行测试的步骤如下：

启动定时任务，逐个判断每一段视频文件的状态，直到全部视频片段处理完成。

优选的，测试系统达到所设定的时间后，判断内存数据库表tbl_video_file中是否存在状态为“处理中”的记录；

若存在则读取数据库表tbl_video_file中状态为处理中的记录并调用智能视频分析主机接口查询文件播放状态，之后解析智能视频分析主机返回结果是否分析完毕；

若未分析完毕即为AI-BOX处于满负荷状态，则需要等待下一周期进行处理；

若分析完毕则调用智能视频分析主机接口，关闭任务、删除相机并修改数据库表tbl_video_file中对应的记录状态为“已处理”；其中若不存在状态为“处理中”的记录则同步进行判断数据库表tbl_video_file中是否存在状态为“未处理”的记录；

若是则读数据库表tbl_video_file中未处理的记录，调用智能视频分析主机接口，添加摄像机，设置任务区域、任务参数，开启任务；并修改此记录的状态为“处理中”等待下一周期进行处理；若否则全部视频均处理，定时任务结束，关闭定时器。

与现有技术相比，本发明具有如下有益的技术效果：

本发明提出了一种对智能视频分析主机进行自动化测试的方法与系统。将测试人员手工执行测试用例、收集测试数据、分析测试数据、输出测试报告的过程完全自动化。大大提高了智能视频分析主机可信度测试的效率。

附图说明

图1为本发明测试方法的流程示意图；

图2为本发明可信度测试过程中测试视频文件夹的目录结构示意图；

图3为本发明可信度测试过程中测试报告文件夹的目录结构示意图；

图4为图本发明测试系统的工作逻辑示意图。

具体实施方式

实施例1

如图1所示，本发明提出的一种对智能视频分析主机进行自动化测试的方法，包括以下具体步骤：

S1、测试人员准备测试对象智能视频分析主机，同时在本地PC或远程服务器上准备测试视频，以及与视频文件匹配的任务区域数据、任务参数数据，以json格式保存；

S2、配置自动化测试任务，并启动测试；

S21、测试系统收到用户启动测试的任务指令之后，读取测试视频文件，以及与视频文件匹配的任务区域数据、任务参数数据；并完成自动化测试系统的初始化工作；初始化工作是将测试视频文件信息存储至内存数据库表tbl_video_file；

S22、测试系统调用智能视频分析主机的接口依次完成以下步骤：

S221、通过用户名、密码获取智能分析主机的接口请求令牌token；

S222、通过接口设置智能视频分析主机告警消息的推送地址为自动化测试工具的地址；

S223、通过接口给智能视频分析主机添加虚拟相机，智能视频分析主机通过虚拟相机获取视频流；

S224、任务开关设置，针对虚拟相机开启智能视频分析任务；

S225、任务区域添加，为分析任务添加任务区域；

S226、任务参数设置，为分析任务添加任务参数；

S23、测试系统接收智能视频分析主机推送的告警消息，并对告警消息进行解析，生成测试报告；

S24、所生成的测试报告存储在本地PC/远程服务器中；

S25、测试人员在PC/远程服务器中获取测试报告；

S3、自动化测试完成，到本地PC或远程服务器上取测试报告。

在本实施例中进行可信度测试的过程中，测试视频文件夹需要遵循如图2所示的文件目录结构：按可信度测试种类划分文件夹，例如精度测试/性能测试，再按算法种类划分文件夹，例如区域入侵算法/人员徘徊算法，再按视频片段划分文件夹，例如第一段视频/第二段视频，每段视频文件夹下除了存放视频片段，还要存放任务区域数据、任务参数数据。

如图2所示，在本实施例中，文件夹viedo为测试视频文件夹，文件夹accuracy为精度测试视频文件夹；文件夹accuracy下的camera_sim.conf则用于配置测试视频路径；文件夹accuracy下的文件夹3和文件夹4则分别代表算法code，例如3代表“区域入侵”算法；而文件夹3下的文件夹001和文件夹002则分别为第一段视频和第二段视频；文件夹001下的001.mp4则为测试视频文件、taskArea.json为与视频文件匹配的任务区域新信息、taskParam.json为与视频文件匹配的任务参数信息；文件夹002下的002.mp4则为测试视频文件、taskArea.json为与视频文件匹配的任务区域新信息、taskParam.json为与视频文件匹配的任务参数信息；

在本实施例中进行可信度测试的过程中，测试报告文件夹需要遵循如图3所示的文件目录结构：按可信度测试种类划分文件夹，例如精度测试报告/性能测试报告，报告包括：整体测试报告，详细测试数据汇总，按算法功能区分的测试结果结构化数据。

如图3所示，在本实施例中，文件夹report为测试报告文件夹；文件夹report下的文件夹accuracy为精度测试报告文件夹；文件夹accuracy下的accuracy_report_V1.4.7.0001.csv为V1.4.7.0001精度测试报告(csv格式)；文件夹accuracy下的accuracy_report_V1.4.7.0001.html为V1.4.7.0001精度测试报告(html格式)；文件夹accuracy下的accuracy_detail_V1.4.7.0001.csv为V1.4.7.0001精度测试详细数据汇总；文件夹accuracy下的文件夹V1.4.7.0001MV-BH1L04T则为V1.4.7.0001精度测试过程数据汇总；

文件夹V1.4.7.0001MV-BH1L04T下的文件夹3和文件夹4则分别代表算法code，例如3代表“区域入侵”算法；文件夹3下的文件夹001和文件夹002则分别为第一段视频测试结果文件夹和第二段视频测试结果文件夹；文件夹001下的accuracy_result_V1.4.7.0001html为第一段视频测试结果结构化数据文件夹002下的accuracy_result_V1.4.7.0001html为第二段视频测试结果结构化数据。

在本实施例中，如图4所示，测试系统将每一段测试视频定义三种状态，分别为：未处理、处理中、已处理。

测试系统对多个测试视频进行测试的步骤如下：

启动定时任务，逐个判断每一段视频文件的状态，直到全部视频片段处理完成；其中所设定的时间为10S。

测试系统达到所设定的时间后，判断内存数据库表tbl_video_file中是否存在状态为“处理中”的记录；

若存在则读取数据库表tbl_video_file中状态为处理中的记录并调用智能视频分析主机接口查询文件播放状态，之后解析智能视频分析主机返回结果是否分析完毕；

若未分析完毕即为AI-BOX处于满负荷状态，则需要等待下一周期进行处理；

若分析完毕则调用智能视频分析主机接口，关闭任务、删除相机并修改数据库表tbl_video_file中对应的记录状态为“已处理”；其中若不存在状态为“处理中”的记录则同步进行判断数据库表tbl_video_file中是否存在状态为“未处理”的记录；

若是则读数据库表tbl_video_file中未处理的记录，调用智能视频分析主机接口，添加摄像机，设置任务区域、任务参数，开启任务；并修改此记录的状态为“处理中”等待下一周期进行处理；若否则全部视频均处理，定时任务结束，关闭定时器。

实施例2

本发明公开一种对智能视频分析主机进行自动化测试的系统，包括任务配置单元、数据处理单元、通讯单元、测试报告生成单元以及可视化页面；

任务配置单元配置自动化测试任务并启动测试；

数据处理单元对系统进行初始化工作，并将测试视频文件信息存储至内存数据库表tbl_video_file中；

通讯单元用于接收和推送分析结果；

测试报告生成单元对推送的分析结果进行解析并生产测试报告；

测试人员通过可视化页面布置测试任务，在可视化页面中点击启动测试，系统自动完成对智能视频分析主机的可信度测试，并输出可信度测试报告。

测试系统与本地PC/远程服务器以及智能视频分析主机进行通讯连接；

智能视频分析主机作为测试对象；测试系统作为测试工具；本地PC/远程服务器作为测试视频存储介质进行可信度测试。

本发明提出了一种对智能视频分析主机进行自动化测试的方法与系统。将测试人员手工执行测试用例、收集测试数据、分析测试数据、输出测试报告的过程完全自动化。大大提高了智能视频分析主机可信度测试的效率。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。