一种基于深度学习的车辆视频定损系统的智能截图方法及系统

摘要

本发明公开了一种基于深度学习的车辆视频定损系统的智能截图方法及系统，包括：设置图像帧数据缓冲区，间隔N帧缓存一帧图像到图像帧数据缓冲区队列；设置非图像帧参数数组，间隔N’帧调用拍摄状态分类算法得到用户距离车辆的远近状态类别，将该参数存储到非图像帧参数数组中；当非图像帧参数数组的长度累积达到n后，进行采样环节类型分析，基于历史参数分析出当前帧所处于的采样环节类型；若采样环节类型分析的结果是一个有效的类型标识，则校验当前帧是否满足距离上次采样的时间间隔阈值；若满足，则根据采集环节类型从图像帧数据缓冲区中选择图像作为截图图像使用。本发明基于深度神经网络的分类方法，能获取极高的准确率，分类准确率高。

说明书

技术领域

本发明涉及车辆视频定损技术领域，具体涉及一种基于深度学习的车辆视频定损系统的智能截图方法及系统。

背景技术

车辆视频定损系统：是一个通过智能手机通讯来达到快速处理理赔案件业务的系统,工作流程通常是查勘人员使用手机接收派工任务之后发起视频请求,公司视频中心后台人员接收请求之后打开视频与查勘人员进行视频通讯,了解现场情况、语音通讯、现场拍照、与客户协商维修事宜,从而完成理赔案件定损结论。

2012年以来，深度学习在图片识别领域取得非常大的进步。相比传统的图片识别方法使用的色彩、HOG等低级视觉特征；深度神经网络能学得更多高级的、抽象的特征，这使得深度神经网络的性能远远超越传统方法。

2014年以来，深度学习开始在物体检测、物体分割等领域取得优秀成果，涌现出Deeplab、YOLO、FasterRCNN等一序列方法，识别准确率在特定任务上已经超越了人类识别的水平，并在生成环境中得到大规模使用。

深度学习在汽车外观损伤检测领域进行的工作比较少，2016年左右开始有人尝试。但是受限于数据获取的难度，这个领域一直进展比较慢，目前也还没有一个可以落地使用的系统或方法。

现有专利CN110086866A公开了一种基于远程视频定损系统的建立方法，该专利主要是涉及整个视频定损的采集，通讯建立，人员管理等的定损系统平台，定损过程主要靠人，并无智能技术嵌入其中。

现有专利CN105049817A公开了一种车辆远程查勘定损系统，该专利主要涉及硬件功能实现，并无智能技术相关。

现有专利CN110287768A公开了图像智能识别车辆定损系统，该专利主要是介绍当视频或图像上传到服务器后的智能定损过程，而未探讨如何上传一个合格高效的视频或图像序列。

因此，如何辅助视频定损系统获得一个视频案件采集后的合格高效图像序列是本申请研究的重点，其不仅仅便于案件标准规范化存储，人工阅读同时也是便于机器理解的。

现有的定损现场拍照过程存在以下问题：

1.公司视频中心后台人员日常工作任务繁重，有时候通常要联线多个现场，导致部分理赔案件有时会遗漏一些现场图片，需要过些时间后联系客户再补拍现场照片，影响客户体验。

2.公司视频中心后台人员虽然经过一定时间的培训，但案件截图质量依旧参差不齐，个体差异较大，因此手动现场拍照截图方式不利于未来理赔标准化和规范化，不利于保险公司科学降低运营成本，同时也不利于大数据技术对理赔案件的价值信息挖掘。

发明内容

针对现有技术中存在的上述问题，本发明提供一种基于深度学习的车辆视频定损系统的智能截图方法及系统。

本发明公开了一种基于深度学习的车辆视频定损系统的智能截图方法，包括：

设置图像帧数据缓冲区，间隔N帧缓存一帧图像到图像帧数据缓冲区队列；

设置非图像帧参数数组，间隔N’帧调用拍摄状态分类算法得到用户距离车辆的远近状态类别，将该参数存储到非图像帧参数数组中；

当非图像帧参数数组的长度累积达到n后，进行采样环节类型分析，基于历史参数分析出当前帧所处于的采样环节类型；

若采样环节类型分析的结果是一个有效的类型标识，则校验当前帧是否满足距离上次采样的时间间隔阈值；其中，有效的类型标识包括“Car”、“Part”、“Part_Scar”、“Scar”中的一个；

若满足，则根据采集环节类型从所述图像帧数据缓冲区中选择图像作为截图图像使用；

从视频定损录制开始到结束，基于上述步骤产生若干有效的关键图像帧序列上传服务器中存储。

作为本发明的进一步改进，所述图像帧数据缓冲区的长度＝3，N＝15，缓冲区队列采用FIFO方式。

作为本发明的进一步改进，N’＝0或1。

作为本发明的进一步改进，n＝50。

作为本发明的进一步改进，采样环节分析的值域包括“Unknown”、“Car”、“Part”、“Part_Scar”和“Scar”，对图像帧分类结果包括“未对准车辆＝0”、“车辆方位侧容易辨识方位＝1”、“车辆部件周围环境容易辨识部件＝2”和“损伤周围环境容易辨识损伤细节＝3”，下述的“6”、“15”代表6次和15次；

所述采样环节分析，具体包括：

判断是否满足非图像参数数组【-10:0】累积2or3＞6，非图像参数数组【-20:-10】累积1＞6；

若满足，则返回“Car”；若不满足，则判断“已抽取”数组中最后一帧的采集环节是否是“Scar”类型；

若是“Scar”类型，则判断是否满足非图像参数数组【-20:0】累积2or3＞15，若满足，则返回“Scar”；

若不是“Scar”类型，则观察1or2是否进入3，观察长度从当前往前试探5帧；若进入，则返回“Part_Scar”；若未进入，则观察未进入3的时间是否达到预设时间，若达到，则返回“Part_Scar”；

若未达到预设时间，则判断是否满足非图像参数数组【-20:0】累积2＞15，若满足，则返回“Part”；若不满足，则结束。

作为本发明的进一步改进，所述校验当前帧是否满足距离上次采样的时间间隔阈值，包括：

获取已抽帧的非图像帧参数数组中最后一帧的采样环节类型；

判断当前帧的采样环节类型与最后一帧的采样环节类型是否匹配；

若匹配，则确认时间间隔阈值a；

若不匹配，则确认时间间隔阈值b；

判断当前帧的帧号与最后一帧的帧号差值是否小于时间间隔阈值a或时间间隔阈值b；

若小于，则根据采集环节类型从所述图像帧数据缓冲区中选择图像作为截图图像使用。

作为本发明的进一步改进，a＝60，b＝10。

作为本发明的进一步改进，所述根据采集环节类型从所述图像帧数据缓冲区中选择图像作为截图图像使用；包括：

当前采集环节类型为“Car”，抽取缓冲区图像第1帧；

当前采集环节类型为“Part”，抽取缓冲区图像第2帧；

当前采集环节类型为“Part_Scar”，抽取缓冲区图像第2帧和第3帧；

当前采集环节类型为“Scar”，将缓冲区图像的第2帧和第3帧的图像质量评分进行大小比较，抽取评分高的帧。

作为本发明的进一步改进，所述拍摄状态分类算法包括VGG、ResNet、GoogleNet、InceptionV3、NASNet中的一种。

本发明还公开了一种基于深度学习的车辆视频定损系统的智能截图系统，包括：

缓存模块，用于设置图像帧数据缓冲区，间隔N帧缓存一帧图像到图像帧数据缓冲区队列；

识别模块，用于设置非图像帧参数数组，间隔N’帧调用拍摄状态分类算法得到用户距离车辆的远近状态类别，将该参数存储到非图像帧参数数组中；

分析模块，用于当非图像帧参数数组的长度累积达到n后，进行采样环节类型分析，基于历史参数分析出当前帧所处于的采样环节类型；

校验模块，用于若采样环节类型分析的结果是一个有效的类型标识，则校验当前帧是否满足距离上次采样的时间间隔阈值；其中，有效的类型标识包括“Car”、“Part”、“Part_Scar”、“Scar”中的一个；

选择模块，用于当当前帧满足距离上次采样的时间间隔阈值时，根据采集环节类型从所述图像帧数据缓冲区中选择图像作为截图图像使用；

上传模块，用于从视频定损录制开始到结束，基于上述步骤产生若干有效的关键图像帧序列上传服务器中存储。

与现有技术相比，本发明的有益效果为：

1.本发明基于深度学习网络算法实现用户距离车辆远近状态，判别用户距离车辆位置距离的准确率高；

2.本发明的智能截图可降低视频定损采集过程中的现场情况遗漏率和误截图率，相比人工截图更可靠，同时智能截图标准更容易统一，使得理赔案件现场图片更加标准和规范，便于进一步的数据挖掘。

附图说明

图1为本发明一种实施例公开的基于深度学习的车辆视频定损系统的智能截图方法的流程图；

图2为图1中采样环节类型分析的流程图；

图3为图1中当前帧是否满足距离上次采样的时间间隔要求的流程图；

图4为图1中基于采样环节类型选择图像缓冲区的图像帧的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

本发明提供一种基于深度学习的智能截图方法及系统，其目的为：用于辅助智能车辆视频定损系统,提供现场情况截图功能，汽车外观损伤查勘；其在汽车业务中比较常见，例如汽车保险理赔环节，当投保人出现交通事故时,通常都需要做定损查勘来确认汽车损伤,包括外观部件损伤和内部配件损伤；定损查勘过程中都要做现场拍照并提交系统做案件定损证据，供查阅和储存。由于公司运营成本限制，现场情况截图通常要求都需要简洁高效，信息完整，过多拍摄会导致信息冗余，存储成本上升，过少拍摄又往往导致信息缺失，理赔依据不够充分。

现有车辆视频定损系统存在的问题为：

1.远程视频定损过程中，后台人工对现场情况做手工截图工作重复枯燥，由于多个连线支持导致易疲劳，更容易漏截取和误截取，二次采集导致用户体验差，延长理赔周期。

2.手工截图的个体差异化不利于保险案件理赔的规范化，标准化，不符合用科技理赔的大趋势，也不利于大数据技术挖掘案件中的数据价值。

为解决上述问题并达到上述目的，如图1所示，本发明提供一种基于深度学习的车辆视频定损系统的智能截图方法，包括：

步骤1、设置图像帧数据缓冲区，间隔N帧缓存一帧图像到图像帧数据缓冲区队列；其中，

本发明的图像帧数据缓冲区的长度可取3，N通常取15，缓冲区队列采用FIFO方式；

例如：假设视频的帧率是30帧/s，则每间隔15帧取1帧缓存在图像帧数据缓冲区，直至在图像帧数据缓冲区中缓存3帧。

步骤2、设置非图像帧参数数组，间隔N’帧调用拍摄状态分类算法得到用户距离车辆的远近状态类别，将该参数存储到非图像帧参数数组中；其中，

拍摄状态分类算法包括VGG、ResNet、GoogleNet、InceptionV3、NASNet中的一种；N’可取0或1；

例如：间隔1帧调用VGG算法模块，得到用户距离车辆的远近状态类别，将该参数存储到数组中；

步骤3、当非图像帧参数数组的长度累积达到n后，进行采样环节类型分析，基于历史参数分析出当前帧所处于的采样环节类型；其中，

N可取50，即当非图像帧参数数组的长度累积达到50帧算法参数时，则开始观察分析当前帧之前的历史窗口参数，即进入“采样环节类型分析”子模块做分析，采样环节类型分析用于基于历史参数分析出当前帧所处于的采样环节类型；

具体为，采样环节分析的值域包括“Unknown”、“Car”、“Part”、“Part_Scar”和“Scar”，对图像帧分类结果包括“未对准车辆＝0”、“车辆方位侧容易辨识方位＝1”、“车辆部件周围环境容易辨识部件＝2”和“损伤周围环境容易辨识损伤细节＝3”，下述的“6”、“15”代表6次和15次；

如图2所示，采样环节分析，包括：

判断是否满足非图像参数数组【-10:0】累积2or3＞6，非图像参数数组【-20:-10】累积1＞6；

若满足，则返回“Car”；若不满足，则判断“已抽取”数组中最后一帧的采集环节是否是“Scar”类型；

若是“Scar”类型，则判断是否满足非图像参数数组【-20:0】累积2or3＞15，若满足，则返回“Scar”；

若不是“Scar”类型，则观察1or2是否进入3，观察长度从当前往前试探5帧；若进入，则返回“Part_Scar”；若未进入，则观察未进入3的时间是否达到预设时间，若达到，则返回“Part_Scar”；

若未达到预设时间，则判断是否满足非图像参数数组【-20:0】累积2＞15，若满足，则返回“Part”；若不满足，则结束。

步骤4、若采样环节类型分析的结果是一个有效的类型标识，则校验当前帧是否满足距离上次采样的时间间隔阈值；其中，有效的类型标识包括“Car”、“Part”、“Part_Scar”、“Scar”中的一个；

具体的，如图3所示，校验当前帧是否满足距离上次采样的时间间隔阈值，包括：

获取已抽帧的非图像帧参数数组中最后一帧的采样环节类型；

判断当前帧的采样环节类型与最后一帧的采样环节类型是否匹配；

若匹配，则确认时间间隔阈值a，a可取60；

若不匹配，则确认时间间隔阈值b，b可取10；

判断当前帧的帧号与最后一帧的帧号差值是否小于时间间隔阈值a或时间间隔阈值b。

步骤5、若满足，则根据采集环节类型从步骤1的图像帧数据缓冲区中选择图像作为截图图像使用；

具体的，如图4所示，根据采集环节类型从图像帧数据缓冲区中选择图像作为截图图像使用；包括：

当前采集环节类型为“Car”，抽取缓冲区图像第1帧；

当前采集环节类型为“Part”，抽取缓冲区图像第2帧；

当前采集环节类型为“Part_Scar”，抽取缓冲区图像第2帧和第3帧；

当前采集环节类型为“Scar”，将缓冲区图像的第2帧和第3帧的图像质量评分进行大小比较，抽取评分高的帧。

步骤6、从视频定损录制开始到结束，基于上述步骤产生若干有效的关键图像帧序列上传服务器中存储。

本发明提供一种基于深度学习的车辆视频定损系统的智能截图系统，包括：

缓存模块，用于实现上述步骤1；

识别模块，用于实现上述步骤2；

分析模块，用于实现上述步骤3；

校验模块，用于实现上述步骤4；

选择模块，用于实现上述步骤5；

上传模块，用于实现上述步骤6。

本发明的优点为：

基于深度神经网络的分类方法，能获取极高的准确率，分类准确率高。

智能截图逻辑性强，信息无丢失，采集后的数据规范性好，人工或机器可阅读性强。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。