基于Vision框架和Core ML框架的物体追踪系统及方法

摘要

本发明提供了一种基于Vision框架和Core ML框架的物体追踪系统及方法，系统包括智能终端设备和与之蓝牙连接的云台设备，所述智能终端设备安装有APP，所述APP基于Vision框架和Core ML框架开发而成；通过智能终端设备处理器强大的处理能力，采集智能终端设备屏幕上的图像信息，计算出目标的位置坐标信息，算法转化后，发送指令控制云台设备转动，使追踪目标一值处于拍摄的中心，同时通过选定不同的识别模型，拓展可识别的范围，不再局限于人脸识别追踪，通过模型的不断训练、学习、升级，使识别准确率和效率不断的提升。

说明书

技术领域

本发明涉及物体识别追踪领域，特别是涉及一种基于Vision框架和Core ML框架的物体追踪系统及方法。

背景技术

随着直播行业的快速发展，人脸随拍也越来越广泛，人们会利用手机来跟随人脸直播。采用在手机云台装置上加入人型检测模块，识别人脸，通过BLE指令控制支撑设备的旋转，跟随人脸转动。但受限于设备的处理能力有限，人物识别准确率低，导致设备转动错误，无法准确的跟随人物，而且只能识别人物，对于其他的物体，无法识别。

因此，亟需一种基于Vision框架和Core ML框架的物体追踪系统及方法，能够解决现有云台支撑设备无法准确跟随物体旋转的问题。

发明内容

本发明的目的是提供一种基于Vision框架和Core ML框架的物体追踪系统及方法，以解决上述现有云台支撑设备无法准确跟随物体旋转的问题。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于Vision框架和Core ML框架的物体追踪系统，包括智能终端设备和与之蓝牙连接的云台设备，所述智能终端设备安装有APP，所述APP基于Vision框架和Core ML框架开发而成。

本发明提供一种基于Vision框架和Core ML框架的物体追踪方法，包括以下步骤：

S1.智能终端设备的APP通过Core ML框架进行物体识别学习，训练物体模型；

S2.智能终端设备与云台设备通过蓝牙建立连接；

S3.智能终端设备的APP采集图像；

S4.智能终端设备的APP通过Vision框架识别图像；

S5.智能终端设备的APP将识别结果进行坐标转换；

S6.智能终端设备的APP判断目标图像是否偏离屏幕中心，并控制云台设备旋转。

优选地，步骤S4具体为：创建一个物体检测请求VNDetectRectanglesRequest，根据数据源创建一个VNImageRequestHandler，调用VNImageRequestHandlerperformRequests执行识别。

优选地，步骤S5具体为：使用CGAffineTransform对识别结构进行坐标转换，并根据转换后的结果矩形绘制红色边框，同时打印confidence信息到屏幕上。

优选地，步骤S5还具体包括：创建VNSequenceRequestHandler处理多帧图像用于物体跟踪。

优选地，跟踪多物体时，使用VNDetectedObjectObservation.uuid区分跟踪对象。

优选地，步骤S5还具体包括：创建一个VNDetectedObjectObservation对象做为参考源，参考源为物体识别的结果或者指定的一个矩形。

优选地，步骤S6具体为：识别的物体在坐标系中以矩形进行表示，首先计算出手机屏幕的中心线，然后计算出目标矩形在坐标系中的中心线，当目标矩形的中心线与手机屏幕中心线的距离大于手机屏幕宽度的十分之一时，智能终端设备的APP向云台设备发送开始旋转的指令，当检测到目标矩形的中心线与手机屏幕中心线的距离小于手机屏幕宽度的十分之一时，智能终端设备的APP向云台设备发送停止开始旋转指令。

本发明相对于现有技术取得了以下有益技术效果：

本发明提供的一种基于Vision框架和Core ML框架的物体追踪系统及方法，系统包括智能终端设备和与之蓝牙连接的云台设备，所述智能终端设备安装有APP，所述APP基于Vision框架和Core ML框架开发而成；通过智能终端设备处理器强大的处理能力，采集智能终端设备屏幕上的图像信息，计算出目标的位置坐标信息，算法转化后，发送指令控制云台设备转动，使追踪目标一值处于拍摄的中心，同时通过选定不同的识别模型，拓展可识别的范围，不再局限于人脸识别追踪，通过模型的不断训练、学习、升级，使识别准确率和效率不断的提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于Vision框架和Core ML框架的物体追踪系统连接关系示意图；

图2为本发明提供的一种基于Vision框架和Core ML框架的物体追踪方法流程框图；

图中：1：智能终端设备、2：云台设备。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于Vision框架和Core ML框架的物体追踪系统及方法，以解决现有云台支撑设备无法准确跟随物体旋转的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

本实施例提供一种基于Vision框架和Core ML框架的物体追踪系统，如图1所示，包括智能终端设备1和与之蓝牙连接的云台设备2，智能终端设备安装有APP，APP基于Vision框架和Core ML框架开发而成。

本实施例还提供一种基于Vision框架和Core ML框架的物体追踪方法，如图2所示，包括以下步骤：

S1.智能终端设备的APP通过Core ML框架进行物体识别学习，训练物体模型；

在开始识别物体前，需要由用户指定将要识别的物体类别，可以是人脸、人形或猫、狗等动物，当然可识别的物体分类包括但不限于以上几种分类，因为通过Core ML框架可以学习识别各种物体，所以可以根据需求识别各种不同的物体；

S2.智能终端设备与云台设备通过蓝牙建立连接；

通过蓝牙技术与云台设备建立连接，并按照约定的协议发送云台旋转指令进行控制，因此智能终端设备启动APP后，由APP主动搜索周围存在的蓝牙设备，发现设备后，主动与设备建立连接；

S3.智能终端设备的APP采集图像；

APP调起系统相机，并获得CMSampleBufferRef数据；

S4.智能终端设备的APP通过Vision框架识别图像；

创建一个物体检测请求VNDetectRectanglesRequest，根据数据源(pixelBuffer或者UIImage)创建一个VNImageRequestHandler，调用VNImageRequestHandlerperformRequests执行识别检测；

S5.智能终端设备的APP将识别结果进行坐标转换；

物体识别检测结果是一个VNDetectedObjectObservation的结果集，包含confidence,uuid和boundingBox三种属性；因为vision坐标系类似opengl的纹理坐标系，以屏幕左下角为坐标原点，并做了归一化，所以将显示结果投影到屏幕时，还需要进行坐标系的转换；使用CGAffineTransform进行坐标转换，并根据转换后的结果矩形绘制红色边框，同时打印confidence信息到屏幕上；

物体跟踪需要处理连续的视频帧，所以需要创建VNSequenceRequestHandler处理多帧图像，同时还需要一个VNDetectedObjectObservation对象做为参考源，可以使用物体检测的结果或者指定一个矩形作为物体跟踪的参考源；

需要注意的是，因为坐标系不同，如果直接指定矩形作为参考源时，需要事先进行正确的坐标转换；

跟踪多物体时，可以使用VNDetectedObjectObservation.uuid区分跟踪对象，并做相应处理；

S6.智能终端设备的APP判断目标图像是否偏离屏幕中心，并控制云台设备旋转；

识别的物体在坐标系中以矩形进行表示，首先计算出手机屏幕的中心线，然后计算出目标矩形在坐标系中的中心线，当目标矩形的中心线与手机屏幕中心线的距离大于手机屏幕宽度的十分之一时，智能终端设备的APP向云台设备发送开始旋转的指令，当检测到目标矩形的中心线与手机屏幕中心线的距离小于手机屏幕宽度的十分之一时，智能终端设备的APP向云台设备发送停止开始旋转指令。

本发明应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。