基于穿戴式眼镜的单目视线范围测量的方法和系统

摘要

基于穿戴式眼镜的单目视线范围测量的方法和系统，其特征在于，包括数据采集装置、穿戴式眼镜、单目视线范围测量服务器、视线范围应用服务器；数据采集装置采集室内图片，设定每张图片坐标；穿戴式眼镜用于将使用者所见图像、穿戴式眼镜坐标、穿戴式眼镜倾角、使用者眼睛焦点传到单目视线范围测量服务器和视线范围应用服务器，接收视线范围应用服务器的信息；单目视线范围测量服务器将在网点内任意位置通过穿戴式眼镜看到的图像变换为地面正俯视图和墙壁正俯视图；取得SIFT特征算法进行对比；视线范围应用服务器包括业务控制装置和室内影像装置；用于获得视线范围后，根据视线范围内的场景、人物发出相应消息给穿戴式眼镜使用者。

说明书

技术领域

本发明涉及穿戴式眼镜应用技术领域，具体涉及基于穿戴式眼镜的单目视线范围测量的方法和系统。

背景技术

穿戴式眼镜由于能对银行客户经理进行实时指令营销工作，效率有极大的提高，但穿戴式眼镜不能识别视线范围内的客户，因此银行业务服务器不能提供正确指导。

但如果有能识别穿戴式眼镜使用者的空间位置和方向的技术方案，由此银行业务服务器可选择最近的客户给穿戴式眼镜使用者，也能根据正在使用银行设备的客户的情况，指令最近的穿戴式眼镜使用者为其进行针对性服务，进一步地，穿戴式眼镜使用者如果能够定位在银行网点内的视线范围，也可以实现视线查询客户资料功能，通过穿戴式眼镜在银行网点内看到的客户，银行业务服务器都给出服务优先级和贡献度，并在穿戴式眼镜中显示，穿戴式眼镜使用者可选择最合适客户为其服务。

对于其他室内环境，如果能够确定视线范围的位置坐标，也有非常丰富的应用。

SIFT特征是一种计算机视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

边缘分割是图像分割的一种重要途径，即检测灰度级或者结构具有突变的地方，表明一个区域的终结，也是另一个区域开始的地方。这种不连续性称为边缘。不同的图像灰度不同，边界处一般有明显的边缘，利用此特征可以分割图像。

发明内容

本发明实施例提供了基于穿戴式眼镜的单目视线范围测量的方法和系统以解决室内视线范围测量问题。

本发明的目的之一是，银行客户经理在网点内看到的客户，穿戴式眼镜即时显示客户资料，以方便营销。

本发明的目的之一是，实现穿戴式眼镜使用者所见即所知。

本发明通过以下技术方案实现上述目的。

基于穿戴式眼镜的单目视线范围测量的方法和系统，包括数据采集装置、穿戴式眼镜、单目视线范围测量服务器、视线范围应用服务器。

数据采集装置由相机和控制装置组成，相机镜头垂直向下且贴近天花板，沿天花板中线拍摄，并设定每张地面图片基于原点的坐标；相机镜头水平方向且贴近对面墙壁，沿对面墙壁中线拍摄，并设定每张墙壁图片基于原点的坐标。

穿戴式眼镜用于将使用者所见图像、穿戴式眼镜坐标、穿戴式眼镜倾角、使用者眼睛焦点传到单目视线范围测量服务器和视线范围应用服务器，接收视线范围应用服务器的信息；穿戴式眼镜通过陀螺仪得到基于原点的坐标和倾角；穿戴式眼镜的坐标指向墙壁正俯视图为视线方向，与墙壁正俯视图中点的连线为视线方向线。

单目视线范围测量服务器用于使用图像逆透视映射算法，将在网点内任意位置通过穿戴式眼镜看到的图像变换为地面正俯视图和墙壁正俯视图；将地面正俯视图和墙壁正俯视图与数据采集装置储存的图像通过SIFT特征算法进行对比，得出最相似图像及其坐标。

视线范围应用服务器包括业务控制装置和室内影像装置；用于获得视线范围后，根据视线范围内的场景、人物发出相应消息给穿戴式眼镜使用者。

穿戴式眼镜包括微型投影仪、摄像头、传感器、存储传输、操控设备、GPS和陀螺仪、距离传感器；具有眼镜、智能手机、摄像机的功能，用于通过电脑化的镜片将信息以智能手机的格式实时展现在用户眼前，通过眼镜中的微型投影仪先将光投到一块反射屏上，而后通过一块凸透镜折射到人体眼球，实现一级放大，在人眼前形成一个足够大的虚拟屏幕，可以显示和控制文本信息和各种数据。

视线范围应用服务器的其中一种是银行业务服务器；包括银行业务设备、银行网点影像装置；用于将使用者眼睛看到的客户资料下载到穿戴式眼镜中；用于将使用者眼睛视线焦点指向的客户的资料显示在穿戴式眼镜中。

基于穿戴式眼镜的单目视觉方向定位的方法和系统的其中一种使用步骤。

步骤一：数据采集装置对特定银行营业网点进行室内图像数据采集和坐标设定。

步骤二：数据采集装置用SIFT特征算法对采集到的每张图片进行处理，并对提取到的特征点使用SIFT描述符进行描述。

步骤三：穿戴式眼镜使用者在银行营业网点望向任意方向，所见的图像、穿戴式眼镜的坐标、穿戴式眼镜的倾角、使用者眼睛视线焦点指向传到银行业务服务器。

步骤四：银行业务服务器用边缘分割法将图像分割为地面和墙壁，然后用图像逆透视映射算法变换为地面正俯视图和墙壁正俯视图。

步骤五：银行业务服务器对地面正俯视图和墙壁正俯视图进行特征匹配，得到特征点对应关系，提取关键特征点。

步骤六：银行业务服务器与数据采集装置中存储的银行营业网点室内图像特征点信息进行比对，实现图像的识别，并取得图像预先设定的坐标。

步骤七：银行业务服务器设定穿戴式眼镜坐标与步骤六取得坐标之间的坐标集合为视线范围。

步骤八：银行业务服务器对视线范围内的人进行人脸识别、对视线范围内的金融设备提取正在使用者的资料。

步骤九：银行业务服务器将使用者眼睛视线焦点指向的客户的资料显示在穿戴式眼镜中。

步骤十：使用者眼睛视线焦点指向下一个客户，下一个客户的资料显示在穿戴式眼镜中。

本发明方法的有益效果是：银行客户经理在网点内看到的客户，穿戴式眼镜即时显示客户资料，以方便营销。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图l为本发明实施例基于穿戴式眼镜的单目视线范围测量的方法和系统流程图。

图2为本发明实施例基于穿戴式眼镜的单目视觉方向定位的方法和系统的使用步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例l基于穿戴式眼镜的单目视线范围测量的方法和系统。

如图l所示，本发明实施例基于穿戴式眼镜的单目视线范围测量的方法和系统，包括数据采集装置、穿戴式眼镜、单目视线范围测量服务器、视线范围应用服务器。

数据采集装置由相机和控制装置组成，相机镜头垂直向下且贴近天花板，沿天花板中线拍摄，并设定每张地面图片基于原点的坐标；相机镜头水平方向且贴近对面墙壁，沿对面墙壁中线拍摄，并设定每张墙壁图片基于原点的坐标。

穿戴式眼镜用于将使用者所见图像、穿戴式眼镜坐标、穿戴式眼镜倾角、使用者眼睛焦点传到单目视线范围测量服务器和视线范围应用服务器，接收视线范围应用服务器的信息；穿戴式眼镜通过陀螺仪得到基于原点的坐标；穿戴式眼镜的坐标指向墙壁正俯视图为视线方向，与墙壁正俯视图中点的连线为视线方向线。

单目视线范围测量服务器用于使用图像逆透视映射算法，将在网点内任意位置通过穿戴式眼镜看到的图像变换为地面正俯视图和墙壁正俯视图；将地面正俯视图和墙壁正俯视图与数据采集装置储存的图像通过SIFT特征算法进行对比，得出最相似图像及其坐标。

视线范围应用服务器包括业务控制装置和室内影像装置；用于获得视线范围后，根据视线范围内的场景、人物发出相应消息给穿戴式眼镜使用者。

穿戴式眼镜包括微型投影仪、摄像头、传感器、存储传输、操控设备、GPS和陀螺仪、距离传感器；具有眼镜、智能手机、摄像机的功能，用于通过电脑化的镜片将信息以智能手机的格式实时展现在用户眼前，通过眼镜中的微型投影仪先将光投到一块反射屏上，而后通过一块凸透镜折射到人体眼球，实现一级放大，在人眼前形成一个足够大的虚拟屏幕，可以显示和控制文本信息和各种数据。

视线范围应用服务器的其中一种是银行业务服务器；包括银行业务设备、银行网点影像装置；用于将使用者眼睛看到的客户资料下载到穿戴式眼镜中；用于将使用者眼睛视线焦点指向的客户的资料显示在穿戴式眼镜中。

基于穿戴式眼镜的单目视觉方向定位的方法和系统的其中一种使用步骤。

步骤一：数据采集装置对特定银行营业网点进行室内图像数据采集和坐标设定。

步骤二：数据采集装置用SIFT特征算法对采集到的每张图片进行处理，并对提取到的特征点使用SIFT描述符进行描述。

步骤三：穿戴式眼镜使用者在银行营业网点望向任意方向，所见的图像、穿戴式眼镜的坐标、穿戴式眼镜的倾角、使用者眼睛视线焦点指向传到银行业务服务器。

步骤四：银行业务服务器用边缘分割法将图像分割为地面和墙壁，然后用图像逆透视映射算法变换为地面正俯视图和墙壁正俯视图。

步骤五：银行业务服务器对地面正俯视图和墙壁正俯视图进行特征匹配，得到特征点对应关系，提取关键特征点。

步骤六：银行业务服务器与数据采集装置中存储的银行营业网点室内图像特征点信息进行比对，实现图像的识别，并取得图像预先设定的坐标。

步骤七：银行业务服务器设定穿戴式眼镜坐标与步骤六取得坐标之间的坐标集合为视线范围。

步骤八：银行业务服务器对视线范围内的人进行人脸识别、对视线范围内的金融设备提取正在使用者的资料。

步骤九：银行业务服务器将使用者眼睛视线焦点指向的客户的资料显示在穿戴式眼镜中。

步骤十：使用者眼睛视线焦点指向下一个客户，下一个客户的资料显示在穿戴式眼镜中。

实施例2 基于穿戴式眼镜的单目视觉方向定位的方法和系统的使用步骤。

如图2所示，本发明实施例基于穿戴式眼镜的单目视觉方向定位的方法和系统的使用步骤。

步骤一：数据采集装置对特定银行营业网点进行室内图像数据采集和坐标设定。

步骤二：数据采集装置用SIFT特征算法对采集到的每张图片进行处理，并对提取到的特征点使用SIFT描述符进行描述。

步骤三：穿戴式眼镜使用者在银行营业网点望向任意方向，所见的图像、穿戴式眼镜的坐标、穿戴式眼镜的倾角、使用者眼睛视线焦点指向传到银行业务服务器。

步骤四：银行业务服务器用边缘分割法将图像分割为地面和墙壁，然后用图像逆透视映射算法变换为地面正俯视图和墙壁正俯视图。

步骤五：银行业务服务器对地面正俯视图和墙壁正俯视图进行特征匹配，得到特征点对应关系，提取关键特征点。

步骤六：银行业务服务器与数据采集装置中存储的银行营业网点室内图像特征点信息进行比对，实现图像的识别，并取得图像预先设定的坐标。

步骤七：银行业务服务器设定穿戴式眼镜坐标与步骤六取得坐标之间的坐标集合为视线范围。

步骤八：银行业务服务器对视线范围内的人进行人脸识别、对视线范围内的金融设备提取正在使用者的资料。

步骤九：银行业务服务器将使用者眼睛视线焦点指向的客户的资料显示在穿戴式眼镜中。

步骤十：使用者眼睛视线焦点指向下一个客户，下一个客户的资料显示在穿戴式眼镜中。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。