一种基于混合现实的店铺展示方法、系统、设备和介质

摘要

本发明提出了一种基于混合现实的店铺展示方法、系统、设备和介质，包括：获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；建立所述店铺的三维立体模型；对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。通过采集线下店铺的图像信息并建立三维模型，并结合混合现实技术使得用户可以在线上真实体验线下实体店，用户可以真实观看及感受不同的商品而进行选购。

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于混合现实的店铺展示方法、系统、设备和介质。

背景技术

随着网络时代的发展，越来越多的线上店铺取代了线下实体店铺，线上店铺作为电子商务的一种形式，是一种能够让人们在浏览的同时进行购买，且通过各种在线支付手段进行支付完成交易的网站。

但大多的线上店铺都难以避免的一个问题是，因为都是线上选购商品，极易出现买家到手的商品与在线上展示的商品不一致的问题。用户无法真实的像在逛实体店一样感受商品的材质及颜色、尺寸，从而会造成用户期待值与实际值偏差，以使用户体验感差。

因此亟待提出一种店铺展示方法，使用户可以在线上实现等同于在线下真实看店的方法。

发明内容

基于此，有必要针对上述问题，提出一种基于混合现实的店铺展示方法、系统、设备和介质，以使用户可以在线上实现等同于在线下看店的真实体验。

第一方面，提供一种基于混合现实的店铺展示方法，包括：

获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；

识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；

建立所述店铺的三维立体模型；

对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；

将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。

作为优选的，将所述混合现实三维立体模型叠加到真实的店铺环境中进行展示之后还包括：

获取用户的人体三维模型；

将人体三维模型建立空间坐标系，并将所述空间坐标系与所述店铺的混合现实三维立体模型的建立关联，并将人体三维模型基于所述空间坐标系与所述店铺的混合现实三维立体模型绑定；

基于用户在混合现实环境中的交互手势，改变所述特征物体的展示状态。

作为优选的，根据所述人体三维模型计算用户身高信息、人体骨骼信息及皮肤状态信息，基于所述身高信息、人体骨骼信息及皮肤状态信息，向用户推荐所述店铺内展示的所述特征物体。

作为优选的，识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习，包括：

所述特征物体的参数至少包括尺寸信息、位置信息、标识信息；

将所述尺寸信息、位置信息、标识信息输入数据训练库进行学习，并采用聚类算法对多个特征物体进行分类筛选。

作为优选的，根据分类筛选后的多个特征物体分别建立三维模型，对于尺寸信息及标识信息一致的特征物体建立相同的三维模型，再基于不同的位置信息插入到店铺的三维立体模型的对应位置处。

作为优选的，建立所述店铺混合现实三维立体模型，包括：

根据所述店铺的深度图像信息，对所述深度图像信息进行像素分割，获得所述店铺的像素点分割结果；

响应于所述店铺的全部像素点分割结果，运用坐标变换，将所述深度图像信息统一转换至相机坐标系下，得到当前帧三维点云；

将所述相机坐标系下的当前帧三维点云统一至世界坐标系下，将所述世界坐标系下的当前帧三维点云插入世界坐标系下的全局地图中，构建所述店铺的混合现实三维立体模型。

作为优选的，将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示，包括：通过傅里叶模态法对局部光栅的衍射效率进行计算，再利用非序列建模将混合现实三维立体模型与真实的店铺环境相匹配叠加。

第二方面，提供一种基于混合现实的店铺展示系统，包括：

数据获取单元，获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；

数据训练单元，识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；

第一模型单元，建立所述店铺的三维立体模型；

第二模型单元，对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；

数据输出单元，将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。

第三方面，提供了一种基于混合现实的店铺展示设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于混合现实的店铺展示方法的步骤。

第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于混合现实的店铺展示方法的步骤。

实施本发明实施例，将具有如下有益效果：

本发明提出了一种基于混合现实的店铺展示方法、系统、设备和介质，通过获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；建立所述店铺的三维立体模型；对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。通过采集线下店铺的图像信息并建立三维模型，并结合混合现实技术使得用户可以在线上真实体验线下实体店，用户可以真实观看及感受不同的商品而进行选购。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中基于混合现实的店铺展示方法的实现流程示意图；

图2为一个实施例中基于混合现实的店铺展示系统的结构框图；

图3为一个实施例中基于混合现实的店铺展示设备的内部结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一个实施例中，提供了一种基于混合现实的店铺展示方法，本发明实施例所述的基于混合现实的店铺展示方法的执行主体为能够实现本发明实施例所述的基于混合现实的店铺展示方法的设备，该设备可以包括服务器和终端，所述终端包括移动终端，例如，手机和平板电脑。

如图1所示，本发明实施例所述的基于混合现实的店铺展示方法，具体包括：

步骤101，获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；

其中，可以通过球幕相机或者深度相机获取店铺多角度的深度图像信息，为使尽可能多及快速的获取多角度图像信息，可以采用双目、三目或者八目等多目相机。在其他的实施例中也可以通过球幕相机或深度相机获取当前店铺的视频流信息，通过深度图像信息与视频流信息结合可以获得更高像素的场景图片，可以使获取的特征物体的特征信息更真实还原。需要说明的是在拍摄时记录相机在拍摄时的当前位置信息，当移动至下一位置时记录下一位置信息，并记录相机的移动轨迹。

进一步的，特征物体为店铺内所售商品信息，若为服装店，则通过图像识别衣服、裤子、裙子等商品；若为美妆店，则识别出店内商品为化妆水、乳液、口红等商品。

步骤102，识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；

通过多角度的深度图像信息采集，基于图像识别技术识别特征物体的参数信息，特征物体的参数至少包括尺寸信息、位置信息、标识信息，尺寸信息包括商品的长宽高；位置信息包括商品在店铺中的摆放位置，甚至相邻位置的商品信息；标识信息可以包括商品的商标信息、商品名称、生产商、生产期限等商品外包装的信息，也可以是商品外观形态，以及颜色等信息。

基于上述尺寸信息、位置信息、标识信息等输入数据训练库进行学习，并采用聚类算法对多个特征物体进行分类筛选。具体的，聚类算法采用随机梯度下降算法学习映射，通过深度神经网络对映射进行参数化来实现对经数据训练库学习后的特征物体进行深度嵌入聚类。基于特征物体的各项参数对同类商品进行分类及筛选，从而保证对于同一产品只需一次建模，以此保证运算效率。通过数据训练库的不断学习，以减少分类筛选的误差，以使建模的各项特征物体与实体店保持高度一致。

步骤103，建立所述店铺的三维立体模型；具体的，根据所述店铺的深度图像信息，对所述深度图像信息进行像素分割，获得所述店铺的像素点分割结果；

响应于所述店铺的全部像素点分割结果，运用坐标变换，将所述深度图像信息统一转换至相机坐标系下，得到当前帧三维点云；

将所述相机坐标系下的当前帧三维点云统一至世界坐标系下，将所述世界坐标系下的当前帧三维点云插入世界坐标系下的全局地图中，构建所述店铺的混合现实三维立体模型。

在具体的实施例中，首先设定无图像期望分割的超像素数目，将店铺现实场景的RGB图片转换为LAB空间、图像中横轴和纵轴的像素坐标共五个维度空间。

然后利用OPENCV中库函数DetectLabEdges求解图像中每个点的梯度值Z＝G(x,y)，其中，

G(x,y)＝dx(x,y)+dy(x,y)；

dx(x,y)＝I(x+1,y)-I(x,y)；

dy(x,y)＝I(x+1,y)-I(x,y)；

图像梯度可以把图像看成二维离散函数，图像梯度则对二维离散函数进行求导，Z代表梯度值，G代表梯度函数，X、Y分别代表像素点的横、纵坐标，I代表像素点的像素值(GRB值)，dX、dY分别是指对应像素点一阶(x)方向的导数和像素点一阶(y)方向的导数。

接着利用OPENCV中库函数GetLABXYSeeds_ForGivenK设定预分割的像素点总数K，根据LAB空间、图像中横轴和纵轴的像素坐标信息以及梯度值息获得种子点，其中梯度值越大越适合做种子点。

进一步计算展会现实场景图像的像素的种子点间步长Step＝sqrt(N/K)，N为原始图像的像素点。初始化种子点，按照步长均匀播撒种子点，初始化后种子点是均匀分布的。

最后扰乱种子点，再计算种子点最大空间距离取步长为Step。

响应于店铺现实场景的全部像素点分割结果，运用坐标变换，将深度图像信息统一转换至相机坐标系下，得到当前帧三维点云；

在本实施例中，深度图决定了图像的每个像素可能的颜色数，或可能的灰度级数。深度图像信息包括图像中每个像素点的灰度值，可以用来表征店铺现实场景中某一点距离色摄像头的远近。

最后将相机坐标系下的当前帧三维点云统一至世界坐标系下，将世界坐标系下的当前帧三维点云插入世界坐标系下的全局地图中，构建店铺现实场景的三维场景。

步骤104，对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；具体的，根据分类筛选后的多个特征物体分别建立三维模型，对于尺寸信息及标识信息一致的特征物体建立相同的三维模型，再基于不同的位置信息插入到店铺的三维立体模型的对应位置处。基于获取的相邻位置的商品信息与深度图像信息进行逐一校正建立得到的店铺混合现实三维立体模型与真实场景的店铺展示信息是否一致，若不一致则针对不匹配的特征物体剔除并修正，以保证混合现实三维立体模型能够真实反映店铺展示信息。

步骤105，将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。具体包括：通过傅里叶模态法对局部光栅的衍射效率进行计算，再利用非序列建模将混合现实三维立体模型与真实的店铺环境相匹配叠加。

进一步结合获取球幕相机拍摄店铺时的拍摄轨迹及位置信息，根据位置信息和拍摄轨迹与店铺混合现实三维立体模型进行匹配叠加。并通过数据输出单元将店铺混合现实三维立体模型输出至真实的店铺中进行展示。使得实体店铺可以通过混合现实技术增强用户体验感。

数据输出单元与相机可以集成于同一设备中，置于真实的店铺环境中，在同步拍摄店铺后，即可快速的对当前的店铺进行建模，用户可同步在手机或电脑等智能设备中可一键选择自己的看中的商品进行详细展示。

在另一实施例中，在将所述混合现实三维立体模型叠加到真实的店铺环境中进行展示过程中，通过体感相机叠加深度相机的方式获取用户的人体三维模型；原理是红外深度摄像头实时获取区域内人物的三维深度信息，应用于获取人体三维信息以及对人体骨架的提取，基于体感相机及深度相机的叠加使用，可以快速根据人体三维信息计算得到人体三维模型，并实时计算得到用户身高信息、人体骨骼信息及皮肤状态信息等。

进一步的，将人体三维模型建立空间坐标系，并将所述空间坐标系与所述店铺的混合现实三维立体模型的建立关联，并将人体三维模型基于所述空间坐标系与所述店铺的混合现实三维立体模型绑定；通过将人体三维模型与店铺的混合现实三维立体模型绑定，进而对用户进行精准定位，以使用户可以在混合现实环境中通过交互手势对特征物体进行控制。

基于用户在混合现实环境中的交互手势，改变所述特征物体的展示状态。具体的说，若用户在看服装店时，用户看中某一件衣服时，可点击该衣服试穿，则此衣服及相应的试穿到人体三维模型上，用户可以清楚体验到此衣服试穿到自己身上的视觉体验，若尺寸不合适即可通过手势点击更换尺码即可一键换装。

更进一步的，基于用户的身高信息、人体骨骼信息及皮肤状态信息，通过在混合现实的环境中可向用户推荐店铺内展示的特征物体，即根据用户的身材体型、人体骨骼信息、五官长相等信息自动向用户推荐合适的服装或者合适的尺码，以解决线上店铺很难使用户买到合适自己尺码服装的问题。

本申请一方面可实现用户在实体店中购物时，因购买人数过多，需要花费大量时间排队试衣时，采用本实施例的基于混合现实的店铺展示方法，获取人体骨骼数据、身高等信息选择自己喜爱的服装进行试穿，试穿满意即可在店内结账，节省用户的时间。需要说明的是，用户可利用holelence等混合现实的穿戴设备进行体验。

而另一方面，本申请的店铺混合现实三维立体模型也可将与真实店铺环境相结合的展示效果在线上呈现，通过将数据上传云端，用户通过APP进入相关页面，并配合混合现实的穿戴设备即可进行体验。以实现当用户不想去线下店铺或者无太多时间购物时，可在线上进入店铺进行选购体验。

在一些实施例中，用户可借助于MR眼镜观看店铺混合现实三维立体模型叠加到真实店铺中的效果，也可在改店铺中设置多个投影单元进行空间立体投影，以使用户实现裸眼观看混合现实的叠加效果。

上述方法也可以基于手机或电脑等安装的APP实现，用户在APP上实现控制球幕相机采集店铺的视频流等方法步骤。需要进一步说明的是，用户在APP上也可以邀请其他用户进入画面，使得不同用户之间可以共享店铺混合现实三维立体模型叠加到真实店铺中的通过混合现实得到的画面，以实现家人朋友一起逛店。

如图2，提供了一种基于混合现实的店铺展示系统，包括：

数据获取单元201，获取店铺多个角度的深度图像信息，并基于所述深度图像信息获取多个特征物体；

数据训练单元202，识别所述特征物体的参数，根据所述特征物体及对应参数输入数据训练库进行学习；

第一模型单元203，建立所述店铺的三维立体模型；

第二模型单元204，对训练学习后的所述特征物体建立三维模型，并根据所述特征物体的参数插入到所述店铺的三维立体模型的对应位置处得到店铺混合现实三维立体模型；

数据输出单元205，将所述店铺混合现实三维立体模型叠加到真实的店铺环境中进行展示。

上述基于混合现实的店铺展示系统，用以实现上述的基于混合现实的店铺展示方法，相同的部分不再进行赘述。

图3示出了一个实施例中基于混合现实的店铺展示设备的内部结构图。如图3所示，该基于混合现实的店铺展示设备包括通过系统总线连接的处理器、存储器和通信接口。其中，存储器包括非易失性存储介质和内存储器。该基于混合现实的店铺展示设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于混合现实的店铺展示方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于混合现实的店铺展示方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的基于混合现实的店铺展示设备的限定，具体的基于混合现实的店铺展示设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于混合现实的店铺展示方法可以实现为一种计算机程序的形式，计算机程序可在如图3所示的基于混合现实的店铺展示设备上运行。基于混合现实的店铺展示设备的存储器中可存储组成基于混合现实的店铺展示系统的各个程序模板。比如，数据获取单元201、数据训练单元202、第一模型单元203、第二模型单元204和数据输出单元205。

一种基于混合现实的店铺展示设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行基于混合现实的店铺展示方法。

在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的基于混合现实的店铺展示方法步骤。

需要说明的是，上述基于混合现实的店铺展示方法、基于混合现实的店铺展示系统、基于混合现实的店铺展示设备及计算机可读存储介质属于一个总的发明构思，基于混合现实的店铺展示方法、基于混合现实的店铺展示系统、基于混合现实的店铺展示设备及计算机可读存储介质实施例中的内容可相互适用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。