互动式实物地形展示系统及方法

摘要

本发明实施例公开了一种互动式实物地形展示系统及方法。该系统包括：操作台、Kinect体感传感器、显示器和主控处理器；Kinect体感传感器配置为，扫描得到操作台上实物地形的地形深度数据，并发送给主控处理器；主控处理器配置为，依据地形深度数据进行计算，得到实物地形的地形3D模型，并发送到显示器进行显示；Kinect体感传感器还配置为，通过扫描操作者发出的人体骨骼数据，得到地形控制手势信息，并发送给主控处理器；主控处理器还配置为，依据地形控制手势信息，控制切换显示器上地形3D模型的展示视角。采用本申请方案，不仅可对实物地形的地貌实时扫描展示，而且还能根据需求通过手势进行互动以切换地形3D模型的展示视角，实现向不同人员展示相同的地形。

说明书

技术领域

本发明实施例涉及虚拟现实技术领域，尤其涉及一种互动式实物地形展示系统及方法。

背景技术

目前，实物地形沙盘已经广泛应用于各个领域，通过实物地形沙盘可以向使用者展示实物地形信息。但是，在对多人进行实物地形沙盘演示时，通常需要组织人员分散在沙盘周围进行，造成向不同人员展示的地形有差异，并且根据需求进行展示合适角度地形地貌的难度较大，使得展示效果较差。

发明内容

本发明实施例中提供了一种互动式实物地形展示系统及方法，以实现对实物地形进行交互式展示，提高展示效果。

第一方面，本发明实施例中提供了一种互动式实物地形展示系统，所述系统包括：操作台、Kinect体感传感器、显示器和主控处理器；其中：

所述Kinect体感传感器配置为，扫描得到操作台上实物地形的地形深度数据，并发送给所述主控处理器；

所述主控处理器配置为，依据所述地形深度数据进行计算，得到所述实物地形的地形3D模型，并发送到所述显示器进行显示；

所述Kinect体感传感器还配置为，通过扫描操作者发出的人体骨骼数据，得到地形控制手势信息，并发送给所述主控处理器；

所述主控处理器还配置为，依据所述地形控制手势信息，控制切换显示器上所述地形3D模型的展示视角。

第二方面，本发明实施例中还提供了一种互动式实物地形展示方法，所述方法包括：

Kinect体感传感器扫描得到操作台上实物地形的地形深度数据，并发送给主控处理器；

所述主控处理器依据所述地形深度数据进行计算，得到所述实物地形的地形3D模型，并发送到显示器进行显示；

Kinect体感传感器还通过扫描操作者发出的人体骨骼数据，得到地形控制手势信息，并发送给所述主控处理器；

所述主控处理器还依据所述地形控制手势信息，控制切换显示器上所述地形3D模型的展示视角。

本发明实施例中提供了一种互动式实物地形展示系统，Kinect体感传感器扫描得到操作台上实物地形的地形深度数据，主控处理器依据地形深度数据进行计算，得到实物地形的地形3D模型，并通过显示器实时展示；Kinect体感传感器还能通过扫描操作者发出的人体骨骼数据，得到地形控制手势信息，主控处理器还会依据地形控制手势信息，控制切换显示器上地形3D模型的展示视角。采用本申请方案，不仅可以对实物地形的地貌进行实时扫描展示，而且还能根据需求通过手势进行互动以切换地形3D模型的展示视角，实现同时间向不同人员展示相同的地形，以及达到可互动的地形展示，提高地形展示效果。

上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中提供的一种互动式实物地形展示系统的结构框图；

图2是本发明实施例中提供的一种互动式实物地形展示系统的部署示意图；

图3是本发明实施例中提供的一种Kinect体感传感器的深度扫描示意图；

图4是本发明实施例中提供的一种使用Kinect体感传感器进行骨骼扫描的示意图；

图5是本发明实施例中提供的一种对地形3D模型进行显示的效果示意图；

图6是本发明实施例中提供的一种实物地形的渲染效果示意图；

图7是本发明实施例中提供的另一种实物地形的渲染效果示意图；

图8是本发明实施例中提供的一种互动式实物地形展示方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1是本发明实施例中提供的一种互动式实物地形展示系统的结构框图。本发明实施例的技术方案可适用于对操作台上的实物地形进行互动展示的情况。该系统可实现本发明任意实施例中所提供的互动式实物地形展示方法。如图1所示，本发明实施例中提供的种互动式实物地形展示系统100，可包括：操作台110、Kinect体感传感器120、显示器130和主控处理器140；其中：

Kinect体感传感器120配置为，扫描得到操作台110上实物地形的地形深度数据，并发送给主控处理器140。

主控处理器140配置为，依据地形深度数据进行计算，得到实物地形的地形3D模型，并发送到显示器130进行显示。

Kinect体感传感器120还配置为，通过扫描操作者发出的人体骨骼数据，得到地形控制手势信息，并发送给主控处理器140。

主控处理器140还配置为，依据地形控制手势信息，控制切换显示器130上地形3D模型的展示视角。

在本实施例中，图2是本发明实施例中提供的一种互动式实物地形展示系统的部署示意图。参见图2，系统中部署有一个操作台110、两台Kinect体感传感器120、一台显示器130以及一个主控处理器140。其中，操作台110可为实物地形沙盘，主控处理器140可集成在主机设备中。在操作台的台面上可放置使用沙砾堆砌的实物地形。

在本实施例中，图3是本发明实施例中提供的一种Kinect体感传感器的深度扫描示意图。参见图2和图3，Kinect体感传感器120采集的深度图像的像素灰度值仅与距离有关，利用Kinect体感传感器采集的图像信息是被测物体的距离，通过深度图像可以得到被测物体的三维坐标。这样就可通过Kinect体感传感器120可对操作台上的实物地形进行扫描，实时获取实物地形的地形深度数据，并反馈给主控主处理器140。由于Kinect体感传感器对被测物体周围的环境要求很低，不会受到光照、阴影、物体遮挡等条件所影响，因此可增强扫描实物地形的环境适应性。

在本实施例中，参见图1和图2，Kinect体感传感器120可与主控处理器140电连接，主控处理器140可接收一个Kinect体感传感器120发送的实物地形的地形深度数据。主控处理器140可依据实物地形的地形深度数据进行计算，得到实物地形的一个地形3D模型。例如，Kinect体感传感器120可收集其视野范围内的每一点，并形成一幅代表实物地形的景深图像，以每秒30帧的速度生成景深图像流，实时3D地再现实物地形的地貌环境。可选地，可对主控处理器140配置Unity环境，在Unity环境下构建实物地形的地形3D模型。显示器130可与主控处理器140连接，接收主控处理器140实时发送的操作台上实物地形的地形3D模型，并进行实时显示。

在本实施例中，Kinect体感传感器120还可对在Kinect扫描视场范围内移动的一个或两个人进行骨骼追踪，可以追踪到人体上的20个结点(一般是24个节点)，不需使用任何道具即可完成动作识别和捕捉。图4是本发明实施例中提供的一种使用Kinect体感传感器进行骨骼扫描的示意图。参见图4，利用Kinect体感传感器扫描到骨骼的效果，并实时获取肢体骨骼的位置，同时可以获取5个人的形体，并精确表示出两个人的骨骼节点。Kinect体感传感器120还通过扫描操作者发出的人体骨骼数据，确定是否有特定地形控制手势介入，如果有特定地形控制手势介入，则得到对应的地形控制手势信息，并反馈给主控处理器140。

在本实施例中，参见图1和图2，在通过显示器显示实物地形的地形3D模型的情况下，主控处理器140还可依据介入的地形控制手势的地形控制手势信息，来控制切换显示器130上地形3D模型的展示视角，例如横切面视角，纵切面视角，俯视地形视角等效果。可选地，控制切换显示器130上地形3D模型的展示视角，直观展示地形3D模型的横切面、以及俯视地形模型等。其中，显示器可以为拼接屏，整体与操作台中线对齐，方便观察地形3D模型的变化，显示器分辨率在1920*1080以上即可。

在本实施例的一种可选方案中，本实施方案可以与上述一个或者多个实施例中的各个可选方案结合。参见图1和图2，在本发明实施例的互动式实物地形展示系统100中，系统中包括一个Kinect体感传感器，且Kinect体感传感器在至少两个扫描视场之间进行调节转动；至少两个扫描视场包括：操作台上实物地形所在区域范围和操作者所在区域范围。这样，就使用一个Kinect体感传感器就能实现对地形山貌的扫描及实时展示效果以及对人体肢体的扫描接收手势来完成场景切换的交互功能。

在本实施例的一种可选方案中，本实施方案可以与上述一个或者多个实施例中的各个可选方案结合。参见图1和图2，在本发明实施例的互动式实物地形展示系统100中，系统中包括两个Kinect体感传感器，第一个Kinect体感传感器120的扫描视场固定设置在操作台上实物地形所在区域范围，第二个Kinect体感传感器120的扫描视场动态设置在操作者所在区域范围。这样，各个Kinect体感传感器120就可各司其职，完成各自的功能，避免使用同一个Kinect体感传感器时，由于Kinect体感传感器转动调节引入干扰因素。

本发明实施例中提供了一种互动式实物地形展示系统，采用本申请方案，不仅可以对实物地形的地貌进行实时扫描以及地形效果的展示，而且还能根据需求通过手势进行互动以切换地形3D模型的展示视角，通过对人体肢体的扫描接收手势来完成场景切换的交互功能，实现同时间向不同人员展示相同的地形，以及达到可互动的地形展示。同时，采用Kinect体感传感器与Unity3D模型相结合的可视化方案，并采用投影展示处沙盘效果，达到可互动的地形互动沙盘，提高地形展示效果。

在本实施例的一种可选方案中，本实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，在本申请方案所提供的互动式实物地形展示系统中，系统可包括：操作台110、第一个Kinect体感传感器120和第二个Kinect体感传感器120、显示器130和主控处理器140；其中：

第一个Kinect体感传感器120配置为，扫描得到操作台110上实物地形的地形深度数据，并发送给主控处理器140。

主控处理器140配置为，依据地形深度数据进行计算，得到实物地形的地形3D模型，并发送到显示器130进行显示。

第二个Kinect体感传感器120还配置为，通过扫描操作者发出的人体骨骼数据，得到地形控制手势信息，并发送给主控处理器140。

主控处理器140还配置为，依据地形控制手势信息，控制切换显示器130上地形3D模型的展示视角。

在本实施例中，可选地，第一个Kinect体感传感器的扫描视场固定设置在操作台110上实物地形所在区域范围，第二个Kinect体感传感器的扫描视场动态设置在操作者所在区域范围。第一个Kinect体感传感器设置于操作台的上方，其镜头朝向操作台，将操作台上的实物地形纳入其扫描视场范围之内，实时获取实物地形的地形深度数据。第二个Kinect体感传感器的镜头置于操作台平面对侧中间位置，将操作者纳入其扫描视场范围之内，实时监控操作台前操作者的形体和手势变化，更好的完成手势交互性。图5是本发明实施例中提供的一种对地形3D模型进行显示的效果示意图。参见图5，通过图5上方示出的显示器可以显示实物地形的地形3D模型。

在本实施例中，参见图2，在扫描操作台110上实物地形情况下，第一个Kinect体感传感器在操作台上方的设置高度与操作台的台面尺寸大小成比例。例如，第一个Kinect体感传感器的镜头置于操作台的台面正中心上方，镜头竖直向下。由于Kinect体感传感器的最佳可视距离介于0.8m至4m(大于2m之后精度就会存在严重影响)，其垂直可视角度47°，水平可视角度57°，因此Kinect体感传感器放置的高度和沙盘的大小成比例。因此，如果要做更大的操作台，Kinect体感传感器就需放置得更高，操作台尺寸要成比例做得更大。

示例性地，在Kinect体感传感器高度1m的情况下，水平方向的分辨率约5mm，竖直方向分辨率2.79mm，实物地形的高度变化大于2.79mm就可被识别出来。如果做一个2m×1.5m的沙盘，Kinect体感传感器需要成比例地放置到2m，此时水平和竖直的分辨率会降低到3.12mm和11.16mm，且这是标准的分辨率。

在本实施例中，可选地，操作台的长宽比是4:3，具体尺寸和Kinect体感传感器的放置高度有关。例如，操作台的尺寸是1m×0.75m，内壁深度在15cm左右，沙子的实际深度是10cm，边框比实物地形的平面高出一段防止溢出。这里说的尺寸都是操作台内壁的尺寸，搭建操作台的木板厚度可自由选择，只要能保证操作台有足够的强度即可。

在本实施例的一种可选方案中，本实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，在本申请方案的互动式实物地形展示系统中，系统还包括投影仪150，投影仪150设置在操作台110上方位置；其中：

主控处理器140还配置为，依据地形深度数据进行渲染，得到实物地形的地形渲染投影效果，并发送给投影仪150。

投影仪150配置为，将地形渲染投影效果投影到操作台的实物地形上，以使不同高度的地形呈现不同的渲染样式。

在本实施例中，图6是本发明实施例中提供的一种实物地形的渲染效果示意图。参见图2和图6，操作台中沙砾堆砌出高低不平的实物地形地貌，Kinect体感传感器扫描实时监测出实物地形的地形深度数据，主控处理器140会依据地形深度数据进行渲染，得到实物地形的地形渲染投影效果。图7是本发明实施例中提供的另一种实物地形的渲染效果示意图。图5上方是显示器显示地形3D模型的效果，下方是操作台上实物地形的渲染效果。参见图5和图7，通过操作台顶部的投影仪150将Kinect体感传感器扫描到的地形渲染投影效果投影到实物地形地貌上渲染出不同的颜色，区分出来不同高度的地形样貌。

在本实施例中，可选地，参见图2，系统中的投影仪150与第一个Kinect体感传感器120设置于同一水平面上，且投影仪150的投影平面平行于操作台110的台面。例如，投影仪和第一个Kinect体感传感器保持在同一水平面，镜头竖直向下，使得投影平面平行于操作台的平面。

在本实施例中，可选地，部分投影仪自带梯形校正，需要在投影仪设置里关闭梯形校正，因为AR Sandbox软件本身会做梯形矫正，投影仪自带的校正反而会扭曲画面。因为是短焦投影仪所以画面不是等分在镜头中心线两侧，而是偏轴投影，镜头和沙盘边缘基本平齐。调整投影仪和操作台的位置，使投影仪画面在关闭了梯形矫正的情况下看起来是一个规则的矩形而不是梯形。

在本实施例中，可选地，确保投影仪工作在原始分辨率，很多投影仪广告宣传的分辨率是最大兼容分辨率，在详细参数里能看到原始分辨率，更改分辨率输出，以保证PC输出的分辨率和投影仪的原始分辨率相同。以及，使用HDMI、DVI或者DP线来连接投影仪和集成主控处理器的主机设备。

在本实施例的一种可选方案中，本实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，在本申请方案的互动式实物地形展示系统中，主控处理器140还配置为，依据地形控制手势信息，控制切换投影仪150在实物地形上地形渲染投影效果。例如，可以根据Kinect体感传感器扫描到的手势，例如右手从左向右滑动，则切换渲染效果或场景。在操作台和投影展示的同时有显示器能够展示出实时的地形3D模型，同样根据手势切换可以直观的看出地形3D模型的横切面，俯视地形模型效果等。

图8是本发明实施例中提供的一种互动式实物地形展示方法的流程图。本实施例的技术方案可适用于对操作台上的实物地形进行互动展示的情况。方法可应用于本发明任意实施例中所提供的互动式实物地形展示系统。

如图8所示，本发明实施例中提供的种互动式实物地形展示方法，可包括以下步骤：

S810、Kinect体感传感器扫描得到操作台上实物地形的地形深度数据，并发送给主控处理器。

S820、所述主控处理器依据所述地形深度数据进行计算，得到所述实物地形的地形3D模型，并发送到显示器进行显示。

S830、Kinect体感传感器还通过扫描操作者发出的人体骨骼数据，得到地形控制手势信息，并发送给所述主控处理器。

S840、所述主控处理器还依据所述地形控制手势信息，控制切换显示器上所述地形3D模型的展示视角。

在上述实施例的基础上，可选地，第一个Kinect体感传感器的扫描视场固定设置在操作台上实物地形所在区域范围，第二个Kinect体感传感器的扫描视场动态设置在操作者所在区域范围。

在上述实施例的基础上，可选地，在扫描操作台上实物地形的情况下，所述第一个Kinect体感传感器在操作台上方的设置高度与所述操作台的台面尺寸大小成比例。

在上述实施例的基础上，可选地，所述方法还包括：

所述主控处理器还依据所述地形深度数据进行渲染，得到所述实物地形的地形渲染投影效果，并发送给投影仪；所述投影仪设置在所述操作台上方位置；

所述投影仪将地形渲染投影效果投影到操作台的实物地形上，以使不同高度的地形呈现不同的渲染样式。

在上述实施例的基础上，可选地，所述投影仪与所述第一个Kinect体感传感器设置于同一水平面上，且所述投影仪的投影平面平行于所述操作台的台面。

在上述实施例的基础上，可选地，所述方法还包括：

所述主控处理器还依据所述地形控制手势信息，控制切换所述投影仪在所述实物地形上地形渲染投影效果。

本发明实施例中所提供的互动式实物地形展示方法可采用上述本发明任意实施例中所提供的互动式实物地形展示系统实现，具备执行该互动式实物地形展示方法相应的功能和有益效果，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例中所提供的互动式实物地形展示系统。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。