一种基于VR看车和试驾模拟系统及方法

摘要

本发明公开了一种基于VR的看车和试驾模拟系统及方法，涉及看车和试驾模拟领域，本申请旨在解决VR在用户试车和试驾时候产生的交互无法量化而导致的交互效果不准确而导致的用户体验差的问题，本申请采用的技术方案为：在同一参考坐标系下基于采集终端模块采集人体骨骼信息以及获取汽车的控制信号以及场景信号以及人体位姿信号，并基于这些信号建立相应的驾驶视觉场景模型以及驾驶舱座椅模型，并将实时的这些信号输入模型生成相应的视觉场景效果以及触觉效果以及座椅变动效果。通过采用本方案，使得用户在使用VR进行试车或试驾过程的交互实现量化，同时实现了在同一坐标系下实现了试车与驾车，使得用户的体验更真实。本发明适用于VR的实际应用相关领域。

说明书

技术领域

本发明涉及看车和试驾模拟领域，具体来说，涉及一种基于VR看车和模拟试驾的系统及方法。

背景技术

虚拟现实(virtual reality，VR)是一种模拟人在自然环境中视、听、动等行为的先进人机交互技术，能够为使用者模拟出与现实中相同的三维图像世界。近些年来，VR技术发展迅速，人们的生产和生活也迫切的需要VR技术带来的各种便捷。在汽车行业，“VR看车”成了当下的一大重要需求。“VR看车”可以解决人们“现场看车”难和“试驾成本高”等难题。现场看车要求店家车辆款式齐全，这对于商家来说是个高成本和长耗时的过程。并且，真实试驾，由于时间和空间的限制，用户体验内容有限。然而，用户可以通过VR试驾在短时间内体验各种不同驾驶场景，例如晴天、雨天、冰雪天、城市道路和乡村道路等等。因此，VR看车不仅可以节约成本，还可以提高用户的试驾体验感，具有广阔的应用价值。

但是现有的一些VR看车以及模拟驾驶只是简单的将VR技术挪用至看车模拟试驾领域，无法真正实现交互信息的量化，使得交互准确性差，从而导致用户的VR体验效果不佳，卖家车辆的无法得到真正的展示；那么如何提高VR看车试车过程中的交互准确性，提高用户体验，成为进一步提高VR在试驾领域的应用的重难点。

现有技术还存在技术壁垒在试车与看车时候，用户是站着与坐着的区别，如果用户从看车到试车的过程中，现有的VR很难实现这个转变过程的衔接而造成用户感觉效果差，体验不真实；那么如何利用图像识别区分用户在看车还是在试驾以及如何在统一坐标系下实现VR的看车和试驾是亟待解决的问题。

发明内容

本发明的目的在于：针对上述由于现有的基于VR看车试车领域存在交互无法实现量化而导致的交互准确性不高进而导致用户看车试车效果不佳的问题，本发明提供了一种实现交互量化进而提高交互准确性的提升用户体验的基于VR看车和模拟试驾系统及方法。

本申请提供了一种基于VR看车和模拟试驾系统，具体的技术方案包括：

采集终端、云端、触觉反馈模块、VR头盔模块、驾驶模拟舱控制模块和驾驶舱座椅执行模块；

所述的采集终端，采集人体的RGB-D数据并编码发送至云端；

所述的VR头盔模块，检测人体头部位姿信息并发送至云端，发送用户选择的汽车三维模型信息以及场景信息，接收云端发送的视觉信号并显示汽车三维模型以及汽车三维模型的视觉场景；

所述驾驶模拟舱控制模块，获取车辆控制信号并发送至云端；

所述云端，接收VR头盔模块发送的汽车三维模型信息以及场景信息，人体头部位姿信息，采集终端发送的RGB-D数据(也就是人体骨骼位置信息)进行计算生成座椅位姿信号、试车视觉信号、看车视觉信号和触觉信号；

所述驾驶舱座椅执行模块，接收到远端发送的座椅位姿信号并控制座椅产生试驾模拟时相应的变动(包括座椅的倾斜角度的变化，座椅的颠簸)；

所述触觉反馈模块，接收云端发送的触觉信号并产生看车模拟时的用于刺激人体反应的信号。

具体地，云端接收RGB-D数据并解码计算人体骨骼位置信息并接收汽车三维模型信息并进行触觉计算得触觉信号并发送至触觉反馈模块，接收人体头部位姿信息并结合汽车三维模型数据及人体骨骼位置信息进行视觉计算得看车视觉信号并发送至VR头盔模块，接收人体头部位姿信息并结合汽车三维模型数据及人体骨骼位置信息以及场景信息进行视觉计算得试车视觉信号并发送至VR头盔模块，接收场景信息及车辆控制信号进行计算得座椅位姿信号并发送至驾驶舱座椅执行模块。

具体地，所述采集终端采用对准人体采集人体的RGB-D数据的4台ZED StereoCamera；所述驾驶模拟舱控制模块包括座椅、方向盘、油门、刹车、离合器、换挡器、驾驶舱状态执行装置；所述VR头盔模块包括VR头盔；所述触觉反馈模块采用带压电传动装置的触觉反馈手套；所述云端采用服务器(有计算处理能力设备均可，并不局限于服务器)；所述VR头盔包括用于检测人体头部位姿信号的位姿传感器、汽车模型选择按钮、用于显示汽车三维模型的显示器。

具体地,VR头盔的位姿传感器采用陀螺仪和加速度计。

本申请提供了一种基于VR看车模拟方法，具体的技术方案为：

步骤一，生成汽车三维模型

基于用户需求生成汽车三维模型并以汽车三维模型为中心建立参考坐标系并获取汽车三维模型坐标(x_j,y_j,z_j)(其中j为表示不同的汽车部分)

步骤二,采集用户的人体骨骼位置信息和用户的头部的位姿信号

基于参考坐标系获取用户的人体骨骼位置信息和用户的头部的位姿信号；

步骤三，生成触觉信号和视觉信号

基于户的人体骨骼位置信息(x_i,y_i,z_i)(i为对应的骨骼点)和汽车三维模型坐标(x_j,y_j,z_j)生成触觉信号，基于人体骨骼位置信息和汽车三维模型及头部位姿信号生成视觉信号；

步骤四，产生触觉效果及视觉效果

基于步骤三中的触觉信号产生用户触觉效果，基于步骤三中的视觉信号产生用户视觉效果。

具体地,步骤四中产生触觉效果具体为：汽车三维模型包含汽车轮廓的空间坐标信息，人体骨骼点包含人体各部分的骨骼点空间坐标信息，当人体骨骼点空间坐标值(x_i,y_i,z_i)到达汽车虚拟模型轮廓空间坐标值(x_j,y_j,z_j)时，产生压力反馈，用户感受到触觉效果。

用户需通过VR头盔“汽车模型选择按钮”选择打算观看的汽车类型，从而确定汽车的三维模型；采集终端实时采集RGB-D数据，将其和相机参数一起编码传输到云端(其中，相机参数通过相机的标定获取)；云端将收到的数据进行解码，解码后对RGB-D数据和相机参数计算得到人体骨骼位置；云端结合汽车的三维模型和人体骨骼位置进行触觉计算，即当人手的位置和虚拟的汽车模型重合时计算产生对应的触觉；云端将触觉计算的结果“触觉信号”传输给触觉反馈装置；人体(通常触觉反馈模块采用触觉反馈手套，所以即人体的手部感受到触觉效果)通过触觉反馈装置感受触觉效果。

用户看车过程中的触觉获取原理为:

视觉获取原理前半部分同触觉获取原理，即系统确定汽车三维模型和得到人体骨骼位置，另外还包括云端通过“位姿传感器”获得头部的位姿状态信号，人体骨骼位置用于人机交互；人机交互包括但不限于：人手的位位置和汽车三维模型车门把手位置重合，触发开门操作；人手的位位置和汽车三维模型后备箱按钮位置重合，触发开后备箱操作；手指的位置和汽车三维模型按钮的位置重合，触发按按钮操作。

本申请提供了一种基于VR试驾模拟方法，具体的技术方案为：

步骤一，生成汽车三维模型

基于用户需求生成汽车三维模型并以汽车三维模型为中心建立参考坐标系；

步骤二，获取驾驶场景信号及人体头部位姿信号

基于参考坐标系及用户需求获取驾驶场景信号s，以及获取人体头部位姿信号p；

步骤三，获取车辆驾驶控制信号

基于参考坐标系获取车辆驾驶的油门、刹车、离合器、方向盘和换挡器的控制信号；

步骤四，生成对应的驾驶视觉模型及驾驶舱座椅模型

基于人体头部位姿信号p和车辆驾驶控制信号通过学习训练建立驾驶视觉模型F(a,b,c,d,g,p,s)和基于驾驶场景信号s和车辆驾驶控制信号通过学习训练生成驾驶舱座椅模型G(a,b,c,d,g,s)；

步骤五，生成实时的视觉场景效果及座椅位姿效果

基于实时采集的人体头部位姿信号p和车辆驾驶控制信号输入步骤四中的驾驶视觉模型F(a,b,c,d,g,p,s)计算生成视觉信号，接收视觉信号并生成对应用户的视觉场景效果，基于实时采集的驾驶场景信号s和车辆驾驶控制信号输入步骤四中的驾驶舱座椅模型G(a,b,c,d,g,s)计算生成座椅位姿信号，接收座椅位姿信号并产生座椅变动效果。

具体地，视觉信号包括输出每帧图片的切换速度与输出的的每帧图片的视角；座椅位姿信号包括座椅倾斜的角度值。

用户在模拟试驾过程中驾驶视觉生成的具体流程为：

用户通过VR头盔按钮选择驾驶场景，VR头盔将“场景信号”(s)传给云端的驾驶模型，同时VR头盔通过位姿传感器获取人体头部位姿状态，并将“位姿信号”(p)传给云端的视觉场景模型F(a,b,c,d,g,p,s)；驾驶舱通过实时采集的油门控制器、刹车控制器、离合器控制器、方向盘控制器和换挡器控制器获取控制信号，驾驶舱将控制信号(a,b,c,d,g)传给云端；云端根据视觉场景模型F(a,b,c,d,g,p,s)和接收到的信号(a,b,c,d,g,p,s)计算得到视觉信号，并将视觉信号传输给VR头盔的显示器；人体通过显示器获取模拟的视觉效果。

用户在模拟试驾过程中座椅位姿生成的具体流程为：

用户通过VR头盔按钮选择驾驶场景，VR头盔将“场景信号”(s)传给云端的驾驶模型；驾驶舱通过油门控制器、刹车控制器、离合器控制器、方向盘控制器和换挡器控制器获取控制信号，驾驶舱将控制信号(a,b,c,d,g)传给云端；云端根据座椅位姿模型G(a,b,c,d,g,s)和接收到的信号(a,b,c,d,g,s)计算得到座椅位姿信号，并将座椅位姿信号传输给驾驶舱座椅；人体获得由驾驶舱座椅执行的座椅位姿信号。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本申请通过模型学习建立相应的驾驶视觉模型F(a,b,c,d,g,p,s)以及驾驶舱座椅模型G(a,b,c,d,g,s)，并建立参考坐标系，实现了用户在看车和试车时候的交互的量化，从而更准确的找到真实驾驶数据与视觉信号或驾驶舱座椅位置之间的映射关系，使得用户使用VR进行试车看车时候的交互更逼真准确，用户看到的画面和身体的感受更准确逼真，进而提升了用户体验；

2.现有技术还存在技术壁垒就是如何利用图像识别区分用户在看车还是在试驾以及如何在统一坐标系下实现VR的看车和试驾，本申请通过采集终端的引入，并以汽车三维模型为参考坐标系并建立驾驶视觉模型F(a,b,c,d,g,p,s)以及驾驶舱座椅模型G(a,b,c,d,g,s)，实现了在统一坐标系下实现VR的看车和试驾的功能，实现了看车与试车之间的转变体验，克服了现有的技术壁垒；

3.体验者手带压感手套，可以身临其境感受触摸汽车的感觉，让交互感觉更深。例如：体验者可以模拟打开和关闭汽车车门，触按汽车的按钮，打开关闭车灯和操作汽车显示屏，让看车体验内容更真实、有趣和丰富；

4.体验者可以模拟试驾汽车，模拟汽车在不同场景(如：不同时间、地点和天气)的驾驶情况，让试驾体验内容丰富，解决传统试驾场景类型单一的问题；

5.本申请给体验者提供虚拟看车，不仅方便体验者观看各类车型，而且降低卖车看车的成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。

图1是本发明基于VR的看车模拟系统的流程图；

图2是看车模型示意图；

图3是人体骨骼示意图；

图4是本发明基于VR的试驾模拟系统的流程图；

图5是驾驶舱示意图；

图6是座椅位姿模型的示意图；

图7是驾驶视觉模型和驾驶舱座椅模型生成示意图；

图中标记：1-油门控制器；2-刹车控制器；3-离合器控制器；4-方向盘控制器；5-换挡器控制器；6-驾驶舱状态执行装置；a-油门控制信号；b-刹车控制信号；c-离合器控制信号；d-方向盘控制信号；g-换挡器控制信号；s-场景信号；p-位姿信号。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1至图7对本发明作详细说明。

实施例一

本实施例提供了一种基于VR看车模拟系统和方法，采集终端选用ZED StereoCamera，来获取RGB-D数据。VR头盔的位姿传感器选用陀螺仪和加速度计，从而提供头部的角度信息。触觉反馈装置选用带有压电传动装置的触觉反馈手套。场地布置方面如图2所示，选用的四台ZED Stereo Camera，分别布置在VR看车场地的四个角，垂直高度为1m,即相机C1、C2、C3和C4的三维空间坐标分别为(0,0,1)，(10,0,1)，(0,10,1)和(10,10,1)，虚拟汽车模型的底面几何中心放置在平面坐标(5,5,0)处。

具体的流程如图1所述，用户进入VR看车的系统的场地，并且带上VR头盔和触觉反馈手套；用户通过VR头盔上的按钮选择所需查看的汽车类型；系统通过ZED Stereo Camera获取人体各部分的RGB-D数据。系统由RGB-D数据和相机参数计算出人体的骨骼位置信息，骨骼点如图3所示；根据汽车三维模型和人体骨骼位置进行触觉计算；根据汽车三维模型、人体骨骼位置和用户头部位姿进行显示内容计算。

(1)显示内容计算

系统根据人体骨骼位置、汽车三维模型和头部位置信号计算相应的显示内容。例如，头部上下左右转动，则视觉信号也会有相应的转动。当用户的手到达车门把手位置，系统执行开车门操作。

交互部分实施方式为：

a.当用户的手到达车门把手位置，系统执行开车门操作；

b.用户的手到达后备箱的按钮位置，系统执行开后备箱操作；

c.当用户的手到达按钮位置，执行相应的按钮操作，如“点火启动”，“打开车灯”，“操作多媒体显示屏”；

其中,用户手部的位置为骨骼点1、2、3、4、5和6的空间坐标值(x_i,y_i,z_i)，i为对应的骨骼点；汽车的车门把手、车内按钮和后备箱按钮都有对应的空间坐标值(x_j,y_j,z_j)，j表示不同的汽车部位。

(2)触觉计算

汽车三维模型包含汽车轮廓的空间坐标信，人体骨骼点包含人体手部的各部分的骨骼点空间坐标信息。当用户手部骨骼点空间坐标值(x_i,y_i,z_i)(i为点1、2、3、4、5、6)到达汽车虚拟模型轮廓空间坐标值(x_j,y_j,z_j)时(j表示不同的汽车部位)，压感手套产生压力反馈，模拟触碰的感觉。

实施例二

本实施例提供一种基于VR的试驾模拟系统及方法：

如图7所示，采集真实情况下汽车在不同场景(如：不同时间、地点、天气)和不同控制信号(油门、刹车、离合器、方向盘和换挡器)的数据，时间信息分为不同的月、日和小时；地点分为城市道路、乡村道路、高速公路和山路；天气分为雪天、雨天、晴天和阴天。，通过深度学习网络模型，学习得到驾驶模型，分别为视觉场景模型F(a,b,c,d,g,p,s)和座椅位姿模型G(a,b,c,d,g,s)。

试驾模式处理流程：

驾驶舱的控制器为油门a、刹车b、离合器c、方向盘d和换挡器g，此外，驾驶舱的执行器为座椅下的“驾驶舱状态执行装置”。

首先，用户坐到驾驶舱座椅上，通过VR头盔上的按钮选择驾驶的场景。系统进入模拟试驾模式，VR头盔的显示屏上的视角进入。例如，用户选择的场景为“早上9:00+晴天+山路”，则系统得到的参数s为“早上9:00+晴天+山路”。

系统的处理流程由一个个重复的控制周期组成，我们设置一个控制周期为5ms。在一个控制周期内，首先，用户通过操作油门控制器1，刹车控制器2，离合器控制器3，方向盘控制器4，换挡器控制器5对系统依次输入控制信号(a,b,c,d,g)。此外，系统通过VR头盔的陀螺仪和加速度计获取用户的头部姿态参数p；云端的视觉场景模型F(a,b,c,d,g,p,s)和座椅位姿模型G(a,b,c,d,g,s)由以上获得的参数(a,b,c,d,g,p,s)，分别计算相应的视觉信号和驾驶舱座椅信号。由此一个控制周期的计算结束，进入下一个控制周期。

直接将参数输入座椅位姿模型G(a,b,c,d,g,s)。如图6球坐标系所示，函数G的输出就是座椅倾斜的角度，即和θ两个角度。根据和θ的值，座椅向各个方向倾斜，模拟真实驾车情况下，上坡，下坡和颠簸等时候的座椅位姿状态。

例如，当用户的头部转动时，系统通过位置传感器感知头部姿态，让VR头盔的显示器作出相应的视角变化。当路况为上坡时，座椅向后倾斜；当路况为下坡时，座椅向后倾斜；当路面不平时，座椅执行相应的颠簸。