一种增强现实的环境体验方法、装置及电子设备

摘要

本发明实施例涉及数字投影显示技术领域，特别涉及一种增强现实的环境体验方法、装置及电子设备。所述方法包括：接收项目选择指令；根据所述项目选择指令生成指定项目的模拟环境；生成模拟形象并应用于所述模拟环境中；接收用户的交互动作并响应于所述交互动作。本发明通过模拟用户指定的体验环境，获取用户的动作并实时做出响应，可以营造出近似真实的模拟环境，给用户带来真切的立体感，在室内就能为用户提供沉浸式的自然环境体验。

说明书

技术领域

本发明涉及数字投影显示技术领域，特别涉及一种增强现实的环境体验方法、装置及电子设备。

背景技术

近年来，虚拟现实通过计算机三维建模，对真实世界的物品、场景等进行模拟仿真，但是这种仿真是静态的，当真实环境的相关变量发生改变时，并不能第一时间反应出来；从对虚拟现实内容体验角度来看，当内容涉及的环境变量发生改变时，体验者所处的真实环境并不会因此发生改变，降低了体验者对虚拟现实画面的带入感。目前还没有在室内就可以让用户沉浸式体验自然环境的技术。

发明内容

针对现有技术的上述缺陷，本发明实施例主要解决的技术问题是目前没有能够让用户沉浸式体验自然环境的技术。

为解决上述技术问题，本发明实施方式采用的一个技术方案是：提供一种增强现实的环境体验方法，所述方法包括：

接收项目选择指令；

根据所述项目选择指令生成指定项目的模拟环境；

生成模拟形象并应用于所述模拟环境中；

接收用户的交互动作并响应于所述交互动作。

可选的，所述根据所述项目选择指令生成指定项目的模拟环境包括：

获取指定项目的环境信息；

根据所述环境信息生成模拟环境；

投影出所述模拟环境。

可选的，所述生成模拟形象并应用于所述模拟环境中包括：

接收个人信息设置指令；

根据所述个人信息设置指令生成模拟形象；

将所述模拟形象对应到所述模拟环境中。

可选的，所述方法还包括：接收用户的体验时间设定指令，并根据所述体验时间设定指令规划项目体验流程。

可选的，所述方法还包括：记录并储存用户的体验过程，包括体验过程的影像信息和声音信息。

可选的，所述方法还包括：

接收用户的校正指令并实时响应于所述校正指令。

为解决上述技术问题，本发明实施例中还提供了一种增强现实的环境体验装置，所述装置包括：

项目选择模块，用于接收项目选择指令；

环境生成模块，用于根据所述项目选择指令生成指定项目的模拟环境；

形象生成模块，用于生成模拟形象并应用于所述模拟环境中；

交互响应模块，用于接收用户的交互动作并响应于所述交互动作。

可选的，所述环境生成模块包括：

环境信息获取单元，用于获取指定项目的环境信息；

模拟环境生成单元，用于根据所述环境信息生成模拟环境；

模拟环境投影单元，用于投影出所述模拟环境。

可选的，所述形象生成模块包括：

个人信息设置单元，用于接收个人信息设置指令；

模拟形象生成单元，用于根据所述个人信息设置指令生成模拟形象；

模拟形象应用单元，用于将所述模拟形象对应到所述模拟环境中。

为解决上述技术问题，第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的增强现实的环境体验方法。

本发明实施方式的有益效果是：区别于现有技术的情况，本发明实施方式提供一种增强现实的环境体验方法，通过模拟用户指定体验项目的环境，获取用户的动作并实时做出响应，可以营造出近似真实的模拟环境，在室内就能为用户提供沉浸式的自然环境体验。

附图说明

一个或多个实施例中通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件/模块和步骤表示为类似的元件/模块和步骤，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的增强现实的环境体验方法流程示意图；

图2是图1中S12的具体流程图；

图3是图2中S13的具体流程图；

图4是本发明另一实施例提供的增强现实的环境体验方法的流程图；

图5是本发明实施例提供的增强现实的环境体验装置的结构示意图；

图6是本发明实施例提供的电子设备的结构框图。

具体实施方式

为了便于理解本申请，下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本申请。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，但是在某些情况下，可以以不同于装置中的模块划分。

请参阅图1，图1是本发明实施例提供的一种增强现实的环境体验方法的流程示意图，该方法可应用于电子设备，该方法包括：

S11、接收项目选择指令。用户通过输入设备选择想体验的项目，包括用户手动通过触屏选择或输入想体验的项目，或者用户通过语音输入设备选择想体验的项目，或者通过遥控手柄等设备选择想体验的项目等。显示屏或者触控屏将可选择的项目显示出来供用户挑选，在接收到用户的项目选择指令后锁定该项目并显示出来。

S12、根据所述项目选择指令生成指定项目的模拟环境。生成模拟环境前，先确定实际室内场地的空间范围，例如可以配合摄像头、传感器或者其他测量设备预先确定好实际室内场地的边界，接收用户的项目选择指令并确定需要模拟的项目环境，结合实际室内场地的空间范围生成模拟环境并展现给用户。其中，请参阅图2，所述根据所述项目选择指令生成指定项目的模拟环境具体包括：

S121、获取指定项目的环境信息。接收到用户的项目选择指令，确认用户的体验项目后，可以从系统的资料库中获取指定项目的环境信息，或者可以联网后通过互联网获取指定项目的环境信息。例如用户想体验滑雪项目，选择了体验西岭雪山滑雪场的滑雪项目，设备从资料库中或者通过互联网获取西岭雪山滑雪场附近的环境信息，包括滑雪场的雪道数量、雪道走势或者附近的障碍物等信息，还可以获取适合滑雪的天气情况信息，包括适合滑雪的风速、降雪情况和气温等信息。

S122、根据所述环境信息生成模拟环境。设备获取到环境信息后根据所述环境信息模拟出虚拟场景，营造出更接近真实的环境，为用户营造身临其境的氛围。模拟环境时可以根据实际室内场地范围选择合适的模拟环境，以体验滑雪项目为例，实际室内场地较大时可以模拟出多条雪道供用户选择，并提供更大的视野范围，实际室内场地不大时则提供视野范围较小的滑雪场景，还可以配合距离传感器等设备检测室内场地的边界，在模拟环境时将用户的行动范围控制在室内场地范围内，确保用户在实际体验时不会超出体验场地。设备还可以根据设定的天气信息还原出尽量真实的环境天气，例如设定的环境是低气温且正在下雪的天气，则设备可以模拟出环境中有厚雪层覆盖在建筑物上，偶尔会有雪块从树枝上掉落，以给用户提供亲身体验滑雪项目的感觉。

S123、投影出所述模拟环境。将模拟出的环境投影在墙壁或其地方，配合用户佩戴的AR眼镜或类似的设备，为用户展现出模拟的场景，用户通过AR眼镜等设备能看到近似真实环境的模拟环境，例如在滑雪项目体验的模拟环境中可以显示出风吹动树枝的动效、雪道积雪上的脚印等。

S13、生成模拟形象并应用于所述模拟环境中。用户可以自行设置个人信息，设备根据设置好的个人信息生成用户的模拟形象，并对应到模拟的场景中，为用户模拟出接近真实的体验场景。所述模拟形象可以是以用户自己为主体的模拟形象，也可以是用户设置的虚拟队友形象，例如用户想设置一个朋友或者偶像甚至陌生人的形象，和自己同时来一场滑雪比赛，就可以设置自己和队友的模拟形象，设备根据用户输入的信息模拟出立体形象，将其对应到环境中，并配合AR眼镜等设备展现给用户。

可选的，请参阅图3，所述生成模拟形象并应用于所述模拟环境中具体包括：

S131、接收个人信息设置指令。用户可以通过输入设备设置个人信息，例如在滑雪体验项目中，个人信息设置指令包括但不限于设置自己的滑雪服样式等信息，或者虚拟队友的性别、身高或样貌等个人信息，电子设备接收到个人信息设置指令后基于这些个人信息模拟出模拟形象。

S132、根据所述个人信息设置指令生成模拟形象。用户可以在模拟形象的设置界面设定自己喜欢的模拟形象，例如在滑雪项目中，用户在资料库中选择自己喜欢的滑雪服装或者滑雪装备，电子设备根据接收到的用户个人信息分析和模拟出大小合适的滑雪服装和滑雪装备，并投影到用户身体上，配合AR眼镜等设备提供实现真实的三维立体的显示效果，给用户带来真切的立体感，提升用户体验。用户还可以选择添加虚拟队友，并且可以设置虚拟队友的形象，资料库中储存有一些初始的模拟形象模型，若是用户不想自己设置虚拟队友形象，也可以直接选择资料库中的模拟形象模型作为虚拟队友的模拟形象，或者选择在某个模拟形象模型的基础上进行修改，最终得到虚拟队友的模拟形象。

S133、将所述模拟形象对应到所述模拟环境中。例如在滑雪项目体验中，用户还可以选择雪道，电子设备将用户选择的雪道对应到用户或者虚拟队友的模拟形象的脚下，确定用户和虚拟队友在雪道上滑雪的起始位置。此外，用户可以随意设定滑雪的模式，例如设定为单人单雪道滑雪练习或者多人滑雪比赛等，还可以设定滑雪的开始和结束时间，滑雪的路径，可以是短距离雪道模式滑雪或者无限雪道模式滑雪等，还可以设置滑雪的难度，例如弯道数量、雪道坡度或者雪道障碍物属性等。

S14、接收用户的交互动作并响应于所述交互动作。电子设备实时捕捉用户的动作，并根据用户的动作改变模拟出的环境，做到模拟信息与现实信息的融合。以体验滑雪项目为例，电子设备可以通过动作捕捉系统实时接收用户的滑雪动作，并根据滑雪动作投影出滑雪场的实时变化场景，例如在用户挥动雪仗加速滑雪时模拟出雪道两旁的景物加速后退的环境。同时，若用户设置有陪同滑雪的虚拟队友，则电子设备随机选择模拟出虚拟队友陪同用户进行滑雪比赛的滑雪状态过程，电子设备还可以接收用户的语音指令并对语音指令做出响应，例如用户在滑雪比赛开始前为自己和队友加油打气，则队友也会回应用户的加油，提高用户体验项目的真实性。

请参阅图4，图4是本发明另一实施例提供的一种增强现实的环境体验方法的流程图，所述方法可以应用于电子设备，所述方法具体包括：

S21、接收项目选择指令。用户通过输入设备选择想体验的项目信息，例如用户想观察自然环境中的大熊猫生活状态，电子设备在资料库中搜索到一个或多个大熊猫生活状态观察项目并展示给用户，用户选择选项内的具体体验项目观察四川卧龙大熊猫自然保护区内大熊猫的生活状态。

S22、生成指定项目的模拟环境。电子设备接收到用户的项目选择指令，确认用户的体验项目后，可以从资料库中获取指定项目的环境信息。以观察大熊猫生活状态为例，可以通过互联网获取包括四川卧龙大熊猫自然保护区在内的各个大熊猫的生活信息，以此为基础模拟出大熊猫平时的生活状态并将立体影像展现给用户，包括模拟出大熊猫的常见行为，吃东西、爬树或者玩耍的动作等。同时，电子设备还可以通过接收用户一些特定的动作信号触发环境细节，例如检测到用户有靠近抚摸大熊猫的动作意图时，触发大熊猫逃跑的动作，或者检测到用户有投喂食物的动作，则通过抛出的食物影像触发大熊猫靠近食物和进食的动作，能增加用户的真实体验感。

S23、生成模拟形象并应用于模拟环境。电子设备为用户展现出模拟的场景，以观察大熊猫的生活状态为例，通过投影设备可以模拟出大熊猫的生活环境并投影出来，结合用户佩戴的AR眼镜或类似设备呈现出大熊猫的立体影像并对应到投影环境中，模拟出大熊猫的日常行为动作；还可以通过音响等设备模拟出大熊猫啃咬食物或者爬树玩耍时的立体音效等。

S24、接收时间设定指令。用户可以设置体验时间，包括进入体验项目的时间和体验结束的时间，为了防止用户过度沉迷于体验项目，在体验项目开始前需要设定好体验时间，同时，用户设置的体验时间段不能超过规定范围内的最大体验时间，体验时间结束时电子设备停止体验项目或做出提示以提醒用户退出体验项目。

S25、接收并响应用户交互动作。以观察大熊猫的生活环境为例，电子设备配合AR眼镜等设备在模拟环境中展现出大熊猫的立体影像，通过动作捕捉设备或者摄像头等设备随时检测用户的动作，根据用户的动作改变模拟出的环境和大熊猫的影像，方便用户从不同角度观察大熊猫的状态。例如检测到用户靠近大熊猫时，跟随用户的移动改变投影出的模拟环境，将视野拉近大熊猫，并模拟真实情况下有人靠近时大熊猫的反应。同时，若用户设置有陪同体验的虚拟路人，则电子设备随机选择模拟出虚拟路人观察大熊猫生活状态时的行为。电子设备还可以接收用户的语音指令并对语音指令做出响应，可以支持用户与虚拟路人进行对话并控制虚拟路人对用户的语言做出随机反应。

S251、接收并响应用户校正指令。在某些情况中电子设备可能会有投影不清晰或者响应效果不理想的情况，此时，用户可以通过手机或者遥控器等输入设备对其进行校正，可以通过功能按键进行校正，或者通过文字或语音输入校正码，或者输入问题详情通过联网搜索校正方案等。例如用户发现投影出的环境画面不清晰，发送了校正指令以对画面进行调整，电子设备在接收到用户的校正指令后及时做出响应，例如调整模拟投影的画面的清晰度等；例如用户发现投影出的事物影像的动作有卡顿或者不流畅时，通过输入设备发送校正指令以对影像的流畅度进行调整，电子设备接收到用户的校正指令后及时做出响应，可以是检测影像的模拟过程是否出现错误，检测网络传输是否有延迟，检测投影设备是否有故障等，进而调整传输数据信息以达到用户的预期效果。

S26、记录并储存用户的体验过程。电子设备还支持记录下用户的体验项目和体验过程，包括用户体验时的动作和语音。电子设备通过摄像头或者麦克风等记录设备实时记录下用户观察过程中的动作和语音，并获取同时段内模拟和投影的影像信息，将其与用户的体验过程对应起来，合成用户体验过程的影像，并储存在存储设备中，方便用户后续回看当时的体验过程。以观察大熊猫的生活状态为例，用户在体验过程中错过了大熊猫吃竹子的某些细节，就可以通过看回放来仔细观察错过的细节，又例如用户在体验过程中看见了很难得的大熊猫产仔的影像想和朋友分享，就可以截取存储的回放影像中的片段并发送给朋友。

在其他一些实施例中，用户还可以和现实中的朋友或者其他同时要体验某个项目的陌生人联机体验某个项目，例如用户和朋友约好一块观察大熊猫的生活环境，可以是用户和朋友在同一个室内体验场地共同观察，也可以是在不同的室内体验场地分别体验，通过网络建立实时连接，获取朋友的模拟形象信息，并在用户身旁显示朋友的模拟形象，获取朋友的实时动作并控制朋友的模拟形象做出相同反应，观察过程中还可以和朋友实时交流讨论观察情况。电子设备事先获取有室内场地的范围信息，所述范围信息可以是由用户手动输入，也可以是通过摄像头等检测设备测量出实际距离，再计算出室内场地的范围边界。以观察大熊猫的生活习惯为例，电子设备可以根据室内场地的范围改变模拟场景的显示，例如电子设备检测到用户在向室内场地的边界处靠近，则模拟出大熊猫向另一边走动的场景，引导用户在室内场地范围内移动，为用户提供更好的环境体验效果。

请参阅图5，图5是本发明实施例提供的一种增强现实的环境体验装置的结构示意图。该装置300可应用于电子设备，该装置300包括：项目选择模块31、环境生成模块32、形象生成模块33和交互响应模块34。

其中，所述项目选择模块31用于接收项目选择指令。用户通过输入设备选择想体验的项目，包括用户手动通过触屏选择或输入想体验的项目，或者用户通过语音输入设备选择想体验的项目，或者通过遥控手柄等设备选择想体验的项目等。显示屏或者触控屏将可选择的项目显示出来供用户挑选，所述项目选择模块31在接收到用户的项目选择指令后锁定该项目并显示给用户。

所述环境生成模块32用于根据所述项目选择指令生成指定项目的模拟环境。在接收到用户的项目选择指令，确认用户的体验项目后，所述环境生成模块32可以从资料库中获取指定项目的环境信息。在生成模拟环境前需要先确定实际室内场地的空间范围，例如可以配合摄像头、传感器或者其他测量设备预先确定好实际室内场地的边界，接收用户的项目选择指令并确定需要模拟的项目环境，结合实际室内场地的空间范围生成模拟环境并展现给用户。

可选的，所述环境生成模块32还包括环境信息获取单元321、模拟环境生成单元322和模拟环境投影单元323。

其中，所述环境信息获取单元321用于获取指定项目的环境信息。所述环境信息获取单元321接收到用户的项目选择指令，确认用户的体验项目后，可以从系统的资料库中获取指定项目的环境信息，或者可以联网后通过互联网获取指定项目的环境信息，包括某些环境中的建筑信息、道路信息或者天气信息等。

所述模拟环境生成单元322用于根据所述环境信息生成模拟环境。所述模拟环境生成单元322获取到环境信息后根据所述环境信息模拟出虚拟场景，具体可以根据实际室内场地范围选择合适的模拟环境，营造出更接近真实的环境，使得用户有身临其境的体验感。

所述模拟环境投影单元323用于投影出所述模拟环境。所述模拟环境投影单元323将模拟出的环境投影在墙壁或其地方，配合用户佩戴的AR眼镜或类似的设备，为用户展现出模拟的场景，用户通过AR眼镜等设备能看到相对真实的模拟环境。

所述形象生成模块33用于生成模拟形象并应用于所述模拟环境中。用户可以自行设置个人信息，设备根据设置好的个人信息生成用户的模拟形象，并对应到模拟的场景中，为用户模拟出接近真实的体验场景。所述模拟形象可以是以用户自己为主体的模拟形象，也可以是用户设置的虚拟人物的形象。例如用户想体验和自己的偶像一起探索原始森林的感觉，就可以设置一个偶像的虚拟人物，在与其一起体验探索原始森林的项目。

可选的，所述形象生成模块33还包括个人信息设置单元331、模拟形象生成单元332和模拟形象应用单元333。

其中，用户通过输入设备设置个人信息，所述个人信息设置单元331接收到个人信息设置指令后，所述模拟形象生成单元332根据用户输入的个人信息生成模拟形象，包括以自己为主体的形象和用户自行设置的模拟形象，所述模拟形象应用单元333将所述模拟形象对应到所述模拟环境中，确定用户和虚拟队友体验过程中的起始位置。

所述交互响应模块34用于接收用户的交互动作并响应于所述交互动作。所述交互响应模块34可以通过动作捕捉设备或者摄像头等设备实时捕捉用户的动作，并根据用户的动作改变模拟出的环境，做到模拟信息与现实信息的融合。若用户设置有陪同体验的虚拟人物形象，则随机选择模拟出虚拟人物的体验过程，同时还可以接收用户的语音指令并对语音指令做出响应，可以支持用户与虚拟人物进行对话并控制虚拟人物对用户的语言做出随机反应。

请参阅图6，图6是本发明实施例提供的一种电子设备400的结构框图，所述电子设备400包括至少一个处理器41，图6中以一个处理器41为例；以及，与所述至少一个处理器41通信连接的存储器42；

其中，所述存储器42存储有可被所述至少一个处理器41执行的指令，所述指令被所述至少一个处理器41执行，以使所述至少一个处理器41能够执行上述实施例中所述的任一增强现实的环境体验方法。

处理器41和存储器42可以通过总线或其他方式连接，图6中以通过总线连接为例，存储器42作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的增强现实的环境体验装置300对应的程序指令/模块(例如图5中的模块和单元)。处理器41通过运行存储在存储器42中的非易失性软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述方法实施例中的增强现实的环境体验方法。

存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据增强现实的环境体验装置300的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器42。这些远程存储器可以通过网络连接至电子设备400。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器42中，当被所述一个或者多个处理器41执行时，执行上述任意实施例中的增强现实的环境体验方法，例如，执行图1、图2和图3中的方法步骤。

上述产品可执行本发明实施例所提供的家庭作业智能督导方法，具备执行所述增强现实的环境体验方法相应的功能模块。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的增强现实的环境体验方法。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。