混合现实

摘要： 随着5G通信、人工智能(AI)、虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)和混合现实(Mixed Reality,MR)等技术的发展,结合多媒体体系交互使新型信息教学方式变得可能。基于当今民航维修业发展趋势,顺应混合现实技术在国内的迅速发展及大环境下互联网技术的发展模式,该系统研究并开发了以用户为中心的人性化、智能化的Hololens混合现实LEAP发动机诱导维修系统,帮助用户完成复杂的维修工作。以虚拟集成开发平台Unity3D核心,结合Solidworks、3Dmax、C4D等对场景中的机械以及人物进行建模;在CPU层面借助Visual Studio编辑器采用C#脚本语言为核心的多语言开发,结合在GPU层面的图形渲染编程语言,突出虚拟中的优点以及重点的视觉效果;利用混合现实交互技术以及Vuforia进行实物扫描与识别,实现虚拟和现实的对接,形成视觉、听觉、触觉结合的多媒体交互体系,突破空间、时间和现实约束,在现实世界中投射出全面、逼真、可交互的航空发动机模型,构建以Hololens为基础的三维混合现实维修体系。

摘要： 惠普近日宣布推出由微软Hololens 2支持的HP xR Services,为新一代数字印刷机带来先进的创新成果,本次合作旨在混合现实世界中为客户提供支持。在惠普xR Services和微软Hololens 2携手打造的混合现实世界中,客户可以实时连线,虚拟惠普工程师将“出现”在用户面前,并手把手指导客户完成整个过程,进而优化印刷工作流程,提升工作效率。

摘要： 传统的车间巡检方法主要依靠人工检查及记录结果,过程繁琐且无法实时共享全过程.为了提高工作效率,将深度学习应用到混合现实车间巡检中.采用了深度学习与混合现实技术相结合的方式,利用ResNet网络对车间设备进行分类识别,完成分类识别后,再利用HoloLens的空间感知能力定位到该设备进行确认,最后显示该设备的基本信息、运行状态和报警等信息.经实验验证,与传统的车间巡检方法相比,具有较高识别率的ResNet有效地过滤了噪声,提高了HoloLens的利用率和识别率,同时也提高了巡检人员的工作效率.

摘要： 目的面向混合现实电子沙盘虚拟3D对象,开展3D交互性能与用户体验研究与评估,提出交互设计原则和设计建议。方法针对混合现实环境下双手可触范围外的虚拟对象“选择”任务开展交互设计研究,引入虚拟对象布局排列方式作为评估变量,在3种典型的虚拟对象布局情况下,分别进行手控光线、头动、眼动与手势协同的3种交互方式性能及用户体验对比研究。通过设计原型实验系统,进行用户体验测试,实验数据分析与评估,验证交互设计原则,提出交互设计建议。结论实验结果显示眼动与捏合手势结合的手眼协同交互方式在时间、任务负荷及用户偏好方面都具有显著优势。手控光线与手势协同交互的准确性最优,并且这一优势在任何一种布局方式中都有所体现。建议混合现实环境下的“选择”任务交互设计要注重功用性、持续性和愉悦性原则,提出了降低“选择”任务交互的工作负荷与疲劳及增强新颖交互提升愉悦性的设计建议。

摘要： 通过构建基于5G的混合现实影像云平台,实现多方实时交互、立体影像呈现和全息手术导航等功能,以覆盖术前、术中、术后的应用场景,实现医院内外部影像数据的使用共享,提高手术服务的精准化程度,优化医患沟通方式,进一步推动医疗资源可及、均衡发展,开创了国内混合现实技术应用于远程手术指导的先河。

摘要： 虽然元宇宙拥有广阔的发展空间和多种发展可能,但目前还是一个尚未成型的新兴事物。不论是虚拟现实、增强现实还是混合现实,中心词都是“现实”。我们只有保持理性,落脚“现实”,积极引导元宇宙概念与数字经济、实体经济“虚实结合”,才能健康可持续发展。

摘要： 针对电解铝电解槽维护管理的现场数据交互难题,提出了一种基于混合现实的电解槽设备辅助管理系统。采用卷积神经网络模型识别电解槽号,以电解槽号为纽带获取电解槽后台海量生产数据,应用HoloLens2混合现实平台实现虚拟数据与电解槽实体融合,基于后台历史数据的可视化辅助员工设备管理及数据决策。该实现方法可以为相同应用场景提供参考。

摘要： 针对自动驾驶汽车在复杂环境下的安全性测试问题,提出一种基于混合现实的自动驾驶车辆测试方法。该方法将仿真环境中的虚拟场景映射到真实的测试环境,通过传感器和数据融合快速收集自动驾驶测试车的智能感知和行为决策等性能指标,然后基于混合现实测试场景、控制中心、测试车辆构建闭环测试系统。通过案例验证,说明该方法可满足在多种场景下自动驾驶车辆的测试要求。

摘要： 目的探讨混合现实电磁导航技术在神经外科制定术前计划和术中导航的应用价值。方法运用混合现实电磁导航技术为4例神经外科患者进行术前影像资料的三维重建,生成可视化三维混合现实图像,明确病变位置及其周围解剖结构的毗邻关系,规划手术入路实施术中导航,同时应用博医来术中导航系统对混合现实导航结果进行验证。结果应用混合现实术中神经导航技术可在手术室环境重建病变3D结构并导航病变的位置。混合现实术中神经导航结果与博医来神经导航结果一致。结论混合现实术中导航技术易于应用且定位准确,可用于神经外科制定手术计划和术中导航。

摘要： 神经外科手术对导航定位要求较高,目前传统导航是降维显示,使得术者定位时需要丰富的经验及重建三维解剖结构的能力。近年增强现实、混合现实等技术发展迅速,可视化导航已逐渐显现出直观准确的优势,随着其深入应用有望推动神经导航进入一个新的阶段。

摘要： 随着数字技术的发展,混合现实技术渐入人们的日常生活和工作,同时也影响着建筑领域的设计方法及建造方式.全机械化的智能建造将是未来发展的方向.但受限于技术与设备,目前大多数的施工建造仍是采用传统、低技的方式.本文通过一次数字建构的实践过程,探索了混合现实技术如何辅助低技的建造手段,在短时间内更有效地控制建造的完成度及进度.并对今后一段时间内,混合现实技术在建造中的作用和意义进行了思考.

摘要： 骨盆骨折多见于严重的高能量损伤中,占全身骨折2％～8％,死亡率、致残率较高,是目前创伤骨科及急救外科面临的一巨大挑战.目前骨盆骨折的诊断主要基于X线片、CT平扫等,仅能提供二维断面图像,即使能行三维重建,其图像也只能显示在二维平面上,需要医生根据二维影像想象为空间三维影像进行病情判断,难免会出现偏差,影响疾病的诊断和治疗.作者回顾性分析2016年6月至2018年7月收治的42例骨盆骨折患者的临床相关资料，其中22例采用混合现实技术呈现骨盆骨折三维立体图像，并根据图像制定个体化手术方案及选择合适的内固定，取得满意的近期临床疗效，并报告如下。

摘要： 混合现实技术具有虚拟与现实相结合的特点能够模拟人眼、耳等感官来模拟真实环境的效果,在虚拟训练场景让运动员从心理和力量上能感受到与真实训练环境同样的感受;交互性的设计和三维的模拟场景能够虚拟出一个更加智能的对手,模拟出真实比赛的场景以及在比赛中可能出现的各种实战状况,从而达到训练的要求和目的,提供智能的训练方案提高训练水平,使运动员获得提供给运动员一个最佳的训练环境,最智能的训练方案,大大提高运动员在实战中的能力.混合现实技术应用能够满足竞技体育训练过程中的要求,能够发挥竞技体育运动训练中科学化、数字化的运动训练的作用.

摘要： 本文阐述了互动多媒体书籍产生的背景及现状,提出了书籍设计的创新方法,基于云计算和混合现实技术的多媒体书籍应用设计,根据AR技术上的利用和改进，能通过移动设备的摄像头对书籍上的特定矩阵准确的识别，获得信息的扩充和AR实时互动的体验，在取得补充信息的同时收获了趣味性的互动体验。云传输可迅速的获得相关的资源，就拿很多人都使用的迅雷下载器来说，付费之后可享有云点播、离线下载等免去长时间在线下载和流量限制问题的功能，用户可在不同的终端中登陆服务器，共享已有的资源。

摘要： 在数字化大背景下,以静态、实体展示手段为主的传统展示设计行业开始转型,结合各类数字媒体技术的互动型展示形态得以大量发展.本文通过混合现实技术环境下的展示设计实践与开发路径的介绍,以小见大,窥视出当代展示设计行业的设计思潮、设计趋势之变迁,明确提出并论证了"科艺融合"跨界设计在展示设计行业中的必要性与趋势性.

摘要： 提出具有空间一致性的集成式混合现实三维用户创作工具.通过对自然特征的提取,建立具有二维及三维信息的相对参照空间,然后通过对已知尺度标志物的识别,把相对参照空间转化为具有空间一致性的绝对参照空间通过与商用三维数字内容创作工具的集成,实现高效的虚拟物体构建.实验结果表明,所提出的具有空间一致性的集成式混合现实三维用户创作工具能够实现"高效创作、准确注册"的目标.

摘要： 虚拟现实(VR)、增强现实(AR)、混合现实(MR)技术在社会活动中的应用越来越广泛.本文对国内外VR、AR、MR产业发展情况及各国的政策支持情况进行梳理,对VR、AR、MR的技术特点进行对比分析,指出VR、AR、MR技术在矿山工程中已经得到的应用,以及未来可能的应用场景包括方案展示、方案优化、远程指导、技术培训、业务管理等,并指出随着信息技术及相关设备的发展,VR、AR、MR技术将与云计算、大数据、人工智能等技术进一步融合,其将在矿业领域将得到更广泛的应用并发挥更重要的作用.

摘要： 结合3D扫描、BIM建模、MR技术等高新技术,针对既有建筑屋面球型网架钢结构拆除受力分析、回顶支护、拆除工艺等关键环节进行了探讨,对新技术对该类工程得辅助应用提供思路.

摘要： 结合3D扫描、BIM建模、MR技术等高新技术,针对既有建筑屋面球型网架钢结构拆除受力分析、回顶支护、拆除工艺等关键环节进行了探讨,对新技术对该类工程得辅助应用提供思路.

摘要： 在一个实施例中，一种方法包括：在虚拟区域中向第一用户显示第一虚拟内容，该虚拟区域包括一个或更多个第二虚拟内容；基于第一用户动作或上下文信息中的一个或更多个推断第一用户与第一虚拟内容交互的意图；以及基于对第一用户与第一虚拟内容交互的意图的推断，调整与第二虚拟内容中的一个或更多个相关联的一个或更多个配置。

摘要： 本发明的MR显示装置(1)与其他体验者佩戴的其他MR显示装置连接，彼此共享现实影像和虚拟物体的影像，其包括：从摄像机(10)拍摄的现实影像中识别现实物体，并基于体验者(2)的操作对现实物体关联规定的虚拟物体的控制器(16)；和能够显示所关联的虚拟物体的影像的显示部(13)。控制器经由通信部(64)取得其他MR显示装置生成的现实物体的识别结果和所关联的虚拟物体的数据，将取得的数据与自身的数据合成，并将合成的影像显示在显示部上，并且，能够基于体验者的操作，对显示在显示部上的影像进行要与现实物体关联的虚拟物体的编辑。

摘要： 本发明公开一种用于医学影像图像的混合虚拟现实重合定位件及混合虚拟现实引导方法，混合虚拟现实重合定位件，包括：与患者胸部预设区域贴合的定位件本体(1)，所述定位件本体(1)上设置有至少三个定位点(2)，所述定位件本体(1)根据患者胸部预设区域的人体特征制作得到，且与所述预设区域的人体特征一致。本发明的定位件本体根据患者胸部预设区域的人体特征制作，与患者胸部预设区域贴合，因此无论是术前拍摄还是术中引导，其位置都不会发生偏移，从而使得术前拍摄的医学影像图像能够在术中直接定位，而由于定位件本体是贴合患者胸部预设区域，因此医学影像图像的重合精度得到了极大提高，节省手术时间且提高手术质量。

摘要： 一种混合现实显示设备包括输入系统、显示器以及图形处理器。输入系统被配置成接收参数值，该参数值是可由输入系统接收的预定范围的多个值之一。显示器被配置成显示增加对混合现实显示设备的用户所查看的现实世界环境的扩充的虚拟图像内容。图形处理器在操作上耦合至输入系统和显示器；它被配置成渲染虚拟图像内容以可变地改变该扩充，与参数值相关地可变地改变现实世界环境的所感知的真实度。

摘要： 一种混合现实组件包含一弧形镜、一显示设备、一运动感测模块以及一显示控制模块。显示设备位于弧形镜的焦距范围内。显示设备具有朝向弧形镜的显示面。运动感测模块用以感测实体对象的运动。显示控制模块用以根据被感测到的实体对象的运动控制显示面上的显示影像。

摘要： 公开了利用远程传感器和本地传感器作为输入设备的混合现实计算设备的示例。在一个示例中，一种混合现实计算设备包括图像传感器、远程输入设备、处理器、以及包括存储的指令的存储。所存储的指令可由该处理器执行以进行以下操作：基于来自该图像传感器的输出执行对象运动跟踪和环境跟踪，以及响应于检测到该远程输入设备处于使用中而在维持环境跟踪的同时调整运动跟踪的参数。

摘要： 本说明书公开了基于混合现实的操控方法、混合现实设备及手术机器人。通过渲染虚拟控制台，并投射在执行手术的用户佩戴的混合现实设备上，以展示给用户，并监测用户对虚拟控制台的手势操作，确定用户操作的虚拟控制台中控制器标识，根据该控制器标识以及手势操作，向手术机器人发送控制指令，使手术机器人根据控制指令运行以执行手术。能够通过与作为控制设备的混合现实设备无接触的方法，操控混合现实设备渲染的虚拟控制台，实现对手术机器人的控制，且对虚拟控制台的控制不会受无菌膜限制而不灵活，也不会存在由于手动操作损坏无菌膜的情况，保证了手术过程的安全性。

摘要： 本说明书公开了一种混合现实系统及基于混合现实的标识物配准方法，该混合现实系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线，所述定位装置，用于采集所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系，所述混合现实设备，用于在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。

摘要： 一种混合现实显示设备包括输入系统、显示器以及图形处理器。输入系统被配置成接收参数值，该参数值是可由输入系统接收的预定范围的多个值之一。显示器被配置成显示增加对混合现实显示设备的用户所查看的现实世界环境的扩充的虚拟图像内容。图形处理器在操作上耦合至输入系统和显示器；它被配置成渲染虚拟图像内容以可变地改变该扩充，与参数值相关地可变地改变现实世界环境的所感知的真实度。

摘要： 本申请实施例公开了一种对混合现实三维场景进行编辑的方法及混合现实设备，用于在混合现实系统中对真实场景进行编辑。本申请实施例包括：混合现实设备根据采集到的真实场景的点云数据建立该真实场景的三维模型，并在接收到用户的交互指令之后，确定该交互指令对应的目标物体的三维模型，根据交互指令控制目标物体的三维模型的显示效果。因此，用户可以对真实场景的三维模型中目标物体的三维模型的显示效果进行控制和操纵，从而提升用户使用混合现实设备的体验感，增强用户体验。