再生多个虚拟现实影像以改善特定区域的画质的虚拟现实影像再生装置及虚拟现实影像生成方法

摘要

本发明提供一种再生多个虚拟现实影像以改善特定区域的画质的虚拟现实影像再生装置，其特征在于，包括：影像输入部，用于接收从一个原始影像拼接而成的多个虚拟现实影像，上述原始影像是为了实现虚拟现实而生成的；多渲染部，用于渲染多个虚拟现实影像；同步部，生成用于同步多个虚拟现实影像的同步信息；以及影像再生部，利用同步信息来再生经同步的多个虚拟现实影像。

说明书

技术领域

本发明涉及虚拟现实装置。

背景技术

在以往的虚拟现实(Virtual Reality)技术中，如何克服画质劣化成为一种难题。

为了实现虚拟现实，需要使用多个摄像机从360度全方位拍摄影像之后，将其拼接(stitching)来制作原始影像。但是，将原始影像拼接为4K画质并不意味着用户观看的画质为4K级别。这是因为原始影像覆盖所有360度，因此用户实际观看的影像为HD级别以下。例如，若1080像素中包括覆盖180度的影像，则实际对应于1度的影像存储在6像素中，因而实现质量非常低的影像。

因此，为了解决上述问题，本发明的发明人经过长期研究和反复试验完成了本发明。

发明内容

技术问题

为了解决如上所述的问题，本发明从一个原始影像拼接多个虚拟现实影像。

多个虚拟现实影像包括：广域影像，通过对原始影像的全部或一部分进行拼接而成；以及补丁影像，通过拼接比广域影像窄的区域来形成。本发明通过在广域影像上重叠至少一个补丁影像来进行再生。在优选实施例中，补丁影像可具有比广域影像更高的画质。因此，当用户注视与补丁影像对应的区域时，会观看到高画质的影像。另一方面，由于在补丁影像之外的区域中同步再生广域影像，因而即使用户的视线脱离补丁影像也不会中断影像。

并且，多个虚拟现实影像包括将原始影像分割为N个的多个分割影像。多个分割影像可以相互不重叠或有意地与规定区域重叠，多个分割影像相互同步再生。

假设分辨率相同，则拼接一部分的影像的画质高于拼接整个原始影像的画质。因此，分割影像在制作高画质影像方面更为有利。

本发明除了同步再生的广域影像、补丁影像、分割影像之外，还可包括异步再生的内容。在下文中，将其称为异步内容。制作虚拟现实影像的制作者可通过在多个虚拟现实影像中的一个虚拟影像上表现出异步内容来实现更多种表现方式。

另一方面，在可从以下详细描述及其效果容易推论的范围内，可进一步考虑本发明的未明示的其他目的。

技术方案

根据本发明的第一方面，提供一种再生多个虚拟现实影像以改善特定区域的画质的虚拟现实影像再生装置，其特征在于，包括：影像输入部，用于接收从一个原始影像拼接而成的多个虚拟现实影像，上述原始影像是为了实现虚拟现实而生成的；多渲染部，用于渲染多个虚拟现实影像；同步部，生成用于同步多个虚拟现实影像的同步信息；以及影像再生部，利用同步信息来再生经同步的多个虚拟现实影像。

在优选实施例中，影像再生部包括：广域影像再生部，用于再生包含在多个虚拟现实影像中的广域影像；以及补丁影像再生部，用于在广域影像上重叠包含在多个虚拟现实影像中的补丁影像并再生，优选地，补丁影像是将广域影像的一部分区域用不同画质表现的影像。

在优选实施例中，影像再生部包括用于再生包含在多个虚拟现实影像中的分割影像的多个分割影像再生部，优选地，分割影像是将一个原始影像分割为N个区域的影像。

在优选实施例中，影像再生部包括多个分割影像再生部，上述多个分割影像再生部以相互重叠的方式再生包含在多个虚拟现实影像中的分割影像，优选地，分割影像是将一个原始影像分割为N个区域且规定的区域相互重叠的影像。

在优选实施例中，优选地，还包括根据用户的视线选择所要再生的虚拟现实影像并将其提供给影像再生部的再生影像选择部。

在优选实施例中，优选地，还包括异步内容显示部，上述异步内容显示部用于在多个虚拟现实影像中的一部分区域显示根据与同步信息无关的触发信息来操作或再生的异步内容。

在优选实施例中，优选地，同步部根据多个虚拟现实影像中最后解码的虚拟现实影像来生成同步信息。

根据本发明的第二方面，提供一种再生多个虚拟现实影像以改善特定区域的画质的虚拟现实影像生成方法，其特征在于，包括从一个原始影像生成多个虚拟现实影像的多画质虚拟现实影像生成装置执行的如下步骤：(a)影像输入步骤，接收原始影像以实现虚拟现实；(b)广域影像生成步骤，对覆盖原始影像的整个区域的广域影像进行拼接；以及(c)补丁影像生成步骤，对覆盖原始影像的一部分区域的补丁影像进行拼接。

根据本发明的第三方面，提供一种再生多个虚拟现实影像以改善特定区域的画质的虚拟现实影像生成方法，其特征在于，包括从一个原始影像生成多个虚拟现实影像的多画质虚拟现实影像生成装置执行的如下步骤：(a)影像输入步骤，接收原始影像以实现虚拟现实；(b)分割区域生成步骤，将原始影像分为不重叠的N个(N为2以上的自然数)分割区域；以及(c)分割影像生成步骤，对分别对应于N个分割区域的N个分割影像进行拼接。

发明的效果

本发明具有可从一个原始影像生成多个虚拟现实影像的效果。

本发明具有如下效果：可在广域影像上再生经同步的补丁影像。制作者可在原始影像中选择必要部分并将其制成补丁影像，可将补丁影像制成具有比广域影像更高的画质。因此，例如，当制作诸如表演、演讲之类的实现主要停留在前面部的虚拟现实内容时，可以将仅一部分区域生成为高画质的补丁影像。

并且，本发明具有如下效果：可以生成将原始影像分割为N个的分割影像。被分割的N个分割影像可以具有互不相同的画质。因此，在此情况下，例如，当制作诸如表演、演讲之类的实现主要停留在前面部的虚拟现实内容时，可以将仅一部分区域生成为高画质的分割影像。

并且，本发明具有如下效果：除了同步再生的广域影像、补丁影像，分割影像之外，还可包括异步再生的内容。制作虚拟现实影像的制作者可通过在多个虚拟现实影像中的一个虚拟影像上表现出异步内容来实现更多种表现方式。例如，当用户的视线注视配置有异步内容的区域时，与再生中的多个虚拟现实影像无关的另外的异步内容被激活。异步内容除了影像之外，还可以是诸如规定的操作，事件弹出之类的各种内容。

另一方面，需要补充的是，即使是在此未明确提及的效果，根据本发明的技术特征而预期的以下说明书中所记载的效果及其潜在效果也应视为与本发明的说明书中所记载的效果同等。

附图说明

图1为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。

图2为用于说明本发明的分割影像的另一实施例的图。

图3为用于示出本发明的虚拟现实影像再生装置的优选实施例的图。

图4为用于示出本发明的同步部的优选实施例的图。

图5为用于示出本发明的虚拟现实影像生成方法的优选实施例的图。

需要说明的是，附图是为了理解本发明的技术思想而作为参照例示的，而本发明的发明要求保护范围不限于此。

具体实施方式

在说明本发明的过程中，当判断为相关的公知功能作为本发明所属技术领域的普通技术人员显而易见的功能，对其的描述有可能不必要地混淆本发明主旨时，将省略其详细说明。

在本发明中，多个虚拟现实影像是从原始影像拼接而成的影像，是包括广域影像、补丁影像、分割影像的概念。

图1为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。

利用图1的(a)部分来说明本发明的广域影像和补丁影像的概念。假设将整个360度虚拟现实区域10表现为球体，则广域影像V

补丁影像V

补丁影像V

补丁影像V

异步内容V

异步内容V

将利用图1的(b)部分描述本发明的分割影像V

在一实施例中，分割影像V

多个分割影像V

图2为用于说明本发明的分割影像的另一实施例的图。

在另一实施例中，分割影像V

例如，覆盖180度的4个分割影像可以相互重叠90度(V

当以如上所述的方式重叠分割影像时，可以减少再生的分割影像的数量。显然，所要同步的分割影像的数量也会减少。因此，减轻系统的负担。

并且，重叠分割影像具有如下优点，即，当用户的视线快速变化时，不必根据分割影像中的用户的视线严格控制分割影像的开启或关闭(on/off)操作。例如，即使关闭V

图3为用于示出本发明的虚拟现实影像再生装置的优选实施例的图。

虚拟现实影像再生装置是向用户再生虚拟现实影像的装置，其可以是佩戴在用户头部的可穿戴装置，但不限于此。

如图3所示，本发明的虚拟现实影像再生装置100可以包括影像输入部110、多渲染部120、同步部130、影像再生部140、再生影像选择部150、视线信息生成部160及异步内容显示部170。

影像输入部110接收从为实现虚拟现实而生成的一个原始影像拼接而成的多个虚拟现实影像。多渲染部120渲染多个虚拟现实影像。同步部130生成用于同步多个虚拟现实影像的同步信息。影像再生部140利用同步信息来再生经同步的多个虚拟现实影像。

在一实施例中，影像再生部140可以包括：广域影像再生部，用于再生包含在多个虚拟现实影像中的广域影像；以及补丁影像再生部，用于在广域影像上重叠包含在多个虚拟现实影像中的补丁影像并再生。补丁影像是表现出比广域影像小的区域的影像。

在另一实施例中，影像再生部140可以包括用于再生包含在多个虚拟现实影像中的分割影像的多个分割影像再生部。多个分割影像再生部可以重叠并再生相互重叠的分割影像。再生影像选择部150根据需要确定多个补丁影像或多个分割影像的开启或关闭。在优选实施例中，再生影像选择部150通过对与用户视野的视场有关的信息和与补丁影像或分割影像的再生位置有关的信息进行比较，来判断在该视场中再生的补丁影像或分割影像为何种影像。再生影像选择部150将与脱离用户视场的影像有关的信息提供给影像再生部140，以能够关闭脱离用户视场的影像的再生。

视线信息生成部160通过测量用户的视线所在的视线坐标，并以视线坐标为中心确定用户可以识别的区域(用户的视场)。

异步内容显示部170在多个虚拟现实影像中的一部分区域显示异步内容。异步内容显示部170与多个虚拟现实影像的同步信息无关地根据独立的触发信息来操作或再生。与用户能够根据用户的视线坐标或以视线坐标为中心识别的区域(用户的视场)相关地确定触发信息。在优选实施例中，当从视线信息生成部160接收用户的视线坐标并将其与显示异步内容的区域进行比较来可使用户的视线或视场识别异步内容时，异步内容显示部170可以操作或再生异步内容。

图4为用于示出本发明的同步部的优选实施例的图。

同步部根据多个虚拟现实影像中最后解码的虚拟现实影像来生成同步信息。例如，假设多个补丁影像V

图5为用于示出本发明的虚拟现实影像生成方法的优选实施例的图。

在图5的虚拟现实影像生成方法中，从一个原始影像生成多个虚拟现实影像的多画质虚拟现实影像生成装置成为执行主体。

首先，执行为了实现虚拟现实而接收原始影像的影像输入步骤(步骤S1100)。判断是生成补丁影像还是生成分割影像(步骤S1200)。

在生成补丁影像的情况下，首先执行对覆盖原始影像的整个区域的广域影像进行拼接的广域影像生成步骤(步骤S1300)。

在确定需要生成几个补丁影像、将原始影像中的哪个区域生成为补丁影像、如何处理补丁影像的画质之后，执行对覆盖原始影像的一部分区域的补丁影像进行拼接的补丁影像生成步骤(步骤S1400)。

在生成分割影像的情况下，在执行确定需要生成几个分割影像，使每个分割影像覆盖原始影像的哪个区域，如何处理分割影像的画质的分割区域生成步骤(步骤S1500)之后，执行对与N(N为大于1的自然数)个分割区域分别对应的N个分割影像进行拼接的分割影像生成步骤(步骤S1600)。