一种全景虚拟现实漫游中的流媒体应用方法

摘要

本发明涉及一种全景虚拟现实漫游中的流媒体应用方法，将融合有附加信息的全景流媒体应用于全景虚拟漫游，并实现连续视点的全景虚拟漫游，步骤包括：1)利用流媒体视频压缩编码方式对图像数据进行压缩编码，对附加信息进行融合；2)确定用户漫游起始地点，通过查询数据库，为客户端返回相应的流媒体文件信息，对流媒体文件进行解析，并建立用于缓冲区管理的数据结构；3)显示全景图像及附加信息，在全景虚拟漫游中对每帧全景图像对应的附加信息进行连续视点显示。本发明将全景图像和附加信息压缩成流媒体格式，克服了传统的基于网络的全景虚拟漫游的不足，缩短了用户等待时间，为全景虚拟现实漫游的网络数据传输提供了一条新的技术路线。

说明书

技术领域

本发明涉及流媒体技术、互联网技术以及虚拟现实技术，具体地说是一种全景虚拟现实漫游中的流媒体应用方法。

背景技术

在现有技术中，流媒体又叫流式媒体，它应用于视频点播和视频会议等，其传送方法为：用一个视频传送服务器把节目当成数据包发出，传送到网络上。用户通过解压设备对这些数据进行解压后，节目就会以发送前的状态进行显示。

流媒体是一种新的媒体传送方式。流式传输方式则是将整个A/V及3D等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备(硬件或软件)对压缩的多媒体文件解压后进行播放。此时多媒体文件的剩余部分将在后台的服务器内继续下载。

与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。然而，目前流媒体传送方法还没有应用到基于全景图像的虚拟现实漫游中。

基于全景图像的虚拟现实是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式。美国Google公司推出的街景(Street View)、美国EveryScape公司提供的在线地图服务以及英国Seety公司的London Streetby Street等都采用了这种方法。全景数据是以图像的形式存在的，其传输方式为：服务器端将全景图像分割为若干个子图像传输到客户端，并且用户可见区的子图像优先传输，使用户能够尽快地观察到虚拟场景。

目前这种全景数据传输方式的不足在于：海量图像数据的网络传输对服务器性能要求较高，数据传输量较大，网络负担较重，对带宽要求较高，客户端需等待很长时间才能进行漫游，并且无法实现基于连续视点的漫游，现实沉浸感差；虚拟环境只单纯地提供全景图像信息显示，缺乏必要的标识，其他环境相关信息不丰富，无法辅助和引导用户观察浏览，并搜索和了解感兴趣的信息。

随着人们需求的不断提高，人们更希望构建出一个连续漫游、信息丰富以及交互性强的虚拟环境。那么如何快速有效地将构建虚拟现实环境所需要的相关信息传递到客户端并显示，增加用户体验的真实感，将成为一个亟待解决的问题。

发明内容

为了克服现有技术中数据传输量大、网络负担重、图像信息不丰富等不足，本发明要解决的技术问题是提供一种数据传输量小的同时网络负担小且图像信息丰富的全景虚拟现实漫游中的流媒体应用方法。

为了实现上述目的，本发明采用的技术解决方案是：

本发明一种全景虚拟现实漫游中的流媒体应用方法，将融合有附加信息的全景流媒体应用于全景虚拟漫游，并实现连续视点的全景虚拟漫游，步骤包括：

1)全景流媒体的制作

利用流媒体视频压缩编码方式，对准备制作全景流媒体的图像数据进行压缩编码，同时对准备制作全景流媒体的附加信息进行融合，制作流媒体文件；

2)全景流媒体的传输

确定用户漫游起始地点，客户端向Web服务器提出漫游请求，Web服务器接收并响应请求，通过查询数据库，为客户端返回相应的流媒体文件信息；然后客户端与流媒体服务器建立网络连接，由客户端通过网络数据传输协议接收融合了附加信息的流媒体文件，并存储至缓冲区；对流媒体文件进行解析，并建立用于缓冲区管理的数据结构；

3)全景流媒体的显示

显示全景图像及附加信息，在全景虚拟漫游中对每帧全景图像对应的附加信息进行连续视点显示。

所述全景流媒体制作的数据准备包括：

采集原始数据：首先采集原始数据(包括全景图像，和与全景图像对应的地理信息)，全景图像存储至全景图像存储单元，将地理信息存储至数据库，并为每帧全景图像与地理信息建立一一对应关系表。

编辑全景图像：删除数据库中冗余图片记录及相应的地理信息，使相邻全景图像间留有用于保证漫游平滑度的地理间距，并通过调节图像参数使图像清晰且颜色分明；

添加附加信息：对全景图像添加附加信息，保存至数据库。

所述全景流媒体的制作步骤中的附加信息内容包括：对图像中包含的场景事物的描述、地理信息、指示牌、标签、3D实体信息、互联网链接地址。

所述全景流媒体的制作中的融合具体步骤包括：对流媒体全景图像压缩编码参数进行设置；对全景图像进行编码，与此同时在每帧的帧头数据和帧数据之间加入该帧附加信息，得到融合了附加信息的流媒体文件，并储存至磁盘存储空间。

所述流媒体文件由帧头数据、附加信息和帧数据组成，其中附加信息包括控制信息、地理信息和标识信息三部分组成。

所述全景流媒体的传输中流媒体文件数据解析步骤具体为：

提取附加信息：先根据融合了附加信息的流媒体文件结构，通过识别帧头数据，确定附加信息数据起始位置；根据附加信息中控制信息的总字节数，以二进制方式读取控制信息；再根据控制信息中的附加信息数据总字节数，从附加信息数据起始位置开始，以二进制方式读取完整的附加信息；

计算流媒体文件中帧数据在缓冲区中的首、尾地址：利用每帧的帧头数据在缓冲区中的起始位置，加上帧头数据字节数及附加信息数据总字节数，得到该帧帧数据在缓冲区中的起始地址，用该起始地址加上帧数据字节数，得到帧数据在缓冲区中的结束地址；

将上述提取出的每帧的附加信息以及通过计算得到的帧数据在缓冲区中的首、尾地址保存至缓冲区数据结构。

用于管理接收到的融合有附加信息的流媒体文件的缓冲区的数据结构包括循环链表或哈希表，使缓冲区数据结构中的记录与缓冲区中流媒体每一帧具有一一对应关系。

全景流媒体的显示步骤中所述漫游是通过根据缓冲区数据结构中记录的帧数据的首、尾地址获得每一帧的帧数据，再对每一帧的数据进行连续解码，并从缓冲区数据结构中连续获得附加信息，得到每一帧解码后的全景图像和附加信息，再采用纹理替换的方法改变全景环境，同时更新显示全景图像对应的附加信息，使用户产生连续向前或向后移动的感觉，实现基于移动视点的连续漫游。

所述全景流媒体的显示步骤中附加信息的显示形式包括具有不同样式及颜色的路标、指示牌、标签、链接。

与现有技术相比，本发明具有如下有益效果：

1.信息量大，数据传输量小，网络负担小，减小了网络延时。本发明将全景图像和附加信息压缩成流媒体格式，克服了传统的基于网络的全景虚拟漫游的不足，可以将全景数据和其他附加信息快速地传送到客户端，缩短了用户等待时间，为基于地理信息的连续视点全景虚拟现实漫游的数据传输提供了一条新的技术路线。

2.全景信息丰富。本发明采用全景图像与附加信息融合的方法，根据客户端请求，将两者同时发送到用户，在提供全景图像的同时，在全景空间中根据附加信息添加相应的实体，丰富了全景信息。

3.界面友好，操作简单。用户可以通过鼠标、键盘、游戏手柄等外部设备，选择漫游地点及动作，在具有高度沉浸感的全景虚拟现实环境中进行连续视点浏览，并根据环境中的附加信息，对感兴趣的信息进行直观了解。

附图说明

图1为全景图像数据与地理信息数据流结构图；

图2为全景流媒体制作流程图；

图3为流媒体文件结构示意图；

图4为缓冲区数据结构原理示意图。

具体实施方式

下面结合实施例和附图对本发明作详细说明。

如图1所示，本实施例采用的系统结构包括：由Web服务器11、数据库12、流媒体服务器13组成的服务器，基于网络数据传输协议14(RTSP、FTP或HTTP等)传输的网络，3D显示前台15和地理信息前台16的客户端。客户端将选择的地理位置信息通过网络传送到Web服务器，Web服务器根据请求查询数据库12，传回与当前地理位置最接近的全景图像对应的流媒体文件的访问地址，以及在流媒体文件中的偏移量(本实施例采用的是FTP传输协议，此偏移量表示待传数据在流媒体文件中的起始位置距离文件头部的字节数)，然后客户端与流媒体服务器13建立连接，接收流媒体文件数据，进行解析并显示。

Web服务器11采用系统Windows Server 2003自带IIS6.0的方式架设，主要是接收用户的漫游信息，查找数据库12，返回相应的流媒体文件路径和在流媒体文件的中偏移量。

数据库12可采用SQL Server、Oracle或Sybase等数据库，本实施例中采用的是SQL Server，在数据库中建立全景图像表。全景图像表中包括地理信息、所在流媒体路径和在流媒体文件中的偏移量三个字段。当客户端通过网络向服务器发送想要漫游的地理位置时，在数据库12中查找全景图像表，传回与当前地理位置最接近的全景图像对应的流媒体文件的访问地址和在流媒体中的偏移量，并通过网络将其传回客户端。

流媒体服务器13根据客户端请求，将指定的流媒体文件进行打包，通过网络传输到客户端。用户可以通过客户端的3D显示前台15控制接口，向服务器发送播放、暂停、停止等请求，实现对流媒体传输的控制。

3D显示前台15是利用OpenGL或Direct3D等3D图形程序接口以控件的形式嵌入到网络浏览器中。通过网络数据传输协议14，如RTSP、FTP或HTTP等，客户端向流媒体服务器13发送数据请求。

地理信息前台16以二维电子地图形式(如Google Maps或MapABC等)嵌入网络浏览器。二维电子地图可通过浏览器网页程序(现有技术)与3D显示前台15中的数据接口函数获取用户当前漫游位置的地理信息。

本发明虚拟现实漫游中的流媒体应用方法，包括以下步骤：

(一)全景流媒体的制作

如图2所示，全景流媒体的制作过程如下：

首先进行全景流媒体制作的数据准备，包括如下步骤：

(1)采集原始数据：首先采集原始数据(包括全景图像，和与全景图像对应的地理信息)，全景图像存储至全景图像存储单元17，将地理信息存储至数据库12(如SQL、Oracle或Sybase等)，并为每帧全景图像与地理信息建立一一对应关系表，用于后续流媒体文件的制作。

(2)编辑全景图像：为减少数据冗余，减轻网络负担，进行全景图像编辑，对全景图像和数据库12进行必要的删除、修改等操作。删除冗余图片及其数据库中相应的地理信息，使相邻全景图像间有适当的地理间距(所述地理间距可以为0.1m～10.0m，本实施例为0.5m)，确保良好的漫游平滑度；通过修改图像的亮度、色调、对比度以及饱和度，使图像清晰，颜色分明。

(3)添加附加信息：为丰富场景内容，在附加信息编辑步骤中，对全景图像中的标志性建筑、人群聚集地区和/或名胜古迹等事物添加附加信息(对图像中包含的场景事物的描述、地理信息、指示牌、标签、3D实体信息、互联网链接地址等)，并将附加信息保存至数据库12，为下一步做好准备。

(4)对全景图像进行编码并与附加信息数据相融合，具体步骤如下：

从数据库中取出编辑后的全景图像和附加信息，利用MPEG-4或H.264等流媒体视频压缩编码方式(本实施例采用压缩比为102∶1的H.264视频编码格式)，将全景图像进行视频压缩编码，同时与附加信息进行融合，制作流媒体文件。

所述视频压缩编码及与附加信息进行融合的具体步骤为：本实施例中，在视频压缩编码前对H.264流媒体编码参数(如帧率、码率、最大关键帧间隔等)进行设置，以保证流媒体图像质量。在进行全景图像编码的过程中，在每帧数据的帧头数据和帧数据之间加入和流媒体文件相关的控制信息(包括帧号、帧类型、附加信息数据总字节数、帧数据字节数等信息，用于后续网络传输及本地显示过程中对流媒体文件的显示控制)、地理信息以及对应帧中包含的其他附加信息(如标识等)；最后将融合了附加信息的流媒体文件存储至数据库12。

附加信息包括：对图像中包含的场景事物的描述、地理信息、指示牌、标签、3D实体信息、互联网链接地址。

上述融合了附加信息的流媒体文件结构如图3所示，流媒体文件由帧头数据、附加信息和帧数据组成(顺序不限，本实施例为其中一例)，其中附加信息包括控制信息、地理信息和标识信息三部分组成。

(二)全景流媒体的传输

确定用户漫游起始地点：用户通过检索或直接选择等方式(如通过地理信息前台16即二维地图点击选取)，确定漫游起始地点的地理信息(如经、纬度坐标等)，并由客户端将此地理信息发送给Web服务器11，提出漫游请求，等待Web服务器11的回复。

流媒体文件传输：Web服务器11接收并响应客户端请求后，对数据库12进行查询，为客户端返回相应的流媒体文件信息(包括流媒体文件访问地址、用户选定位置在流媒体文件中对应的偏移量)；客户端向流媒体服务器13发送下载请求，与流媒体服务器13建立网络连接，通过网络数据传输协议14(HTTP、FTP或RTSP等)接收融合了附加信息的流媒体文件。

客户端接收并管理数据：客户端开启缓冲区，用以接收从流媒体服务器传输的融合了附加信息的流媒体文件，并在获得流媒体文件数据的同时对其进行解析，按照流媒体文件数据融合的格式(如图3所示)读取附加信息，并利用该附加信息在3D显示前台15中建立缓冲区数据结构(用于管理缓冲区接收到的融合了附加信息的流媒体文件数据)。其中，设计缓冲区数据结构时可以采用循环链表或哈希表等方案，保证数据结构中的记录与缓冲区中流媒体帧数据为一一对应关系，以便对缓冲区进行维护。

如图4所示，本实施例使用双向循环链表作为缓冲区数据结构，其体建立过程为：通过对从服务器获得的流媒体文件进行解析，通过提取附加信息，获得每帧的控制信息(包括帧号、帧类型、附加信息数据总字节数、帧数据字节数)、地理信息和标识信息等，并根据控制信息计算得到该帧的帧数据在缓冲区中的首、尾地址；建立链表节点保存这些信息，并按照帧数据起始位置先后顺序将此节点插入链表。

上述解析和提取过程中，本实施例根据融合了附加信息的流媒体文件结构(如图3所示)，通过识别帧头数据，确定附加信息数据起始位置；根据附加信息中控制信息的总字节数，以二进制方式读取控制信息；再根据控制信息中的附加信息数据总字节数，从附加信息数据起始位置开始，以二进制方式读取完整的附加信息。

所述根据控制信息计算得到该帧的帧数据在缓冲区中的首、尾地址过程为：如图3所示，本实施例利用每帧帧头数据在缓冲区的起始位置加上帧头数据字节数及附加信息数据总字节数，得到该帧帧数据在缓冲区中的起始地址，此地址再加上帧数据字节数，得到帧数据在缓冲区中的结束地址，即下一帧的帧头数据起始地址。

(三)全景流媒体的显示

显示全景图像及附加信息，在全景虚拟漫游空间中对每帧全景图像对应的附加信息进行连续视点显示，具体为：

流媒体解码：通过查询上述缓冲区数据结构，找到待显示图像的对应记录(因为本实施例缓冲区数据结构为双向循环链表，故此处的记录具体为链表中的节点)，从中获得该帧的类型及其帧数据在缓冲区中的首、尾地址。根据此首、尾地址从缓冲区中获取该帧的帧数据，送入与流媒体编码相匹配的解码器进行解码(因为本实施例使用H.264格式进行流媒体编码，故此处使用H.264解码器进行连续解码)，获得该帧的全景图像。

全景图像及附加信息显示：利用3D图形程序接口(如OpenGL、Direct3D等)，创建一个全景虚拟现实空间(可为球形、柱形、立方体等)。本实施例利用现有技术，使用OpenGL创建球形全景虚拟现实空间。

利用3D图形程序接口(本实施例使用OpenGL)将流媒体解码得到的全景图像纹理映射到球形全景虚拟现实空间中，同时在球形全景虚拟现实空间中对每帧全景图像对应的附加信息(直接从缓冲区数据结构中获得，本实施例即从链表内待显示帧对应的节点中获得)进行显示。表现的形式(如路标、指示牌、各种标签、链接等)及颜色、样式等属性根据附加信息中包含的样式信息确定。

连续漫游过程(连续前进或后退)，根据缓冲区数据结构，连续对每帧的数据进行解码，并从缓冲区数据结构中获得附加信息，得到每帧解码后的全景图像和附加信息，采用纹理替换的方法改变全景环境，同时更新显示全景图像对应的附加信息(地理信息、标识信息)，使用户产生连续向前(或向后)移动的感觉。

地理信息前台16以二维电子地图形式(如Google Maps或MapABC等)嵌入网络浏览器。二维电子地图可通过浏览器网页程序(现有技术)与3D显示前台15中的数据接口函数获取用户当前漫游位置的地理信息。实现基于地理信息的连续视点全景漫游。

综上所述，本发明将流媒体技术应用于全景虚拟现实漫游中时，将全景图像和附加信息压缩成流媒体格式，克服了传统全景虚拟漫游的不足，可以将大量的全景数据和附加信息同时通过网络快速地传送到客户端，满足多用户同时对服务器发送请求，用户边使用边下载，最大程度上减小了网络延时，缩短了用户的等待时间。由于本发明将全景图像和附加信息压缩成流媒体格式，在相同带宽条件下，客户端可以获得更大的信息量，而数据传输量却很小，从而实现了基于地理信息的连续视点全景虚拟现实漫游。

以上实施例仅供说明本发明的具体实现方法，而非对本发明保护范围的限制，有关技术领域人员在不脱离本发明的技术精神和保护范围的情况下，还可以做出各种变换和变形，因此所有等同变形的技术方案也应该属于本发明权利要求保护的范畴之内。