一种在多媒体资源中存取地理位置信息的方法

摘要

本发明通过获取多媒体资源采集过程中的地理位置信息和时间信息，生成与多媒体资源文件类型对应的地理位置信息元数据；根据判断出的多媒体资源文件类型确定其可扩展字段集，依据可扩展字段集中各字段的占用标识符确定出其中可用的可扩展字段；在多媒体资源文件中，对确定的可用可扩展字段添加地理位置信息标识符和地理位置信息元数据；从而实现多媒体资源文件中地理位置信息的嵌入。基于所述的地理位置信息标识符、所述的可用可扩展字段和所述的与多媒体资源文件类型对应的地理位置信息元数据，实现在多媒体资源文件中地理位置信息的读取，以及在多媒体资源文件格式转换和编辑中地理位置信息的完整转递。

说明书

技术领域

本发明涉及一种在多媒体资源文件中存取地理位置信息，并在多媒体资源文件转换中完整转递地理位置信息的方法。该发明为基于地理位置信息的多媒体资源的新型管理和查询提供了基础和必要支持，属于多媒体技术领域。

背景技术

全球定位系统(Global Positioning System，简称GPS)是一个由美国政府于20世纪70年代开始研制并于1994年全面建成的中距离圆型轨道卫星导航系统。当前，GPS已广泛应用于导航、交通、设备管理、安全等领域；同时越来越多的数字设备已开始支持GPS，例如：PDA、DC、移动电话等。

随着多媒体技术的成熟与发展，种类繁多(音频、视频、图片、文本、动画)、格式各异(以音/视频为例，AVI、ASF、MP4、MOV、RM、3GP)的多媒体资源被大量地产生和使用，如何有效、便捷地管理这些多媒体资源日益困难。

GPS信息提供了全球精确唯一的空间地理位置信息和时间信息，以其作为多媒体资源集成和整合的基础媒介具有无可替代的优势。

当前，GPS信息与多媒体资源的直接集成与应用尚处于初始阶段。目前的应用多是基于GPS信息与多媒体资源的间接关联与集成。首先提取图片或者视频的Thumbnail，然后通过使用数据库进行GPS和多媒体资源的间接关联。直接集成技术目前主要限于特定图片格式的GPS嵌入与读取。例如EXIF2(Exchangeable image file format)给出在定制的图片格式中嵌入和读取GPS信息的方法。

本发明提供一种GPS信息与多媒体资源(图片、音/视频)的直接集成技术。通过本发明可实现对多种图片和音/视频格式(JPEG、AVI、ASF、3GP等)的地理位置信息的直接嵌入和读取；可实现地理位置信息与音视频的实时同步重演；可实现音视频格式转换、编辑过程中的地理位置信息保留。

发明内容

本发明的目的是提供一种在多媒体资源文件中嵌入与读取地理位置信息，并在多媒体资源文件格式转换和编辑中完整转递地理位置信息的方法。

基于以上发明目的，本发明提供一种在多媒体资源文件中嵌入地理位置信息的方法，其特征在于包括以下步骤：

步骤一：获取与多媒体资源文件相关的地理位置信息和时间信息，依据所获取的所述信息生成与多媒体资源文件类型对应的地理位置信息元数据；

步骤二：判断所述多媒体资源文件的类型，根据判断出的多媒体资源文件类型确定所述多媒体资源文件中的可扩展字段集，依据所述可扩展字段集中各字段的占用标识符确定其中可用的可扩展字段；

步骤三：在所述多媒体资源文件中，对确定的可用可扩展字段添加地理位置信息标识符和所述地理位置信息元数据。

如上所述的嵌入地理位置信息的方法，其特征在于：多媒体资源文件相关的地理位置信息和时间信息是指该多媒体资源采集时的地理位置信息和时间信息。

如上所述的嵌入地理位置信息的方法，其特征在于：

a)对于图片类型的资源文件，所述地理位置信息元数据指采集时刻的经度、纬度、海拔高度、日期、时间、采集角度和版本信息

b)对于音/视频类型的资源文件，考虑连续采集的时序性和动态性，所述地理位置信息元数据包括：采集开始时刻的经度、纬度、海拔高度、日期、时间、采集角度、版本信息、运动速度和前进角度，以及采集过程中若干个相对于开始时刻的相对经度、相对纬度、相对海拔高度、相对时间、相对采集角度、相对运动速度和相对前进角度

如上所述的嵌入地理位置信息的方法，其特征在于：对于音/视频类型的资源文件，考虑采集过程中运动速度的不确定性，采用非固定时间间隔来生成地理位置信息元数据，即当相对经度、相对纬度和相对海拔高度的变化超过设定的阈值时，生成新的地理位置信息元数据。

如上所述的嵌入地理位置信息的方法，其特征在于：对于JPEG格式的图片资源文件，段标识确定为APPn的所有应用段为其可扩展字段集；对于AVI格式的音/视频资源文件，扩展Lists为其可扩展字段集；对于ASF格式的音/视频资源文件，Other Header Ojects对象组为其可扩展字段集；对于3GP格式的音/视频资源文件，mdat文本类型包为其可扩展字段集。

如上所述的嵌入地理位置信息的方法，其特征在于：将所述地理位置信息元数据加入到确定的可用可扩展字段中是指：

a)将所述的与图片类型对应的地理位置元数据添加到图片资源文件的被确定的可用可扩展字段中

b)将所述的与音/视频类型对应的地理位置元数据添加到音/视频资源文件的被确定的可用可扩展字段中

基于以上发明目的，本发明提供一种在多媒体资源文件中读取地理位置信息的方法，其特征在于包括以下步骤：

步骤一：接受多媒体资源文件，判断所述多媒体资源文件的类型，根据判断出的多媒体资源文件类型确定所述多媒体资源文件中的可扩展字段集，依据所述可扩展字段集中各字段的标识符判定是否包含地理位置信息标识符；

步骤二：如所述多媒体资源文件中含有地理位置信息标识符，则到该标识符所指定的可扩展字段中读取与该资源文件类型相匹配的地理位置信息元数据。

基于以上发明目的，本发明提供一种在多媒体资源文件格式转换和编辑中完整转递地理位置信息的方法，其特征在于包括以下步骤：

步骤一：接受被转换或者编辑的源多媒体资源文件，判断所述源多媒体资源文件的文件类型，根据判断出的类型确定文件中的可扩展字段集，依据所述可扩展字段集中各字段的占用标识来判定是否包含地理位置信息标识符；

步骤二：如所述被转换或者编辑的源多媒体资源文件中含有地理位置信息标识符，则到该标识符所指定的可扩展字段中读取与所述源多媒体资源文件类型相匹配的地理位置信息元数据；

步骤三：判断转换或者编辑的目标多媒体资源文件的类型，根据判断出的目标多媒体资源文件类型确定所述目标多媒体资源文件的可扩展字段集，依据所述可扩展字段集中各字段的占用标识确定其中可用的可扩展字段；

步骤四：在所述目标多媒体资源文件中，对确定的可用可扩展字段添加地理位置信息标识符和由所述的源多媒体资源文件中读取出的地理位置信息元数据。

本发明所提供的在多媒体资源文件中嵌入与读取地理位置信息，并在多媒体资源文件格式转换和编辑中完整转递地理位置信息的方法，为基于地理位置信息的多媒体资源的新型管理和查询提供了基础，能满足对海量多媒体数据多层次、多方位管理和查询的需求，具有较好的实用价值。

附图说明

图1是多媒体资源文件中嵌入地理位置信息的流程图；

图2是多媒体资源文件中读取地理位置信息的流程图；

图3是多媒体资源文件格式转换和编辑中转递地理位置信息的流程图；

图4是地理位置信息元数据生成的流程图；

图5是多媒体资源文件类型判定的流程图；

图6是生成音/视频类型对应的地理位置信息元数据的流程图；

图7是确定多媒体资源文件可用可扩展字段的流程图；

图8是嵌入地理位置信息元数据方式选择的流程图；

图9是JPEG文件的地理位置信息元数据嵌入基本流程图；

图10是AVI文件的地理位置信息元数据嵌入基本流程图；

图11是ASF文件的地理位置信息元数据嵌入基本流程图；

图12是3GP文件的地理位置信息元数据嵌入基本流程图；

图13是JPEG文件的地理位置信息元数据读取基本流程图；

图14是AVI文件的地理位置信息元数据读取基本流程图；

图15是ASF文件的地理位置信息元数据读取基本流程图；

图16是3GP文件的地理位置信息元数据读取基本流程图。

具体实施方式

前已述及，本发明在不影响多媒体资源文件正常存取的前提下，利用GPS数据中的地理位置信息和时间信息生成图片资源文件和音/视频资源文件对应的地理位置信息元数据，结合检测到的不同多媒体资源文件中的可用可扩展字段，实现在多媒体资源文件中存取地理位置信息元数据，在多媒体资源文件转换和编辑中完整传递地理位置信息元数据。

下面结合附图说明本发明的实现方式，图1表示了本发明提供的一种在多媒体资源文件中嵌入地理位置信息的方法。该方法包括下述三个步骤：

步骤1，获取与多媒体资源文件相关的地理位置信息和时间信息，依据所获取的上述信息生成与多媒体资源文件类型对应的地理位置信息元数据；

步骤2，判断所述多媒体资源文件的类型，根据判断出的多媒体资源文件类型确定所述多媒体资源文件中的可扩展字段集，依据所述可扩展字段集中各字段的占用标识符确定其中可用的可扩展字段；

步骤3，在所述多媒体资源文件中，对确定的可用可扩展字段添加地理位置信息标识符和所述地理位置信息元数据。

对于步骤1中所指的多媒体资源文件相关的地理位置信息和时间信息，是指该多媒体资源采集时的地理位置信息和时间信息，即多媒体资源采集时的通用GPS信息。

对于步骤1中所指的生成与多媒体资源类型对应的地理位置元数据，是指需要考虑静态图片采集的时间和位置的单一性，动态音/视频采集的连续性和动态性，基于其不同的要求生成与之相对应的地理位置信息元数据。图4给出了生成地理位置信息元数据的具体步骤：

步骤11接受多媒体资源采集时刻的地理位置信息和时间信息，即GPS信息。对于图片资源指采集时刻的GPS信息；对于音视频资源指采集过程中的一系列的GPS信息，这里采用可设固定间隔的方式去获取，例如5s，10s，30s，60s等。

步骤12接受多媒体资源文件判定类型，图5给出了判断和校验多媒体资源类型的具体步骤：步骤121读取多媒体资源文件后缀；步骤122使用得到的文件后缀去检索可扩展图片类型库123和可扩展音/视频类型库124；如果该后缀在123中存在，则初判为图片类型，如果该后缀不存在于123中，就再检索124，如果该后缀在124中存在，则初判为音/视频类型，如果该后缀也不存在于124中，直接结束；对于初判为图片类型的，步骤125使用图片可扩展类型库123进行文件字符码的验证，匹配则确定该多媒体资源文件确实为图片类型，否则直接结束；对于初判为音/视频类型的，步骤126使用音/视频可扩展类型库124进行文件字符码的验证，匹配则确定该多媒体资源文件确实为音视频类型，否者直接结束。

可扩展图片类型库123中存储常用的图片文件格式及其对应的文件后缀，例如JPEG对应JPG、JPEG、JPE或者JFIF后缀，GIF对应GIF，TIFF对应TIF、TIFF，PNG对应PNG。可扩展图片类型库123中还存储常用的图片格式及其对应的文件字符码，例如JPEG的图像文件开始码为0xFFD8，PNG的文件字符码为0x89504E470D0A1A0A。另外，可扩展图片类型库123可以扩展以支持新的图片格式。

可扩展音/视频类型库124中存储常用的音/视频文件格式及其对应的文件后缀，例如，AVI对应AVI后缀，ASF对应ASF、WMV、WMA，3GP对应3GP。可扩展图片类型库123中还存储常用的音/视频文件格式及其对应的文件字符码，例如AVI的文件字符码是四字符码“RIFF”，ASF的文件字符码为128位的ASF_Header_Object值为“75B22630668E11CFA6D900AA0062CE6C“，3GP的文件字符码为其文件头包标识”ftyp”。另外，可扩展音/视频类型库124可以扩展以支持新的音/视频文件格式。

步骤13生成的地理位置信息元数据，是指静态图片类型的资源采集时刻的经度、纬度、海拔高度、日期、时间、采集角度和版本信息。

步骤14生成的地理位置信息元数据，是指对于音/视频类型的资源文件，需考虑连续采集的时序性和动态性，所述的元数据包括：采集开始时刻的经度、纬度、海拔高度、日期、时间、采集角度、版本信息、运动速度和前进角度，以及采集过程中若干个相对于开始时刻的相对经度、相对纬度、相对海拔高度、相对时间、相对采集角度、相对运动速度和相对前进角度。

步骤14，对于音/视频类型的资源文件，考虑采集过程中运动速度的不确定性，采用非固定时间间隔来生成地理位置信息元数据，即当相对经度、相对纬度和相对海拔高度的变化超过设定的阈值时，生成新的地理位置信息元数据。图6给出生成音/视频类型对应的地理位置信息元数据的流程图。

步骤141指的是步骤11中所述的以可设固定间隔的方式，不断的获取地理位置信息和时间信息，即不断的获取GPS信息；

步骤142指计算出相对于上次元数据生成时刻，目前变化的纬度、变化的精度和变化的高度；

步骤143指计算出相对于上次元数据生成时刻的总体变化幅度，具体的计算公式如公式1所示：

$\mathrm{\Delta Total}=\sqrt{\Delta x^2+\Delta y^2+\Delta h^2}---\left(1\right)$

其中Δx为变化的经度对应的地表距离，Δy为变化的纬度对应的地表距离，Δh为变化的高度对应的距离。

设定的变化幅度根据具体应用而定，例如，5米、10米、20米、50米、100米、200米。

对于步骤13和14中生成的地理位置信息元数据，本发明将其分为两部分来进行数据结构的组织：GPSH(GPS Header)中存储基准元数据；GPSI(GPSInformation)中存储相对元数据。

对于图片类型的地理位置信息的元数据仅需一个GPSH即可。

对于音/视频类型的地理位置信息的元数据，其需要一个GPSH和多个GPSI。采集开始时刻的地理位置信息的元数据存储于GPSH中，采集过程中的一系列的相对地理位置信息元数据存储于一系列的GPSI中。

步骤2确定多媒体资源文件中可用的可扩展字段，图7列出了具体步骤：

步骤21接受指定类型的多媒体资源文件，例如，JPEG格式的图片文件，AVI格式的音/视频文件，ASF格式的音/视频文件，3GP格式的音/视频文件。

步骤22根据图片类型的可扩展字段集合库23、音/视频类型的可扩展字段集合库24，确定接受的多媒体资源文件的可扩展字段集。

图片类型的可扩展字段集合库23中存储多种图片格式文件对应的可扩展字段集，例如，对于JPEG格式文件，APPn的所有应用段为其可扩展字段集。23可以被扩展以支持新的图片格式文件。

音/视频类型的可扩展字段集合库24中存储多种音/视频格式文件对应的可扩展字段集，例如，对于AVI格式的音/视频资源文件，扩展Lists是可扩展字段集；对于ASF格式的音/视频资源文件，Other Header Ojects对象组是可扩展字段集；对于3GP格式的音/视频资源文件，mdat文本类型包是可扩展字段集。24可以被扩展以支持新的音/视频格式文件。

步骤25接受步骤22给出的可扩展字段集，在指定类型的多媒体资源文件中依次检索可扩展字段集中的每个可扩展字段。如果所述的可扩展字段在所述多媒体资源文件中出现，则检索其使用标识符，确定其是否被其他应用所占用，如果没有被占用，就确定所述可扩展字段为可用可扩展字段；如果所述的可扩展字段在所述的多媒体资源文件中没有出现，就确定所述可扩展字段为可用可扩展字段。

步骤3在所述多媒体资源文件中，对确定的可用可扩展字段添加地理位置信息标识符和所述地理位置信息元数据。针对可用可扩展字段在多媒体资源文件结构中的分布情况，图8给出了添加所述标识符和元数据的具体方法：

步骤31和32接受多媒体资源文件和其可用可扩展字段。

步骤33判定该可用可扩展字段的可放置位置，某些类型的多媒体资源文件的可用可扩展字段可放置在文件的任意位置，例如，3GP；某些类型的多媒体资源文件的可用可扩展字段需要放置在文件的受限位置，例如，AVI；如果可用可扩展那字段可以放置到文件尾部，则采用步骤34，否则采用步骤35。

步骤34直接嵌入标识符和元数据到所述多媒体资源文件的可用可扩展字段。

步骤35重写新的所述多媒体资源文件，重写过程中添加标识符和元数据到可用可扩展字段。

步骤3中对于JPEG格式的图片类型的多媒体资源文件采用步骤35来添加地理位置信息元数据。

JPEG文件的内容分为很多段来存储的，段的多少和长度不固定，APPn是其被检测到的可扩展字段集。假设某个JPEG格式的多媒体资源文件，APP1为其检测到可用可扩展字段，那么具体的添加方案如图9所示：

1)读取原文件前2个字节，判断是否是JPEG图片格式(0xFFD8)，是则将它们写入新文件并转至2)，否则嵌入失败，嵌入结束；

2)继续读取原文件的8个字节，判断前2个字节是否是应用段APP1(0xFFE1)，如果不是，转至3)，否则，读取接下来的2个字节存为offset(偏移量)，判断后4个字节是否为GPS信息标识(‘gpsl’)，如果是，跳过原文件offset字节，转至3)。否则，转至3)；

3)在新文件中写入JPEGGPSL+GPSH+GPSI，继续读取原文件至结束，全部写入新文件中，嵌入成功，嵌入结束。

步骤3中对于AVI格式的音/视频类型的多媒体资源文件采用步骤35来添加地理位置信息元数据。

AVI文件中的扩展List为其被检测到的可扩展字段集。假设某个AVI格式的多媒体资源文件，首个扩展List为其检测到可用可扩展字段，那么具体的添加方案如图10所示：

1)读取原文件前4个字节，判断是否为AVI文件格式(‘RIFF’)，如果是，将它们写入新文件并转至2)，否则，嵌入失败，嵌入结束；

2)继续读取原文件的4个字节，改变其值(增加所嵌入GPS信息的总字节数)并写入新文件。继续读取原文件的12个字节，改变最后4个字节的值(增加所嵌入GPS信息的总字节数)并写入新文件。读取原文件68个字节(指向avih之后)并写入新文件；

3)在新文件中写入GPSL+GPSH+GPSI，继续读取原文件至结束，全部写入新文件中，嵌入成功，嵌入结束。

步骤3中对于ASF格式的音/视频类型的多媒体资源文件采用步骤35来添加地理位置信息元数据。

ASF文件中的Other Header Ojects对象组为其被检测到的可扩展字段集。假设某个ASF格式的多媒体资源文件，首个Other Header Ojects对象组为其检测到可用可扩展字段，那么具体的添加方案如图11所示：

1)读取原文件前16个字节，判断是否为ASF文件格式(75B22630-668E-11CF-A6D9-00AA0062CE6C)，如果是，将它们写入新文件并转至2)，否则，嵌入失败，嵌入结束；

2)继续读取原文件8个字节，修改其值(增加所嵌入GPS信息的总字节数)，并写入新文件，继续读取原文件4个字节，修改其值(增加1，表示新增了一个Object)，并写入新文件，继续读取106个字节以指向FileProperties Object之后，并写入新文件；

3)在新文件中写入GPSO+GPSH+GPSI，继续读取原文件至结束，全部写入新文件中，嵌入成功，嵌入结束。

步骤3中对于3GP格式的音/视频类型的多媒体资源文件采用步骤34来添加地理位置信息元数据。

3GP文件中的mdat文本类型包为其被检测到的可扩展字段集。假设某个3GP格式的多媒体资源文件，首个mdat文本类型包为其检测到可用可扩展字段，那么具体的添加方案如图12所示：

1)读取原文件前8个字节，取第5至第8字节判断是否为3GP文件格式(‘FTYP’)，如果是，将它们写入新文件并转至2)，否则，嵌入失败，嵌入结束；

2)将指针移至文件尾；

3)写入GPSB+GPSH+GPSI，继续写入Box，记录前面加入GPSB+GPSH+GPSI大小。嵌入成功，嵌入结束。

图2表示了本发明提供的一种在多媒体资源文件中读取地理位置信息的方法。该方法包括下述两个步骤：

步骤4，接受多媒体资源文件，判断所述多媒体资源文件的类型，根据判断出的多媒体资源文件类型确定所述多媒体资源文件中的可扩展字段集，依据所述可扩展字段集中各字段的标识符判定是否包含地理位置信息标识符；

步骤5，如所述多媒体资源文件中含有地理位置信息标识符，则到该标识符所指定的可扩展字段中读取与该资源文件类型相匹配的地理位置信息元数据。

步骤5中对于JPEG格式的图片类型的多媒体资源文件读取地理位置信息元数据的过程如图13所示：

1)初始化GPSH、GPSI结构用以保存GPS信息；

2)读取原文件前2个字节，判断是否是JPEG图片格式(0xFFD8)，是则转至3)，否则读取失败，读取结束；

3)继续读取8个字节，判断第5至第8字节是否为‘gpsl’，如是则转至4)，否则读取失败，读取结束；

4)对相应位置的数据进行读取，保存在GPSH、GPSI中，读取成功，读取结束。

步骤5中对于AVI格式的音/视频类型的多媒体资源文件读取地理位置信息元数据的过程如图14所示：

1)初始化GPSH、GPSI结构用以保存GPS信息；

2)读取原文件前4个字节，判断是否为AVI文件格式(‘RIFF’)，是则转至3)，否则读取失败，读取结束；

3)继续读取88个字节；

4)继续读取12个字节，判断第9至第12字节是否为‘GPS’，如是则转至5)，否则读取结束；

5)对相应位置的数据进行读取，保存在GPSH、GPSI中，读取成功，转至4)。

步骤5中对于ASF格式的音/视频类型的多媒体资源文件读取地理位置信息元数据的过程如图15所示：

1)初始化GPSH、GPSI结构用以保存GPS信息；

2)读取原文件前16个字节，判断是否为ASF文件格式(75B22630-668E-11CF-A6D9-00AA0062CE6C)是则转至3)，否则读取失败，读取结束；

3)继续读取118个字节；

4)继续读取40个字节，判断第1至第16字节是否为ASF_GPS_Object(75FFFF30-668E-11CF-A6D9-00AA0062CE6C)，如是则转至5)，否则读取结束；

5)对相应位置的数据进行读取，保存在GPSH、GPSI中，读取成功，转至4)。

步骤5中对于3GP格式的音/视频类型的多媒体资源文件读取地理位置信息元数据的过程如图16所示：

1)初始化GPSH、GPSI结构用以保存GPS信息；

2)读取原文件前8个字节，取第5至第8字节判断是否为3GP文件格式(‘FTYP’)，如果是，转至3)，否则读取失败，读取结束；

3)文件指针指向文件末尾前8个字节，前四个字节存为offset，判断后四个字节是否为‘GPS’，如果是，则指针跳转至文件尾offset位置，转至4)，否则，读取失败，读取结束；

4)对相应位置的数据进行读取，保存在GPSH、GPSI中，读取成功，读取结束。

图3表示了本发明提供的一种在多媒体资源文件格式转换和编辑中完整转递地理位置信息的方法。该方法包括下述四个步骤：

步骤6，接受被转换或者编辑的源多媒体资源文件，判断所述源多媒体资源文件的文件类型，根据判断出的类型确定文件中的可扩展字段集，依据所述可扩展字段集中各字段的占用标识来判定是否包含地理位置信息标识符；

步骤7，如所述被转换或者编辑的源多媒体资源文件中含有地理位置信息标识符，则到该标识符所指定的可扩展字段中读取与所述源多媒体资源文件类型相匹配的地理位置信息元数据；

步骤8，判断转换或者编辑的目标多媒体资源文件的类型，根据判断出的目标多媒体资源文件类型确定所述目标多媒体资源文件的可扩展字段集，依据所述可扩展字段集中各字段的占用标识确定其中可用的可扩展字段；

步骤9，在所述目标多媒体资源文件中，对确定的可用可扩展字段添加地理位置信息标识符和由所述的源多媒体资源文件中读取出的地理位置信息元数据。

以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。