用于自动产生/更新元数据的多媒体数据记录方法和装置

摘要

提供了一种多媒体数据记录方法，包括：接收一个或多个搜索对象项目，所述搜索对象项目用于从媒体数据中搜索包含相同种类信息的场景；在输入媒体数据的过程中，选择包含每一个搜索对象项目的一个或多个场景；生成元数据，该元数据包括一条或多条来自被选择场景的索引或再现时间的场景信息；和把元数据记录在头区域上并把媒体数据记录在有效载荷区域上。

说明书

技术领域

依据本发明的方法和装置涉及记录多媒体数据，更具体而言，涉及记录能够完成各种再现功能的多媒体数据。

背景技术

一般的个人用户以及商业内容提供商近来开始使用例如数字便携式摄像机或者数码相机的数字图像摄取设备来生成各种类型的多媒体内容。具体来说，在商业上以及个人博客中，使用了用户生成内容(user created content，UCC)，而UCC扩展了内容信息。

随着UCC用户数量的扩展以及UCC产品的增长，期望多媒体图像摄取设备和多媒体数据记录设备执行更多的功能以产生UCC。

从内容提供商获取的诸如数字多功能盘(DVD)的封装好的媒体在媒体文件中包括元数据，以便通过多媒体再现设备使用各种方法来再现被封装的媒体。常规的媒体文件不包含用于允许执行附加功能的、有关详细的搜索对象项目的元数据，而是只包含可再现的数据。

发明内容

本发明提供了用于记录多媒体数据的方法和装置，所述多媒体数据能够通过新产生或者更新元数据来完成各种再现功能。

本发明还提供了一种方法，其自动收集关于涉及搜索对象项目的场景的信息，并通过先前注册的搜索对象项目在元数据中记录所述信息，以用于完成各种再现功能。

本发明还提供了根据用户的决定自动收集关于涉及搜索对象项目的场景的信息并在元数据中记录所述信息的方法。

有益效果

因此，本发明示范性实施例的多媒体数据记录方法和装置新产生或者更新元数据以使其包括涉及搜索对象项目的场景信息，从而再现用户所期望的搜索对象项目或者再现包含所述搜索对象项目的场景。

根据本发明示范性实施例的被记录的多媒体数据使得多媒体再现设备可以容易地完成各种功能，例如内容再现和内容搜索。

由一般用户产生的多媒体内容的元数据可以被自动地新产生或者更新，从而用户可以容易地生成多媒体内容。

不限于上面描述的效果，并且权利要求限定的技术领域中的普通技术人员将清晰地理解其他效果。

虽然已经参考本发明的示范性实施例具体示出和描述了本发明，但是本领域普通技术人员将理解，在不偏离由权利要求限定的本发明的精神和范围的情况下，可以对本发明做出形式和细节上的各种变化。示范性实施例只应从描述性意义上考虑，而不是为了限制的目的。因此，本发明的范围不是由对发明的详细描述限定，而是由权利要求限定，并且该范围内的所有差别都将被理解为包括在本发明中。

附图说明

通过参考附图详细地描述本发明的示范性实施例，本发明的上述以及其他方面将变得更为清楚，在附图中：

图1A是根据本发明示范性实施例的多媒体数据记录装置的框图；

图1B是根据本发明示范性实施例的多媒体数据记录装置的场景选择单元的框图；

图2示出了图1中所示的多媒体数据记录装置的外形；

图3是用于说明根据本发明示范性实施例的多媒体数据记录装置产生或记录元数据或多媒体数据的方法的图；

图4A示出了根据本发明示范性实施例的要被更新的元数据；

图4B示出了根据本发明另一示范性实施例的要被更新的元数据；

图5是根据本发明示范性实施例的产生多媒体数据的方法的流程图；

图6是根据本发明另一示范性实施例的产生多媒体数据的方法的流程图；

图7是用于说明根据本发明示范性实施例的搜索个人信息的方法的图；

图8是用于描述根据本发明示范性实施例的多媒体数据记录装置的用户接口的图；

图9是根据本发明示范性实施例的多媒体数据记录方法的流程图；

图10是根据本发明示范性实施例的多媒体数据再现装置的框图；和

图11是根据本发明示范性实施例的多媒体数据再现方法的流程图。

具体实施方式

根据本发明的一个方面，提供了一种多媒体数据记录方法，包括：接收一个或多个搜索对象项目，所述搜索对象项目用于从媒体数据搜索包括相同种类信息的场景；在输入媒体数据的过程中，选择包含每个搜索对象项目的一个或多个场景；产生包含一条或多条场景信息的元数据，所述场景信息来自于被选择场景的索引或再现时间；和，把所述元数据记录到头区域上，并把所述媒体数据记录到有效载荷区域上。

接收一个或多个搜索对象项目可以包括：从数据库和先前产生的元数据中的至少一个接收一个或多个搜索对象项目。

产生元数据可以包括：把其上记录了一条或多条场景信息的元数据转换为多媒体数据格式。

产生元数据还可以包括：产生包括一个或多个搜索对象项目的元数据；以及更新所述包括一个或多个搜索对象项目的元数据，以使其包含所述一条或多条场景信息。

产生元数据还可以包括：产生包括关于被选择场景的信息和关于所述一个或多个搜索对象项目之间的链接的信息的元数据。

所述记录可以包括：将媒体数据记录到有效载荷区域上，同时将元数据记录到头区域上。

所述记录还可以包括：在将媒体数据记录到有效载荷区域上之后，将元数据记录到头区域上。

接收一个或多个搜索对象项目还可以包括：接收一条或多条代表所述一个或多个搜索对象项目中的每一个的代表性刻画信息，并且其中，选择一个或多个场景包括：分析输入媒体数据的当前场景，并提取要与所述一条或多条代表性刻画信息进行比较的比较信息；度量所提取的比较信息和所述一条或多条代表性刻画信息之间的相似度；和如果相似度大于特定量，则确定当前场景是包含一个或多个搜索对象项目的场景。

选择一个或多个场景还可以包括：根据通过用户接口输入的将一个或多个搜索对象项目与当前场景进行匹配的请求，将输入的当前场景与一个或多个搜索对象项目中的任意一个进行匹配。

所述用户接口包括指示所述一个或多个搜索对象项目中的每一个的图像图标，以用于选择所述一个或多个搜索对象项目，并且其中，根据当前场景对所述图像图标进行最新更新。

根据本发明的另一方面，提供一种多媒体数据再现方法，包括：选择要被搜索的场景的搜索对象项目；确定关于该搜索对象项目的元数据；和使用从所确定的元数据提取的场景信息再现多媒体数据。

所述方法还可以包括：从元数据和数据库中的至少一个提取和再现搜索对象项目的详细信息或代表性刻画信息。

根据本发明的另一方面，提供一种多媒体数据记录装置，包括：搜索对象项目输入单元，其接收一个或多个搜索对象项目，所述搜索对象项目用于从媒体数据中搜索包括相同种类信息的场景；场景选择单元，其在输入媒体数据的过程中，选择包括搜索对象项目中的一个或多个的一个或多个场景；元数据产生单元，其产生包括一条或多条场景信息的元数据，所述场景信息来自被选择场景的索引或再现时间；和记录单元，其将元数据记录到头区域上，并把媒体数据记录到有效载荷区域上。

根据本发明的另一方面，提供一种计算机可读记录介质，其存储用于执行多媒体数据记录方法的计算机可读程序。

根据本发明的另一方面，提供一种计算机可读记录介质，其存储用于执行多媒体数据再现方法的计算机可读程序。

现在将通过参考附图说明本发明的示范性实施例来详细地描述本发明。

图1A是根据本发明示范性实施例的多媒体数据记录装置100的框图。参考图1A，多媒体数据记录装置100包括搜索对象项目输入单元110、场景选择单元120、元数据产生单元130和记录单元140。

搜索对象项目输入单元110根据用户输入接收用于分类媒体数据的至少一个搜索对象项目，并把搜索对象项目输出到场景选择单元120。

搜索对象项目输入单元110可以从数据库或先前产生的元数据中的至少一个接收搜索对象项目。搜索对象项目输入单元110还可以根据用户输入接收代表每一个搜索对象项目的至少一条代表性刻画信息。

将参考图2描述搜索对象项目输入单元110。

场景选择单元120接收媒体数据和来自于搜索对象项目输入单元110的搜索对象项目；在接收媒体数据的同时选择媒体数据的至少一个场景，所述场景包含与搜索对象项目相对应的对象项目；并把所选择的场景输出到元数据产生单元130。

本示范性实施例的媒体数据可以是所拍摄的或者所记录的，以便被输入到场景选择单元120中。

如图1B中所示，场景选择单元120包括比较信息提取单元121、相似度度量单元122和场景确定单元123。比较信息提取单元121分析所接收的媒体数据的当前场景，并提取要与代表性刻画信息进行比较的比较信息。相似度度量单元122度量比较信息和代表性刻画信息之间的相似度。并且，如果相似度较大，则场景确定单元123确定当前场景是包含与搜索对象项目相对应的对象项目的场景。

元数据产生单元130基于从场景选择单元120接收的所选择场景的索引或再现时间，产生包括至少一条场景信息的元数据，并把该元数据输出到记录单元140。

尽管未示出，但是元数据产生单元130还可以包括格式转换单元，其将其中记录了场景信息的元数据转换成多媒体数据格式。

元数据产生单元130产生包括搜索对象项目的元数据，并更新该元数据以使其包括所述场景信息。

或者，元数据产生单元130产生包括有关被选择信息的场景信息和到搜索对象项目的链接信息的元数据。

将参考图3详细描述场景选择单元120和元数据产生单元130。

记录单元140从元数据产生单元130接收元数据和媒体数据，把元数据记录在头区域中并把媒体数据记录在有效载荷区域中，以产生多媒体数据。

记录单元140可以把媒体数据记录在有效载荷区域中，同时把元数据记录在头区域中。

或者，记录单元140可以把媒体数据记录在有效载荷区域中，然后把元数据记录在头区域中。

将参考图3、图4A、图4B和图6详细描述记录单元140。

尽管未示出，但是多媒体数据记录装置100还可以包括用户接口，用于通过用户的输入识别包含与搜索对象项目相对应的对象项目的当前场景。如果多媒体数据记录装置100包括用户接口，则场景选择单元120使用该用户接口，以允许包含任何一个搜索对象项目的媒体数据的场景被选择。

或者，多媒体数据记录装置100可以包括再现单元，所述再现单元实时记录内容，或者在期望的多媒体数据中搜索搜索对象项目并再现搜索对象项目。

图2示出了图1A中所示的多媒体数据记录装置100的外形。参考图2，数字便携式摄像机200是多媒体数据记录装置100的示范性实施例，数字便携式摄像机200被用来描述搜索对象项目输入单元110的功能。

数字便携式摄像机200将包括所获取的视频和声音信息的媒体数据记录在多媒体数据中。

在搜索对象项目输入单元110输入媒体数据之前，用户预先把搜索对象项目存储在多媒体数据记录装置100的临时数据库中。用户设置个人信息210、接收个人信息210，并把个人信息210存储在数字便携式摄像机200的数据库中，以便根据人物处理媒体数据。个人信息210包括诸如“父亲”、“母亲”、“小儿子”和“大女儿”的身份，每个均包括基本的详细信息，例如名字、生日、结婚周年纪念日、团体、职业，等等。

基本的详细信息可以被更新，并且其历史信息可以存储在搜索对象项目输入单元110中。此外，基本的详细信息可以以可扩展标记语言(extensiblemarkup language，XML)的形式存储。

搜索对象项目输入单元110还接收代表每个搜索对象项目的至少一条代表性刻画信息。例如，代表性刻画信息，诸如人物的语音、照片等，被注册在个人信息210中，并被用来度量人物之间的相似度。

当要被数字便携式摄像机200使用的搜索对象项目被存储在先前存储在数字便携式摄像机200中的数据库中或被存储在当前元数据中时，可以从该数据库或者元数据接收搜索对象项目。

数字便携式摄像机200把使用个人信息210产生的场景信息记录在元数据220中，并把所获取的媒体数据和元数据220记录在多媒体数据230中。

再现设备240再现多媒体数据230。再现设备240可以是多媒体数据记录装置200，并且可以再现由多媒体数据记录装置200产生的多媒体数据。

图3是用于说明根据本发明示范性实施例的多媒体数据记录装置100产生或记录元数据或多媒体数据的图。参考图3描述场景选择单元120、元数据产生单元130和记录单元140的功能。将描述场景选择单元120的比较信息提取单元121、相似度度量单元122和场景确定单元123的功能。

搜索对象项目输入单元110预先已经接收了用户输入的个人信息。多媒体数据记录装置100可以把个人信息存储在临时存储单元或者数据库中。

如果媒体数据被输入多媒体数据记录装置100(操作310)，则元数据产生单元130从临时存储单元或者数据库接收个人信息，从媒体数据中提取与所述个人信息相对应的场景信息，并产生关于搜索对象项目的包括场景信息的元数据(操作330)。

对于操作330，确定作为搜索对象的人物是否包括在场景中(操作332)，转换元数据格式(操作334)，并产生或更新元数据(操作336)。

参考操作332，场景选择单元120的场景信息提取单元121分析输入媒体数据的当前场景，并提取与搜索对象项目相关的信息。场景选择单元120的相似度度量单元122度量所提取的信息与元数据的搜索对象项目的代表性刻画信息之间的相似度。如果相似度较大，则场景选择单元的场景确定单元123确定当前场景为包含与搜索对象项目相对应的对象项目的场景。

如果场景选择单元120包括人物照片作为已注册的搜索对象项目的代表性刻画信息，并且包括压缩视频作为输入媒体数据，则场景选择单元120使用人脸识别方法分析和比较输入媒体数据中和照片中的人物，从而度量媒体数据的帧中的人物和所注册的照片之间的相似度。

或者，场景选择单元120指定输入媒体数据的特定序列，只分析该序列的视频的人物，并度量人物之间的相似度。

如果输入媒体数据是声音，则度量作为已注册的刻画信息的人物声音和输入媒体数据的声音之间的相似度。

如果人物经常使用的词被注册为个人信息中的代表性刻画信息，则通过分析声音确定该词是否包括在输入媒体数据的声音中。

在操作334中，元数据产生单元130的格式转换单元把其中记录了场景信息的元数据转换成多媒体数据格式。元数据产生单元130按照多媒体数据格式新产生元数据，该元数据用来记录关于包含与搜索对象项目相对应的对象项目的场景的场景信息。元数据产生单元130将场景出现的时间点记录在元数据中以作为场景信息。

在操作336中，元数据产生单元130把场景信息添加到给定的元数据信息中，并记录组合后的信息。或者，在给定的元数据信息之外，元数据产生单元130产生在其上记录场景信息的新的元数据。

记录单元140把元数据记录到头区域中，把媒体数据记录到有效载荷区域中，并产生多媒体数据(操作340)。媒体数据被记录在有效载荷区域中(操作342)。元数据被记录在头区域中(操作344)。

记录单元140同时记录媒体数据和元数据。更具体来说，媒体数据被记录在有效载荷区域中，同时元数据被记录在头区域中。或者，记录单元140在记录媒体数据之后记录元数据。更具体来说，在将媒体数据记录到有效载荷区域之后，将元数据记录到头区域。

将参考图4A和图4B描述由多媒体数据记录装置100产生的多媒体数据的示范性实施例。

图4A示出了根据本发明示范性实施例的要被更新的元数据。参考图4A，元数据产生单元130将关于场景选择单元120选择的场景的信息记录在元数据中。

在先前未更新过的元数据402中只记录有搜索对象项目(个人信息412和414)。或者，在元数据402中可以记录有搜索对象项目412和414以及分别与搜索对象项目412和414相关的详细信息422和424。

元数据产生单元130额外地把分别与搜索对象项目412和414有关的、关于场景选择单元120所选择的场景的场景信息432和434记录在元数据402中，并产生元数据404。因此，在本示范性实施例中，给定元数据被更新。

图4B示出了根据本发明另一示范性实施例的要被更新的元数据。参考图4B，在记录有给定搜索对象项目(个人信息)的元数据452之外，元数据产生单元130新产生元数据454，在元数据454上记录了分别与搜索对象项目462和464有关的场景信息482和484。

因此，除了包括搜索对象项目462和464以及分别与搜索对象项目462和464有关的详细信息472和474的元数据452以外，产生单元130还可以新产生元数据454，元数据454包括分别被分类在搜索对象项目462和464之下的场景信息482和484。就此而言，新产生的元数据454可以包括与元数据452中包括的搜索对象项目462和464链接的信息。

图5是根据本发明的示范性实施例的产生多媒体数据的方法的流程图。参考图5，搜索对象项目输入单元110将搜索对象项目输入到多媒体数据记录装置100中(操作510)。多媒体数据记录装置100接收媒体数据(操作520)。

场景分析单元120的比较信息提取单元121分析输入的媒体数据，提取要与搜索对象项目进行比较的比较信息，并且相似度度量单元122比较搜索对象项目和比较信息(操作530)。

场景分析单元120的场景确定单元123确定是否新添加关于当前场景的场景信息作为元数据(操作540)。

元数据产生单元130新产生其中记录所述场景信息的元数据(操作550)。或者，元数据产生单元130的转换单元把其中记录场景信息的元数据转换成多媒体数据格式。

元数据产生单元130组合给定的元数据信息和新添加的元数据信息(操作560)。元数据产生单元130把关于包含搜索对象项目的场景的场景信息添加到其中记录了给定搜索对象项目的元数据中。或者，元数据产生单元130可以产生其中只记录场景信息的元数据。

记录单元140把媒体数据记录到有效载荷区域上，把元数据记录到头区域中，并产生多媒体数据(操作570)。

再现单元再现与已注册的搜索对象项目相关的详细信息(操作580)。或者，再现单元搜索在元数据中记录的关于包含搜索对象项目的场景的场景信息，并再现包含期望的搜索对象项目的场景。

图6是根据本发明的另一个示范性实施例的产生多媒体数据的方法的流程图。将参考图6描述记录单元140的操作。参考图6，由于媒体数据被连续地记录在多媒体数据中，所以确定元数据和媒体数据是否被同时记录。

操作610和图5中所示的操作510相同。

操作620和图5中所示的操作540相同。如果关于当前场景的信息被新添加到元数据，则操作630继续进行。如果关于当前场景的信息不被新添加到元数据，则操作625继续进行。

在操作625中，由于关于当前场景的信息不被新添加到元数据，所以只存储媒体数据。

在操作630中，确定是否将元数据和媒体数据同时记录到多媒体数据中。如果确定元数据和媒体数据两者将被同时记录到多媒体数据中，则操作640继续进行。如果确定元数据和媒体数据两者不同时记录到多媒体数据中，则操作650继续进行。

在操作640中，元数据和媒体数据被同时记录到多媒体数据中。

在操作660中，确定媒体数据是否已经被完整地输入。即，确定媒体数据是否已经被完整记录。如果确定媒体数据已经被完整记录，则多媒体数据已经被完整记录(操作690)。

如果确定媒体数据未被完整记录，则重复操作640。

在操作650中，媒体数据被记录到多媒体数据中，并且元数据被暂时存储在缓冲器中。

在操作670中，确定媒体数据是否被完整输入，即，媒体数据是否被完整记录。

如果确定媒体数据被完整输入，则操作680继续进行。如果确定媒体数据未被完整输入，则重复操作660。

在操作680中，把临时存储在缓冲器中的元数据一起记录到多媒体中。在操作690中，多媒体数据被完整记录。

图7是用于说明根据本发明示范性实施例的搜索个人信息的方法的图。参考图7，将描述再现单元搜索和再现搜索对象项目和基本的详细信息的功能。本示范性实施例的搜索对象项目是书签、人物和章节。

图标712、714和716表示作为搜索单位的搜索对象项目。

图标722、724和726表示在个人信息中注册的人的图像。

信息734表示关于被选择的人物的基本详细信息。图像742、744和746表示其中出现被选择人物的场景。

当用户希望搜索包含特定人物的场景时，再现单元在搜索菜单710中选择人物图标714，并从下层框架720中的已注册的人物722、724和726中标识一人物。

如果用户选择人物726，则再现单元再现指示关于被选择人物726的详细信息和场景信息的信息菜单730。被选择的人物726的信息菜单730显示被输入到多媒体数据记录装置100中的基本详细信息734以及图像742、744和746，图像742、744和746显示了场景被记录到元数据中的场景。因此，如果用户选择出现场景之一，则再现单元搜索出现时的场景，并再现该场景。

图8是用于说明根据本发明示范性实施例的多媒体数据记录装置100的用户接口的图。参考图8，数字便携式摄像机810是多媒体数据记录装置100的例子，它可以包括能够再现多媒体数据的再现屏幕820。再现屏幕820包括其中排列搜索对象项目的图标的搜索菜单830和其中再现当前多媒体数据的再现窗口840。

多媒体数据记录装置100包括用来根据用户请求将搜索对象项目与其中出现搜索对象项目的当前场景进行匹配的用户接口。场景选择单元120使用该用户接口把当前输入的场景与搜索对象项目之一进行匹配，并选择包含搜索对象项目之一的媒体数据场景。用户接口可以是HTML格式。

为了描述方便，数字便携式摄像机810可以通过框架840识别用户当前正在拍摄的图像，并且数字便携式摄像机810包括用户接口，该用户接口包括框架830，在框架830中排列有用户预先注册的搜索对象项目。

当用户在通过框架840观看当前正在拍摄的图像时希望把当前场景与特定搜索对象项目进行匹配时，用户在框架830内选择该特定搜索对象项目的图标，并且关于当前场景的场景信息可以被确定为包含该特定搜索对象项目的场景信息。

用户接口包括指示搜索对象项目的图像图标，以用于选择搜索对象项目。可以使用当前图像将图像图标更新为新的图像图标。

图9是根据本发明示范性实施例的多媒体数据记录方法的流程图。参考图9，输入至少一个用于分类包含搜索对象的媒体数据场景的分类参考项目(操作910)。

在输入媒体数据期间，选择与每一个分类参考项目相对应的至少一个场景(操作920)。

被选择场景的索引或再现时间中的至少一条场景信息被记录到元数据中(操作930)。

元数据被记录到头区域上，并且媒体数据被记录在有效载荷区域上，并且产生多媒体数据(操作940)。

图10是根据本发明示范性实施例的多媒体数据再现装置150的框图。参考图10，多媒体数据再现装置150包括搜索对象项目选择单元160、元数据确定单元170、信息再现单元180和场景再现单元190。

图11是根据本发明示范性实施例的多媒体数据再现方法的流程图。参考图11，搜索对象项目选择单元160选择要搜索的场景的搜索对象项目(操作1010)。

元数据确定单元170确定搜索对象项目的元数据(操作1020)。

信息再现单元180从元数据或数据库中的至少一个提取关于搜索对象项目的详细信息或代表性刻画信息，并再现所提取的关于搜索对象项目的详细信息或代表性刻画信息(操作1030)。

场景再现单元190使用从元数据提取的场景信息来再现多媒体数据(操作1040)。

本发明也可以被具体实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储以后可以被计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的例子包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储设备。