多媒体语义信息提取和查询工具的研究

摘要

基于内容的多媒体检索技术已得到了广泛的应用，但目前出现的基于内容的检索系统，一般只具有基于低层内容特征的检索能力，而提供基于高层语义检索的力度不够。多媒体内容描述标准MPEG-7 提供了对多媒体数据进行语义等多方面描述的接口。
　　 因此，在MPEG-7 描述文档的基础上，设计和开发通用的基于语义的多媒体检索系统具有重要意义。设计的多媒体检索系统由三部分组成：语义信息提取、一般语义查询、个性化查询。
　　 语义信息提取根据通用多媒体数据库模型G3M和MPEG-7的语义内容描述，确立要提取出的语义信息，建立语义数据库；然后利用DOM 接口技术解析多媒体描述文档，将文档里面的语义信息映射到语义库中。一般语义查询根据用户的查询条件，将其解析，与语义库进行映射，输出符合条件的多媒体数据和相应的描述文档。
　　 在个性化查询中，对个性化查询中的用户建模技术、语义过滤技术等核心技术做了研究。在用户兴趣模型的建立上，分析了MPEG-7 上个性化查询的局限性，设计了一个基于MPEG-7 语义描述方案、布尔操作符AND和OR、用户偏爱权重的用户兴趣模型，并给出了用户兴趣模型在系统中的具体表示。在语义过滤方面，利用用户偏爱信息自动生成查询条件进行检索、过滤，按权重度返回多媒体数据和相应的MPEG-7文档。系统实现了MPEG-7 描述文档、视频播放等输出功能。