基于MPEG－7的远程教学领域的流媒体检索系统

摘要

一种基于MPEG－7的远程教学领域的流媒体检索系统。属于多媒体应用技术领域。该系统的特征抽取/存储端通过ADO数据库调用以及RTP/RTSP流媒体传递协议和流媒体中间件相连，流媒体中间件通过RTP/RTSP流媒体传递协议以及TCP/IP网络和客户端相连，特征抽取/生成/存储端负责特征的自动抽取/手动标注，使用自定义的MPEG－7描述模式生成标准格式，流媒体中间件介于特征抽取/存储端和客户端之间，把客户端的查询要求转化为对XML数据库的XQuery语法的查询，客户端提供方便的多模式查询接口给用户，并且记录用户信息，把查询请求和个人档案发送给流媒体中间件。本发明符合国际标准，具有很强可移植性，支持远程教育领域的流媒体的检索。

说明书

技术领域

本发明涉及一种远程教学领域的流媒体检索系统，特别是一种基于MPEG-7(中文专业术语为“多媒体内容描述接口”)的远程教学领域的流媒体检索系统，属于多媒体应用技术领域。

背景技术

目前多媒体技术的发展导致可用的多媒体数据急速增长。然而怎样从这些多媒体内容里面提取有用的信息并构造实用的系统成为一个公认的难题，最大的阻碍是缺少一个简单、易懂和可扩展的多媒体描述用来构造高效、易扩展和可伸缩的多媒体应用。如：经查新发现，美国专利号US2003103675，专利名称“Multimediainformation retrieval method，program，record medium and system(多媒体信息检索的方法、程序、录制媒介和系统)”，在该专利文件中，发明人提出了一种把图像和文本描述配对成一个“信息单元”的思想，把对于多媒体的检索转化为对文本的检索。它提出“虚拟空间”的概念来根据文本里面单词的权值和频度来聚类，提供相似度多媒体查询的功能。检索中还发现，美国专利号US2003033318，专利名称“Instantly indexed databases for multimedia content analysis andretrieval(即时多媒体内容分析、检索和数据库索引)”，在该专利文件中，发明人提出了一种把现实世界的实时事件(比如说足球比赛的进球)实时识别并且存入多媒体数据库供浏览和检索。它通过传感器的分析配合相关领域知识，来实时生成事件描述数据。这个系统存在以下问题：不支持远程教育领域的流媒体的检索；不符合国际标准；系统可移植性不强。

发明内容

本发明的目的在于针对现有技术存在的缺陷或不足，提供一种基于MPEG-7的远程教学领域的流媒体检索系统，使其支持远程教学领域的流媒体检索，符合MPEG-7国际标准，为远程教学创造一个优良环境。

本发明是通过以下技术方案实现的，本发明的基于MPEG-7的远程教学领域的流媒体检索系统由特征抽取/存储端，流媒体中间件和客户端组成，特征抽取/存储端通过ADO数据库调用以及RTP/RTSP流媒体传递协议和流媒体中间件相连，流媒体中间件通过RTP/RTSP流媒体传递协议以及TCP/IP网络和客户端相连。特征抽取/存储端负责特征的自动抽取/手动标注，使用自定义的MPEG-7描述模式生成标准格式，然后存入XML数据库。流媒体中间件介于特征抽取/存储端和客户端之间，把客户端的查询要求转化为对XML数据库的XQuery语法的查询，从特征抽取/存储端的XML数据库中得到相应的结果，并且经过优化后，反馈给客户端。客户端提供方便的多模式查询接口给用户，并且记录用户的查询历史和喜好等个性化的信息，把查询请求和个人档案发送给流媒体中间件。

1、特征抽取/存储端

特征抽取/存储端包括流媒体源，流媒体特征抽取/标注模块和流媒体特征描述数据库三个部分组成，流媒体源通过TCP/IP网络和流媒体特征抽取/标注模块相连，流媒体特征抽取/标注模块通过ADO远程数据库调用和流媒体特征描述数据库相连。流媒体源包括实时流媒体直播和流媒体点播两个部分组成，提供要被处理的流媒体数据。流媒体特征描述数据库是一个XML数据库，用来保存生成的流媒体特征描述数据。流媒体特征抽取/标注模块介于流媒体源和流媒体特征描述数据库之间，是特征抽取/存储端的核心，它接受流媒体源过来的直播或点播流媒体数据，经过自动或者手动处理，生成符合标注的流媒体特征描述，存入流媒体特征描述数据库中。流媒体特征抽取/标注模块包括面向远程教育的MPEG-7描述模式，自动特征抽取和手动描述标注三个部分组成，其中面向远程教育的MPEG-7描述模式定义了自动特征抽取和手动描述标注所需要遵循的共同模式。

2、流媒体中间件

流媒体中间件由元数据搜索引擎，个性化的搜索/浏览推荐引擎和视频转换编码引擎三个部分组成，元数据搜索引擎通过进程间的通信和个性化的搜索/浏览推荐引擎相连，个性化的搜索/浏览推荐引擎通过TCP/IP网络和转换编码引擎相连。元数据搜索引擎通过XQuery查询接口与流媒体特征描述数据库相连，元数据搜索引擎在接收到客户端的搜索请求/浏览选择之后，通过XQuery查询接口从流媒体特征描述数据库中查询相应的信息。然后把查询到的结果送给个性化的搜索/浏览推荐引擎；个性化的搜索/浏览推荐引擎从客户端得到用户配置文件、个性喜好、搜索历史纪录，从而生成最终的搜索结果/浏览推荐结果给视频转换编码引擎；视频转换编码引擎根据客户端终端设备的不同产生不同分辨率、不同比特率以及不同编码解码器的流媒体数据给相应的客户端终端设备。

3、客户端

客户端支持多种终端设备，可以是个人电脑和各种手持设备。它由用户搜索请求/浏览选择模块和用户配置文件、个性喜好、搜索历史纪录模块两部分组成，用户搜索请求/浏览选择模块通过系统日志记录和用户配置文件、个性喜好、搜索历史纪录模块相连，其中用户配置文件，个性喜好，搜索历史纪录模块自动记录了用户每次搜索请求和浏览选择，并提供配置页面让客户输入一些个性喜好。

本发明具有实质性特点和显著进步，本发明符合国际标准，针对教育领域的流媒体检索，把实时和非实时特征抽取相结合，低层和高层特征相结合，具有智能、高效、统一和可伸缩性，移动设备可以方便地通过无线网络自适应、个性化地自由搜索、访问丰富的多媒体资源。

附图说明

图1为本发明的系统结构示意图

图2为本发明的流媒体特征抽取/标注模块结构示意图

图3为本发明的元数据搜索引擎工作机制示意图

图4本发明的视频转换编码引擎工作机制示意图。

具体实施方式

为了更清楚的理解本发明，以下结合附图对本发明的技术方案作进一步的详细描述。如图所示，本发明基于MPEG-7的远程教学领域的流媒体检索系统由特征抽取/存储端，流媒体中间件和客户端组成，特征抽取/存储端通过ADO数据库调用以及RTP/RTSP流媒体传递协议和流媒体中间件相连，流媒体中间件通过RTP/RTSP流媒体传递协议以及TCP/IP网络和客户端相连。特征抽取/生成/存储端负责特征的自动抽取/手动标注，使用自定义的MPEG-7描述模式生成标准格式，然后存入XML数据库。流媒体中间件介于特征抽取/存储端和客户端之间，把客户端的查询要求转化为对XML数据库的XQuery语法的查询，从特征抽取/存储端的XML数据库中得到相应的结果，并且经过优化后，反馈给客户端。客户端提供方便的多模式查询接口给用户，并且记录用户的查询历史和喜好等个性化的信息，把查询请求和个人档案发送给流媒体中间件。

以下分别对本发明的各个子系统即特征抽取/存储端、流媒体中间件和客户端作进一步的说明。

1、特征抽取/存储端

如图1所示，特征抽取/存储端包括流媒体源，流媒体特征抽取/标注和流媒体特征描述数据库三个部分组成，流媒体源通过TCP/IP网络和流媒体特征抽取/标注模块相连，流媒体特征抽取/标注模块通过ADO远程数据库调用和流媒体特征描述数据库相连。流媒体源包括实时流媒体直播和流媒体点播两个部分组成，提供要被处理的流媒体数据。流媒体特征描述数据库是一个XML数据库，用来保存生成的流媒体特征描述数据。流媒体特征抽取/标注模块介于流媒体源和流媒体特征描述数据库之间，是特征抽取/存储端的核心，它接受流媒体源过来的直播或点播流媒体数据，经过自动或者手动处理，生成符合标注的流媒体特征描述，存入流媒体特征描述数据库中。

如图2所示，流媒体特征抽取/标注模块包括自动实时描述和非实时编辑描述两部分：

(1)自动实时描述部分：它由视频流分割和自动标注系统两部分组成。其中视频流分割模块把实时的视音频流和屏幕教学数据流分割成一个个镜头。自动标注模块由分割得到的镜头、ppt讲稿、语义词典和自动标注工具四部分组成。语义词典包括3个部分：静态场景、关键对象和事件，自动标注工具调用语义词典来描述这些镜头，并且自动抽取PPT讲稿中的文本进行上下文分析作为同步镜头的语义描述。这样在一节课上完后，其初步的视频语义摘要(包括语义描述和特征描述)也就自动生成了。

(2)非实时编辑描述部分：它由视频流分割和半自动标注系统两部分组成。其中视频流分割模块把视音频流和屏幕教学数据流分割成一个个镜头。半自动标注系统由分割得到的镜头、语义词典、标注人和半自动标注工具四部分组成。语义词典包括3个部分：静态场景、关键对象和事件，标注人使用半自动标注工具来人工为这些镜头添加、修改和删除所有的标注。

2、流媒体中间件

如图1所示，流媒体中间件由元数据搜索引擎，个性化的搜索/浏览推荐引擎和视频转换编码引擎三个部分组成，元数据搜索引擎通过进程间的通信和个性化的搜索/浏览推荐引擎相连，个性化的搜索/浏览推荐引擎通过TCP/IP网络和转换编码引擎相连。元数据搜索引擎通过XQuery查询接口与流媒体特征描述数据库相连，元数据搜索引擎在接收到客户端的搜索请求/浏览选择之后，通过XQuery查询接口从流媒体特征描述数据库中查询相应的信息，然后把查询到的结果送给个性化的搜索/浏览推荐引擎；个性化的搜索/浏览推荐引擎从客户端得到用户配置文件，个性喜好，搜索历史纪录，从而生成最终的搜索结果/浏览推荐结果给视频转换编码引擎；视频转换编码引擎根据客户端终端设备产生不同分辨率，不同比特率，不同编码解码器的流媒体数据给相应的客户端终端设备。

如图3所示，元数据搜索引擎是流媒体中间件的核心，元数据搜索引擎是一个把颜色、形状和纹理等低层多媒体特征和高层语义特征相结合来确定权值的一个反馈搜索引擎，并使用反馈算法来优化搜索结果。所有的MPEG-7描述存放在一个原生XML数据库Tamino中，这个数据库提供强大的专用于XML文档的类似于SQL的XQuery查询语言。MPEG-7数据库把查询到的描述经过MPEG-7解释器处理后分别进行物理低层特征和高层语义特征的相似度搜索，并且使用相关反馈算法优化搜索结果，然后在视频数据库中找到相应的视频数据经过视频转换编码引擎以方便的形式可视化地表示给用户。

如图4所示，视频转换编码引擎由原始视频流解码模块、MPEG4重编码模块和MPEG-7转换编码提示参数配置工具三部分组成。原始视频流解码模块把原始码率的视频流数据通过相应的解码器解码得到未压缩过的视频流数据；MPEG4重编码模块自适应的MPEG-4编码器使用质量可扩展的分层编码算法重新编码，得到重编码码率的视频流；MPEG-7转换编码提示参数配置工具，它从已有的视频文件中抽取出来的运动提示参数、难度提示参数和重要性提示参数，自动地调整或者手动配置参数。视频转换编码引擎根据参数配置工具生成的MPEG-7转换编码提示来对多媒体内容进行相应的处理。

3、客户端

如图1所示，客户端支持不同的终端设备，包括个人电脑和各种手持设备，它由用户搜索请求/浏览选择模块和用户配置文件，个性喜好，搜索历史纪录模块两部分组成，用户搜索请求/浏览选择模块通过系统日志记录和用产配置文件、个性喜好、搜索历史纪录模块相连，其中用户配置文件，个性喜好，搜索历史纪录模块自动记录了用户的每次搜索请求和浏览选择，并且提供配置页面让客户输入一些个性喜好。