基于内容的音频信息分类检索技术研究

摘要

随着多媒体技术的飞速发展和计算机处理的不断增长，人们面临着一个巨大的数字化“信息海洋”，如何对这些信息进行快速准确地检索已经成为人们的迫切需要。在这样的条件下，多媒体信息检索技术于20世纪90年代开始蓬勃发展起来，成为信息检索技术研究的一个重要分支。开始阶段，研究的注意力主要集中在基于内容的图像检索和视频检索两个方面，而往往忽视了音频数据中所蕴含的丰富语义，加上原始的音频数据的非结构化特性，因此，音频检索相对滞后。随着音频数据的大量出现，基于内容的音频检索也逐渐成为多媒体信息检索技术的一个研究热点。 本文在认真总结了前人研究成果的基础上，对基于内容的音频信息检索中的若干问题进行了相关探讨，着重研究了音频特征的分析、分类器设计和语音信息检索这几方面的问题。 本文的主要工作和研究成果包括以下几个方面： (1)音频特征分类方法的研究音频分类主要以一些主观或者客观的音频特征为基础，音频特征的选取要能够充分体现出音频在时域和频域中的重要分类特性。因此，音频特征的分析与提取也就成为音频分类问题的基础和重点。如何有效地提取音频特征，并保持特征间相互独立，减少信息冗余就是需要进一步解决的重要问题。 本文在音频特征分析中，引入独立分量分析算法，用来提取音频最为关键并高维独立的特征，提高特征的可分性。同时，在此基础上，利用支持向量机良好的分类性能，对各类音频数据的特征进行分类，即提出一种将独立分量分析和支持向量机结合而构成的混合模型用于音频特征分类问题，收到较好的效果。 (2)音频分类器的设计与实现基于内容的音频检索就是要针对连续的音频信号进行分类。因此，如何构造一个分类器，使其能较好地表征音频的时间统计特性，同时又具有一定的类别区分能力是一个值得研究的问题。 本文在结合课题组在语音识别研究中已完成的研究基础之上，将由隐马尔科夫模型引申出来的广义模型运用到音频分类检索中，将广义模型与支持向量机结合，提出将基于支持向量机和广义模型的混合模型用于音频分类检索。 (3)基于广播新闻音频的检索技术研究语音是音频数据中的一个重要组成部分，比如，在广播新闻节目、学术会议的录音中包含着大量的语音信息。由于语音具有直观、自然、方便使用的特点，因此，如何直接利用语音来有效地检索多媒体中相关的音频信息，也是一个值得探讨的研究方向。本文针对广播新闻，进行音频检索探讨，研究其中的音频分类、音频检索以及语音识别问题。并在此基础上，设计和初步实现一个基于内容的音频信息检索原型系统。

目录

文摘

英文文摘

声明

1绪论

1.1问题的提出

1.1.1引言

1.1.2研究背景

1.1.3研究意义

1.2国内外研究现状

1.2.1国外研究现状

1.2.2国内研究现状

1.2.3主要研究方向

1.2.4存在的问题

1.3本文的主要工作

1.3.1研究思路和研究内容

1.3.2本文的创新

1.4论文的内容安排

2基于内容的音频信息检索概述

2.1引言

2.2音频

2.3基于内容的音频信息检索

2.3.1音频内容的层次结构

2.3.2基于内容的音频信息检索过程

2.3.3基于内容的音频信息检索技术

2.3.4基于内容的音频信息检索的评价标准

2.3.5音频数据的采集与组织

2.4小结

3音频特征分析

3.1引言

3.2音频信号特征表达与提取

3.2.1音频特征

3.2.2音频特征提取相关技术

3.3音频特征分类方法

3.3.1独立分量分析方法的基本原理

3.3.2支持向量机的基本思想

3.3.3基于ICA/SVM的音频特征分类方法

3.4实验

3.4.1音频特征有效性分析

3.4.2基于ICA/SVM的音频特征分类实验

3.5小结

4基于内容的音频自动分类方法研究

4.1引言

4.2基于内容的音频分类方法简介

4.3基于支持向量机/广义模型的音频分类方法

4.3.1动态时间规正原理

4.3.2隐马尔科夫模型原理

4.3.3广义模型

4.3.4 SVM／GM混合模型

4.4实验

4.5小结

5基于内容的音频检索技术研究

5.1引言

5.2基于例子的音频检索技术

5.2.1基于模板的音频例子检索概述

5.2.2基于GM模板的音频例子检索方法

5.2.3基于GM模板的音频例子检索实验及分析

5.3语音检索技术

5.3.1基于识别基元的语音检索

5.3.2基于说话人的语音检索

5.4小结

6基于内容的新闻音频检索技术研究

6.1引言

6.2基于内容的新闻音频分类

6.2.1广播电视新闻中音频分类系统简介

6.2.2基于多层次SVM分类树方法的广播电视新闻音频分类

6.3基于内容的新闻语音识别

6.3.1识别基元的选取

6.3.2声韵母基元的选取

6.3.3基于声韵母基元的声韵母识别实验

6.3.4基于声韵母基元的语音识别实验

6.4基于内容的新闻音频检索

6.5小结

7基于内容的音频检索原型系统

7.1原型系统总体结构

7.2特征提取子系统

7.3基于内容的音频分类子系统

7.4新闻音频检索子系统

7.5小结

8结束语

附录 训练语料库如下表所示

致谢

攻读博士学位期间发表的论文

参考文献