音频高层语义分析

摘要

为跨越语义鸿沟,提出了一种提取音频中高层语义概念的方法.该方法先用隐马尔可夫模型(HMM)建立对应于分析窗口的低层语义概念,即基本声音语义事件(basic semantic-audio event,BE);然后以音框为单位将声音信号通过短时傅里叶变换及ICA处理来得到对应于HMM模型的可观察符号;接着用贝叶斯决策排除语义窗口对应声音段中的非预定义BE后,按贝叶斯公式所得最大后验概率为准则得到此语义窗口的一个基本声音语义事件组(group of BE,)GBE;最后采用高层语义逻辑定义来描述GBE与高层声音语义概念间的联系,结合由实例训练得到的高层语义逻辑定义最终得到相应语义窗口的高层语义声音概念(high level audio semantic concept,HC).实验表明此方法能提取与人思维中相似的高层语义概念,在一定程度上可跨越语义鸿沟.