一种基于粒子滤波的双模态语音提取方法

摘要

说话入的唇动信息有助于加强对语音的感知.根据说话人语音的双模态特性,将振动信息引入语音提取问题,提出了一种基于粒子滤波的贝叶斯融合架构的双模态语音提取方法.该方法融合说话人的语音和唇动信息,根据信息论中的最大互信息准则与盲源分离中的高阶统计量准则.将音视频互信息与语音峭度的乘积作为代价函数,利用粒子滤波估计混合矩阵.解决时变瞬时混合情况下的语音提取问题.仿真结果表明.该方法在低信噪比情况下仍然能够实现语音信号的有效提取.