法律状态公告日
法律状态信息
法律状态
2016-09-07
未缴年费专利权终止 IPC(主分类):G01S5/20 授权公告日:20150211 终止日期:20150712 申请日:20130712
专利权的终止
2015-02-11
授权
授权
2013-11-20
实质审查的生效 IPC(主分类):G01S5/20 申请日:20130712
实质审查的生效
2013-10-23
公开
公开
技术领域
本发明涉及一种室内声源定位系统及采用该系统定位室内声源的方法。
背景技术
近年来,声源定位技术已经成为一个新的研究热点,具有广泛的应用前景和实际意义。 特别是针对室内的声源定位,应用需求旺盛。比如智能家庭娱乐/服务机器人在进行人机交互 时需要对人声进行定位,机器人通过对人声的检测、定位改变自己的视野朝向,通过摄像头 取景后进行人脸的检测和识别可以准确的定位它要进行交互的对象,最终实现语音、视频的 交互。
针对现有声源定位技术,存在由于遮挡或声源目标发声朝向带来的定位盲区的问题,不 同应用背景下对定位精度的不同要求,不能自适应调整系统运算的复杂度而使得定位运算量 过大、实时性不高,定位解算算法简单而使得定位精度不高,定位系统物理结构复杂或苛刻、 不利于实际布局等问题。
发明内容
本发明是为了解决现有由于遮挡或声源目标发声朝向带来的定位盲区的问题,不同应用 背景下对定位精度的不同要求不能自适应调整系统运算的复杂度而使得定位运算量过大、实 时性不高,定位解算算法简单而使得定位精度不高的,定位系统物理结构复杂或苛刻、不利 于实际布局等问题,提供了一种室内声源定位系统及采用该系统的时差和定位方法。
本发明所述的一种室内声源定位系统,它包括第一声音传感器、第二声音传感器、第三 声音传感器、第四声音传感器、第五声音传感器、第一信号调理电路、第二信号调理电路、 第三信号调理电路、第四信号调理电路、第五信号调理电路、第一A/D转换模块、第二A/D 转换模块、第三A/D转换模块、第四A/D转换模块、第五A/D转换模块、声源检测模块、 时差模块、定位模块、参数控制模块和增益控制模块;
第一声音传感器的信号输出端连接第一信号调理电路的信号输入端,所述第一信号调理 电路的信号输出端连接第一A/D转换模块的信号输入端;第二声音传感器的信号输出端连接 第二信号调理电路的信号输入端,所述第二信号调理电路的信号输出端连接第二A/D转换模 块的信号输入端;第三声音传感器的信号输出端连接第三信号调理电路的信号输入端,所述 第三信号调理电路的信号输出端连接第三A/D转换模块的信号输入端;第四声音传感器的信 号输出端连接第四信号调理电路的信号输入端,所述第四信号调理电路的信号输出端连接第 四A/D转换模块的信号输入端;第五声音传感器的信号输出端连接第五信号调理电路的信号 输入端,所述第五信号调理电路的信号输出端连接第五A/D转换模块的信号输入端;
第一A/D转换模块、第二A/D转换模块、第三A/D转换模块、第四A/D转换模块和第 五A/D转换模块的信号输出端分别连接声源检测模块的五个声音检测信号输入端,所述声源 检测模块的一个声音检测控制信号输出端连接时差模块的一个信号输入端,声源检测模块的 另一个声音检测控制信号输出端连接增益控制模块的控制信号输入端,增益控制模块的控制 信号输出端同时连接第一信号调理电路的增益控制信号输入端、第二信号调理电路的增益控 制信号输入端、第三信号调理电路的增益控制信号输入端、第四信号调理电路的增益控制信 号输入端和第五信号调理电路的增益控制信号输入端,所述时差模块的信号输出端连接定位 模块的一个信号输入端;
参数控制模块的一个信号输出端连接时差模块的另一个信号输入端,参数控制模块的另 一个信号输出端连接定位模块的另一个信号输入端。
上述声源检测模块、时差模块、定位模块、参数控制模块和增益控制模块可以采用软件 实现,例如:可以将上述五个模块采用编程的方式嵌入在FPGA芯片内实现。
一种室内声源定位系统定位室内声源的方法,
步骤一、将第一声音传感器、第二声音传感器、第三声音传感器、第四声音传感器和第 五声音传感器放置于待测声源所在室内一个虚拟长方体的5个顶点上,其中:第一声音传感 器、第二声音传感器和第三声音传感器分别位于长方体顶面的三个顶点O、A和B处,这三 个顶点O、A和B构成一个直角三角形,第一声音传感器所在顶点O为该直角三角形的直角 所对应的顶点,与顶点A位于同一条边的长方体底面顶点C放置第四声音传感器,与顶点B 位于同一条边的长方体底面顶点F放置第五声音传感器;
以顶点O做为坐标原点、顶点O和顶点B的连线作为为X轴、以顶点O和顶点A的连 线作为Y轴,构成右手螺旋空间直角坐标系,OA的长度为D01,OB的长度为D02,AC的 长度为D13,BF的长度为D24,D01大于0且小于20m,D02大于0且小于20m,D13大于 0且小于5m,D24大于0且小于5m且D13=D24;
步骤二、利用时差广义相关方法根据五个声音传感器采集的声音信号获得同一声源信号 不同时延后的四个时延差,所述四个时延差为:第一声音传感器捕获的声音信号和第二声音 传感器捕获的声音信号进行相关运算获得的时延差、第一声音传感器捕获的声音信号和第三 声音传感器捕获的声音信号进行相关运算获得的时延差、第二声音传感器捕获的声音信号和 第四声音传感器捕获的声音信号进行相关运算获得的时延差、第三声音传感器捕获的声音信 号和第五声音传感器捕获的声音信号进行自相关运算获得的时延差;
参数控制模块设定的定位精度参数进行计算后得到时间步进参数,将时间步进参数传递 给时差模块;参数控制模块设定的迭代误差参数和迭代次数参数进行计算得到迭代误差阈值 和迭代次数阈值,将迭代误差阈值和迭代次数阈值传递给定位模块;参数控制模块设定的空 间位置参数传递给定位模块;
以上述得到的时间步进参数、迭代误差阈值和迭代次数阈值,将第一声音传感器和第二 声音传感器捕获的声音信号进行相关运算得到相关值,搜索最大相关值,该最大相关值对应 的相关时间长度就是第一声音传感器和第二声音传感器之间的时延差;第一声音传感器和第 三声音传感器捕获的声音信号进行相关运算得到相关值,搜索最大相关值,该最大相关值对 应的相关时间长度就是第一声音传感器和第三声音传感器之间的时延差;第二声音传感器和 第四声音传感器捕获的声音信号进行相关运算得到相关值,搜索最大相关值,该最大相关值 对应的相关时间长度就是第二声音传感器和第四声音传感器之间的时延差;第三声音传感器 和第五声音传感器捕获的声音信号进行相关运算得到相关值,搜索最大相关值,该最大相关 值对应的相关时间长度就是第三声音传感器和第五声音传感器之间的时延差;
步骤三、利用拟Newton方法根据步骤二获得的同一声源信号不同时延后的四个时延差、 五个声音传感器采集的声音信号和五个声音传感器的空间位置分布获得声源位置,
按照传感器的空间位置分布和声源到达每个传感器的时间差构成定位方程组,通过迭代, 得到定位解,计算前后两次的定位结果的欧氏距离;
当两次的定位结果欧氏距离小于系统设置的阈值,迭代解收敛到了声源位置;否则当迭 代次数大于预设阈值,重新采集五个声音传感器的声音信号,重复步骤二,直到获得声源位 置为止。
本发明能够解决由于遮挡或声源目标发声朝向带来的定位盲区的问题;本发明能够根据 不同应用背景下对定位精度的不同要求自适应调整系统运算的复杂度,在定位性能满足实际 应用需求的情况下使定位解算的速度达到最快和系统功耗达到最小;能得到对声源目标的三 维定位解;在语音采集过程中,能自动调整各路信号的增益,既保留了隐藏在各路信号幅度 中的位置信息,又避免了信号幅度过低带来的定位精度损失。
附图说明
图1为本发明的整体结构示意图;图2为本发明的信号调理电路的内部结构示意图;
图3为本发明的声音传感器空间结构图;图4为本发明的软件流程图。
具体实施方式
具体实施方式一:下面结合图1说明本实施方式,本实施方式所述一种室内声源定位系 统,它包括第一声音传感器S0、第二声音传感器S1、第三声音传感器S2、第四声音传感器 S3、第五声音传感器S4、第一信号调理电路1、第二信号调理电路2、第三信号调理电路3、 第四信号调理电路4、第五信号调理电路5、第一A/D转换模块6、第二A/D转换模块7、第 三A/D转换模块8、第四A/D转换模块9、第五A/D转换模块10、声源检测模块11、时差模 块12、定位模块13、参数控制模块14和增益控制模块15;
第一声音传感器S0的信号输出端连接第一信号调理电路1的信号输入端,所述第一信号 调理电路1的信号输出端连接第一A/D转换模块6的信号输入端;第二声音传感器S1的信号 输出端连接第二信号调理电路2的信号输入端,所述第二信号调理电路2的信号输出端连接 第二A/D转换模块7的信号输入端;第三声音传感器S2的信号输出端连接第三信号调理电路 3的信号输入端,所述第三信号调理电路3的信号输出端连接第三A/D转换模块8的信号输 入端;第四声音传感器S3的信号输出端连接第四信号调理电路4的信号输入端,所述第四信 号调理电路4的信号输出端连接第四A/D转换模块9的信号输入端;第五声音传感器S4的信 号输出端连接第五信号调理电路5的信号输入端,所述第五信号调理电路5的信号输出端连 接第五A/D转换模块10的信号输入端;
第一A/D转换模块6、第二A/D转换模块7、第三A/D转换模块8、第四A/D转换模块 9和第五A/D转换模块10的信号输出端分别连接声源检测模块11的五个声音检测信号输入 端,所述声源检测模块11的一个声音检测控制信号输出端连接时差模块12的一个信号输入 端,声源检测模块11的另一个声音检测控制信号输出端连接增益控制模块15的控制信号输 入端,增益控制模块15的控制信号输出端同时连接第一信号调理电路1的增益控制信号输入 端、第二信号调理电路2的增益控制信号输入端、第三信号调理电路3的增益控制信号输入 端、第四信号调理电路4的增益控制信号输入端和第五信号调理电路5的增益控制信号输入 端,所述时差模块12的信号输出端连接定位模块13的一个信号输入端;
参数控制模块14的一个信号输出端连接时差模块12的另一个信号输入端,参数控制模 块14的另一个信号输出端连接定位模块13的另一个信号输入端。
具体实施方式二:下面结合图2说明本实施方式,本实施方式对具体实施方式一所述的 一种室内声源定位系统的进一步限定,本实施方式中,所述的第二信号调理电路2、第三信 号调理电路3、第四信号调理电路4、第五信号调理电路5和第一信号调理电路1的内部电路 结构相同,其中第一信号调理电路1由滤波电路、PGA电路和信号保持电路组成;
滤波电路的信号输入端为第一信号调理电路1的信号输入端,所述滤波电路的信号输出 端连接PGA电路的信号输入端,所述PGA电路的信号输出端连接信号保持电路的信号输入 端,所述信号保持电路的信号输出端为第一信号调理电路1的信号输出端。
具体实施方式三:本实施方式对具体实施方式二所述的一种室内声源定位系统的进一步 限定,本实施方式中,所述的PGA电路是程控增益放大电路。
声源检测模块11通过分析每路信号的信号电平确定对PGA电路进行编程控制的参数, 确保每路信号的放大倍数是一样的且信号最强的那路信号的信号幅度达到AD转换的最大 值,这保留了隐含在幅度中的声源的位置信息。
具体实施方式四:结合图3和图4说明本实施方式,本实施方式对具体实施方式一至三 任意一个实施方式所述一种室内声源定位系统定位室内声源的方法,步骤一、将第一声音传 感器S0、第二声音传感器S1、第三声音传感器S2、第四声音传感器S3和第五声音传感器S4放置于待测声源所在室内一个虚拟长方体Cube的5个顶点上,其中:第一声音传感器S0、 第二声音传感器S1和第三声音传感器S2分别位于长方体Cube顶面的三个顶点O、A和B处, 这三个顶点O、A和B构成一个直角三角形,第一声音传感器S0所在顶点O为该直角三角形 的直角所对应的顶点,与顶点A位于同一条边的长方体Cube底面顶点C放置第四声音传感 器S3,与顶点B位于同一条边的长方体Cube底面顶点F放置第五声音传感器S4;
以顶点O做为坐标原点、顶点O和顶点B的连线作为为X轴、以顶点O和顶点A的连 线作为Y轴,构成右手螺旋空间直角坐标系,OA的长度为D01,OB的长度为D02,AC的 长度为D13,BF的长度为D24,D01大于0且小于20m,D02大于0且小于20m,D13大于 0且小于5m,D24大于0且小于5m且D13=D24;
步骤二、利用时差广义相关方法根据五个声音传感器采集的声音信号获得同一声源信号 不同时延后的四个时延差,所述四个时延差为:第一声音传感器S0捕获的声音信号和第二声 音传感器S1捕获的声音信号进行相关运算获得的时延差、第一声音传感器S0捕获的声音信号 和第三声音传感器S2捕获的声音信号进行相关运算获得的时延差、第二声音传感器S1捕获的 声音信号和第四声音传感器S3捕获的声音信号进行相关运算获得的时延差、第三声音传感器 S2捕获的声音信号和第五声音传感器S4捕获的声音信号进行自相关运算获得的时延差;
参数控制模块14设定的定位精度参数进行计算后得到时间步进参数,将时间步进参数传 递给时差模块12;参数控制模块14设定的迭代误差参数和迭代次数参数进行计算得到迭代 误差阈值和迭代次数阈值,将迭代误差阈值和迭代次数阈值传递给定位模块13;参数控制模 块14设定的空间位置参数传递给定位模块13;
以上述得到的时间步进参数、迭代误差阈值和迭代次数阈值,将第一声音传感器S0和第 二声音传感器S1捕获的声音信号进行相关运算得到相关值,搜索最大相关值,该最大相关值 对应的相关时间长度就是第一声音传感器S0和第二声音传感器S1之间的时延差;第一声音传 感器S0和第三声音传感器S2捕获的声音信号进行相关运算得到相关值,搜索最大相关值,该 最大相关值对应的相关时间长度就是第一声音传感器S0和第三声音传感器S2之间的时延差; 第二声音传感器S1和第四声音传感器S3捕获的声音信号进行相关运算得到相关值,搜索最大 相关值,该最大相关值对应的相关时间长度就是第二声音传感器S1和第四声音传感器S3之间 的时延差;第三声音传感器S2和第五声音传感器S4捕获的声音信号进行相关运算得到相关 值,搜索最大相关值,该最大相关值对应的相关时间长度就是第三声音传感器S2和第五声音 传感器S4之间的时延差;
步骤三、利用拟Newton方法根据步骤二获得的同一声源信号不同时延后的四个时延差、 五个声音传感器采集的声音信号和五个声音传感器的空间位置分布获得声源位置,
按照传感器的空间位置分布和声源到达每个传感器的时间差构成定位方程组,通过迭代, 得到定位解,计算前后两次的定位结果的欧氏距离;
当两次的定位结果欧氏距离小于步骤二所述的迭代误差阈值,迭代解收敛到了声源位置; 否则当迭代次数大于步骤二所述的迭代次数阈值,重新采集五个声音传感器的声音信号,重 复步骤二,直到获得声源位置为止。
具体实施方式五:本实施方式对具体实施方式四所述的进一步限定,本实施方式所述的 一种室内声源定位系统定位室内声源的方法,步骤二所述的利用时差广义相关方法根据五个 声音传感器采集的声音信号获得同一声源信号不同时延后的四个时延差的具体过程为:
将声音传感器Si接收信号ri(t)和传感器Sj接收信号rj(t)的信号采用式(0.1)表示:
式(0.1)中,s(t)为声源发出的声音信号;S(ω)为s(t)的傅里叶函数,Ai为声音传感器Si传播信道的衰减,Aj为传感器Sj传播信道的衰减;wi(t)为室内背景和Si路信号的电路噪声 之和,wj(t)为室内背景和Sj路信号的电路噪声之和,i,j=0,1,2,3,4且i与j不相等;
将信号ri(t)和信号rj(t)进行相关运算,获得ri(t)和rj(t)相关运算结果
式(0.2)中,τ为相关运算的相关时间长度,τi,τj分别为Si路信号和Sj路信号路径的传输时 延,i,j=0,1,2,3,4且i与j不相等,其中
式(0.3)中Rss[τ-(τj-τi)]由下式获得:
当τ=τj-τi时,Rss[τ-(τj-τi)]取到最大值,即取到最大值;调整相关时间长 度得到相应的相关值,搜索最大相关值,该最大相关值对应的相关时间长度τ就是信号ri(t)和 信号rj(t)的时延差。
具体实施方式六:本实施方式是对具体实施方式四的进一步限定,本实施方式所述的一 种室内声源定位系统定位室内声源的方法,步骤三所述的利用拟Newton方法根据步骤二获 得的同一声源信号不同时延后的四个时延差、五个声音传感器采集的声音信号和五个声音传 感器的空间位置分布获得声源位置的具体过程为:
采集声音传感器S0~S4捕获的声音信号,假设声音传感器S0~S2和S3或S4采集并均检测到 声源目标,比较第四声音传感器S3和第五声音传感器S4捕获的声音信号的幅值;
当S3捕获的声音信号的幅值大于S4捕获的声音信号的幅值;
对声源的空间位置建立定位方程组(1.1);
(x,y,z)表示声源目标的空间位置坐标,(xi,yi,zi)表示Si的空间位置坐标,i=0,1,2,3,4,△T01为S0和S1捕获的声音信号相关运算得到的时延差,τ01=△T01=τ1-τ0,△T02为S0和S2捕获 的声音信号相关运算得到的时延差,τ02=△T02=τ2-τ0,△T13为S1和S3捕获的声音信号相 关运算得到的时延差,τ13=△T13=τ3-τ1,△T24为S2和S4捕获的声音信号相关运算得到的时 延差,τ24=△T24=τ4-τ2,v为声音传播速度,并且满足式(1.2)所示的已知条件;
定位方程组(1.1)是非线性方程组,
定义函数如(1.3)所示;
构建向量F(x)=(f1,f2,f3)T,x=(x,y,z)T,并且该向量满足式(1.4)所示方程;
F(x)=(f1,f2,f3)T=0 (1.4)
式(1.4)的Jacobi矩阵为(1.5);
则解方程组(1.1)的迭代公式为式(1.6);
步骤二所述的迭代误差阈值Eth,当前后两次的定位结果的欧氏距离De=||xi+1-xi||2<Eth时 迭代退出,得到定位解;否则当迭代次数大于步骤二所述的迭代次数阈值Tth,重新采集五个 声音传感器的声音信号,重复步骤二,直到获得声源位置为止;
当S3捕获的声音信号的幅值小于S4捕获的声音信号的幅值;
根据本发明建立的空间直角坐标系,可以对声源的空间位置建立定位方程组(2.1);
并且满足式(2.2)所示的已知条件;
定位方程组(2.1)是非线性方程组,
将定位方程组改写成向量形式:
定义函数如(2.3)所示;
构建向量F(x)=(f1,f2,f3)T,x=(x,y,z)T,并且该向量满足式(2.4)所示方程;
F(x)=(f1,f2,f3)T=0 (2.4)
式(2.4)的Jacobi矩阵为(2.5);
则解方程组(2.1)的迭代公式为式(2.6);
步骤二所述的迭代误差阈值Eth,当前后两次的定位结果的欧氏距离De=||xi+1-xi||2<Eth时 迭代退出,得到定位解;否则当迭代次数大于步骤二所述的迭代次数阈值Tth,重新采集五个 声音传感器的声音信号,重复步骤二,直到获得声源位置为止。
上述过程采用的拟Newton过程是根据传感器的空间位置分布和声源目标发声到达每个 传感器的时间差构成定位方程组,拟Newton过程对定位方程组进行求解,主要步骤有:初 始位置选为5个传感器信号采集结果中幅值最大的传感器所在的位置;通过迭代,得到定位 解,计算前后两次的定位结果的欧氏距离;当两次的定位结果欧氏距离小于步骤二所述的迭 代误差阈值,认为迭代解收敛到了声源位置;否则当迭代次数大于步骤二所述的迭代次数阈 值,重新采集五个声音传感器的声音信号,重复步骤二,直到获得声源位置为止。
拟Newton过程提出的声源定位方法的主要特征包括:参数控制模块14设定的定位精度 参数进行计算后得到时间步进参数,将时间步进参数传递给时差模块12;参数控制模块14 设定的迭代误差参数和迭代次数参数进行计算得到迭代误差阈值和迭代次数阈值,将迭代误 差阈值和迭代次数阈值传递给定位模块13;参数控制模块14设定的空间位置参数传递给定 位模块13;步进参数越小,时差运算的精度越高,声源定位精度越高,系统运算量越大;步 进参数越大,时差运算的精度越低,声源定位精度越低,系统运算量越小;根据实际应用对 定位精度的要求,合理设置步进参数可使本算法在运算复杂度上达到最小;拟Newton法求 解定位方程组时,根据实际应用对定位精度的要求,合理设置前后两次的定位结果距离阈值 可以使算法在运算复杂度上达到最小。
本发明“具体实施方式”部分所用符号定义如下:
Si,Sj; 声音传感器编号i,j=0,1,2,3,4;
s(t); 声源的信号模型;
ri(t); 声音传感器Si接收到的信号;
rj(t); 声音传感器Sj接收到的信号;
wi(t); 室内背景和Si路信号的电路噪声之和;
wj(t); 室内背景和Sj路信号的电路噪声之和;
Ai; Si路信号传播信道衰减;
Aj; Sj路信号传播信道衰减;
ri(t)和rj(t)相关运算结果;
wi(t)和s(t)相关运算结果;
s(t)和wj(t)相关运算结果;
wi(t)和wj(t)相关运算结果;
τ; 相关运算的相关时间长度;
τi,τj; Si路信号和Sj路信号路径传输时延
i,j=0,1,2,3,4;
△T01; S0和S1相关运算得到的到达时间差估计值;
△T02; S0和S2相关运算得到的到达时间差估计值;
△T13; S1和S3相关运算得到的到达时间差估计值;
△T24; S2和S4相关运算得到的到达时间差估计值;
(x,y,z); 表示声源目标的空间位置坐标;
(xi,yi,zi);表示Si的空间位置坐标i=0,1,2,3,4;
v; 声音传播速度;
S(ω); s(t)的傅里叶函数;
De; 前后两次的定位结果的欧氏距离;
Eth; 迭代误差阈值;
Tth; 迭代次数阈值。
机译: 室内声音环境生成装置,声源装置,室内声音环境发电方法和声源装置控制方法
机译: 室内麦克风的声学位置确定装置,具有一组声源,每个声源都具有扬声器,该扬声器是高音域-扬声器通过声反射板的背面通过板中的孔向正面辐射声音
机译: 声源定位系统,以及其声源定位方法及其声源定位程序