用于检测声学和光学信息的方法和装置、以及对应的计算机程序和对应的计算机可读存储介质

摘要

本发明涉及用于检测声学和光学信息的方法和装置、以及对应的计算机程序和对应的计算机可读存储介质，本发明特别可以用于生成三维声音图。声音图可以被可视化并且具有与声源、声功率和发射器特性有关的信息。为此，提出了使用用于检测声学和光学信息的至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备，其中，至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备被布置成限定的位置关系。通过相对于彼此移动至少一个麦克风阵列、至少一个用于检测光学几何结构数据的设备和对象来检测从对象发射的声学信息和对象的几何结构。

说明书

技术领域

本发明涉及用于检测声学和光学信息的方法和装置、以及对应的计算机程序和对应的计算机可读存储介质，本发明尤其可以用于生成三维声音图。声音图可被视觉化并具有与声源、声功率和发射器特性有关的信息。

背景技术

利用用于声源定位的麦克风阵列的波束成型在过去10年中已在国际上得到发展，并且现在是现有技术。多个麦克风因此固定连接到一个或多个摄影机，并且声场和视频被并行地数字记录。通过使用各种计算机辅助信号处理技术，声场被分解成来自麦克风数据的单独的源，并且所提取的声学图与视频图像重叠。声源以这种方式被分配给对应的对象。三维波束成型现在甚至成为已建立的技术。此处，声发射对象的3D模型用于计算并表示声源。

空间欠采样产生旁瓣(杂源或假源)，其限制了声学图的动态并使声学图像的理解复杂化。由于成本和处理的原因，麦克风的数量、以及麦克风阵列的产生的接收模式限制了声场的空间二次抽样。于是，声学图往往是阵列的接收模式与实际声场(图1和图2)的卷积。理论上，将需要处于许多不同空间位置的非常大量的麦克风来确保完整的扫描。由于这是不可能的，所以存在能够改进结果的几种类型的先进信号处理技术(CLEAN-SC、HDR、DAMAS、正交波束成型)。然而，也可以不利用复杂算法来重构不包含在数据中的信息。

由于麦克风阵列测量来自仅一个位置的声源，所以空间欠采样也不允许做出与所检测的声源的发射器特性(单极、双极、三极)相关的结论。然而，这些结论对于评估声源是重要的。

常规的方法不允许做出与所检测的声源的辐射声功率相关的结论。为此，围绕该源的辐射声场必须也被完全探索。

为了正确计算声音图，还必须确定从每个麦克风到对象的表面上的每个点的精确距离。对于扁平的表面，麦克风阵列到对象表面的距离通常被直接确定，其中，表面和阵列的轴线必须互相垂直。必须获得用于被构造得非常深的对象或室内测量的3D模型，这需要额外的努力。此外，必须额外地执行装配，即，必须确定麦克风阵列与3D模型的相对位置。

发明内容

因此，本发明的目的为提供用于检测声学和光学信息的方法和装置、以及对应的计算机程序和对应的计算机可读存储介质，其消除了已知方案的缺点，并且更具体地，其使得可以在不增加物理上存在的麦克风的数量的情况下增加空间采样点的数量。

通过权利要求1和8到10中的特征，利用本发明实现了该目的。本发明的有利实施例被列举在从属权利要求中。

本发明的特定优点尤其在于，大大减小了与对对象的声场进行空间二次抽样相关联的问题，并且因此消除了杂源或假源。这通过在本发明的方法中使用至少一个麦克风阵列和至少一个用于测量光学几何结构数据的设备来实现。至少一个麦克风阵列和至少一个用于测量光学几何结构数据的设备因此以限定的彼此相对位置关系来布置。优选地，(多个)麦克风阵列和用于检测光学几何结构数据的(多个)设备至少在声学和光学信息的检测期间是固定互连的。这在(多个)麦克风阵列和用于测量光学几何结构数据的(多个)设备被可拆卸地互连时是尤其有利的。

麦克风阵列包括至少两个麦克风，然而优选为多个麦克风，例如在48与120个麦克风之间。麦克风的数量取决于应用的领域、对象的几何特性和/或声源的性质，并且甚至可以超过120个的数量。

根据优选实施例，例如激光扫描仪的3D扫描仪可以用作检测光学几何结构数据的设备。有利地，可以采用光学行扫描仪、或者根据飞行时间方法(TOF)来操作的3D相机系统。优选地，利用数据处理设备根据所采集的3D信息来生成3D模型。

根据优选实施例，除了至少一个麦克风阵列和至少一个用于检测几何结构数据的设备之外，可以采用至少一个光学相机。所生成的3D模型于是可以有利地与光学(色彩)信息组合，尤其是叠加。

根据本发明，由至少一个麦克风阵列来检测从对象发射的声学信息或信号，并且由至少一个用于检测光学几何结构数据的设备来检测几何特性，即对象表面的形状。为此，(多个)麦克风阵列和用于检测光学几何结构数据的(多个)设备(一方面)以及所述对象(另一方面)相对于彼此移动。(相对)移动可以被手动执行。在替代的实施例中，(相对)移动可以通过机器来执行，优选地在自动控制下执行。

优选地，至少一个麦克风阵列与至少一个用于检测光学几何结构数据的设备之间的相对位置关系在(相对)移动期间保持不变。

优选地，对象的声学信息和几何特性被同时获得。根据优选实施例，(多个)麦克风阵列和用于检测光学几何结构数据的(多个)设备被移动到预定数量的离散位置，其中，在这些位置处获得声学和光学信息。在替代的实施例中，可以在(相对)移动期间连续获得声学和光学信息。

取决于要被检测的对象和/或声学信息，可以有利地在均具有不同相对位置关系的各个位置中的至少一部分位置处检测声学和光学信息。

根据另一个优选实施例，对于检测位置中的至少一部分，优选地对于所有检测位置，测量至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备的空间位置(与对象有关的绝对空间坐标x、y、z或相对空间空间坐标x’、y’、z’)和取向(角度信息，例如欧拉角)。有利地，至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备可以组合为系统，并且该系统然后被永久地链接到坐标系。为了确定绝对或相对位置以及角坐标，将坐标系的与系统相关联的位置和取向与世界坐标系(绝对坐标)或与和对象相关联的坐标系(相对坐标)相比较。特别地，关于对象来检测至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备的相对位置关系并进行记录。特别地，关于对象来检测至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备距对象的距离、以及至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备的方向并进行记录，优选地作为轨迹。

根据优选实施例，通过使用计算机辅助计算方法(线迹)来根据所检测的几何结构数据创建对象的3D模型。优选地，在获取几何信息期间生成3D模型。特别地，可以根据已经采集的(单独的)深度图像来计算3D模型。通过将3D位置检测和加速度传感器(例如，陀螺仪)集成在测量系统中，将不同3D深度图像接合到完整的对象中是非常便利的，该测量系统还采集用于检测光学几何结构数据的设备(例如，[光学]相机)的位置和运动(轨迹)。

根据所记录的声学信息来计算(总)声音图，其中，术语“总”仅仅是要指示(总)声音图是根据几个单独的声音图来创建的，而不是要限制于声音图的增加或求和。优选地，(总)声音图被产生为三维声音图。根据优选实施例，借助波束成形算法针对各个位置所计算的单独的声音图被组合、优选被加权、求和以及求平均。优选地，确定不同方向上的单独的声源的辐射特性。根据另一个优选实施例，确定对象的总声功率和/或部分声源的声功率。有利地，此处可以对声场的包络进行采样。根据另一个优选实施例，单独的声音图的组合可以包括优选地通过求平均来消除明显的声源和/或反射。

根据优选实施例，声音图的至少一部分，优选为全部声音图，可以在计算机中被内部叠加在3D模型上、和/或被投射到3D模型上。特别地，由单独的声音图组合的(总)声音图被叠加在3D模型上或被投射到3D模型上。这确保了单独的声源(优选地包括它们的声音特性和/或声功率)可以更好地与对象相关联。根据优选实施例，可以利用叠加的或投射的(总)声音图来使3D模型的至少一部分可视化。这在声音特性被例如箭头的光学标记更详细地指示时被证明是有利的。

根据本发明的装置具有至少一个芯片和/或处理器、至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备，其中，至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备被布置成限定的位置关系，并且该装置被配置为执行用于检测声学和光学信息的方法，其中，通过相对于彼此移动至少一个麦克风阵列、至少一个用于检测光学几何结构数据的设备和对象来检测从对象发射的声学信息和对象的几何特性。

根据优选实施例，该装置包括3D位置检测和加速度传感器(优选为陀螺仪)。优选地，3D位置检测和加速度传感器被集成在用于检测光学几何结构数据的设备中。因此，在针对该装置或用于检测光学几何结构数据的设备的至少一些位置、优选为全部位置来检测声学和光学信息期间，还可以检测该装置的轨迹，特别是检测用于检测光学几何结构数据的设备的轨迹，并且优选地进行记录。在优选实施例中，至少由3D位置检测和加速度传感器获取的3D位置数据(尤其是空间和角度坐标)可以用于根据深度图像来计算对象的3D模型。

创造性计算机程序使得数据处理设备在计算机程序已被加载到数据处理设备的存储器后，与相对于彼此被布置成限定的位置关系的至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备相协作，以执行用于检测声学和光学信息的方法，其中，通过相对于彼此移动至少一个麦克风阵列、至少一个用于检测光学几何结构数据的设备和对象来检测从对象发射的声学信息和对象的几何特性。

根据本发明的另一个优选实施例，根据本发明的计算机程序具有模块化的构造，由此，单独的模块被安装在不同的数据处理设备上。

有利的实施例另外考虑被配置为执行说明书中所详细说明的附加的处理步骤或处理流程的计算机程序。

这种计算机程序例如能够被提供用于在数据或通信网络中进行下载(付费或免费、自由存取或有密码保护的)。所提供的计算机程序于是可被如下方法使用，在该方法中，根据权利要求10的计算机程序被从电子数据网络(例如从互联网)下载到连接至数据网络的数据处理设备。

为执行该创造性方法，可以提供其上存储了程序的计算机可读存储介质，该程序使得数据处理设备能够在程序已被加载到数据处理设备的存储器中之后，与相对于彼此被布置成限定的位置关系的至少一个麦克风阵列和至少一个用于检测光学几何结构数据的设备相协作来执行用于检测声学和光学信息的方法，其中，通过相对于彼此移动至少一个麦克风阵列、至少一个用于检测光学几何结构数据的设备和对象来检测从对象发射的声学信息和对象的几何特性。

本发明相对于现有技术提供多个优点。例如，声音发射对象在声学测量期间被扫描并被存储为3D模型。优选地，对象被三维扫描。然而，替代地，也可以根据光学(2D)信息来生成3D模型。于是附加的3D扫描被省略。由于麦克风阵列关于对象的相对位置被记录，距离的测量和阵列相对于对象的装配也变得不必要。

从许多不同的位置获得(静止的)声场。通过对大量声音图(大约25个具有Kinect的声音图)加权求和以及求平均来清楚地识别出实际的源，并且旁瓣(假源)和反射被平均掉。声学图像的质量与利用麦克风数量上的更复杂的实际增加所获得的结果相对应。

由于所记录的运动轨迹，麦克风到声音发射对象的准确距离在任何时候都是已知的。聚焦误差被消除，并且源功率可以被准确确定。

通过对来自多个不同方向的声源进行测量，可以得出关于声源的辐射特性的结论。这些可以被绘制在所产生的三维声音图中，例如以方向箭头的形式，其中，箭头的长度指示对应方向上的源的辐射功率。

可以通过扫描声场的“包络”来得出关于总体声功率以及关于部分声源的声功率的结论。

附图说明

下面将参考由附图的图片所示出的示例性实施例来更详细地解释本发明，在附图中：

图1示出了方法的示意图；

图2示出了由48通道麦克风阵列所记录的两个声源的声场的示例性可视化视图，以及

图3示出了由120通道麦克风阵列所记录的两个声源的声场的示例性可视化视图。

具体实施方式

现在将参考示例性实施例来更详细地解释本发明。根据实施例，环形麦克风阵列102、102’围绕对象106移动，该环形麦克风阵列相对于一个或多个3D扫描仪104、104’被布置成限定的位置关系。具有随机分布的麦克风108、108’的线形、十字形、球形麦克风阵列可以用作替代环形麦克风阵列102、102’的麦克风阵列。同样，一个或多个摄影机可以代替至少一个3D扫描仪104、104’使用。当使用摄影机时，可以通过二维的方式获得声音发射对象，并且对象的3D模型例如由摄影测量的3D重构来生成，正如例如在出版物“Rodehorst，Volker：Photogrammetric3D-reconstructioninthenear-fieldbyauto-calibrationwithprojectivegeometry，WissenschaftlicherVerlag，Berlin2004”中所描述的。

同样地，还可以通过相对于静止布置的麦克风阵列102、102’移动对象、而不是围绕对象106移动麦克风阵列102、102’来修改示例性方法。然而，麦克风阵列102、102’和对象106二者也可以在采集声学和光学信息期间移动。

本发明提出了如下设备和方法，所述设备和方法使得空间采样点的数量显著增加，而不用实际增加物理上存在的麦克风108、108’的数量。为此，麦克风108、108’利用集成位置感测而与一个或多个3D扫描仪104、104’机械连接在限定的相对位置中。优选地，麦克风108、108’和至少一个3D扫描仪104、104’通过固定的、但可拆除的机械连接件彼此连接。此外，麦克风108、108’关于至少一个3D扫描仪104、104’的位置关系优选为在检测声学和光学信息时不改变。由麦克风108、108’和3D扫描仪104、104’组成的设备110、110’现在围绕要被测量的对象106手动地或自动地移动，以便利用麦克风108、108’在许多不同位置并且从许多不同方向扫描声场112。在这种情形中，对象106不应移动，并且对象106的声源114应至少重复地处于静止。同时，利用集成3D扫描仪104、104’来三维地检测声音发射对象106，其中，所记录的单独的深度图像在扫描过程中被计算成整体模型(线迹)。在测量(运动轨迹116)期间记录了3D扫描仪104、104’的位置和方向(位置检测)，并且因此还记录了麦克风相对于3D对象106的位置。为此，设备110、110’优选为与坐标系118、118’相关联。局部的麦克风坐标(位置和角度)以及局部的扫描仪坐标(位置和角度)关于坐标系118、118’是已知的。坐标系118、118’的定位(位置)和取向(角度)也在检测位置(即，在采集声学和/或光学信息的位置)上被采集并被存储。

例如，用于计算机游戏的运动控制的相机(例如来自Microsoft^TM的相机)可以用作3D扫描仪106；该扫描仪在测量期间还提供正常的相机图像(视频)，其允许麦克风阵列102、102’还无修改地用于2D应用。

在随后的评估中，针对3D扫描仪104、104’的每个位置确定对应的麦克风坐标。于是，通过使用已知的波束成形算法针对麦克风阵列102、102’的每个位置计算声音图，并将声音图投射到对象106的3D模型上。不计算模糊区域(阴影，其不能被3D扫描仪104、104’从相应位置检测到)。从不同阵列位置计算的单独的声音图以加权的形式被求和并求平均。于是可以计算声源114到不同方向的辐射特性。

要理解，设备110、110’也可以在静止时使用，在该情形中，要被扫描的对象106移动。在另一个实施例中，设备110、110’和所测量的对象106二者可以被静态地布置。于是仅从三维中的单个位置中采集场景。于是除了场景的照片或视频之外，还为每个图像提供深度信息。

本发明在其实施例中不限于前述的优选示例性实施例。相反，甚至在根本不同的实施例中可以想到利用创造性装置、创造性方法、创造性计算机程序以及创造性计算机可读存储介质的多种变形。

附图标记

102麦克风阵列

102’麦克风阵列

1043D扫描仪

104’3D扫描仪

106对象

108麦克风

108’麦克风

110设备

110’设备

112声场

114声源

116运动轨迹

118坐标系

118’坐标系