声音信息显示装置、声音信息显示方法和程序

摘要

本公开提供了一种声音信息显示装置、声音信息显示方法和程序。根据本公开的声音信息显示装置包括：多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。

说明书

技术领域

本公开涉及声音信息显示装置、声音信息显示方法和程序，并且具体 地涉及在头戴式显示器等上显示覆盖在可视图像上的声源的声音信息的 声音信息显示装置。

背景技术

在针对专利申请第2004-021031号的PCT国际公布的国内再公布中 描述了一种用于通过多个麦克风来估计声源的位置和声音的强度的技术。 进一步，在日本待审专利申请公布第2007-334149号中描述了一种用于听 力受损者的头戴式显示器，该显示器通过多个麦克风识别声源的到达方 向，并且输出对应于识别结果的字和拟声作为字符信息。进而，在日本待 审专利申请公布第08-179791号中描述了一种可视化装置，该可视化装置 从输入图像中提取声音信息，分类并且标识这样的声音是什么，并且将声 音与图像之内的静止图像相关联。

发明内容

用于估计声源方向的技术或者用于从中查明声音的强度的技术(参考 针对专利申请第2004-021031号的PCT国际公布的国内再公布)已经得 以建立并且主要用于测量。然而，由于在测量领域中对精度有要求，所以 设备目前尺度很大。另一方面，这样的声源方向估计技术可以成为用于针 对一般群体搜索发声体的工具，或者成为辅助听力受损者的听力的工具。

上面描述的日本待审专利申请公布第2007-334149号中描述的技术是 眼镜式的头戴式显示器，并且朝向一般行人调整。然而，声源的到达方向 被显示为字符，这难以直观理解。进而，虽然使用拟声词来表达识别结果， 但是在发声体的声音的表达方面可能存在个体差异。

进一步，上面描述的日本待审专利申请公布第08-179791号中描述的 技术需要庞大的数据库，进而，标识隐藏在图像之内的发声体或者标识从 图像之外到达的发声体是困难的。

用户希望能够直观地确定关于声源的位置和由声源产生的声音的信 息。

本公开的实施例的要点是一种声音信息显示装置，该声音信息显示装 置包括：多个声音收集单元；信息获得单元，其基于所述多个声音收集单 元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元， 其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单 元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述 信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述 显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的 位置处，显示覆盖在所述可视图像上的声源的声音信息。

本公开的实施例包括多个声音收集单元，例如多个麦克风。基于多个 声音收集单元收集的声音信息，信息获得单元获得声源的位置信息和声音 信息。例如，声音信息是从声源输出的声音的声级信息或者从声源输出的 声音的频率信息等。

显示数据生成单元生成用于显示由信息获得单元获得的声音信息的 显示数据。显示数据被生成以在可视图像之内的位置处显示声音信息，该 位置对应于由信息获得单元获得的位置信息，以覆盖在可视图像上。

例如，显示数据被生成，以使用预定形状如圆圈的尺寸来显示从声源 输出的声音的等级信息。在这样的情况下，变得可以确定远近感。例如， 可以根据逐渐扩大的圆圈而确定声源正在接近。进一步，例如，显示数据 被生成，以使用施加到预定形状如圆圈的颜色来显示从声源输出的声音的 频率信息。在这样的情况下，可以基于颜色找到特定声源。

基于由显示数据生成单元生成的显示数据，在头戴式图像显示单元上 显示声源的声音信息。在这样的情况下，声音信息在可视图像之内的对应 于声源的位置处被显示覆盖在图像上，以覆盖在可视图像上。例如，在当 声源位置处于可视图像之内时的情况下，声音信息显示在声源位置或其附 近。进一步，例如，在当声源位置不在可视图像之内时的情况下，声音信 息显示在可视图像的接近于声源位置的端部。头戴式图像显示单元例如可 以是透射的图像显示单元。在这样的情况下，可视图像是用户可以通过图 像显示单元观察的实际图像。

进一步，例如，头戴式图像显示单元可以是非透射的图像显示单元。 在这样的情况下，用于获得可视图像的图像数据的成像单元布置在图像显 示单元上，并且由显示数据生成单元生成的显示数据叠加在成像单元所获 得的图像数据上。进而，虽然基于叠加数据在图像显示单元上显示可视图 像，但是声源的声音信息被显示覆盖在可视图像之内的对应于声源的位置 处。亦即，在这样的情况下的可视图像是显示在图像显示单元上的显示图 像。

以这样的方式，在本公开的实施例中，由于声源的声音信息显示覆盖 在可视图像之内的对应于声源的位置处，所以用户可以直观地确定声源的 位置和从声源输出的声音的信息。进一步，在本公开的实施例中，基于多 个声音收集单元收集的声音信息获得声源的位置信息和声音信息，并且甚 至关于可视图像之内的预定对象中隐藏的声源，也能够在可视图像之内的 对应于声源的位置处显示覆盖在隐藏的声源上的声源的声音信息。

在本公开的实施例中，例如，多个声音收集单元可以显示在图像显示 单元上，并且由多个声音收集单元的布置位置配置而成的表面可以不正交 于图像显示单元的显示表面。在这样的情况下，易于执行在图像显示单元 的显示表面之上、亦即在二维平面之上获得声源位置。例如，由多个声音 收集单元的布置位置配置而成的表面可以平行于图像显示单元的显示表 面。在这样的情况下，用于在图像显示单元的显示表面之上获得声源位置 的操作变得容易。

进一步，在本公开的实施例中，例如，多个声音收集单元可以包括多 个全向声音收集单元和多个定向声音收集单元，并且信息获得单元可以基 于多个全向声音收集单元收集的声音信息获得声源的第一定向信息，可以 基于第一定向信息通过控制多个定向声音收集单元的定向方向而获得声 源在多个定向声音收集单元的布置位置中的第二定向信息，并且可以基于 第二定向信息获得声源的位置信息。在这样的情况下，可以提高获得的声 源的位置信息的准确度，而不用增加声音收集单元的数目。

进一步，在本公开的实施例中，例如，可以进一步包括声源指定单元， 其指定作为由信息获得单元获得位置信息和声音信息的目标的声源。例 如，在声源指定单元中，可以指定通过频率作为用于获得声音信息的目标 的声源。在这样的情况下，可以在可视图像之内仅显示特定声源的声音信 息，并且对特定声源的搜索变得容易。

根据本公开的实施例，由于声源的声音信息被显示覆盖在可视图像之 内的对应于声源的位置处，所以用户可以直观地确定声源的位置和从声源 输出的声音的信息，并且，例如使用听力受损者等的视觉来辅助听力成为 可能。

附图说明

图1是图示作为本公开的第一实施例的透射的头戴式显示器(透射 HMD)的外观的示图；

图2A和2B是用于描述由四个麦克风的布置位置配置而成的表面和 显示表面之间的关系的示图；

图3是图示作为本公开的第一实施例的透射HMD系统的配置例子的 框图；

图4是图示配置透射HMD系统的信号处理单元的配置例子的框图；

图5A和5B是用于描述用于声源位置检测的到达角的计算方法的例 子的示图；

图6是图示配置透射HMD系统的信号处理单元的处理顺序的流程 图；

图7A至7C是图示显示例子的示图，在该显示例子中，声音信息被 显示覆盖在可视图像之内的对应于声源的位置处；

图8A和8B是用于描述针对透射HMD的其它麦克风布置例子的示 图；

图9是图示作为本公开的第二实施例的透射的头戴式显示器(透射 HMD)的外观的示图；

图10是图示作为本公开的第二实施例的透射HMD系统的配置例子 的框图；

图11是图示配置透射HMD系统的信号处理单元的配置例子的框图；

图12是图示配置透射HMD系统的信号处理单元的处理顺序的流程 图；

图13是图示作为本公开的第三实施例的非透射的头戴式显示器(非 透射HMD)的外观的示图；

图14是图示作为本公开的第三实施例的非透射HMD系统的配置例 子的框图；

图15是用于描述非透射HMD上的成像装置(摄影机)的另一个布 置例子的示图；以及

图16是图示作为本公开的第四实施例的透射HMD系统的配置例子 的框图。

具体实施方式

下面描述本公开的实施例。这里，将会按照以下顺序给出描述。

1.第一实施例

2.第二实施例

3.第三实施例

4.第四实施例

5.修改例子

根据本公开的实施例的声音信息显示装置可以包括：多个声音收集单 元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声 源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显 示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对 应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声 音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成 的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所 述可视图像上的声源的声音信息。

<1.第一实施例>

[透射的头戴式显示器的配置例子]

图1图示了作为第一实施例的透射的头戴式显示器(透射HMD)10 的外观。在透射HMD 10的前面布置四个全向麦克风101。全部的麦克风 以其间具有一定间隙的方式布置，以便提高声源位置检测的精度。这里， 麦克风101配置声音收集单元。

在这样的情况下，由四个麦克风101的布置位置配置而成的表面没有 正交于透射HMD 10的显示表面。在这样的情况下，四个麦克风101包 括其中在显示表面的水平方向上的布置位置不同的麦克风和其中在显示 表面的垂直方向上的布置位置不同的麦克风。

图2A图示了这样的状态。在图2A中，实线方块示意性地指示显示 表面SFa，而虚线方块则指示由四个麦克风101的显示位置配置而成的表 面SFb。在这样的情况下，表面SFb成为在当表面SFb投射在显示表面 SFa上时的情况下的表面。因此，变得容易的是，基于稍后描述的四个麦 克风101收集的声音信息(声音信号)，在显示表面SFa之上、亦即在二 维平面之上获得声源位置。

这里，如图2B所示，四个麦克风101可以布置在透射HMD 10上， 使得表面SFb变得平行于表面SFa。在这样的情况下，稍后描述的基于 通过四个麦克风101收集的声音信息在显示表面SFa之上、亦即在二维 平面之上获得声源位置的操作变得容易。

图3图示了作为第一实施例的透射HMD 10的系统配置。透射HMD 10包括四个麦克风101、放大器102、模拟数字转换器103、信号处理单 元104和显示单元105。放大器102放大四个麦克风101收集的声音信息 (声音信号)。模拟数字转换器103将放大器102放大的四个麦克风101 收集的声音信息(声音信号)从模拟信号转换成数字信号。

基于模拟数字转换器103获得的四个麦克风101收集的声音信息(声 音信号)，信号处理单元104获得声源的位置信息和声音信息，并且生成 用于显示声音信息的显示数据。在可视图像之内的对应于位置信息的位置 处，显示数据显示覆盖在可视图像上的声音信息。这里，可视图像之内的 对应于位置信息的位置不仅包括由位置信息指示的位置，而且还包括由位 置信息指示的位置附近的位置。通过包括这样的附近位置，例如变得使用 户可以观看可视图像之内的声源图像而不妨碍声音信息的显示。信号处理 单元104配置信息获得单元和显示数据生成单元。

在实施例中，声音信息是从声源输出的声音的等级信息和频率信息。 信号处理单元104生成显示数据，以便使用预定形状(在实施例中为圆圈 (包括椭圆))的尺寸来显示从声源输出的声音的等级信息。进一步，信 号处理单元104生成显示数据，以便用施加到上述圆圈的颜色来显示从声 源输出的声音的频率信息。

基于信号处理单元104生成的显示数据，在可视图像之内的对应于声 源的位置处，显示单元105显示覆盖在可视图像上的声源的声音信息。在 这样的情况下，在当声源位置处于可视图像之内时的情况下，声音信息显 示在声源位置处或其附近。进一步，在这样的情况下，在当声源位置没有 处于可视图像之内时的情况下，声音信息显示在可视图像的接近于声源位 置的端部。显示单元105由透射结构的显示器配置而成，在该透射结构中， 从液晶显示器(LCD)去除了背光单元。

图4图示了信号处理单元104的详细配置。信号处理单元104包括数 字滤波器111、增益调整单元112、声源位置检测单元113、等级分析单元 114、频率分析单元115和显示数据生成单元116。数字滤波器111执行滤 波处理，以去除或减少四个麦克风101收集的声音信息(声音信号)S1 至S4中包括的诸如风噪声或织物的沙沙作响的噪声之类的频率分量。原 因是这样的频率分量有害地影响了声源位置检测过程等。

数字滤波器111例如由有限脉冲响应(FIR)滤波器或无限脉冲响应 (IIR)滤波器配置而成。例如，数字滤波器111配置高通滤波器或带通 滤波器。进一步，例如，在当存在不要被检测的特定频率的噪声时的情况 下，数字滤波器111配置陷波滤波器，其阻挡一部分的带宽。

增益调整单元112从四个麦克风101收集的声音信息(声音信号)S1 至S4中切掉诸如反射声音和固定声音之类的低电平信号。原因是这样的 低电平信号对声源位置检测过程等具有有害的影响。增益调整单元112例 如由自动控制电路配置而成，该自动控制电路根据输入信号电平来执行增 益控制。

基于四个麦克风101收集的声音信息(声音信号)S1至S4，声源位 置检测单元113检测声源的位置信息。声源位置检测单元113使用透射 HMD 10的显示表面、亦即显示单元105的显示表面(二维平面)作为 X-Y坐标平面来检测位置信息。通过声源位置检测单元113进行的声源位 置检测过程被分成以下三个阶段：(1)查明声音从声源到麦克风101中的 每一个的到达时间的差异；(2)计算来自声源的声音的到达角；以及(3) 估计声源位置。下面描述每个阶段的过程。

(1)描述查明到达时间的差异的过程。尽管省略了该过程的详细描 述，但是该过程由现有技术的常见方法执行。例如，使用互相关函数的查 明方法或者使用傅里叶变换的互功率谱相位分析(CSP)方法等是常见的。

(2)描述计算到达角的过程。针对从四个麦克风101中提取的每对 麦克风，声源位置检测单元113执行各个到达角的计算过程。图5A图示 了到达方向计算方法的一个例子。如图5B所示，假定一对麦克风M1和 M2每个之间的到达时间之差为τ。当麦克风M1和M2之间的距离为d 并且声速为c时，如以下方程1那样计算来自声源的声音的到达角θ。

θ＝sin^-1(c·τ/d)    …(1)

(3)描述估计声源位置的过程。通过组合针对每对麦克风分别计算 的到达角，声源位置检测单元113估计声源的位置，亦即声源在包括显示 表面的二维平面之上的位置。作为以这样的方式估计的声源位置，存在两 种类型。亦即，显示表面之内(可视图像之内)的位置和显示表面之外(可 视图像之外)的位置。

这里，通过声源位置检测单元113进行的声源位置检测过程是使用了 来自声源的声音的到达时间之差的过程。然而，通过声源位置检测单元 113进行的声源位置检测过程可以是其它过程，例如使用振幅特性和相位 特性的过程(针对专利申请第2004-021031号的PCT国际公布的国内再 公布)等。

返回到图4，针对由声源位置检测单元113对其检测了声源位置的每 个声源，通过分析来自声源的声音的等级(声音的强度)，等级分析单元 114获得等级信息作为声源的声音信息。如上所述，在麦克风101中的每 一个处，在来自声源的声音的到达时间方面出现差异。将到达时间方面的 差异纳入考虑，等级分析单元114对四个麦克风101收集的声音信息(声 音信号)S1至S4进行求和，并且基于求和的信号获得声源的等级信息。

针对由声源位置检测单元113对其检测了声源位置的每个声源，通过 分析来自声源的声音的频率，频率分析单元115获得频率信息作为声源的 声音信息。例如，使用针对每个类型的声源提取频率分量的多个数字滤波 器，频率分析单元115执行频率分析。进一步，例如通过对来自声源的声 音执行快速傅里叶变换(FFT)过程，频率分析单元115能够执行频率分 析。

显示数据生成单元116生成显示数据Dds，所述显示数据Dds用于在 可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音 信息。基于声源位置检测单元113检测的声源的位置信息、等级分析单元 114获得的来自声源的声音的等级信息和频率分析单元115获得的来自声 源的声音的频率信息，显示数据生成单元116生成显示数据Dds。

显示数据生成单元116生成显示数据Dds，使得通过圆圈的尺寸来显 示从声源输出的声音的等级信息。在这样的情况下，等级越高，则圆圈越 大。进一步，显示数据生成单元116生成显示数据Dds，使得通过施加到 圆圈的颜色来显示从声源输出的声音的频率信息。通过这样做，在当声音 的频率分量针对每个类型的声源不同时的情况下，每个类型的声源通过施 加到圆圈的颜色而变得可识别。

如上所述，存在两种类型的由声源位置检测单元113检测的声源的位 置信息。亦即，存在当显示表面之内(可视图像之内)的位置被示出时的 情况和当显示表面之外(可视图像之外)的位置被示出时的情况。在当声 源位置处于显示表面之内(可视图像之内)时的情况下，显示数据生成单 元116生成显示数据Dds，使得声音信息显示在声源位置或其附近。进一 步，在当声源位置处于显示表面之外(可视图像之外)时的情况下，显示 数据生成单元116生成显示数据Dds，使得声音信息显示在显示表面(可 视图像)的接近于声源位置的端部。

例如由计算机(CPU)例如通过软件过程来执行图4所示的信号处理 单元104的每个单元的过程。在这样的情况下，使得计算机基于处理程序 起到图4所示的信号处理单元104的每个单元的作用。自然地，同样可以 通过硬件来配置图4所示的信号处理单元104的每个部分的一部分或整 体。

图6的流程图图示了图4所示的信号处理单元104的处理顺序。信号 处理单元104周期性地重复该处理顺序，并且连续地更新显示数据Dds。 信号处理单元104在移动到ST2的过程之前在步骤ST1中开始处理。

在步骤ST2中，信号处理单元104执行滤波处理，以去除或减少四 个麦克风101收集的声音信息(声音信号)S1至S4中包括的诸如风噪声 或织物的沙沙作响的噪声之类的频率分量。进而，在步骤ST3中，信号 处理单元104执行从四个麦克风101收集的声音信息(声音信号)S1至 S4中切掉诸如反射声音和固定声音之类的低电平信号的增益调整处理。

接下来，在步骤ST4中，基于四个麦克风101收集的声音信息(声 音信号)S1至S4，信号处理单元104检测声源的位置信息。进一步，在 步骤ST5中，针对对其检测了声源位置的每个声源，通过分析来自声源 的声音的等级(声音的强度)，信号处理单元104获得等级信息作为声源 的声音信息。进而，在步骤ST6中，针对对其检测了声源位置的每个声 源，通过分析来自声源的声音的频率，信号处理单元104获得频率信息作 为声源的声音信息。

接下来，在步骤ST7中，基于在步骤ST4中获得的声源的位置信息、 在步骤ST5中获得的来自声源的声音的等级信息和在步骤ST6中获得的 来自声源的声音的频率信息，信号处理单元104生成显示数据。亦即，在 步骤ST7中，信号处理单元104生成显示数据，所述显示数据用于在可 视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音信 息。在步骤ST7的过程之后，信号处理单元104在步骤ST8中结束处理。

描述图1和3所示的透射HMD 10的行为。四个麦克风101收集的 声音信息(声音信号)在由放大器102放大并且由模拟数字转换器103 从模拟信号转换成数字信号之后被供应给信号处理单元104。在信号处理 单元104中，基于四个麦克风101收集的声音信息(声音信号)，获得声 源的位置信息和声音信息(等级信息、频率信息)。

进一步，在信号处理单元104中，基于获得的声源的位置信息和声音 信息，生成用于显示声音信息的显示数据。在可视图像之内的对应于位置 信息的位置处，显示数据显示覆盖在可视图像上的声音信息。在这样的情 况下，显示数据被生成使得通过圆圈的尺寸来显示从声源输出的声音的等 级信息。进一步，在这样的情况下，显示数据被生成使得通过施加到圆圈 的颜色来示出从声源输出的声音的频率信息。

由信号处理单元104生成的显示数据被供应给显示单元105。在显示 单元105中，在可视图像之内的对应于位置信息的位置处，声源的声音信 息被显示覆盖在可视图像上。在这样的情况下，在当声源位置处于显示表 面之内(可视图像之内)时的情况下，声音信息被显示在声源位置或其附 近。进一步，在这样的情况下，在当声源位置处于显示表面之外(可视图 像之外)时的情况下，声音信息被显示在显示表面(可视图像)的接近于 声源位置的端部。

图7A图示了用户通过透射HMD 10观察的可视图像(实际图像)的 一个例子。进一步，图7B图示了显示在显示单元105上的声音信息(等 级信息、频率信息)的一个例子。这里，在图7B中，通过图案而不是颜 色来图示从声源输出的声音的频率信息。用户观察如图7C所示的那样的 图像，该图像处于这样一种状态下：图7B所示的声音信息显示叠加在图 7A所示的可视图像上。显示了在可视图像之内的对应于声源的位置处的 覆盖在这样的图像上的声源的声音信息。

在图1和3所示的透射HMD 10中，声源的声音信息被显示覆盖在 可视图像之内的对应于声源的位置处。因此，用户变得可以直观地确定声 源的位置和从声源输出的声音的信息。

进一步，在图1和3所示的透射HMD 10中，基于四个麦克风101 收集的声音信息(声音信号)获得声源的位置信息和声音信息。因为这样 的原因，同样关于可视图像之内的预定对象所隐藏的声源，声源的声音信 息能够被显示覆盖在可视图像之内的对应于声源的位置处。

进一步，在图1和3所示的透射HMD 10中，由于通过圆圈的尺寸 来显示声源的声音的等级信息，所以变得可以确定远近感。例如，可以根 据逐渐扩大的圆圈而确定声源正在接近。进一步，在图1和3所示的透射 HMD 10中，由于通过施加到圆圈的颜色来显示声源的声音的频率信息， 所以能够基于颜色搜索特定声源。

进一步，在图1和3所示的透射HMD 10中，在当声源位置处于可 视图像之外时的情况下，声音信息被显示在可视图像的接近于声源位置的 端部。因此，甚至对于处在可视图像之外的位置处的声源也能够显示声音 信息，并且进一步，用户能够直观地看到声源关于可视图像处于哪个方向。

进而，在图1和3所示的透射HMD 10中，由布置在透射HMD 10 上的四个麦克风101配置而成的表面SFb配置成不正交于透射HMD 10 的显示表面SFa。在这样的情况下，由于表面SFb成为在当表面SFb投 射在显示表面SFa上时的情况下的表面，所以在显示表面SFa之上、亦 即在二维平面之上执行对声源位置的获得变得容易。

这里，在图1和3所示的透射HMD 10中，使用了模拟麦克风101。 使用数字麦克风如MEMS并且省略放大器和模拟数字转换器的配置也是 可以的。

进一步，尽管在图1和3所示的透射HMD 10中使用了四个麦克风 101，但是麦克风101的数目不限于四个。例如，图8A图示了其中两个 麦克风101布置在透射HMD 10的前面的例子。进一步，图8B图示了其 中三个麦克风101布置在透射HMD 10的前面的例子。

重要的是，麦克风以其间具有一定间隔的方式布置，以便提高声源检 测的精度。因此，在当两个麦克风101布置在透射HMD 10的前面时的 情况下，例如如图8A所示，麦克风101布置在左右端。进一步，在当三 个麦克风101布置在透射HMD 10的前面时的情况下，例如如图8B所示， 麦克风101布置成形成三角形。

进一步，在图1和3所示的透射HMD 10中，麦克风101整体地布 置在透射HMD 10的前面。然而，麦克风101可以独立于透射HMD 10。 在这样的情况下，用于将麦克风101和透射HMD 10之间的距离的信息 和麦克风101之间的距离的信息传递到信号处理单元104的机构变得重 要。

在这样的情况下，希望麦克风101的位置固定在透射HMD 10附近。 其中透射HMD 10和用于收集其它声音的设备被集成的结构也是可以的。 进一步，在当使用两个麦克风时的情况下，如果麦克风布置在耳廓附近， 则还可以通过使用两耳之间的相关性的方法或者使用两耳之间的相差的 方法来估计声源位置(参见日本待审专利申请公布第2004-325284号)。

关于上面的修改例子中的每一个，对于稍后描述的其它实施例同样成 立。

<2.第二实施例>

[透射的头戴式显示器的配置例子]

图9图示了作为第二实施例的透射的头戴式显示器(透射HMD)10A 的外观。类似于图1所示的透射HMD 10，四个全向麦克风101布置在透 射HMD 10A的前面。进一步，三个定向麦克风101a布置在透射HMD 10A 的前面。这里，麦克风101和101a配置声音收集单元。

类似于图1所示的透射HMD 10，由四个麦克风101的布置位置配置 而成的表面不正交于透射HMD 10A的显示表面。类似地，由三个麦克风 101a的布置位置配置而成的表面不正交于透射HMD 10A的显示表面。 亦即，在这样的情况下，三个麦克风101a不仅可以具有在显示表面的水 平方向上不同的布置位置，而且还可以具有在显示表面的垂直方向上不同 的布置位置。

图10图示了作为第二实施例的透射HMD 10A的系统配置。在图10 中，相同的标号给予与图3相对应的部分，并且在适当时会省略详细描述。 透射HMD 10A包括四个全向麦克风101、三个定向麦克风101A、放大器 102和106、模拟数字转换器103和107、信号处理单元104A和显示单元 105。例如，定向麦克风101a由多个麦克风阵列构成，并且能够动态地扫 描定向方向。

放大器102放大四个麦克风101收集的声音信息(声音信号)。模拟 数字转换器103将放大器102放大的四个麦克风101收集的声音信息(声 音信号)从模拟信号转换成数字信号。放大器106放大三个麦克风101a 收集的声音信息(声音信号)。模拟数字转换器107将放大器106放大的 三个麦克风101a收集的声音信息(声音信号)从模拟信号转换成数字信 号。

基于来自模拟数字转换器103的四个全向麦克风101收集的声音信息 (声音信号)和来自模拟数字转换器107的三个定向麦克风101a收集的 声音信息(声音信号)，信号处理单元104A获得声源的位置信息和声音 信息。进一步，基于声源的位置信息和声音信息，信号处理单元104A生 成用于显示声音信息的显示数据。显示数据用于在可视图像之内的对应于 位置信息的位置处显示覆盖在可视图像上。信号处理单元104A配置信息 获得单元和显示数据生成单元。

信号处理单元104A按照以下顺序获得声源的位置信息。亦即，基于 四个全向麦克风101收集的声音信息(声音信号)，信号处理单元104A 获得声源的第一定向信息。第一定向信息是指示声源的一般方向的信息。 接下来，信号处理单元104A基于第一定向信息控制三个定向麦克风101a 的定向方向，并且获得声源在三个定向麦克风101a的布置位置的第二定 向信息。

在这样的情况下，尽管在图10中没有图示从信号处理单元104A至 定向麦克风101a的控制线，但是定向麦克风101a的定向方向由信号处理 单元104A控制，以扫描通过第一定向信息指示的预定范围。信号处理单 元104A将其中定向麦克风101a收集的声音信息(声音信号)的等级为 最大的定向方向设置为声源在定向麦克风101a的布置位置的第二定向信 息。第二定向信息是精确地指示声源方向的信息。进而，基于声源在三个 定向麦克风101a的布置位置的第二定向信息，信号处理单元104A获得 声源的位置信息。

基于由信号处理单元104A生成的显示数据，在可视图像之内的对应 于声源的位置处，显示单元105显示覆盖在可视图像上的声源的声音信 息。在这样的情况下，在当声源位置处于可视图像之内时的情况下，声音 信息显示在声源位置或其附近。进一步，在这样的情况下，在当声源位置 处于可视图像之外时的情况下，声音信息显示在可视图像的接近于声源位 置的端部。

图11图示了信号处理单元104A的详细配置。在图11中，与图4相 对应的部分给予相同的标号，并且在适当时会省略其详细描述。信号处理 单元104A包括数字滤波器111和118、增益调整单元112和119、声源方 向估计单元117、声源位置检测单元113A、等级分析单元114、频率分析 单元115和显示数据生成单元116。

数字滤波器111执行滤波处理，以去除或减少四个麦克风101收集的 声音信息(声音信号)S1至S4中包括的诸如风噪声或织物的沙沙作响的 噪声之类的频率分量。原因是这样的频率分量有害地影响了声源位置检测 过程等。增益调整单元112从四个麦克风101收集的声音信息(声音信号) S1至S4中切掉诸如反射声音和固定声音之类的低电平信号。原因是这样 的低电平信号对声源位置检测过程等具有有害的影响。

基于已对其执行了滤波处理和增益调整过程的四个麦克风101收集 的声音信息(声音信号)S1至S4，声源方向估计单元117示意性地估计 声源方向。从图4所示的透射HMD 10中的上面描述的信号处理单元104 的三个阶段当中，声源方向估计单元117执行以下两个阶段：(1)查明声 音从声源到麦克风101中的每一个的到达时间的差异；以及(2)计算来 自声源的声音的到达角。

基于声源方向估计单元117获得的多个到达角的信息和三个定向麦 克风101a收集的声音信息(声音信号)Sa1至Sa3，声源位置检测单元 113A检测声源的位置信息。声源位置检测单元113A使用透射HMD 10A 的显示表面、亦即显示单元105的显示表面(二维平面)作为X-Y坐标 平面来检测位置信息。

声源位置检测单元113A首先获得针对三个定向麦克风101a的布置 方向的各个声源方向。在这样的情况下，声源位置检测单元113A控制定 向麦克风101a的定向方向，以扫描声源方向估计单元117获得的多个到 达角的信息(声源的第一定向信息)所指示的预定范围。进而，声源位置 检测单元113A将其中定向麦克风101a收集的声音信息(声音信号)的 等级为最大的定向方向设置为定向麦克风101a的布置位置的声源方向。

声源位置检测单元113A接下来基于三个定向麦克风101a的布置位 置和声源定向信息(声源的第二定向信息)而获得声源的位置信息。亦即， 通过组合三个定向麦克风101a的布置位置的声源方向，声源位置检测单 元113A估计声源的位置，亦即在包括声源的显示表面的二维平面上的位 置。作为以这样的方式估计的声源位置，存在两种类型。亦即，显示表面 之内(可视图像之内)的位置和显示表面之外(可视图像之外)的位置。

关于由声源位置检测单元113A对其检测了声源位置的每个声源，等 级分析单元114分析例如由四个全向麦克风101收集的声源的声音的等级 (声音的强度)，并且获得等级信息作为声源的声音信息。如上所述，在 朝向麦克风101中的每一个的声源的声音的到达时间方面出现差异。

将到达时间方面的差异纳入考虑，等级分析单元114对四个麦克风 101收集的声音信息(声音信号)S1至S4进行求和，并且基于求和的信 号获得声源的等级信息。针对由声源位置检测单元113A对其检测了声源 位置的每个声源，频率分析单元115分析例如由三个定向麦克风101a收 集的声源的声音的频率，并且获得频率信息作为声源的声音信息。

显示数据生成单元116生成显示数据Dds，所述显示数据Dds用于在 可视图像之内的对应于位置信息的位置处显示覆盖在可视图像上的声音 信息。基于声源位置检测单元113A检测的声源的位置信息、等级分析单 元114获得的来自声源的声音的等级信息和频率分析单元115获得的来自 声源的声音的频率信息，显示数据生成单元116生成显示数据Dds。

显示数据生成单元116生成显示数据Dds，使得通过圆圈的尺寸来显 示从声源输出的声音的等级信息。在这样的情况下，等级越高，则圆圈越 大。进一步，显示数据生成单元116生成显示数据Dds，使得通过施加到 圆圈的颜色来显示从声源输出的声音的频率信息。通过这样做，在当声音 的频率分量针对每个类型的声源不同时的情况下，每个类型的声源通过施 加到圆圈的颜色而变得可识别。

如上所述，存在两种类型的由声源位置检测单元113A检测的声源的 位置信息。亦即，存在当显示表面之内(可视图像之内)的位置被示出时 的情况和当显示表面之外(可视图像之外)的位置被示出时的情况。在当 声源位置处于显示表面之内(可视图像之内)时的情况下，显示数据生成 单元116生成显示数据Dds，使得声音信息显示在声源位置或其附近。进 一步，在当声源位置处于显示表面之外(可视图像之外)时的情况下，显 示数据生成单元116生成显示数据Dds，使得声音信息显示在显示表面(可 视图像)的接近于声源位置的端部。

例如由计算机(CPU)例如通过软件过程来执行图11所示的信号处 理单元104A的每个单元的过程。在这样的情况下，使得计算机基于处理 程序起到图11所示的信号处理单元104A的每个单元的作用。自然地， 同样可以通过硬件来配置图11所示的信号处理单元104A的每个部分的 一部分或整体。

图12的流程图图示了图11所示的信号处理单元104A的处理顺序。 信号处理单元104A周期性地重复该处理顺序，并且连续地更新显示数据 Dds。信号处理单元104A在移动到ST11的过程之前在步骤ST10中开始 处理。

在步骤ST11中，信号处理单元104A执行滤波处理，以去除或减少 四个全向麦克风101收集的声音信息(声音信号)S1至S4中包括的诸如 风噪声或织物的沙沙作响的噪声之类的频率分量。进而，在步骤ST12中， 信号处理单元104A执行从四个全向麦克风101收集的声音信息(声音信 号)S1至S4中切掉诸如反射声音和固定声音之类的低电平信号的增益调 整处理。

接下来，在步骤ST13中，基于已对其执行了滤波处理和增益调整处 理的四个麦克风101收集的声音信息(声音信号)S1至S4，信号处理单 元104A示意性地估计声源方向。在这样的情况下，信号处理单元104A 执行以下两个阶段：(1)查明声音从声源到麦克风中的每一个的到达时间 的差异；以及(2)计算来自声源的声音的到达角。

接下来，在步骤ST14中，信号处理单元104A执行滤波处理，以去 除或减少三个定向麦克风101a收集的声音信息(声音信号)Sa1至Sa3 中包括的诸如风噪声或织物的沙沙作响的噪声之类的频率分量。进而，在 步骤ST15中，信号处理单元104A执行从三个定向麦克风101a收集的声 音信息(声音信号)Sa1至Sa3中切掉诸如反射声音和固定声音之类的低 电平信号的增益调整处理。

接下来，在步骤ST16中，信号处理单元104A检测声源的位置信息。 在这样的情况下，基于在步骤ST13中获得的多个到达角的信息和已对其 执行了滤波处理和增益调整处理的三个定向麦克风101a收集的声音信息 (声音信号)Sa1至Sa3，信号处理单元104A检测声源的位置信息。

接下来，在步骤ST17中，针对已对其检测了声源位置的每个声源， 通过分析来自声源的声音的等级(声音的强度)，信号处理单元104A获 得等级信息作为声源的声音信息。进而，在步骤ST18中，针对已对其检 测了声源位置的每个声源，通过分析来自声源的声音的频率，信号处理单 元104A获得频率信息作为声源的声音信息。

接下来，在步骤ST19中，基于在步骤ST16中获得的声源的位置信 息、在步骤ST17中获得的来自声源的声音的等级信息和在步骤ST18中 获得的来自声源的声音的频率信息，信号处理单元104A生成显示数据。 亦即，在步骤ST19中，信号处理单元104A生成显示数据，所述显示数 据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视图像 上的声音信息。在步骤ST19的过程之后，信号处理单元104A在步骤ST20 中结束处理。

描述图9和10所示的透射HMD 10A的行为。四个全向麦克风101 收集的声音信息(声音信号)在由放大器102放大并且由模拟数字转换器 103从模拟信号转换成数字信号之后被供应给信号处理单元104A。进一 步，三个定向麦克风101a收集的声音信息(声音信号)在由放大器106 放大并且由模拟数字转换器107从模拟信号转换成数字信号之后被供应 给信号处理单元104A。

在信号处理单元104A中，基于四个全向麦克风101收集的声音信息 (声音信号)和三个定向麦克风101a收集的声音信息(声音信号)，通过 获得声源的位置信息和声音信息来生成用于显示声音信息的显示数据。显 示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可视 图像上的声音信息。

在这样的情况下，在信号处理单元104A中，基于四个全向麦克风101 收集的声音信息(声音信号)S1至S4获得声源的第一定向信息(指示声 源的一般方向的信息)。接下来，在信号处理单元104A中，基于第一定 向信息来控制三个定向麦克风101a的定向方向。进而，基于三个定向麦 克风101a收集的声音信息(声音信号)Sa1至Sa3获得声源在三个定向 麦克风101a的布置位置的第二定向信息(指示声源的精确位置的信息)。 另外，在信号处理单元104A中，基于声源在三个定向麦克风101a的布 置位置的第二定向信息，获得声源的位置信息。

由信号处理单元104A生成的显示数据被供应给显示单元105。在显 示单元105中，在可视图像之内的对应于位置信息的位置处，声源的声音 信息基于显示数据被显示覆盖在可视图像上(参考图7C)。在这样的情况 下，在当声源位置处于显示表面之内(可视图像之内)时的情况下，声音 信息被显示在声源位置或其附近。进一步，在这样的情况下，在当声源位 置处于显示表面之外(可视图像之外)时的情况下，声音信息被显示在显 示表面(可视图像)的接近于声源位置的端部。

由于与上面描述的图1和3所示的透射HMD 10类似地配置图9和 10所示的透射HMD 10A，所以能够获得同样的效果。在图9和10所示 的透射HMD 10A中，在信号处理单元104A中，通过基于四个全向麦克 风101收集的声音信息的过程和基于三个定向麦克风101a收集的声音信 息的过程这两个阶段的过程，获得声源的定向信息。因此，变得可以提高 获得声源的位置信息的准确度，而不用显著增加麦克风的数目。

<3.第三实施例>

[非透射的头戴式显示器的配置例子]

图13图示了作为第三实施例的非透射的头戴式显示器(HMD)10B 的外观。类似于图1所示的透射HMD 10，四个全向麦克风101布置在非 透射HMD 10B的前面。进一步，用于获得可视图像的图像数据的成像装 置(摄影机)131布置在非透射HMD 10B的前面的中心。这里，麦克风 101配置声音收集单元。类似于图1所示的透射HMD 10，由四个麦克风 101的布置位置配置而成的表面不正交于非透射HMD 10B的显示表面。

图14图示了作为第三实施例的非透射HMD 10B的系统配置。在图 14中，与图3相对应的部分给予相同的标号，并且在适当时会省略其详 细描述。非透射HMD 10B包括四个全向麦克风101、放大器102、模拟 数字转换器103、信号处理单元104、成像装置(摄影机)131、成像信号 处理单元132、叠加单元134和显示单元105B。

放大器102放大四个麦克风101收集的声音信息(声音信号)。模拟 数字转换器103将放大器102放大的四个麦克风101收集的声音信息(声 音信号)从模拟信号转换成数字信号。基于模拟数字转换器103获得的四 个麦克风101收集的声音信息(声音信号)，通过获得声源的位置信息和 声音信息，信号处理单元104生成用于显示声音信息的显示数据。

成像装置(摄影机)131捕捉对应于用户视野的对象。成像信号处理 单元132处理由成像装置131获得的成像信号，并且输出可视图像的图像 数据。在这样的情况下，在成像信号处理单元132中，还执行针对取决于 成像装置131的布置位置而发生的捕捉图像和用户的实际视野之间的偏 差的补偿。这里，成像装置131和成像信号处理单元132配置成像单元。

叠加单元134将信号处理单元104生成的显示数据叠加在成像信号处 理单元132获得的可视图像的图像数据之上。显示单元105B基于叠加单 元134的输出数据来显示可视图像，并且在可视图像之内的对应于声源的 位置处显示覆盖在可视图像上的声源的声音信息。不同于图3所示的透射 HMD 10的显示单元105，显示单元105B例如由背光单元尚未从中去除 的常规液晶显示器(LCD)配置而成。

描述图13和14所示的非透射HMD 10B的行为。四个麦克风101收 集的声音信息(声音信号)在由放大器102放大并且由模拟数字转换器 103从模拟信号转换成数字信号之后被供应给信号处理单元104。在信号 处理单元104中，通过基于四个麦克风101收集的声音信息(声音信号) 获得的声源的位置信息和声音信息，生成用于显示声音信息的显示数据。 显示数据用于在可视图像之内的对应于位置信息的位置处显示覆盖在可 视图像上的声音信息。

进一步，在成像装置131中，捕捉对应于用户视野的对象。从成像装 置131输出的成像信号被供应给成像信号处理单元132。在成像信号处理 单元132中，处理成像信号并且生成可视图像的图像数据。在成像信号处 理单元132中，还执行针对取决于成像装置131的布置位置而发生的捕捉 图像和用户的实际视野之间的偏差进行补偿的过程。

由成像信号处理单元132获得的可视图像的图像数据被供应给叠加 单元134。由信号处理单元104生成的显示数据被供应给叠加单元134。 在叠加单元134中，显示数据被叠加在可视图像的图像数据上。叠加数据 被供应给显示单元105B。

在显示单元105B中，基于叠加单元134的输出数据(叠加数据)显 示可视图像，并且在可视图像之内的对应于声源的位置处，声源的声音信 息被显示覆盖在可视图像上(参考图7C)。在这样的情况下，在当声源位 置处于显示表面之内(可视图像之内)时的情况下，声音信息被显示在声 源位置或其附近。进一步，在这样的情况下，在当声源位置处于显示表面 之外(可视图像之外)时的情况下，声音信息被显示在显示表面(可视图 像)的接近于声源位置的端部。

除了可视图像显示在显示单元105B上以及声源的声音信息之外，由 于与上面描述的图1和3所示的透射HMD 10类似地配置图13和14所 示的非透射HMD 10B，所以能够获得同样的效果。进一步，在图13和 14所示的非透射HMD 10B中，由于在成像信号处理单元132中补偿了 取决于成像装置131的布置位置而发生的可视图像和用户的实际视野之 间的偏差，所以能够在显示单元105B上显示对应于实际视野的令人满意 的可视图像。

这里，在图13和14所示的非透射HMD 10B中，尽管成像装置(摄 影机)131整体地布置在非透射HMD 10B的前面的中心，但是成像装置 131的布置位置不限于此。例如，如图15所示，还可以考虑将成像装置 131放置在非透射HMD 10B的前面的侧端，或者放置在独立于非透射 HMD 10B的位置处。甚至在这样的情况下，如上所述，通过在成像信号 处理单元132中补偿取决于成像装置131的布置位置而发生的可视图像和 用户的实际视野之间的偏差，变得可以在显示单元105B上显示对应于实 际视野的令人满意的可视图像。

<4.第四实施例>

[透射的头戴式显示器的配置例子]

图16图示了根据第四实施例的透射的头戴式显示器(HMD)10C的 配置。尽管在附图中未示出，透射HMD 10C的外观与图1所示的透射 HMD 10的外观相同。在图16中，与图3相对应的部分给予相同的标号， 并且在适当时会省略其详细描述。透射HMD 10C包括四个全向麦克风 101、放大器102、模拟数字转换器103、信号处理单元104C、显示单元 105和声源指定单元135。

放大器102放大四个麦克风101收集的声音信息(声音信号)。模拟 数字转换器103将放大器102放大的四个麦克风101收集的声音信息(声 音信号)从模拟信号转换成数字信号。基于模拟数字转换器103获得的四 个麦克风101收集的声音信息(声音信号)，通过获得声源的位置信息和 声音信息，信号处理单元104C生成用于显示声音信息的显示数据。

声源指定单元135指定作为通过信号处理单元104C进行的用于获得 位置信息和声音信息的目标的声源。声源指定单元135包括声源选择按钮 (未示出)等，并且允许用户执行声源指定操作。尽管例如能够用声音的 频率或等级等来执行对目标声源的指定，但是在本实施例中，用频率来执 行对目标声源的指定。

基于由信号处理单元104C生成的显示数据，显示单元105在可视图 像之内的对应于声源的位置处显示覆盖在可视图像上的声源的声音信息。 显示单元105例如由透射结构配置而成，在该透射结构中，从液晶显示器 (LCD)去除了背光单元。

描述图16所示的透射HMD 10C的行为。四个麦克风101收集的声 音信息(声音信号)在由放大器102放大并且由模拟数字转换器103从模 拟信号转换成数字信号之后被供应给信号处理单元104C。在信号处理单 元104C中，基于四个麦克风101收集的声音信息(声音信号)，获得声 源的位置信息和声音信息(等级信息、频率信息)。在这样的情况下，在 信号处理单元104C中，仅以声源指定单元135所指定的声源作为目标来 获得位置信息和声音信息。

进一步，在信号处理单元104C中，基于获得的声源的位置信息和声 音信息，生成用于显示声音信息的显示数据。显示数据用于在可视图像之 内的对应于位置信息的位置处显示覆盖在可视图像上的声音信息。在这样 的情况下，显示数据被生成使得通过圆圈的尺寸来显示从声源输出的声音 的等级信息。进一步，在这样的情况下，显示数据被生成使得通过施加到 圆圈的颜色来表示从声源输出的声音的频率信息。

由信号处理单元104C生成的显示数据被供应给显示单元105。在显 示单元105中，基于显示数据，在可视图像之内的对应于声源的位置处， 声源的声音信息被显示覆盖在可视图像上(参考图7C)。在这样的情况下， 在当声源位置处于显示表面之内(可视图像之内)时的情况下，声音信息 被显示在声源位置或其附近。在这样的情况下，在当声源位置处于显示表 面之外(可视图像之外)时的情况下，声音信息被显示在显示表面(可视 图像)的接近于声源位置的端部。

由于与上面描述的图1和3所示的透射HMD 10类似地配置图16所 示的透射HMD 10C，所以能够获得同样的效果。进一步，在图16所示 的透射HMD 10C中，在信号处理单元104C中，仅以声源指定单元135 所指定的声源作为目标来获得位置信息和声音信息。因此，可以仅在可视 图像之内显示指定的声源的声音信息，并且搜索指定的声源变得容易。

<5.修改例子>

这里，在上面描述的实施例中，已描述了其中声源的声音信息是等级 信息或频率信息的例子。然而，作为声音信息，还可以考虑其它类型的信 息。例如存在：(1)字符信息，其表示通过语音识别确定的字；(2)象声 词，其指示从环境的声音(移动火车的声音)中获得的对象的声音；(3) 拟声，其指示活物的声音；以及(4)声音信号的时域波形、功率谱和频 率谱等。

进一步，在上面描述的实施例中，已描述了其中通过圆圈的尺寸来显 示来自声源的声音的等级信息的例子。然而，除了圆圈之外的显示形状也 是可以的。例如存在(1)多边形、(2)箭头、(3)语音气泡以及(4)取 决于发声体如人声、其它活物和环境声音的类型的字型等。

进一步，在上面描述的实施例中，已描述了其中通过颜色来显示来自 声源的声音的频率信息的例子。然而，可以考虑颜色编码和显示(1)人 的性别、(2)人的话语、(3)发声体如其它活物和环境声音的类型并进一 步通过颜色的阴影等来显示声音的强度。

本公开包含与2010年12月24日向日本专利局申请的日本优先权专 利申请JP 2010-286934中公开的主题有关的主题，该专利申请的整体内容 通过引用结合于此。

本领域技术人员应当理解的是，取决于设计要求和其它因素，可以进 行各种修改、组合、再组合和变更，它们都处在所附权利要求或其等效含 义的范围之内。