用于在电话会议期间在计算机和演讲者之间转换音频传输的系统和方法

摘要

本发明提出了一种新的方法来考虑支持在电话会议期间在计算机音频和演讲者音频之间转换的系统和方法，使得在任何时间两个音频流中的一个且仅一个，而不是二者都被传输到该会议的其余方。更具体地，采用转换引擎，其分别将由附加到主机装置的麦克风和演讲者的主机装置的混音组件捕获的一个或多个音频流作为其两个输入，并在任意时间仅输出两个输入中的一个。随后，通过消除来自其他音频源的反馈，所选的音频输出被处理并传输到该会议的其余方。

说明书

背景技术

电话会议是处于地理上分布的位置的两个或多个呼叫者或用户(此处称为一组与会者)之间打电话，其允许每个与会者能对其他与会者讲话并且同时听其他与会者讲话。在多个与会者之间的电话会议可以是经由语音会议桥或集中的服务器而进行的，所述语音会议桥或集中的服务器使用适当的通信协议连接和与会者关联的多个端点装置(VoIP装置或PSTN电话机)并且在端点装置或在会议桥处混合来自多个与会者的各种输入的语音流。

Web(网络)会议工具通过允许电话会议的与会者组中的演讲者经由主机装置运行计算机软件应用(此处也称为应用)或演示资料并与该组的其他人(观众)共享应用或资料以实时观看，来使得这组与会者能够在电话会议期间在线组织和参加会议。对于非限制性示例，这样的Web会议工具使演讲者能够进行实时的现场演示、与同事进行文档协作以及给顾客和雇员提供培训。

在web会议期间，除了将输出的在电话会议上发言的演讲者或观众的语音会议音频流(或音频)(此处也分别称为演讲者音频或观众音频流)传输到会议之外，可能经常需要单独地将输出的经由演讲者的主机装置演示的资料和/或运行的应用的音频流(此处也被称为计算机音频流)传输到会议。同时，需要从在电话会议发言的小组的其他人接收输入的语音音频流(此处也称为语音会议音频)。当与演讲者或观众处于相同位置的不只一个人要收听电话会议和/或在电话会议上发言时，演讲者或观众可能不得不通过使用与主机装置关联的单独的扬声器和麦克风来“开放”该电话会议以允许该位置的其他人员收听到该会议。因此，通过扬声器播放的会议音频流和计算机音频流可能与演讲者或观众音频流一起被麦克风(部分地)拾起，从而造成电话会议的音频质量的恶化。相反地，确保这两个输出的音频流(计算机音频流和演讲者音频流)被主机装置“纯净地”传输且不互相干扰是很重要的。虽然一些回声“取消”或“消除”方法致力于从一个音频流中抑制并移除另一个音频流的回声、噪音和其他的反馈，但是这样的方法需要同时独立地捕获这两个音频流，由于主机装置的硬件/软件/OS限制，这通常是不可行的。

前述的相关技术的示例和与其相关的限制意在说明而不是唯一的。在阅读说明书和研究附图之后，相关技术的其他限制将是很明显的。

附图说明

图1描述在通过演讲者和观众各自的主机装置开会的演讲者和观众之间的会议期间支持计算机音频流和演讲者音频流之间的转换的系统的框图的示例。

图2描述包括至少一个或多个组件以支持一种或多种转换模式的转换引擎的配置的示例。

图3描述在通过演讲者和观众各自的主机装置开会的演讲者和观众之间的会议期间支持计算机音频流和演讲者音频流之间的转换的过程的示例的流程图。

图4(a)-(d)描述图1的演讲者侧的系统的框图的示例，其中转换引擎在一种转换模式下选择从与演讲者关联的麦克风捕获的音频输入一和从混音组件捕获的音频二之中的一个作为其音频输出。

图5(a)-(b)描述图1的观众侧的、支持为通过(VoIP)主机装置开会的观众传输纯净的音频流的系统的框图的示例。

图6描述支持为通过根据图5(a)-(b)的(VoIP)主机装置开会的观众传输纯净的音频流的过程的示例的流程图。

具体实施方式

在附图中以示例的方式而不是限制的方式图示了本方法，其中类似的标记指示相似的组件。应注意在本公开中的对“一种”或“一个”或“一些”实施例的引用不必是同一实施例，这样的引用意味着至少一个。

提出了新的方法来考虑在电话会议期间支持计算机音频和演讲者音频之间的转换以使得在任意时间两个音频流中的一个且仅一个、非二者被传输到该会议的其余方的系统和方法。更具体地，采用转换引擎，其分别将由附加到主机装置的麦克风和演讲者的主机装置捕获的一个或多个音频流作为其两个音频输入，并在任意时间仅输出两个音频输入中的一个到该主机装置的语音音频引擎。随后，通过消除来自其他音频源的反馈，所选的音频输出被处理并传输到该会议的其余方。这样的音频转换方法切断通过多个音频流中的至少一个反馈路径并要求仅捕获来自麦克风的音频流和计算机音频中的一个。这使得在使用开放的扬声器和麦克风和/或多个音频流可能被捕获、泄漏或彼此混合的会议期间，通过消除来自其他源的回声或反馈的任一混合，能够纯净地传输计算机音频流或演讲者音频流。此处，消除意味着“尽最大努力”减小回声或噪音，虽然在这样的消除之后在结果音频流中可能还剩下回声和反馈的某些剩余。虽然，在电话会议期间的任意时间，仅传输计算机音频流和演讲者音频流中的一个，但由于演讲者很少需要同时讲话并示出带有音频的计算机演示/应用，所以对于所有的实用目的，这不影响该会议系统的可用性。虽然在此后提出的方法的讨论中使用了涉及两个或更多个人的电话会议作为非限制性示例，但相同的方法还可被应用到至少一个以下情景中：其中a)在演讲者和观众之间仅存在一对一电话/通信；b)在通信期间，仅允许观众收听但不允许讲话；或c)其中不存在观众(例如，演讲者正在进行他/她演示和产生音频的计算机应用的单独录音)。

图1描述在通过演讲者和观众各自的主机装置开会的演讲者和观众之间的会议期间支持计算机音频流和演讲者音频流之间的转换的系统100的框图的示例。尽管该框图以功能上分开的方式来描述组件，但这样的描述仅为了说明的目的。明显地，在图中描绘的组件可以任意地进行组合或被分为独立的软件、固件和/或硬件组件。而且，无论这样的组件是如何被组合或划分的，它们可以在同一主机或多个主机上执行，其中多个主机可以是由一个或多个网络连接的，这也是很明显的。

在图1的示例中，系统100包括为电话会议的演讲者和观众的每一个所部署的主机(主机装置)102和在单独的主机上运行的可选的语音会议桥118，其中在每个主机102上运行的各种组件至少包括语音音频引擎104、可选的显示组件110、以及与演讲者关联的主机上的混音组件112和转换引擎114。

在这里使用的术语“引擎”、“组件”或“桥”指的是软件、固件、硬件或用于实现目的的其他组件。引擎、组件或桥通常会包括在非易失性存储器(也被称为第二存储器)中存储的软件指令。当执行该软件指令时，至少该软件指令的子集被处理器加载到内存(也被称为主存储器)中。处理器接着执行内存中的软件指令。处理器可以是共享的处理器、专用的处理器或共享的处理器或专用的处理器的组合。典型的程序会包括对硬件组件(例如I/O装置)的调用，其通常要求执行驱动程序。驱动程序可被或不被视为引擎的一部分，但该区别并不重要。

在图1的示例中，主机102可以是计算装置、通信装置、存储装置或能够运行软件组件的任何电子装置。对于非限制性示例，计算装置可以是但不限于膝上型PC、桌面PC、平板型PC、iPod、PDA或服务器机器。存储装置可以是但不限于硬盘驱动器、闪存驱动器或任何便携存储装置。通信装置可以是但不限于移动电话。

在图1的示例中，语音音频引擎104是代替/替换(PSTN)电话的、用于数据的音频流的双向通信的软件子系统。语音音频引擎104通常用作使用语音互联网协议(VoIP)技术的主机102上的嵌入系统。本领域普通技术人员可以理解，语音音频引擎104可以是经优化的软件子系统，具有语音过滤和话音编码所需的数学上复杂信号处理。

在图1的示例中，可选的显示组件110使演讲者能够在电话会议上显示、操作和共享他/她运行的共享应用或者他/她演示的资料，并且使观众能听到或观看由演讲者运行的应用或演示的资料。这里，显示组件110可以是显示器、屏幕或者为本领域技术人员所知的与主机102关联的任何其他显示装置。应用或资料可以是任何类型的数字文档、应用或程序，其在包括主机102的整个可显示的桌面的主机102的显示组件110上产生声音和/或可显示于其上。

在图1的示例中，混音组件112是软件组件，所述软件组件利用主机102的一个或多个声音捕获装置，例如主机102的声卡、麦克风和/或扬声器的单独的物理装置，来通过调用到声音捕获装置的应用编程接口(API)(例如，操作系统API)来捕获和/或播放音频流。更具体地，混音组件112混合由运行在主机102上的应用、程序或接口已经产生的或接受的所有音频流，例如来自计算机演示/应用的计算机音频流和/或语音音频引擎104所接收的会议音频流，并且通过各自的API将混合的音频流输出到运行在主机102上的其他组件，例如扬声器和/或下面所讨论的转换引擎114。

在图1的示例中，与演讲者关联的主机102的转换引擎114捕获来自两个源的音频流作为其输入：来自与主机102关联的麦克风的音频输入一和来自混音组件112的音频输入二，其中音频输入一包括演讲者音频和来自诸如计算机音频流和会议音频流的混合的一个或多个其他音频流的可能的泄漏或反馈，其中音频输入二包括计算机音频流和会议音频流的混合。该转换引擎114用作2至1转换，如图2所示，在事件或信号触发该转换的任意时间，其仅选择到该转换引擎114的音频转换组件202的两个音频输入中的一个作为其音频输出并将其输出到运行在主机102上的其他组件/引擎(例如语音音频引擎104)。

图2示出了转换引擎114的配置的示例，其包括至少一个或多个组件以支持一种或多种下述转换模式：

手动转换模式，其中转换引擎114的用户转换组件204为用户(演讲者)呈现选项并使得该演讲者能选择他/她希望共享音频输入一的他/她自己的语音音频流(演讲者音频流)还是音频输入二的来自主机102上运行的演示或应用的音频流(计算机音频流)。用户转换组件204接着将演讲者的选择作为触发信号提供给音频转换组件202，该音频转换组件202随后将输出对应的音频流。

自动转换模式，其中在演讲者主导的场景中转换引擎114的音频检测组件206检查演讲者是否正在讲话，例如是否存在由麦克风捕获的活动的演讲者音频流。如果是，音频检测组件206自动发送触发信号给音频转换组件202以输出从麦克风捕获的音频输入一而不是音频输入二的计算机音频流。相反地，一旦演讲者停止讲话，该音频检测组件206可发送另一触发信号给音频转换组件202以输出音频输入二的计算机音频流。这里，音频检测组件206可通过在特定时间段内(例如20毫秒)记录并监控从麦克风捕获的音频输入一的活动/音量(非限制性示例)来检查演讲者音频流的存在。如果检测到一秒的活动的演讲者音频流，则音频检测组件206转换为从麦克风捕获的音频输入一并播放一秒的所记录和缓冲的演讲者音频流。替代地，在计算机音频主导场景中，音频检测组件206检查产生音频的计算机演示/应用是否正活跃地运行在主机102上。如果是，音频检测组件206自动发送触发信号给音频转换组件202以输出音频输入二的计算机音频而不是从麦克风捕获的音频输入一。反之，一旦演示/应用停止产生声音，该音频检测组件206可发送另一触发信号给音频转换组件202以输出从麦克风捕获的音频输入一的计算机音频流。这里，作为非限制性示例，音频检测组件206可通过监控活跃地运行在该主机102上的媒体播放器(例如Windows Media Player或QuickTime或YouTube视频播放器)是否开始播放音频/视频来检查计算机音频流的存在。

半自动转换，其中该自动检测组件206的功能类似于自动转换模式下的功能。但是不是在检测到演讲者或计算机音频流后立刻向音频转换组件202发送触发信号，而是该音频检测组件206向用户转换组件204发送信号来警告演讲者和/或询问演讲者他/她是否希望通过用户转换组件204从计算机音频流转换为演讲者音频流或者从演讲者音频流转换为计算机音频流。

在图1的示例中，可选的语音会议桥118可用于通过在包括至少一个演讲者和一个或多个观众的一组与会者之间建立电话会议、接收和可选地处理由这组与会者的每一个生成的音频流，例如演讲者和观众音频和计算机音频，以及将音频流提供给这组与会者的其余人来提供通信网络上的会议服务。此处，这组与会者的每一个能够同时对与会者中其余人讲话并且在电话会议期间收听语音音频或计算机音频的同时观看在主机102的显示组件110上运行的应用或演示的资料。这里，与会者组的每一个可代表聚集在相同地理位置(例如会议间或办公室)的一组人，其中组里的每个人能通过电话端点装置收听电话会议或对其发言。注意，在上面讨论的其中仅演讲者和观众直接通过网络彼此通信或当不存在观众的场景中，该语音会议桥118是可选的。

在图1的示例中，主机102和语言会议桥118可以通过网络(未示出)经由遵守某些通信协议(例如TCP/IP协议)的通信接口(未示出)互相通信或交互。这里，网络可以是基于诸如TCP/IP协议的某些通信协议的通信网络。这样的网络可以是但不限于互联网、内部网、广域网(WAN)、局域网(LAN)、无线网、蓝牙、WiFi和移动通信网。网络的物理连接和通信协议是为本领域人员所熟知的。

当在图1中描述的系统100运行时，在电话会议期间，第一主机102与演讲者相关联，其中第一主机的可选显示组件110使得演讲者能够显示、操作和共享应用或演示资料，其可以是但不限于：电话会议上的视频、幻灯片、图片、一段数据和文档。当应用正在运行和/或正在演示资料时，混音组件112捕获并混合正被演示的资料或应用的计算机音频流和来自会议的其余方的会议音频流。转换引擎114将来自与第一主机102关联的麦克风的一个或多个音频流(例如演讲者音频加上任何潜在的反馈或泄漏噪音)作为音频输入一以及将来自混音组件112的混合音频流作为其音频输入二捕获为其音频输入。随后转换引擎114基于用户输入或自动检测选择这两个音频输入中的一个且仅一个作为其音频输出并将其输出到语音音频引擎104。在电话会议期间，运行在第一主机上的语音音频引擎104使演讲者能够经由扬声器收听由语音会议桥118承载的电话会议(使得在相同位置的其他人能够收听)并且经由麦克风在该电话会议中发言。更具体地，语音音频引擎104接受来自该会议的其余方的会议音频流用于演讲者收听，以及将消除来自其他语音源的回声或反馈的、来自转换引擎114的“纯净的”计算机音频流或演讲者音频流提供给语音会议桥118。对应地，在电话会议期间，第二主机102与观众相关联，其中在电话会议上，第二主机的可选的显示组件110接收源自演讲者的演示资料或应用并将其显示给观众。当该应用正在运行或正在为观众演示资料时，运行在第二主机上的语音音频引擎104通过提供音频流给扬声器使得观众能够收听会议音频流(包括演讲者音频流)和/或正在运行的应用或正在演示的资料的计算机音频流，并且可选地在电话会议上通过与第二主机102关联的麦克风发出他/她自己的语音音频流。第二主机上的语音音频引擎104还向承载电话会议的语音会议桥118传输消除了所有其他音频流(例如通过麦克风泄漏的回声和噪音)的、纯净的输出的观众音频流。在电话会议期间，语音会议桥118接受、传输、并可选地处理演讲者和观众之间的语音音频流。

图3描述在通过其各自的主机装置开会的演讲者和观众之间的会议期间支持计算机音频流和演讲者音频流之间的转换的过程的示例的流程图。虽然为了示例目的，该图以特定顺序描绘了功能性步骤，但是该过程并不限于任意特定顺序或安排的步骤。相关领域的技术人员可以理解，该图中描绘的各个步骤可以被以各种方式省略、重新排序、组合和/或调整。

在图3的示例中，该流程图300开始于框302，其中使演讲者能够在电话会议中显示、操作并共享演示资料或引用。该流程图300进行到框304，其中使该演讲者能够在电话会议中收听来自观众的语音音频流并且发出他/她自己的语音音频流。该流程图300进行到框306，其中根据触发事件或信号，仅将演讲者的语音音频流和演示资料或应用的计算机语音流中的一个经由承载该电话会议的语音会议桥传输到该会议的其余方。该流程图300进行到框308，其中在电话会议中接收源自演讲者的应用或演示资料并将其可选地显示给观众。该流程图300进行到框310，其中由观众接收应用或演示资料的计算机音频流或演讲者语音音频流。该流程图300进行到框312，其中使观众能够在电话会议中发出他/她自己的语音音频流。该流程图300结束于框314，其中经由承载电话会议的语音会议桥将纯净的观众音频流传输到会议的其余方。

VoIP会议-演讲者侧

图4(a)描述了图1的演讲者侧的系统的框图的示例，其中在上面讨论的一种转换模式下，转换引擎114选择从与演讲者关联的麦克风捕获的音频输入一作为其音频输出。虽然来自混音组件112的音频输入二正被转换引擎114切断，但是计算机音频流和会议音频流的混合仍被输出并通过扬声器播放且泄漏经过麦克风。因此，演讲者音频流以及计算机音频流和会议音频流的混合的可能的回声/泄漏都被麦克风捕获并提供给转换引擎114作为音频输入一。在图4(a)的示例中，语音音频引擎104还至少包括传输组件106和接收组件108。语音音频引擎104的传输组件106从转换引擎114的音频输出接受(接收、收集或捕获)演讲者音频流以及计算机音频流和会议音频流的混合。对于演讲者音频流的“纯净的”传输，传输组件106还可从混音组件的输出接受计算机音频流和会议音频流的混合，并随后在将“纯净的”演讲者音频流传输到语音会议桥118之前进行消除来自从转换引擎114接受的音频流的混合的回声。相反地，语音音频引擎104的接收组件108从语音会议桥118接受电话会议其余方的会议音频流。其随后处理并提供该会议音频流给运行在主机102上的其他组件，例如混音组件112。

替代地，如图4(b)所示，语音音频引擎104的接收组件108能够将其从语音会议桥118接收的会议音频流提供到语音音频引擎104的传输组件106。语音音频引擎104的传输组件106随后从计算机音频流和会议音频流的混合的回声中消除会议音频流，其中该混合是从转换引擎114的音频输出与演讲者音频流一起被接收的，并且仅将“纯净的”演讲者音频流(计算机音频流的一些可能的回声尚未被消除)传输到语音会议桥118，该语音会议桥118接着将演讲者音频流提供给会议的其余方。

图4(c)描述了图1的演讲者侧的音频系统的框图的示例，其中在上面讨论的一种转换模式下，转换引擎114选择从混音组件112捕获的音频输入二作为其音频输出。虽然计算机音频和会议音频的混合流也被提供给扬声器并可经过麦克风反馈或泄漏为到转换引擎114的音频输入一的一部分，由于音频输入一正在被切断，则这样的泄漏将没有影响。因此，仅计算机音频流和会议音频流的混合被提供给语音音频引擎104的传输组件106，其随后将该音频流的混合提供给语音会议桥118。语音会议桥118通过在将“纯净的”计算机音频传输到会议的其余方之前从音频流的混合中消除其从会议的其余方接收的会议音频流来接收并处理该音频流的混合。

替代地，如图4(d)所示，语音音频引擎104的接收组件108能够将其从语音会议桥118接收的会议音频流提供给语音音频引擎104的传输组件106，传输组件106随后从计算机音频流和会议音频流的混合中消除会议音频流，并仅将“纯净的”计算机音频流传输给语音会议桥118，语音会议桥118随后将计算机音频流提供给会议的其余方。

在另一替代实施例中，转换引擎114还可在语音音频引擎104的接收组件108之外将会议音频流截断或使其静音，使得混音组件112将不会捕获会议音频流并将其与计算机音频流混合。在会议音频流被混音组件112捕获前就将其截断，这消除了语音音频引擎104的传输组件106或者语音会议桥118随后从音频流的混合中消除会议音频流的必要。

VoIP会议-观众侧

图5(a)描述图1的可选的观众侧的、支持为通过(VoIP)主机装置开会的观众传输纯净音频流的系统500的框图的示例。当在图5(a)中描述的系统500运行时，包括计算机音频流和/或会议音频流(其可包括演讲者音频流)的音频流的混合被通过语音会议桥118传输到语音音频引擎104的接收组件108。随后，接收组件108接受音频流的混合并将输出到混音组件112，其随后捕获并输出该音频流到扬声器用于观众收听。语音音频引擎104的传输组件106通过麦克风捕获观众的语音音频流和通过扬声器播放的和通过麦克风泄漏的音频流。随后传输组件106提供观众音频流和从麦克风泄漏的音频流的混合给承载电话会议的语音会议桥118。语音会议桥118从音频流的混合中消除计算机音频流和/或会议音频，并且仅将观众音频流传输到会议的其余方。

在替代实施例中，如图5(b)所描述的系统500所示，第二主机102上的语音音频引擎104的接收组件108能够将其从语音会议桥118接收的音频流(包括计算机音频流和/或会议音频流)提供给语音音频引擎104的传输组件106，传输组件106随后从由麦克风捕获的音频流消除的这样的音频流，并仅将“纯净的”观众音频流传输给语音会议桥118，语音会议桥118随后将观众语音流提供给会议的其余方。

图6描述支持为通过根据图5(a)-(b)的(VoIP)主机装置开会的观众传输纯净的音频流的过程的示例的流程图。在图6的示例中，该流程图600开始于框602，其中在电话会议上通过主机装置接收源自演讲者的演示资料或应用并可选地将其显示给观众。流程图600进行框604，其中使观众能够通过经由扬声器收听该电话会议并经由麦克风在该电话会议中讲话来参与到电话会议中。流程图600进行框606，其中接收计算机音频流和/或会议音频流的混合。流程图600进行框608，其中通过扬声器播放计算机音频流和/或会议音频流的混合用于观众收听。流程图600进行框610，其中通过麦克风捕获从扬声器泄漏的音频流和观众音频流的混合。流程图600进行框612，其中从由麦克风捕获的一个或多个音频流中消除通过扬声器泄漏的音频流。该流程图600结束于框614，其中将纯净的观众音频流传输到电话会议。

根据本公开的教导使用常规的通用或专用的数字计算机或可编程的微处理器可以实现一个实施例，这对计算机领域的技术人员是显而易见的。基于本公开的教导，熟练的程序员可以容易地准备合适的软件编码，这对软件领域的技术人员是显而易见的。也可以通过制备集成电路或互联常规组件电路的适当网络来实现本发明，这对本领域技术人员是显而易见的。

一个实施例包括计算机程序产品，其为具有在其上/其中存储指令的机器可读介质(媒体)，其中指令用于对一个或多个主机进行编程以执行此处所述的任何特征。机器可读介质可包括但不限于一种或多种类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置、磁卡或光卡、纳米系统(包括分子存储器IC)或者适合于存储指令和/或数据的任何类型的媒体或装置。本发明包括在任何一个计算机可读介质(媒体)上所存储的软件，所述软件用于控制通用的/专用的计算机或微处理器的硬件，以及用于使计算机或微处理器能与人类观众或利用本发明的结果的其他机制进行交互。这样的软件包括但不限于装置驱动程序、操作系统、执行环境/容器以及应用。

为了说明和描述的目的提供了对所要求的主题的各种实施例的上述描述。其意不在于穷尽或将所要求的保护的主题限制到所公开的精确形式。许多修改和变化对本领域的技术人员而言是显而易见的。具体地，尽管在上述的系统和方法的实施例中使用了“组件”概念，但明显地这样的概念可以与诸如类、方法、类型、接口、模块、对象模型的等同概念以及其他合适的概念互换地使用。对实施例的选择和描述是为了最恰当地描述本发明的原理及其实际应用，因此使相关领域的其他技术人员能理解所要求保护的主题、各种实施例及适合于预计使用的各种修改。