智能电视实现虚拟语音设备的方法及系统

摘要

智能电视实现虚拟语音设备的方法及系统，移动终端与智能电视建立连接，移动终端抓取自身设备语音输入设备的语音数据，并把所述的语音数据传输给所述智能电视，智能电视接收所述的语音数据，并通过所述虚拟语音设备硬件适配模块把所述的语音数据虚拟成本地语音设备的语音数据。本发明实现了将移动终端语音数据直接传送给智能电视，使智能电视的上层应用可以直接使用移动终端的语音数据，智能电视无需配备额外的语音输入设备即可实现语音数据的输入。

说明书

技术领域

本发明涉及智能电视虚拟语音技术，尤其涉及Android系统智能电视实现虚拟语音设备的方法及系统。

背景技术

随着智能电视时代的到来，电视机的用途变得越来越广。电视机已不再是单纯的显示设备了，逐渐向智能化设备迈进。这样，电视就需要支持更多的外围硬件以适应其应用。比如智能电视语音录制、语音搜索等应用程序的使用都离不开语音输入设备—麦克风的支持。

现在市面上的智能电视产品实现语音输入主要是通过外设麦克风完成，比如USB接口的麦克风或音频接口的麦克风，智能电视用户要使用电视的语音录入功能时，需要单独购买麦克风设备。随着多屏互动应用技术的发展，智能电视的语音输入也可以通过移动终端来完成，进而实现对智能电视的控制。但是，该技术的实现是通过捕捉移动终端的语音信号并在移动终端通过云端处理得到文本形式的控制命令，然后将文本形式的控制命令传送给智能电视，智能电视接收控制命令后执行与其控制命令相关的操作，实现通过移动终端语音对智能电视的控制。然而，在整个控制过程中，智能电视并没有接收移动终端原始的音频数据，而是接收经过移动终端云端处理后转化的文本控制命令来实现对电视的控制，属于一种间接的语音控制。

可见，用户在使用智能电视的语音录入功能时，需要在电视的硬件接口上插拔麦克风，使用并不方便。对于多屏互动语音控制技术而言，虽然一定程度上实现了利用移动终端的麦克风对电视的控制，但仍然存在只能完成前述特定的语音控制，大部分语音应用，如智能电视从应用商店下载的语音应用程序不可能直接使用移动终端的麦克风，因为移动终端麦克风传送到电视端的语音数据是经过处理的数据，并非原始的音频数据。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足之处，本发明为解决现有技术缺陷和不足，提出一种能够直接将移动终端作为智能电视的语音输入设备的方法及系统，扩展了移动终端的语音功能，使智能电视的各种应用均能够直接使用移动终端的语音数据。

本发明解决技术问题所采用的技术方案如下： 

一种智能电视实现虚拟语音设备的方法，所述的智能电视包括虚拟语音设备硬件适配模块，所述方法包括如下步骤：

当智能电视启用语音输入时，智能电视向移动终端发起数据连接请求，智能电视与移动终端建立数据连接；

移动终端抓取自身设备语音输入设备的语音数据，并把所述的语音数据传输给所述智能电视；

智能电视接收所述的语音数据，并通过所述虚拟语音设备硬件适配模块把所述的语音数据虚拟成本地语音设备的语音数据。

进一步，所述的智能电视还包括应用程序接口模块和虚拟语音驱动管理模块，在所述智能电视接收所述的语音数据，并通过所述虚拟语音设备硬件适配模块把所述的语音数据虚拟成本地语音设备的语音数据步骤之后，还包括：

智能电视的所述应用程序接口模块通过所述虚拟语音设备硬件适配模块实现本地语音设备的功能方法，所述的功能方法包括设备打开、设备开始、设备停止，设备释放，用于对上层提供标准驱动接口，向下调用虚拟语音驱动管理模块进行语音数据的传输与获取，使上层应用程序实现方便虚拟语音设备调用。

进一步，在所述当智能电视启用语音输入时，智能电视向移动终端发起数据连接请求，智能电视与移动终端建立数据连接步骤之前，还包括：

移动终端向智能电视发起命令控制的预连接，并建立控制命令连接；

移动终端发送就绪信息给智能电视；

所述智能电视创建设备文件，用于通知所述智能电视移动终端的语音输入设备就绪。

进一步，在所述移动终端发送就绪信息给智能电视步骤之后，还包括：

智能电视与移动终端建立WAV语音数据流传输通道，用于通过RTSP协议传输WAV语音数据，所述移动终端中建立RTSP服务端，所述智能电视建立RTSP客户端，在RTSP协议下，能通过RTSP服务端将WAV语音数据传输给RTSP客户端。

进一步，所述智能电视接收所述的语音数据步骤之后，还包括：

智能电视把WAV语音数据流还原成PCM语音数据流，以提供给虚拟语音设备硬件适配模块把所述的PCM语音数据流虚拟成本地语音设备的语音数据。

进一步，所述当智能电视启用语音输入时，智能电视向移动终端发起数据连接请求，智能电视与移动终端建立数据连接步骤，具体包括：

当用户运行智能电视语音应用程序时，将打开设备命令发送给移动终端；

移动终端将启动的语音数据服务地址传给智能电视，智能电视根据该地址向移动终端发起语音数据连接请求，并建立数据连接。

本发明还提供一种智能电视实现虚拟语音设备的系统，用于将移动终端的语音输入设备作为智能电视的虚拟语音输入设备，所述的系统包括建立连接的移动终端与智能电视，并且

所述移动终端包括语音抓取模块和语音发送模块，所述语音抓取模块用于抓取语音数据，所述语音发送模块用于将语音数据发送给所述智能电视；

所述智能电视包括虚拟语音设备硬件适配模块、虚拟语音驱动管理模块和语音接收模块，其中所述虚拟语音设备硬件适配模块用于对上层提供标准驱动接口，向下调用虚拟语音驱动管理模块，所述虚拟语音驱动管理模块用于与语音接收模块间通过管道通信，传输控制指令，获取语音数据，所述语音接收模块用于与移动终端的语音发送模块建立连接，接收语音数据。

进一步地，所述智能电视还包括：

应用程序接口模块，用于调用所述虚拟语音设备硬件适配模块提供的标准驱动接口获取所述虚拟语音设备硬件适配模块输出的语音数据，并与上层应用程序进行操作对接，向上层应用程序提供语音输入设备的功能方法，所述的功能方法包括设备打开、设备开始、设备停止，设备释放，使上层应用程序实现方便虚拟语音设备调用。

进一步地，所述的应用程序接口模块还用于当接收到移动终端发送的就绪信息后，智能电视创建设备文件，通知智能电视移动终端的语音输入设备就绪。

进一步地，所述智能电视的语音接收模块与移动终端的语音发送模块间建立WAV语音数据流传输通道，用于通过RTSP协议传输WAV语音数据。

进一步地，所述智能电视的语音接收模块还包括PCM数据转换模块，用于把WAV语音数据流还原成PCM语音数据流，以提供给虚拟语音设备硬件适配模块把所述的PCM语音数据流虚拟成本地语音设备的语音数据。

与现有技术相比较，本发明实现了将移动终端，如智能手机虚拟为智能电视的语音输入设备。

移动终端抓取语音数据，并把语音数据传送给智能电视，智能电视再把所述语音数据虚拟为本地语音设备的语音数据，并对上层提供标准驱动接口，达到上层应用可以直接使用移动终端的语音设备目的。

在多屏互动的人机交互技术中，用户可利用移动终端的语音输入设备，如手机的麦克风来实现对智能电视的语音输入功能，例如实现语音控制。智能电视可以不必专门配备外置的，诸如USB麦克风来实现语音数据的录入，为用户提供了方便的语音输入功能。

附图说明

图1是本发明智能电视实现虚拟语音设备的系统一实施例的功能模块结构图。

图2是图1中Android系统语音部分的功能模块框架结构图。

图3是本发明智能电视实现虚拟语音设备的方法一实施例的工作流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种智能电视实现虚拟语音设备的方法，智能电视采用Android系统，用于将移动终端的语音输入设备虚拟为智能电视上层应用的语音输入设备。

本发明的设计思路是在基于Android平台的智能电视建立一个底层的虚拟语音设备硬件适配模块，所述虚拟语音设备硬件适配模块也即硬件适配层的虚拟驱动程序，用于将移动终端的语音输入设备虚拟为智能电视上层应用的语音输入设备。进一步，本发明在智能电视的底层，提供标准驱动接口供上层应用程序调用，与使用本地语音设备一样，达到上层应用程序能快速实现语音输入的目的。

对应移动终端的语音输入设备，本发明方法中的移动终端优选采用手机，当然，其他移动终端，诸如平板电脑PAD、PDA等具有麦克风语音输入设备的移动终端同样可以完成相应的功能。为了便于说明，所述的移动终端同样为Android系统平台。

智能电视将移动终端，如智能手机虚拟为智能电视的语音输入设备。智能电视主要包括虚拟语音设备硬件适配模块和虚拟语音驱动管理模块，其中虚拟语音驱动管理模块实现指令信息的传递，及实现对远端（即手机或平板电脑）麦克风的控制；所述虚拟语音设备硬件适配模块用于对上层提供标准驱动接口，向下调用虚拟语音驱动管理模块获取与传输语音数据。在智能电视上层，对于需要语音输入的应用程序（即上层应用）均可以直接使用所述的标准驱动接口达到通过移动终端的远端麦克风来实现语音输入的目的。

在智能电视的Android系统中实现一个硬件适配（HAL）层（即虚拟语音设备硬件适配模块），该HAL层与本地语音输入设备属于同一层级的设备， HAL层通过虚拟语音驱动管理模块完成传输与获取手机麦克风的语音数据，并与移动终端进行控制交互。

图1所示是本发明Android系统智能电视实现虚拟语音设备系统的功能模块结构图；如图所示，智能电视100具有应用程序接口模块101，该应用程序接口模块供上层应用程序直接调用，该应用程序接口模块101包括调用语音设备的常用功能方法接口（即API句柄），通过所述的功能方法接口能方便实现通过远程语音设备获取语音数据。此外，所述该应用程序接口模块101还用于通过策略管理服务查询智能电视的设备文件是否存在，即智能电视是否连接本地语音输入设备还是虚拟语音输入设备，查询到设备文件存在后，可通过策略管理服务屏蔽本地语音输入设备；智能电视100还包括虚拟语音设备硬件适配模块102、虚拟语音驱动管理模块103、语音接收模块104，虚拟语音设备硬件适配模块102的功能是实现Android系统标准应用程序接口与底层语音数据的接口；语音接收模块104包括RTSP客户端1041和命令传输模块1042；虚拟语音驱动管理模块103作为后台服务，与语音接收模块104通过管道通信，具体由语音接收模块104中的RTSP客户端1041完成与外部语音输入设备的WAV语音数据接收，命令传输模块1042完成与外部语音输入设备的控制命令发送、接收，控制命令的传输采用TCP协议进行传输。

另外，所述虚拟语音设备硬件适配模块包括系统标准驱动接口子模块，该子模块用于提供语音输入设备系统标准驱动接口，该接口提供给智能电视的应用程序接口模块101调用。应用程序接口模块101通过调用所述虚拟语音设备硬件适配模块提供的标准驱动接口来实现本地语音设备的语音数据，并与上层应用程序进行操作对接，向上层应用程序提供语音输入设备的功能方法，功能方法包括设备打开、设备开始、设备停止和设备释放，用于对上层提供标准驱动接口，向下调用虚拟语音驱动管理模块进行语音数据的传输与获取，使上层应用程序实现方便虚拟语音设备调用。

移动终端200包括语音抓取模块201和语音发送模块202，其中语音发送模块202还包括RTSP服务端2021和命令传输模块2022，此处的命令传输模块2022与智能电视语音接收模块104中的命令传输模块1042属于实现指令传输交互功能的模块，智能电视100与移动终端200之间的传输控制命令通过各自的命令传输模块来实现，控制命令采用TCP协议完成。移动终端通过语音抓取模块201来抓取自身设备语音输入设备的语音数据，即语音抓取模块201用于打开语音输入设备——麦克风，抓取语音数据生成WAV语音数据流，实现语音数据的输入，所抓取的WAV语音数据刘通过语音发送模块202发送给智能电视100的语音接收模块104。智能电视100接收到WAV语音数据流还原成PCM语音数据流，以提供给虚拟语音设备硬件适配模块把PCM语音数据流虚拟成本地语音设备的语音数据。

基于上述Android系统智能电视与移动终端的系统，本发明提供的Android系统智能电视实现虚拟语音设备的方法基本处理步骤如下：

当智能电视启用语音输入时，智能电视100向移动终端200发起数据连接请求，智能电视100和移动终端200建立数据连接，移动终端200将搭建的语音数据服务地址传给智能电视，智能电视根据该服务地址向移动终端发起语音数据连接请求。移动终端抓取自身设备语音输入设备的语音数据，并把语音数据传输给智能电视，智能电视接收到语音数据后，通过虚拟语音设备硬件适配模块把语音数据虚拟成本地语音设备的语音数据。

当智能电视启用语音输入之前，移动终端与智能电视还有一个预连接过程，移动终端向智能电视发起命令控制的预连接请求、建立控制命令连接，并发送就绪信息给智能电视100，智能电视创建设备文件，用于通知所述智能电视移动终端的语音输入设备就绪。

智能电视100的虚拟语音驱动管理模块103将打开语音输入设备命令经过语音接收模块104发送给所述语音发送模块202，所述语音发送模块202与语音接收模块104建立语音数据连接，具体为智能电视与移动终端建立WAV数据流传输通道传输WAV语音数据，在移动终端中启动RTSP服务端，在智能电视系统中启动RTSP客户端，在RTSP协议下，通过RTSP服务端将WAV语音数据流传输给RTSP客户端。智能电视在接收到WAV语音数据流后将其还原成PCM语音数据流，以提供给虚拟语音设备硬件适配模块把所述PCM语音数据流虚拟成本地语音设备的语音数据。

所述语音抓取模块201抓取移动终端200语音输入设备的语音数据，将语音数据发送给所述语音接收模块104；所述语音发送模块202将传输命令发送给所述语音接收模块104是通过TCP协议传输实现的。

在上述语音发送模块202与所述语音接收模块104建立语音数据传输通道过程中，具体步骤采用：所述移动终端200的语音发送模块202启动RTSP服务端，相应地，所述智能电视的虚拟语音驱动管理模块103启动RTSP客户端，由RTSP服务端与RTSP客户端之间通过RTP（实时传输协议）来实现语音数据的传输。传输的语音数据流及其格式已在上述系统中进行了详细描述，此处不赘述。

所述语音接收模块104接收移动终端200的语音数据后，所述虚拟语音驱动管理模块103将语音接收模块104接收到的语音数据上传给虚拟语音设备硬件适配模块102；

所述虚拟语音设备硬件适配模块102将语音数据传输给智能电视100的应用程序接口模块 101提供给智能电视的语音应用程序使用，即上层应用使用。

为了使虚拟过程的实现更加清楚，以下分别对虚拟语音驱动管理模块103、语音接收模块104、语音发送模块202和移动设备语音抓取模块201等功能模块的工作流程作详细说明。

首先来看虚拟语音设备硬件适配模块102在Android系统中的结构，如图2所示，智能电视Android系统语音应用301的下层模块为JAVA 语音API302，JAVA语音API302下层为Android JNI303，Android JNI303包括两个服务模块，分别是Android音频设备服务304和Android音频策略服务305，其中Android音频策略服务305下层模块为音频策略HAL308，该音频策略HAL308用于选择Android音频服务为远端音频设备还是本地音频设备；Android音频设备服务304下层包括本地音频设备HAL306和虚拟音频设备HAL307，本地音频设备HAL306下层包括Linux音频设备驱动309，该驱动层用于驱动本地音频设备310。为了实现远端的音频设备连接，并把远程语音设备虚拟为本地的语音设备，如图2中所示，Android音频设备服务304下层模块设置了虚拟音频设备HAL307，该HAL下层模块为虚拟音频设备管理模块311，用于驱动远端，即移动终端的音频设备312。

下面是本发明提供的智能电视与移动终端如智能手机实现虚拟语音设备的方法一实施例，如图3所示，智能手机麦克风作为Android系统智能电视的远端虚拟语音设备的虚拟语音设备的实现方法步骤。其中智能电视、智能手机所包含的功能模块，以及智能电视、智能手机之间数据的发送均以上述系统为基准，此处不赘述。

S100：智能手机向智能电视发起命令控制的预连接请求，建立控制命令连接，并向智能电视发送麦克风状态信息；

S200：智能电视的虚拟语音驱动管理模块接受信息并处理；

S300：判断手机端麦克风是否准备就绪？如果没有就绪，Android系统返回步骤S100重新等待手机发送麦克风状态信息；如果就绪，依序执行步骤S400；

S400: 智能电视虚拟语音驱动管理模块创建设备文件，告知智能电视系统有麦克风可以使用；

S500：用户运行智能电视语音应用，智能电视系统发现有可用的麦克风设备（虚拟音频设备），调用智能电视的虚拟语音设备。

S600：智能电视虚拟语音设备模块通过虚拟语音驱动管理模块将打开设备命令发送给手机端；

S700：手机端收到打开麦克风命令，启动RTSP服务，并将语音数据服务地址发送给智能电视虚拟语音驱动管理模块建立连接，然后开始抓取麦克风数据并传输语音数据；

S800：智能电视虚拟语音驱动管理模块根据接收到的语音数据服务地址发送数据连接请求；

S900：智能电视虚拟语音设备模块接收手机麦克风语音数据；

S901：用户关闭电视端语音应用，智能电视虚拟语音设备模块停止接收数据，并发送命令关闭手机麦克风数据抓取服务。

移动终端，如智能手机作为智能电视的虚拟语音设备，在智能电视实现了虚拟语音设备功能，使远端的手机麦克风也能像本地语音输入设备一样被智能电视识别，关键在于在智能电视中的Android音频设备服务中增加了虚拟音频设备模块与虚拟语音设备硬件适配模块。通过虚拟语音驱动管理模块来对远端的手机麦克风语音数据进行管理，将语音数据上传给智能电视的语音应用，使智能电视的语音应用程序能够像使用本地语音输入设备一样使用远端的语音设备。

在在RTSP协议下，移动终端与智能电视之间传输的是原始的WAV语音数据，这样，在智能电视接收到手机的语音数据后，可以将WAV语音数据转换为PCM语音数据，符合Android系统语音设备的音频标准。

本发明可以应用在在多屏互动技术中，即实现利用移动终端的音频输入设备来替代本地音频输入设备，一方面提高了设备的利用率，另一方面用户使用移动终端相对于麦克风获取与使用更加方便，提升了用户体验。

应当理解的是，以上所述仅为本发明的较佳实施例而已，并不足以限制本发明的技术方案，对本领域普通技术人员来说，在本发明的精神和原则之内，可以根据上述说明加以增减、替换、变换或改进，而所有这些增减、替换、变换或改进后的技术方案，都应属于本发明所附权利要求的保护范围。