云端服务器、控制设备及音频视频同步方法

摘要

一种音频视频同步的方法,所述方法应用于控制设备,该控制设备与云端服务器、播放设备相连，控制设备向播放设备传输音频与视频，該方法包括：获取播放设备的身份标识符，并获取控制设备进行传送的音频的格式信息、视频的格式信息，根据身份标识符、音频的格式信息、视频的格式信息从云端服务器获取对应的时延数据，根据从云端服务器获取的时延数据进行音频与视频的时延设置，以让音频与视频同步。本发明还提供了一种控制设备,还提供一种云端服务器及音频视频同步的方法,能选择最佳音频视频时延进行同步调整，解决观众在观看多媒体影像时音频视频不同步的问题。

说明书

技术领域

本发明涉及音频视频领域，尤其涉及云端服务器、控制设备音频视频同步方法。

背景技术

随着音频视讯处理技术的发展，越来越多观众观看高清晰度多媒体(HighDefinition Multimedia Interface，HDMI)影音节目，当观看高清晰度多媒体影音节目(尤其是在观看高清视讯、超高清显示分辨视讯、高档视讯)时，因为播放设备处理影像的时间比处理声音的时间要久很多，如果没有措施进行延时处理将会出现影像与声音不同步的状况，另外，如果不对高清晰度多媒体数据的声音进行时延控制，该声音与数字音频、仿真音频之间将产生声音不同步的问题。

国际电信联盟无线电通信组公开标准BT.1359规定音频超前视频的时间阈值为45毫秒，音频落后视频时间阈值为125毫秒。

美国国家数字电视标准规定音频超前视频的时间阈值为15毫秒，音频落后视频时间阈值为60毫秒。

现有的解决音频视频不同步的方法：1)通过手动设置高清晰度多媒体发射端或接收端的声音延迟时间；2)依据HDMI1.3标准，在播放设备的扩展显示标识数据中设置接收端影像与声音处理所需的时间；3)依据HDMI1.3/1.4标准处理，不同分辨率的视频、不同音频内容有不同的处理时延，依据公式为：播放设备视频处理时延＝(2*最大视频处理时延+最小视频处理时延)/3,播放设备音频处理时延＝(2*最大处理音频时延+最小处理音频时延)/3，发射设备音频时延＝播放视频处理时延-播放音频处理时延；4)依据HDMI12.0标准，在播放设备的扩展显示标识数据中设置接收端影像与声音处理所需的时间；5)依据HDMI12.0标准，用户自己调节播放设备时延模式，此时并未改变设置在数据显示标识数据中原始设置值。

但是现有的解决方法仍存在问题，在依据HDMI2.0标准下，如果播放设备不支持自动唇语同步功能和动态自动唇语同步功能,用户就需要手动设置控制设备的时延，别外，即使有自动唇语同步功能或动态自动唇语同步功能，但自动进行音频视频同步并不是强制实行的，许多播放设备仍常出现影音不同步现象。

因而急需提供一种能简单便捷进行音频视频同步的相关设备及方法。

发明内容

有鉴于此，本发明提供一种控制设备及其音频视频同步的方法，用以实现音频视频同步。

另外，本发明提供一种云端服务器及其音频视频同步的方法，用以实现音频视频同步。

本实施方式中提供的控制设备，所述控制设备与云端服务器、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述控制设备包括获取模块、调整模块，获取模块用于获取所述播放设备的身份标识符，并获取所述控制设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述云端服务器获取对应的时延数据，调整模块用于根据所述从所述云端服务器获取的时延数据进行所述音频与视频的时延设置，以让所述音频与视频同步。

优选地，还包括判断模块、通信模块，判断模块用于判断所述音频与所述视频是否同步播放，通信模块用于当所述音频与视频同步播放时，将所述音频与视频的当前的时延数据返回给所述云端服务器。

优选地，还包括视频检测模块、音频检测模块，视频检测模块用于当所述音频与视频不为同步播放时，侦测所述播放设备的视频处理时延，音频检测模块，用于当所述音频与视频不为同步播放时，侦测所述播放设备的音频处理时延，其中，所述调整模块还用于根据所述视频检测模块所侦测之视频处理时延、所述音频检测模块所侦测之音频处理时延进行所述音频与视频的时延设置。

优选地，所述判断模块还用于在所述音频与视频不同步时，提供用户设置界面，以供用户设置时延数据，所述调整模块还用于根据所述用户设置的时延数据进行所述音频与视频的时延设置。

本实施方式中提供的云端服务器，所述云端服务器与控制设备、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述云端服务器包括预存模块、接收模块、侦测模块，预存模块用于预先存储一个时延表，所述时延表中有不同播放设备开始音频、视频解码到播放所需要的音频时延、视频时延，接收模块用于接收所述播放设备上传的身份识别符，所述播放设备进行传送的音频的格式信息、视频的格式信息，侦测模块，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述时延表中获取对应的时延数据，并将时延数据反馈给所述控制设备。

优选地，所述接收模块还用于接收所述播放设备返回的时延数据，所述侦测模块还用于判断所述时延数据是否由所述控制设备自动检测得到，当所述时延数据是自动检测得到时，对所述时延表进行相应更新。

优选地，所述侦测模块在所述侦测模块侦测到具有多个自动检测得到的时延数据时，根据所述多个自动检测到的时延数据计算平均值，并依据平均值更新时延表中的对应播放设备的时延值。

优选地，所述侦测模块还用于判断所述时延数据是否由用户设置，当所述时延数据是用户设置时，判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。

本实施方式中提供的控制设备音频视频同步的方法，所述控制设备与云端服务器、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述方法包括获取所述播放设备的身份标识符，并获取所述控制设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述云端服务器获取对应的时延数据，根据所述从所述云端服务器获取的时延数据进行所述音频与视频的时延设置，以让所述音频与视频同步。

优选地，还包括判断所述音频与所述视频是否同步播放，当所述音频与视频同步播放时，将所述音频与视频的当前的时延数据返回给所述云端服务器。

优选地，还包括当所述音频与视频不为同步播放时，侦测所述播放设备的视频处理时延，当所述音频与视频不为同步播放时，侦测所述播放设备的音频处理时延，根据所侦测之视频处理时延、所侦测之音频处理时延进行所述音频与视频的时延设置。

优选地，还包括在所述音频与视频不同步时，提供用户设置界面，以供用户设置时延数据，根据所述用户设置的时延数据进行所述音频与视频的时延设置。

本实施方式中提供的云端服务器音频视频同步的方法，所述云端服务器与控制设备、播放设备相连，所述控制设备向所述播放设备传输音频与视频，所述云端服务器包括预先存储一个时延表，所述时延表中有不同播放设备开始音频、视频解码到播放所需要的音频时延、视频时延，接收所述播放设备上传的身份识别符，所述播放设备进行传送的音频的格式信息、视频的格式信息，根据所述身份标识符、所述音频的格式信息、所述视频的格式信息从所述时延表中获取对应的时延数据，并将时延数据反馈给所述控制设备。

优选地，还包括接收所述播放设备返回的时延数据，判断所述时延数据是否由所述控制设备自动检测得到，当所述时延数据是自动检测得到时，对所述时延表进行相应更新。

优选地，还包括侦测到具有多个自动检测得到的时延数据时，根据所述多个自动检测到的时延数据计算平均值，并依据平均值更新时延表中的对应播放设备的时延值。

优选地，还包括判断所述时延数据是否由用户设置，当所述时延数据是用户设置时，判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。

本发明实施方式中的控制设备和云端服务器及其音频视频同步的方法可以改善HDMI标准未强制要求音频视频同步的缺点，根据播放设备的身份识别标识、音频的格式信息、视频的格式信息从云端获取最佳的时延数据进行音频视频同步调整。云端服务器能接收自动检测音频/视频处理时延、用户自动设置时延数据等方法获取大量的同类播放设备对应不同音频格式、不同视频格式所需要的时延数据，进而能计算出同类播放设备对应相同音频格式、相同视频格式相应的平均值，进而更新时延表为控制设备提供音频视频同步调整的最佳时延数据，解决观众在观看HDMI多媒体影像时音频视频不同步的问题。

附图说明

图1是本发明云端服务器20、控制设备10一实施方式的实施环境图。

图2是本发明音频视频同步判断标准示意图。

图3是本发明云端服务器20、控制设备10一实施方式的功能模块图。

图4是本发明控制设备10自动侦测音频时延视频时延的一实施方式的示意图。

图5是本发明云端服务器20、控制设备10另一实施方式的功能模块图。

图6是本发明控制设备10进行音频视频同步的一实施方式的流程图。

图7是本发明本发明云端服务器20进行音频视频同步的一实施方式的流程图。

主要元件符号说明

控制设备10

获取模块100

调整模块102

判断模块104

通信模块106

视频检测模块108

音频检测模块110

处理模块112

存储模块114

云端服务器20

预存模块200

接收模块202

侦测模块204

存储器206

处理器208

播放设备30

显示器300

扬声器302

数字音频解码器40

功放器50

音响60

具体实施方式

请参阅图1，图1所示是本发明云端服务器20、控制设备10一实施方式的实施环境图。在本实施方式中，包括控制设备10、云端服务器20、播放设备30、数字音频解码器40、功放器50以及音响60,其中播放设备30、音响60为播放装置的举例，播放设备可有多个，不一一画出。控制设备10与云端服务器20相连，云端服务器20可能与多个控制设备10相连，这里示意性的画出一个控制设备10，控制设备10通过高清晰度多媒体接口(HDMI)与播放设备30的显示器300相连,以及还通过模拟音频接口与播放设备扬声器302相连，控制设备10还通过模拟音频接口与播放设备30的扬声器相连，控制设备10通过数字音频接口与数字音频解码器40相连，数字音频解码器40还与功放器50相连，功放器50与音响60相连。

请参阅图2，图2所示是本发明音频视频同步判断标准示意图。在该示意图中，横坐标表示音频时间与视频时间之间的差距，0ms表示没有差距，+50ms表示音频时间超前视频时间50ms,-50ms表示音频时间落后视频时间50ms，A到A’之间表示可接受时延同步调整的阈值，B到B’之间表示国际电信联盟无线电通信组公开标准BT.1359规定音频超前视频的时间阈值为45毫秒，音频落后视频时间阈值为125毫秒，为进行同步调整的阈值。C到C’之间表示音频视频同步稳定区域，不进行同步调整。

请参阅图3，图3是本发明控制设备10、云端服务器20一实施方式的功能模块图。在本实施例中，控制设备10包括获取模块100、调整模块102、判断模块104以及通信模块106，云端服务器20包括预存模块200、接收模块202、侦测模块204。在本实施方式中,以控制设备10与云端服务器20之间的进行音频视频同步的处理过程为例进行说明，控制设备10与云端服务器20应用于图1所示的应用环境图中。

控制设备10的获取模块100获取播放设备30的扩展显示标识数据，扩展显示标识数据中包括时延表格,时延表格中有播放设备30身份标识符ID、音频时延、视频时延、隔行音频时延、隔行视频时延，并获取控制设备10传送的播放数据中的音频格式信息和视频格式信息，根据扩展显示标识数据、音频格式信息和视频格式信息从云端服务器20获取对应的时延数据，时延数据中包括播放设备处理对应音频格式信息的音频数据的时延、处理对应视频格式信息的视频数据的时延，控制设备10的调整模块102用于根据从云端获取的时延数据对音频与视频的时延设置，以让所述音频与视频同步。时延同步设置包括高清晰度多媒体音频与视频之间的同步、数字音频与模拟音频之间的同步、模拟音频与视频之间的同步。

控制设备10的判断模块用于判断音频视频是否同步播放，若判断模块104判断出音频视频同步播放，则由控制设备10的通信模块106将时延数据返回给云端服务器20，若判断模块104判断出音频视频不同步，则判断模块104判断该控制设备10是否具有音频视频时延侦测功能，若判断出有音频视频时延侦测功能，则开启时延测试功能，在本实施方式中，由视频检测模块108、音频检测模块110进行自动时延测试功能，具体的自动时延测试将在说明附图4时进行详细说明，视频检测模块108、音频检测模块110获取自动测试的音频时延和视频时延后，调整模块102依据测试得到的时延数据进行音频视频同步播放调整，然后，判断模块104判断音频视频是否同步，若不同步，则进入用户自动设置界面，若同步，则将数据传回给云端服务器20。若判断出没有音频视频同步自动侦测功能，则进入用户自动设置时延的界面。在进入用户自动设置时延的界面后，持续获取用户设置的时延数据，调整模块102根据时延数据进行音频视频同步调整，直到音频视频同步，并将此时的时延数据传回云端服务器20，云端服务器20接收时延数据并进行更新。

下面详细介绍云端服务器20的具体工作过程。云端服务器20的预存模块200中预先存储有时延表，在时延表中有不同播放设备处理不同音频格式、不同视频格式所需的处理时间即从开始进行音频、视频解码到进行播放所需要的时延数据，播放设备以各自的身份标识符ID进行区分，时延表为控制设备10提供时延数据。云端服务器20的接收模块202接收播放设备30上传的扩展显示标识数据，以及控制设备10返回的时延数据。侦测模块204用于判断时延数据是否自动检测得到，若时延数据是自动检测得到，根据时延数据对时延表进行更新，当有多个自动检测得到的时延数据时，云端服务器20的侦测模块204根据接收的多个自动检测的时延数据计算平均值，依据平均值更新时延表。侦测模块204判断时延数据不为自动检测得到时，判断时延数据是否为用户设置，若时延数据不是用户设置，根据接收的播放设备扩展显示标识数据获取时延数据音频格式信息、视频格式信息获取时延数据，并将时延数据反馈给控制设备。若时延数据是用户设置，则判断用户设置的时延数据是否处于预设的阈值范围，当处于所述阈值范围时，依据所述身份识别符、所述音频的格式信息、所述视频的格式信息对所述时延数据进行分类，统计各类中时延数据的数量，并判断所述时延数据的数量是否超过一预设值，当所述时延数据的数量超过所述预设值时，根据所述用户设置的时延数据计算平均值，根据平均值对所述时延表进行相应更新。举例来说,侦测模块204判断用户设置的时延数据是否小于云端时延数据的一半，是否大于云端时延数据2倍，若用户设置的时延数据小于云端时延数据的一半或大于云端时延数据2倍，忽略不进行处理。若用户设置的时延数据处于云端时延数据的一半和云端时延数据2倍之间，依据播放设备的身份识别符、播放设备的音频的格式信息、视频的格式信息对所述时延数据进行分类，因为现今的播放设备的各类很多，音频格式、视频格式种类也很多，不同用户使用的播放设备不同，需要进行播放的音频视频也不同，用户设置的时延数据是用户的播放设备播放特定格式的音频、视频时的时延数据，因为云端服务器20与许多控制设备10相连，因而可以接收到使用同一种播放设备的多个用户设置的多个时延数据，为了增加时延数据的准确性，根据接收的多个控制设备发送的用户设置的时延数据计算平均值，将平均值设为新的时延数据。

请参阅图4，图4所示是本发明控制设备10自动侦测音频时延视频时延的一实施方式的示意图。每次开启自动侦测时延数据时，控制设备10通过HDMI接口发送相同的音频数据、视频数据给播放设备30，例如，视频数据为全屏的黑色向全屏白色之间的转换，在发送视频数据之时，发送“喀喇”声响的音频数据。播放设备30接收来至控制设备10的音频视频数据，并将音频数据发送到显示器300进行播放，将视频数据发送到扬声器播放，视频检测模块108接收控制设备10的命令开始进行亮度检测，音频检测模块110接收控制设备10的命令开始进行声音检测，视频检测模块108检测亮度级别开始转变的时间，并将检测到的转变时间反馈给控制设备，音频检测模块110检测声音级别开始转变的时间，并将检测到的转变时间反馈给控制设备。控制设备比较两个反馈时间之间的差值，并根据该差值设置控制设备10的时延，例如，当检测到音频播放时间超前视频播放时间Xms，则控制设备10将音频的发送时延设为Xms，使得播放设备30能音频视频同步播放，当检测到音频播放时间落后视频播放时间Yms，则控制设备10将视频的发送时延设为Yms，使得播放设备30能音频视频同步播放。

请参阅图5，图5是本发明云端服务器20、控制设备10另一实施方式的功能模块图。在本实施方式中，控制设备10包括获取模块100、判断模块104，通信模块106，处理模块112以及存储模块114，云端服务器20包括预存模块200、接收模块202、侦测模块204，存储器206以及处理器208。获取模块100、判断模块104，通信模块106，预存模块200、接收模块202、侦测模块204功能与图3中相同，存储模块114、存储器206分别存储控制设备10、云端服务器20的各个模块的软件代码以及从外部接收的音频视频数据、时延数据等数据资料。处理模块112、处理器208用于执行软件代码以实现上述控制设备10、云端服务器20各模块的功能，控制设备10与云端服务器20应用于图1所示的应用环境图中。

请参阅图6，图6是本发明控制设备10进行音频视频同步的一实施方式的流程图。图6所示的流程通过图1、图3、图4的环境和功能模块实施，也可图1、图4、图5的环境和功能模块实施。

在步骤S600，控制设备10的获取模块100获取播放设备30的扩展显示标识数据，自身传送的音频格式信息和视频格式信息。

在步骤S602，控制设备10的获取模块100根据扩展显示标识数据、自身传送的音频格式信息和视频格式信息从云端服务器20获取对应的时延数据，并根据时延数据进行音频视频同步设置。

在步骤S604，控制设备10的判断模块用于判断音频视频是否同步，若判断模块104判断出音频视频同步，则在步骤S616中，由控制设备10的通信模块106将时延数据返回给云端服务器20。

若判断模块104判断出音频视频不同步，则在步骤S606中，判断模块104判断该控制设备10是否具有音频视频同步自动侦测功能，若判断出有音频视频同步自动侦测功能，则开启自动测试功能，在本实施方式中，自动测试功能由视频检测模块108、音频检测模块110完成，即在本实施方式中，若判断出有音频视频同步自动侦测功能，则在步骤S608中开启视频检测模块108开始进行视频时延测试，同时开启音频检测模块110开始进行声音时延测试，获取自动测试的时延后，依据测试得到的时延进行音频视频同步调整。

若判断出没有音频视频同步自动侦测功能，则在步骤S610中进入用户自动设置时延的界面，并依据设置的时延数据进行同步调整。

在步骤S612中，判断模块104判断音频视频是否同步，若不同步，则进入用户自动设置界面，若同步，则在步骤S616中将数据传回给云端服务器20。并将此时的时延数据传回云端服务器20，云端服务器20接收时延数据并进行更新。

在步骤S614中，判断音频视频是否同步。若不同步，则进入用户自动设置时延的界面，持续获取用户设置的时延数据，并根据时延数据进行音频视频同步调整，直到音频视频同步。若同步，则在步骤S616中将数据传回给云端服务器20。

参阅图7，图7是本发明本发明云端服务器20进行音频视频同步的一实施方式的流程图。图7所示的流程通过图1、图3的环境和功能模块实施或通过图1、图5的环境和功能模块实施。

在步骤S700中，在云端服务器20的预存模块200中预先存储时延表，在时延表中有不同播放设备处理不同音频格式、不同视频格式所需的处理时间。

在步骤S702中，云端服务器20的接收模块202接收云端服务器20接收播放设备30上传的扩展显示标识数据、控制设备10传送的音频的格式信息、视频的格式信息。

在步骤S704中，云端服务器20的接收模块202接收控制设备10返回的时延数据。

在步骤S706中,侦测模块204用于判断时延数据是否自动检测得到。

若时延数据是自动检测得到，则在步骤S708中，云端服务器20的侦测模块204根据接收的多个控制设备发送的自动检测的时延数据计算平均值，将平均值设为新的时延值。

若时延数据不是自动检测得到，则在步骤S710中，判断时延数据是否为用户设置。

在步骤S712中，若时延数据不是用户设置，根据接收的控制设备的扩展显示标识数据、音频格式信息、视频格式信息从时延表获取时延数据，并将时延数据反馈给控制设备。

若时延数据是用户设置，则在步骤S714中，侦测模块204判断用户设置的时延数据是否处于一预设区间。。

若用户设置的时延数据不处于预设区间，忽略不进行处理。

若用户设置的时延数据处于预设区间，则在步骤S718中，依据播放设备的身份识别符、播放设备的音频的格式信息、视频的格式信息对所述时延数据进行分类，统计每类的时延数据的平均值，根据时延值更新时延表。

现今的播放设备的各类很多，音频格式、视频格式种类也很多，不同用户使用的播放设备不同，需要进行播放的音频视频也不同，用户设置的时延数据是用户的播放设备播放特定格式的音频、视频时的时延数据，因为云端服务器20与许多控制设备10相连，因而可以接收到使用同一种播放设备的多个用户设置的多个时延数据，为了增加时延数据的准确性，根据接收的多个控制设备发送的用户设置的时延数据计算平均值，将平均值设为新的时延数据。

因此，本发明实施方式中的控制设备10和云端服务器20及其音频视频同步的方法可以改善HDMI标准未强制要求音频视频同步的缺点，根据播放设备的身份识别标识、音频的格式信息、视频的格式信息从云端获取最佳的时延数据进行音频视频同步调整。云端服务器20能接收自动检测音频/视频处理时延、用户自动设置时延数据等方法获取大量的同类播放设备对应不同音频格式、不同视频格式所需要的时延数据，进而能计算出同类播放设备对应相同音频格式、相同视频格式相应的平均值，进而更新时延表为控制设备提供音频视频同步调整的最佳时延数据，解决观众在观看HDMI多媒体影像时音频视频不同步的问题。