在多媒体系统终端回放中解决音视频不同步问题的方法

摘要

本发明公开属于多媒体音视频图像处理技术领域的一种在多媒体系统终端回放中解决音视频不同步问题的方法。该方法的步骤为：1）根据录制的总时长和总视频帧数，计算视频平均帧率；2）打开一个定时器以备视频流的播放；3）直接播放RTSP服务器发送过来的音频流；4）缓存RTSP服务器发送过来的视频流；5）按照计算出的视频平均帧率定时进行视频流的播放；6）当终端回放结束，结束进程；否则重复步骤3）～5），继续音视频流的播放。该方法在终端回放时不直接播放视频流，而是缓存视频流，根据录制的总时长及总视频帧数计算视频平均帧率，按照视频平均帧率进行视频流的播放，基本实现音视频的同步。

说明书

技术领域

本发明属于多媒体音视频图像处理技术领域，特别涉及一种在多 媒体系统终端回放中解决音视频不同步问题的方法。

背景技术

随着通信业的快速发展，IMS(IP Multimedia Subsystem)多媒体系 统中出现各种不同类型的终端，这些终端的实时音视频通讯固然重要， 但是随着通讯备份需求的提出，终端的音视频回放功能也日益重要。

IMS多媒体系统中，录音录像服务器负责录制通讯过程中的音视 频并保存成文件，在终端提出回放要求时，RTSP(Real Time Streaming  Protocol)服务器对录制的文件进行流化，并通过网络把音视频流发送 给终端供终端回放。终端回放一般都是直接按照RTSP服务器的流化 结果进行音视频回放。这时，回放的过程中就有可能出现音视频不同 步的现象，根本原因是有些终端在实时通讯时视频流的时间戳与每秒 发送的视频帧数并不匹配，表现为每秒实际发送的视频帧数少于时间 戳对应的每秒应该发送的视频帧数，这在实时通讯中并不会出现问题， 但是在RTSP服务器重新流化的过程中却会出现音视频不同步的问题， 因为RTSP服务器是根据时间戳信息来进行流化的，即回放的视频流 会快于回放的音频流，视频流提前于音频流播放结束。

发明内容

针对上述现有技术的缺点，本发明提出一种在多媒体系统终端回 放中解决音视频不同步问题的方法，其特征在于，具体步骤如下：

（1）根据录制的总时长和总视频帧数，计算视频平均帧率；

（2）打开一个定时器以备视频流的播放；

（3）直接播放RTSP服务器发送过来的音频流；

（4）缓存RTSP服务器发送过来的视频流；

（5）按照计算出的视频平均帧率定时进行视频流的播放；

（6）当终端回放结束，则结束进程；否则重复步骤（3）～（5），继 续进行音视频流的播放。

当终端回放被暂停时，暂停音频流的播放，同时暂停定时器以停 止视频流的播放；当终端回放暂停被取消时，则恢复定时器，接着重 复步骤（3）～（5），进行音视频流的播放。

当终端在回放的过程中进度条被拖拽到时间点A，则为了保证时 间点A的音视频同步，计算时间点A之前的一个能使音视频同步的 时间点B，向RTSP服务器请求时间点B开始的视频流，缓存视频流， 并按照视频平均帧率播放视频流；否则继续步骤（3）～（5），进行音 视频流的播放。

所述时间点B的计算方式如下：

a）假设视频流开始到时间点A的时长为t1；

b）根据已知视频流携带的时间戳信息计算RTSP服务器发送视 频流的实时帧率；

c）假设视频流开始到时间点B的时长为t2，其中，时间点B在 时间点A之前；

d）保证拖拽进度条之后音视频同步的条件：t1*视频平均帧率= t2*实时帧率，即t2=(t1*视频平均帧率)/实时帧率，以此计算出时间 点B。

发明的有益效果：

（1）本发明在终端回放时直接播放RTSP服务器发送过来的音频 流，但是不直接播放视频流，而是首先缓存视频流，再根据录制的总 时长以及总视频帧数计算视频平均帧率，按照此视频平均帧率进行视 频流的播放，基本实现音视频的同步；

（2）拖拽进度条之后进行音视频同步的时间点的计算，保证音视 频在进度条拖拽之后还能同步。

附图说明

图1为本发明中音视频的回放流程；

图2为拖拽进度条之后计算音视频同步的时间点的示意图。

具体实施方式

下面结合附图，通过具体实施方式进一步详细说明本发明。

如图1所示为本发明中音视频的回放流程，具体步骤如下：

（1）根据录制的总时长和总视频帧数，计算视频平均帧率；

（2）打开一个定时器以备视频流的播放；

（3）直接播放RTSP服务器发送过来的音频流；

（4）缓存RTSP服务器发送过来的视频流；

（5）按照计算出的视频平均帧率定时进行视频流的播放；

（6）当终端回放结束，则结束进程；否则重复步骤（3）～（5），继 续进行音视频流的播放。

当终端回放被暂停时，暂停音频流的播放，同时暂停定时器以停 止视频流的播放；当终端回放暂停被取消时，则恢复定时器，接着重 复步骤（3）～（5），进行音视频流的播放。

其中的定时器的作用是每隔一段时间（一般是几十毫秒）播放一 帧视频流，保证视频流能够与音频流同步。

音频流和视频流同时播放。终端只要从服务器接收到音频流就进 行播放，但是缓存从服务器接收到的视频流并定时播放，从而保证音 视频同步。

如图2所示为拖拽进度条之后计算音视频同步的时间点的示意 图。其中，假设进度条拖拽到时间点A，则为了保证时间点A的音 视频同步，则需要向RTSP服务器请求时间点A之前的时间点B开 始的视频流，缓存视频流，并按照视频平均帧率播放视频流。

时间点B的计算方式如下：

a)假设视频流开始到时间点A的时长为t1；

b)根据已知视频流携带的时间戳信息计算RTSP服务器发送 视频流的实时帧率；

c)假设视频流开始到时间点B的时长为t2，其中，时间点B 在时间点A之前；

d)保证拖拽进度条之后音视频同步的条件：t1*视频平均帧 率=t2*实时帧率，即t2=(t1*视频平均帧率)/实时帧率， 以此计算出时间点B。

如果进度条没有被拖拽，则继续步骤（3）～（5），进行音视频流 的播放

以上所述，仅为本发明较佳的具体实施方式之一，但本发明的保 护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露 的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护 范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。