基于视频流关键帧突发特性的可用带宽探测方法及装置

摘要

本发明公开了一种基于视频流关键帧突发特性的可用带宽探测方法及装置，包括：在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流；记录发送端的每个数据包的发送时间戳；记录接收端接收到每个数据包的接收时间戳；计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包；根据接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。本发明利用视频流中关键帧的突发特性来被动探测可用带宽的上限，同时不额外增加传输开销，相比用平均吞吐量进行估算的算法而言可以更有效地利用网络带宽。

说明书

技术领域

本发明涉及互联网流媒体传输方向的带宽探测技术领域，特别涉及一种基于视频流关键帧突发特性的可用带宽探测方法及装置。

背景技术

对未来时刻带宽的预测是流媒体领域的经典问题，也是自适应码率调节算法的重要输入。先前的研究主要使用时间序列模型，机器学习模型和数据驱动模型来优化预测过程。但是，由于该预测过程的输入，即采集到的历史吞吐值，通常低于可用带宽，因此将导致根据历史数据预测出的未来可用带宽值也往往低于真实值。另一方面，一些研究或者采用主动发送探测数据的方法，或者添加代理设备来探测快速变化和不稳定的网络可用带宽，这不仅增加了开销，而且加剧了在实际场景中的部署难度。此外，只有在网络链路充分被利用的情况下，吞吐量测量才能逼近真实的可用带宽。尽管在点播场景中下载的视频片段可能会填满网络链路，但在实时直播/视频会议场景中，发送方仅在生成视频帧后才发送数据包。在这种情况下，如果根据测得的平均吞吐量估算可用带宽，那么预测值实际上会低于真实值。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于视频流关键帧突发特性的可用带宽探测方法，该方法利用视频流中关键帧的突发特性来被动探测可用带宽的上限，同时不额外增加传输开销。

本发明的另一个目的在于提出一种基于视频流关键帧突发特性的可用带宽探测装置。

为达到上述目的，本发明一方面实施例提出了一种基于视频流关键帧突发特性的可用带宽探测方法，包括：

在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流；

记录发送端的每个数据包的发送时间戳；

记录接收端接收到每个数据包的接收时间戳；

计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包；

根据所述接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。

为达到上述目的，本发明另一方面实施例提出了一种基于视频流关键帧突发特性的可用带宽探测装置，包括：

建立模块，用于在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流；

第一记录模块，用于记录发送端的每个数据包的发送时间戳；

第二记录模块，用于记录接收端接收到每个数据包的接收时间戳；

计算模块，用于计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包；

探测模块，用于根据所述接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。

本发明实施例的基于视频流关键帧突发特性的可用带宽探测方法及装置，通过在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流；记录发送端的每个数据包的发送时间戳；记录接收端接收到每个数据包的接收时间戳；计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包；根据接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。由此，利用视频流中关键帧的突发特性来被动探测可用带宽的上限，同时不额外增加传输开销，相比用平均吞吐量进行估算的算法而言可以更有效地利用网络带宽。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于视频流关键帧突发特性的可用带宽探测方法流程图；

图2为根据本发明一个具体实施例的基于视频流关键帧突发特性的可用带宽探测方法流程图；

图3为根据本发明一个实施例的数据包时延示意图；

图4为根据本发明一个实施例的基于视频流关键帧突发特性的可用带宽探测装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于视频流关键帧突发特性的可用带宽探测方法及装置。

首先将参照附图描述根据本发明实施例提出的基于视频流关键帧突发特性的可用带宽探测方法。

利用视频流中关键帧的突发特性来被动探测可用带宽的上限，用这种方法不会引起任何传输开销。具体来说，在视频流媒体传输中，每个编码的视频流都包含一些关键帧和许多非关键帧。关键帧，也称为帧内编码帧，是数据流中存储完整图像的帧。它的可压缩性最低，解码时不依赖于其他视频帧。与关键帧相比，非关键帧依赖于先前帧中的数据进行解码，更具可压缩性。通常，关键帧的数据量较大，并具有突发特性(一次性产生数十个数据包)。因此，本发明选择使用关键帧的突发特性来被动地探测可用带宽。

图1为根据本发明一个实施例的基于视频流关键帧突发特性的可用带宽探测方法流程图。

图2为根据本发明一个具体实施例的基于视频流关键帧突发特性的可用带宽探测方法流程图。

如图1和图2所示，该基于视频流关键帧突发特性的可用带宽探测方法包括以下步骤：

步骤S1，在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流。

具体地，发送端应用程序通过传输层协议与接收端应用建立视频连接。

步骤S2，记录发送端的每个数据包的发送时间戳。

发送端记录视频流中每个数据包的发送时间戳send

步骤S3，记录接收端接收到每个数据包的接收时间戳。

可以理解的是，接收端在收到数据包后向发送端发送反馈ACK包，在反馈ACK包中加入接收端的接收时间戳recv

步骤S4，计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包。

步骤S5，根据接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。

具体地，发送端获取每个数据包的反馈ACK包，计算接收时间戳和发送时间戳的差值。

进一步地，遍历当前关键帧中的所有数据包，获得接收时间戳和发送时间戳差值最小的数据包i和最大的数据包j，相应差值为recv

需要说明的是，在本发明的实施例中，对于非关键帧，不进行统计和计算。

具体地，关键帧具备突发特性，包含数十个数据包。假设同一关键帧中的所有数据包都具有相同的长度(最大传输单元)。首先采集属于同一关键帧的所有数据包的单向延迟(OWD，One-Way-Delay)。单向延迟主要由四个部分组成：处理延迟(检查数据包的时间)，排队延迟(在输出端口处等待被发送的时间)，传输延迟(将数据包送入链路的时间)和传播延迟(在物理链路上传播的时间)。通常，相同关键帧的所有数据包都会经历相同的处理延迟，传输延迟和传播延迟。唯一的区别是排队延迟。本发明的实施例找到具有最小单向延迟的数据包i(在突发数据包组的头部数据包)和具有最大单向延迟的数据包j(在突发数据包组的末端数据包)。OWD

ΔOWD＝OWD

＝(recv′

＝[(recv

＝(recv

由于OWD

其中，Avai_bwd为当前可用带宽，Data

根据本发明实施例提出的基于视频流关键帧突发特性的可用带宽探测方法，通过在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流；记录发送端的每个数据包的发送时间戳；记录接收端接收到每个数据包的接收时间戳；计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包；根据接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。由此，利用视频流中关键帧的突发特性来被动探测可用带宽的上限，同时不额外增加传输开销，相比用平均吞吐量进行估算的算法而言可以更有效地利用网络带宽。

其次参照附图描述根据本发明实施例提出的基于视频流关键帧突发特性的可用带宽探测装置。

图4为根据发明一个实施例的基于视频流关键帧突发特性的可用带宽探测装置结构示意图。

如图4所示，该基于视频流关键帧突发特性的可用带宽探测装置包括：建立模块401、第一记录模块402、第二记录模块403、计算模块404和探测模块405。

建立模块401，用于在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流。

第一记录模块402，用于记录发送端的每个数据包的发送时间戳。

第二记录模块403，用于记录接收端接收到每个数据包的接收时间戳。

计算模块404，用于计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包。

探测模块405，用于根据接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。

进一步地，根据接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计，包括：

其中，Avai_bwd为当前可用带宽，Data

进一步地，接收端在收到数据包后向发送端发送反馈数据包，反馈数据包中加入接收端的接收时间戳。

进一步地，通过传输层协议在发送端与接收端之间建立视频连接。

需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的基于视频流关键帧突发特性的可用带宽探测装置，通过在发送端与接收端之间建立视频连接，通过发送端向接收端发送视频流；记录发送端的每个数据包的发送时间戳；记录接收端接收到每个数据包的接收时间戳；计算每个数据包接收时间戳和发送时间戳的差值，遍历当前关键帧中的所有数据包，得到接收时间戳和发送时间戳的差值最小和最大的数据包；根据接收时间戳和发送时间戳的差值最小和最大的数据包对当前可用带宽进行估计。由此，利用视频流中关键帧的突发特性来被动探测可用带宽的上限，同时不额外增加传输开销，相比用平均吞吐量进行估算的算法而言可以更有效地利用网络带宽。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。