用于保证分布式视频流存储系统数据连续性的切换方法

摘要

一种用于保证分布式视频流存储系统数据连续性的切换方法，包括：元服务器通过周期性心跳获得各数据服务器的状态信息，根据各数据服务器的状态信息记录源服务器写入视频流数据的截止时刻；元服务器通知源服务器从截止时刻停止写入视频流数据，告知目标服务器将截止时刻开始缓存的视频流数据写入磁盘，视频流数据的缓存偏移量根据视频编码率和已写入视频流的起止时间戳之差确定；元服务器更新元数据，将截止时刻后的视频流数据定位至目标服务器；在下一个保存周期或下一个写入周期到来时，清空源服务器在截止时刻之后写入磁盘的视频流数据。本发明提供的用于保证分布式视频流存储系统数据连续性的切换方法，能够保证进行调度切换时数据的连续性。

说明书

技术领域

本发明涉及数据存储技术领域，特别涉及一种用于保证分布式视频流存储系 统数据连续性的切换方法。

背景技术

分布式存储系统，是将数据分散存储在多台独立设备上的存储系统。传统的 网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的 瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网 络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位 置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于 扩展。

典型的分布式视频流存储系统都由元服务器(MS，Meta Server)和若干台 数据服务器(DS，Data Server)构成。元服务器主要负责对数据服务器进行监控 和管理，保存并备份真实数据与数据服务器之间的映射关系。数据服务器则负责 对数据进行实际的接收、存储和管理，同时还要将自身的硬件和负载状况通过心 跳信息定时与元服务器进行通信。在这种分布式视频流存储系统中，数据服务器 的故障被视为一种常态。通常，为了提高分布式视频流存储系统的可靠性，使用 多个数据服务器进行备份来防止视频流数据丢帧。

随着系统的运作，分布式视频流存储系统中的数据服务器存在着故障和负载 不均衡的现象，需要元服务器进行有效的调度，即将视频流存储由源服务器切换 至目标服务器。其中，源服务器为存在着故障或者负载不均衡的数据服务器，目 标服务器为接替源服务器存储视频流数据的数据服务器。由于视频文件通常很 大，若数据存储切换时是以整个视频流为单位，那么就会造成大量数据的重复， 既浪费了存储空间，又影响了用户体验。因此，分布式视频流存储系统进行调度 切换时保证数据的连续性是必不可少的。

发明内容

本发明所要解决的是分布式视频流存储系统进行调度切换时数据不连续导 致存储空间浪费、影响用户体验的问题。

为解决上述问题，本发明提供一种用于保证分布式视频流存储系统数据连续 性的切换方法，包括：元服务器通过周期性心跳获得各数据服务器的状态信息， 并根据各数据服务器的状态信息记录源服务器写入视频流数据的截止时刻；元服 务器通知源服务器从所述截止时刻停止写入视频流数据，并告知目标服务器将所 述截止时刻开始缓存的视频流数据写入磁盘，视频流数据的缓存偏移量根据视频 编码率和已写入视频流的起止时间戳之差确定；元服务器更新元数据，将所述截 止时刻后的视频流数据定位至目标服务器；在下一个保存周期或者下一个写入周 期到来时，清空源服务器在所述截止时刻之后写入磁盘的视频流数据。

基于视频文件的编码率和时间是固定的这一特征，通过视频编码率和已写入 视频流的起止时间戳之差就能计算出视频流数据的缓存偏移量，即视频流存储由 源服务器切换至目标服务器过程中需要存储的视频流数据。因此，在不以整个流 为单位的前提下，将目标服务器在截止时刻开始缓存的视频流数据写入磁盘不存 在丢帧现象。并且，源服务器在截止时刻之后写入磁盘的视频流数据在下一个保 存周期或者下一个写入周期到来时被清空，避免了重复帧的情况，提高系统效率 和增强用户体验的同时，又能保证视频流数据切换时的连续性。

可选的，源服务器为存在故障或者负载不均衡的数据服务器，负载不均衡包 括磁盘冗余量和吞吐率不满足预设要求。

可选的，所述截止时刻采用分布式时钟同步算法进行确定。在分布式存储系 统中，凡是与时间相关的问题都牵涉到时钟偏移，它是分布式存储系统中无法避 免的问题，时间的不统一会造成数据存储的错误。采用分布式时钟同步算法确定 所述截止时刻可以减小时钟偏差，使视频流数据的缓存偏移量更为准确。

可选的，所述截止时刻采用分布式时钟同步算法中的伯克利算法进行确定。

可选的，源服务器的从存储服务器作为目标服务器。

可选的，除源服务器的从存储服务器之外的数据服务器作为目标服务器，目 标服务器在将视频流数据写入磁盘之前对视频流数据进行缓存处理。

可选的，视频流数据的缓存偏移量根据n＝T×α÷8获得，其中，n为视频流数 据的缓存偏移量，T为相邻两个视频流的时间戳之差，α为视频编码率。

可选的，所述用于保证分布式视频流存储系统数据连续性的切换方法还包 括：目标服务器在所述截止时刻的视频流数据写入磁盘后，更新存储在目标服务 器上的元数据。

与现有技术相比，本发明具有以下优点：

本发明提供的用于保证分布式视频流存储系统数据连续性的切换方法，元服 务器通过心跳周期检测到需要切换的截止时刻，从而发送消息让源服务器停止写 入视频流数据到磁盘，同时利用视频流的时间映射这一特征来计算出视频流数据 的缓存偏移量，告知目标服务器缓存截止时刻之后的数据，当缓存到一定大小时 进行磁盘写入。并在下一个保存周期或者下一个写入周期到来时，清空源服务器 在所述截止时刻之后写入磁盘的视频流数据，从而避免了进行切换时数据出现掉 帧或者重复帧的情况，保证了切换后数据的连续性。进一步，通过采用分布式时 钟同步算法确定所述截止时刻可以减小时钟偏差，使视频流数据的缓存偏移量更 为准确。

附图说明

图1是本发明实施例的用于保证分布式视频流存储系统数据连续性的切换 方法的流程示意图。

具体实施方式

考虑视频文件的编码率和时间是固定的这一特征，基于编码率和时间戳就能 计算出相应的文件偏移量的特性，本发明实施例提供一种用于保证分布式视频流 存储系统数据连续性的切换方法，所述用于保证分布式视频流存储系统数据连续 性的切换方法包括：

步骤S11：元服务器通过周期性心跳获得各数据服务器的状态信息，并根据 各数据服务器的状态信息记录源服务器写入视频流数据的截止时刻；

步骤S12：元服务器通知源服务器从所述截止时刻停止写入视频流数据，并 告知目标服务器将所述截止时刻开始缓存的视频流数据写入磁盘，视频流数据的 缓存偏移量根据视频编码率和已写入视频流的起止时间戳之差确定；

步骤S13：元服务器更新元数据，将所述截止时刻后的视频流数据定位至目 标服务器；

步骤S14：在下一个保存周期或者下一个写入周期到来时，清空源服务器在 所述截止时刻之后写入磁盘的视频流数据。

下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施 方式不限于此。

图1是本发明实施例的用于保证分布式视频流存储系统数据连续性的切换 方法的流程示意图。所述分布式视频流存储系统包括元服务器和多台数据服务 器，在本实施例中以元服务器11、源服务器12以及目标服务器13为例进行说 明。

如步骤S11所述，元服务器通过周期性心跳获得各数据服务器的状态信息， 并根据各数据服务器的状态信息记录源服务器写入视频流数据的截止时刻。

具体地，所述元服务器11与各数据服务器通过周期性心跳进行信息交互。 若在规定的时间内，所述元服务器11没有收到某一数据服务器相应的回复信息， 则视为该数据服务器出现故障，需要将视频流数据切换到其他正常的数据服务器 进行存储。另外，如果某一数据服务器的负载不均衡，将影响整个系统的效率， 也需要将视频流数据切换到其他正常的数据服务器进行存储。存在故障或者负载 不均衡的数据服务器为所述源服务器12，在本实施例中，负载不均衡包括磁盘 冗余量和吞吐率不满足预设要求。

所述截止时刻为所述元服务器11检测到数据服务器出现故障或者数据服务 器的负载不均衡的时刻。由于系统的视频流具有时间映射特征，各时间段都对应 于视频流相应的数据信息，视频数据的流模式对应于时间的连续性。因此，所述 截止时刻是由所述源服务器12返回至所述元服务器11的，即所述源服务器11 从所述源服务器12获得所述截止时刻。考虑到分布式系统中均存在时钟偏移这 一问题，时间的不统一会造成数据存储的错误，因而本实施例采用分布式时钟同 步算法统一确定所述截止时刻以减小时钟偏差，使视频流数据的缓存偏移量更为 准确。进一步，所述截止时刻可以采用分布式时钟同步算法中的伯克利(Berkeley) 算法进行确定。

如步骤S12所述，元服务器通知源服务器从所述截止时刻停止写入视频流数 据，并告知目标服务器将所述截止时刻开始缓存的视频流数据写入磁盘，视频流 数据的缓存偏移量根据视频编码率和已写入视频流的起止时间戳之差确定。

具体地，每个作为主存储服务器的数据服务器都有与之相对应的从存储服务 器，用于防止主存储服务器损坏时数据的丢失，以及时对数据进行恢复。从存储 服务器备份主存储服务器的数据信息，通过主存储服务器上面存储的从存储服务 器的元数据信息进行维护。当主存储服务器上面数据变化时，及时更新从存储服 务器数据和从存储服务器元数据信息。因此，所述源服务器12的从存储服务器 可以作为目标服务器13，除所述源服务器12的从存储服务器之外的数据服务器 也可以作为目标服务器13。

所述元服务器11通过消息机制通知所述源服务器12从所述截止时刻停止写 入视频流数据，并通过消息机制告知所述目标服务器13准备写入视频流数据。 若所述源服务器12的从存储服务器作为所述目标服务器13，所述目标服务器13 已经缓存了相应的视频流数据，只需将缓存的视频流数据直接写入磁盘即可；若 除所述源服务器12的从存储服务器之外的数据服务器作为所述目标服务器13， 所述目标服务器13在将视频流数据写入磁盘之前需要对视频流数据进行缓存处 理，再将缓存的视频流数据写入磁盘。

视频流数据本身具有时间映射特征，再加上视频编码率是固定的，因此可以 根据视频编码率和已写入视频流的起止时间戳之差计算出视频流数据的缓存偏 移量，确定所述目标服务器13需要写入磁盘的数据位置和大小。视频编码率越 大，其文件大小也就越大。在本实施例中，视频流数据的缓存偏移量根据n＝T×α÷8 获得，其中，n为视频流数据的缓存偏移量，T为相邻两个视频流的时间戳之差， 即数据服务器上记录的前后两个视频流开始写入的时间戳之差，亦即已写入视频 流的起止时间戳之差，α为视频编码率，所述编码率包括音频编码率和视频编码 率。

如步骤S13所述，元服务器更新元数据，将所述截止时刻后的视频流数据定 位至目标服务器。具体地，所述元服务器11将更新元数据，将所述截止时刻之 后的视频流数据的位置信息重新定位到目标服务器13。目标服务器13在所述截 止时刻的视频流数据写入磁盘后，更新存储在目标服务器13上的元数据，例如 磁盘块号、文件片号以及冗余磁盘大小等信息。

如步骤S14所述，在下一个保存周期或者下一个写入周期到来时，清空源服 务器在所述截止时刻之后写入磁盘的视频流数据。具体地，所述元服务器11通 知源服务器12停止写入视频流数据需要消耗时间，在这段时间中源服务器12会 有部分所述截止时刻之后的数据写入磁盘，该数据会被视为垃圾数据，占用少量 磁盘空间。在下一个写入周期或者下一个保存周期到来时，自动清空这些垃圾数 据，从而避免了重复帧的情况。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制， 凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落 入本发明的保护范围之内。