云存储服务器的视频存储及检索方法、视频云存储系统

摘要

本发明公开了一种云存储服务器的视频存储及检索方法、视频云存储系统，克服当前视频检索技术效率较低等不足。该方法包括：在接收到要存储原始图片流数据的指示时，基于所接收到的原始图片流数据生成图片模型数据；存储所述原始图片流数据和所述图片模型数据；接收包括样本图片的检索请求；对所述样本图片进行建模，生成样本模型数据；利用所述样本模型数据对所存储的所述图片模型数据进行检索，获取检索结果；发送所述检索结果以响应所述检索请求。本发明利用云计算能力，实现多个云存储服务器同时工作，高效得出检索结果。

说明书

技术领域

本发明涉及一种视频信息技术，尤其涉及云存储服务器的视频存储及检索方法、视频云存储系统。

背景技术

随着云技术的发展，云存储应用也逐渐渗入各个领域，数据爆炸性增长，海量的监控设备每天产生的视频数据不可估量。在公共安全领域，通过视频侦查技术查案已经是很常用的技术。面对海量的视频数据，甚至是跨区域的数据，用户如何高效的获取到想要的信息，成为一个很明显的问题。

目前已有通过视频检索技术来提高视频查看效率，但是通常只是语义检索。很多特征难以用语义进行描述，如果可以根据用户给出的图片直接进行检索，免去语义描述，将会是最直观的检索方式，本方案即讲述此种检索方式，快速检索出符合用户需求的数据，实现高效的以图搜图。

然而，在现有的通过样本图片检索图片或视频的方案中，是在需要检索时才将视频导入，并对视频逐帧进行分析，将视频中所有活动目标取出，并以结构化的方式记录，然后将此结构化描述的信息入库，供信息检索。当样本图片与原始视频都结构化分析完毕后，才以样本图片的信息作为输入，与原始视频的结构化信息进行匹配，查找符合条件的目标。该技术方案中，由于对视频逐帧分析需要占用较长的时间，因而要么导致用户需要经过漫长的等待才能够接收到处理结果从而降低用户友好性，要么要求视频存储服务器具有非常高的处理能力了从而增加硬件投入。

此外，存在一种在基于图片搜索时进行二级检索的现有技术。该现有技术，为每个图片设置相同或不同的图片编号，通过图片编号建立图片与视频的对应关系。在检索到相似图片时，通过其图片编号来索引与之对应的视频地址，以确定作为检索结果的视频。在该技术中，虽然可以返回视频检索结果，但是，其返回的是整段视频结果，导致用户可能需要在几个小时长的视频中找到其期望看到的几秒中的视频段，这对显然给用户带来了巨大的困扰。

发明内容

本发明所要解决的技术问题之一是需要提供视频检索等相关技术，来克服当前视频检索技术效率较低、用户友好性较差以及设备成本较高等不足。

为了解决上述技术问题，本发明首先提供了一种云存储服务器的视频存储及检索方法，包括：在接收到要存储原始图片流数据的指示时，基于所接收到的原始图片流数据生成图片模型数据；存储所述原始图片流数据和所述图片模型数据；接收包括样本图片的检索请求；对所述样本图片进行建模，生成样本模型数据；利用所述样本模型数据对所存储的所述图片模型数据进行检索，获取检索结果；发送所述检索结果以响应所述检索请求。

优选地，利用所述样本模型数据对所存储的所述图片模型数据进行检索，获取检索结果，包括：利用所述样本模型数据对所存储的符合检索条件的所述图片模型数据进行所述检索，获取所述检索结果；其中，所述检索请求包括所述检索条件。

优选地，所述检索条件包括编码器信息。

优选地，利用所述样本模型数据对所存储的符合检索条件的所述图片模型数据进行所述检索，获取所述检索结果，包括：将所存储的符合所述检索条件的所述图片模型数据与所述样本模型数据相似的图片作为所述检索结果；或者，基于所存储的符合所述检索条件的所述图片模型数据与所述样本模型数据相似的图片及这些图片的时间戳生成视频段，将所述视频段作为所述检索结果。

优选地，所述检索条件进一步包括时间范围。

本发明还提供了一种视频云存储系统，包括多台云存储服务器，每台云存储服务器包括处理单元和存储单元，其中，所述处理单元在接收到要存储原始图片流数据的指示时，基于所接收到的原始图片流数据生成图片模型数据；在接收到包括样本图片的检索请求时，对所述样本图片进行建模，生成样本模型数据；所述存储单元存储所述原始图片流数据和所述图片模型数据；其中，所述处理单元还利用所述样本模型数据对所存储的所述图片模型数据进行检索，获取检索结果，并发送所述检索结果以响应所述检索请求。

优选地，所述系统还包括：云存储管理服务器，确定存储符合检索条件的图片模型数据的目标云存储服务器；其中，所述目标云存储服务器中的所述处理单元，利用所述样本模型数据对所述目标云存储服务器中的所述存储单元存储的符合所述检索条件的图片模型数据进行所述检索，获取所述检索结果；所述检索请求包括所述检索条件。

优选地，所述目标云存储服务器中的所述处理单元，将所述目标云存储服务器中的所述存储单元存储的、符合所述检索条件的所述图片模型数据与所述样本模型数据相似的图片，作为所述检索结果；或者，基于所述目标云存储服务器中的所述存储单元存储的、符合所述检索条件的所述图片模型数据与所述样本模型数据相似的图片、及这些图片的时间戳，生成视频段，将所述视频段作为所述检索结果。

优选地，每台云存储服务器还设置有开启或关闭云存储服务器的图片建模开关，其中，所述云存储管理服务器基于负载分配策略和所述图片建模开关，向开启的云存储服务器中的处理单元发送存储原始图片流数据的所述指示。

优选地，该系统还包括客户端，其中，所述客户端向所述云存储管理服务器发送所述检索请求，并接收所述检索结果；以及，所述客户端、每台云存储服务器与所述云存储管理服务器被设置在相同或不同的地理区域或网络区域。

根据本发明的一方面，相比在需要检索时才导入视频的后分析的传统技术，降低了检索时的数据迁移尤其是异地视频数据迁移带来的网络带宽的压力。

此外，根据本发明的一方面，避免了在当检索数据量大时因需要即时从视频中逐帧分析取出活动目标作为模型数据所带来的突发巨大数据处理量，降低了对用户检索请求的时间延迟。

另一方面，本发明的一个优选方案中，无论是对原始图片流数据进行分析还是将样本图片与已结构化模型数据进行对比，都体现了并发性，进而能够提高分析效率和提高检索效率。

综上，本方案充分利用云计算能力，利用集群的高并发、高可靠性，多台服务器写录像的同时，实时分析视频数据，生成图片流，对图片生成模型数据，并与原始图片流数据一起存储。在需要检索时，只需给出样本图片，即可利用本发明方案的高并发性，实现多个云存储服务器同时工作，并发地检索，高效得出检索结果。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。

图1是根据本发明实施例的视频云存储系统的架构示意图；

图2是根据本发明实施例的云存储服务器在接收到要存储原始图片流数据的指示时生成及存储图片模型数据的流程示意图；

图3是根据本发明实施例的云存储服务器的视频存储及检索方法的流程示意图；

图4是根据本发明实施例基于样本图片进行建模获取样本模型数据并基于样本模型数据返回检索结果的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

云存储系统的集群模式能够将分析数据和写数据的压力分摊到不同的服务器上，多台并发对数据分析存储，相比单台服务器的工作，效率更高，对整个系统而言，就是性能更优。本方发明非常合理高效的设置了视频检索涉及的各个处理步骤的处理主体与时机，从而充分利用了云存储系统集群模式的并发处理性能优势。相比传统的视频检索而言，尤其针对异地检索能非常好的体现出便捷效率。

图1是根据本发明实施例的视频云存储系统的架构示意图。

如图1所示，根据本发明实施例的视频云存储系统包括云存储服务器10、云存储管理服务器20和客户端30。

云存储管理服务器20，与客户端30数据连接，向客户端30提供写图片接口，基于负载分配策略将基于要存储的视频所生成的图片流中的各个图片及其对应的图片模型数据以图片为单位，存储到前述一个或多个云存储服务器10的至少之一。云存储管理服务器20可以为一个或多个(参考图2的VM1，VM2，……VM2t-1，其中，t为自然数)。

云存储服务器10根据存储管理服务器20的指示，基于要存储的由视频生成的图片流，生成图片模型数据，存储所生成的图片模型数据、图片流和该视频。此外，在接收包括样本图片的检索请求时，云存储服务器10对所述样本图片进行建模，生成样本模型数据，通过将该样本模型数据与所存储的图片模型数据进行比较(也即利用样本模型数据对所存储的图片模型数据进行检索)，来获取检索结果，并返回该检索结果以响应于所述检索请求。和云存储管理服务器20类似，各个云存储服务器10可以具体实现为物理服务器(参考图2的VS1，VS2，……VSn，其中n为自然数)。

云存储服务器10可以进一步包括存储单元11和处理单元12。存储单元11用于存储原始图片流数据和基于原始图片流数据生成的图片模型数据。处理单元12用于执行图片模型数据和样本模型数据(后续将详细说明)等处理。

客户端30、每台云存储服务器10和云存储管理服务器20，可被设置在相同或不同的地理区域或网络区域。

通过本发明，即便每台云存储服务器10和云存储管理服务器20被布置在不同的地理区域或网络区域，用户也感觉不到跨区域。而且检索到的结果是更完整的，所有满足检索条件的数据都会反馈给用户。这相比在传统技术中当遇到需要跨区域异地检索时可能需要到不同的区域分别去查看、或者要求将关联区域的数据全部集中在一起再检索的技术方案，显然既节约了人力、又提高了用户友好性。

如前面所述，本发明的实施例中，云存储服务器10在接收到要存储原始图片流数据的指示时，便基于所述图片流生成图片模型数据。这相比在接收到用户的检索请求时再生成视频的图片模型数据的传统技术，大大提高了检索效率，减少了用户从发出检索请求到获取响应期间的等待时长。

下面结合附图2-4来重点说明云存储服务器10在接收到要存储原始图片流数据的指示时生成图片模型数据的流程。

图2是云存储服务器10在接收到要存储原始图片流数据的指示时生成及存储图片模型数据的流程示意图。图3是根据本发明实施例的云存储服务器的视频存储及检索方法的流程示意图。图4是基于样本图片进行建模获取样本模型数据并基于样本模型数据返回检索结果的流程示意图。

在图3所示的云存储服务器的视频存储及检索方法中，步骤S301，云存储管理服务器20在接收到要存储原始图片流数据的指示时基于负载分配策略和图片建模开关进行控制，使得图片建模开关为开启的部分或全部云存储服务器才基于所接收到的原始图片流数据生成图片模型数据。

具体的，参考图2，作为云存储服务器10的云存储节点(参考图2的VS1，VS2，……VSn)设置有图片建模开关，且这些云存储节点(至少之一的图片建模开关为开启。或者在作为存储管理服务器的云存储系统管理节点(参考图2的Vm1，Vm2，……Vm2-1，其中m为自然数)中设置有分别针对与每台云存储服务器的图片建模开关(例如，可以为一串二进制数，二进制数的每一位对应一个管理节点)。在接收到要存储原始视频数据的指示时，获知作为云存储服务器10的各个云存储节点(参考图2的VS1，VS2，……VSn)中，哪些云存储节点的图片建模开关为开启，哪些为关闭。

在本发明中，根据本实施例的视频云存储系统前端支持接入多种类型的云存储服务器设备。

如果所有的云存储节点全部对图片开放建模功能，写入原始图片流数据的同时写入图片模型数据，对于某些场合可能是不必要的，那样在某些场合可能会是对性能的浪费或对存储空间的较大浪费。

因此，根据本实施例的视频云存储系统提供了自由配置方式，可以通过云存储服务器的图片建模开关来灵活的开关图片建模功能，粒度细化到每台云存储服务器。

云存储服务器的图片建模开关即可以为软件开关，也可以实现为硬件按钮。

当图片流到达云存储系统后，系统会通过集群负载均衡与分散策略，以单张图片为单位，将图片分配到不同的存储资源上，也可以通过集中存储方式，尽量分配到少的存储资源上，分散或集中存储是可配置的。接收到图片的云存储服务器会对图片进行分析建模处理，最后一并存储模型数据与原始图片流数据，实现模型数据的实时存储。

当然，在有些场合，也可以不设置图片建模开关，使得所有云存储服务器均会执行图片流生成图片模型数据的处理。

步骤S302，存储原始图片流数据(和/或存储基于视频形式的视频数据生成的图片流)和步骤S301中生成的样本模型数据。

在用户要利用图片来检索云存储服务器10存储的视频数据时，则促发根据本实施例的视频云存储系统执行步骤S303。

步骤S303，在接收到包括样本图片和检索条件的检索请求时，云存储管理服务器10进行分析控制。分析哪些云存储节点中存储有符合检索条件的图片流，然后根据分析结果进行控制，使得在系统的所有云存储服务器10中仅仅存储有符合所述检索条件的图片模型数据的云存储服务器才对所述样本图片进行建模，以生成样本模型数据。其中，检索条件可包括时间范围和编码器信息至少之一。

例如，当用户有需求要做图片检索时，发出检索请求。该检索请求中可包括样本图片K，可选的，还可包括编码器ID、时间范围等检索条件。在指定时间范围时，可通过缩小时间范围来提高检索效率。

收到样本图片K后，云存储管理服务器20根据编码器ID、时间范围等检索条件查找到所有存储有该编码器的云存储服务器10。假设总共有50台存储服务器10，每台服务器分别有300个存储块，分析得到满足检索条件的视频数据分别存储在A、B、C三台云存储服务器(未示出)上。而在A、B、C三台云存储服务器上，分别有3块、4块、5块存在符合检索条件的视频数据。在这个实例中，云存储管理服务器20将样本图片K发送到A、B、C三台云存储服务器。A、B、C三台云存储服务器接收到样本图片后，分别对样本图片K进行建模，生成模型数据，放于本地内存中。

步骤S304，存储有符合所述检索条件的图片模型数据的云存储服务器通过将样本模型数据与其存储单元存储的符合所述检索条件的图片模型数据进行比较来获取检索结果。

针对上面的例子，在本步骤中，A、B、C三台云存储服务器会根据内存中的模型数据Km，并行检索存储在本地满足检索时间范围内该编码器的图片，那么三台服务器分别只从符合所述检索条件的存储块中取出数据来检索(分别为上述的3块、4块、5块)，缩小检索范围。三台云存储服务器检索时互不干扰，各司其职，服务器会根据用户请求的相似度，找出各自机器中所有满足条件的相似图片，最终三台云存储服务器会分别将找出的图片返回给上层应用程序接口(可由云存储管理服务器20提供)。

检索结果可以为图片流，也可以为视频段。云存储服务器10可将所存储的图片流中图片模型数据与所述样本模型数据相似的图片作为检索结果。在另一种方案中，云存储服务器10也可将基于所存储的图片流中图片模型数据与样本模型数据相似的图片及这些图片的时间戳等信息来生成视频段，将所生成的视频段作为检索结果。通过生成视频段，可以改善图片列表过于单调、不连续的用户感受。用户可以将请求的结果设置为视频段，那么云存储系统会将图片列表根据时间戳等信息整合为完整连续的视频段。可见，本方案的输出结果可以满足用户多样化的需求，使用户能多种手段更快地查找并获得想要的信息。

步骤S305，云存储管理服务器20汇总各个存储有符合检索条件的图片流的云存储服务器的检索结果，并响应于检索请求返回汇总后的检索结果。例如，云存储管理服务器20可以提供用于接收到来自云存储服务器的检索结果的上层应用程序接口。然后对上层应用程序接口接收的检索结果进行汇总，反馈给用户。

此外，本系统的又一优点为，不会因为单点故障影响整体结果。假设上述提及的云存储服务器A运行异常，未能接收到来自云存储服务器A的检索结果，但这并不影响从云存储服务器B和C正常接收检索设备，并汇总云存储服务器B、C及检索结果并将之反馈给用户。

根据上述步骤S303到S304可知，本发明可以多台云存储服务器并发工作，实时处理模型数据，实现了高效分析存储图片的功能。此外，对于跨区域异地检索，对本方案而言与本地检索在用户体验上是无差异的，系统会自动通知到不同区域的服务器，做到良好的用户体验。

在上面的例子中，A、B和C三台云存储服务器同时检索，而且通过分析检索条件，针对性地对符合条件的存储块进行检索，效率远远高于将视频下载(存储)到单台服务器来进行比较检索，高于全遍历检索，用户能够更快得到结果反馈。数据量越大，服务器越多，本系统的性能优势越明显。

在上面的例子中，A、B、C三台A、B、C三台云存储服务器既可以是跨(地理/网络逻辑)区域的，也可以是同一(地理/网络逻辑)区域的。对于跨区域异地检索，比如A、B属于一个区域，C属于另一个区域，A、B、C三台云存储服务器还是会正常返回结果给API，最终由云存储管理服务器20提供的上层应用程序接口汇总检索结果并将之反馈给用户，再次表现了良好的用户体验，做到了跨区域的以图搜图。

需要说明的是，不要求检索请求中一定包括检索条件。检索请求包括检索条件是一个优选情况。当检索请求不包括检索条件时，云存储管理服务器20可在不分析哪些云存储服务器10存储了符合检索条件的视频数据的情况下，直接将样本图片数据发送给各个云存储服务器10。各个云存储服务器10对所述样本图片进行建模，以生成样本模型数据，然后通过将所述样本模型数据与其存储单元存储的符合所述检索条件的图片模型数据进行比较来获取检索结果。

综上可知，本方案是一种分析数据与写数据同时进行的视频云存储方案。根据本发明实施例视频云存储系统的技术方案，能够自动对要存储至该系统中的图片流进行智能分析、生成模型数据，并与原始图片流数据一并存储到云存储服务器中。图片流的来源可以是前端的抓拍机或者是通过云存储平台从视频流中截取出来的关键图片流。由位于视频云存储系统之上且与视频云存储系统网络连接的云存储平台截取原始图片流，并将图片流发送到视频云存储系统。然后经过视频云存储系统的云存储管理服务器20分配资源，最后存储到云存储服务器10中。云存储服务器10将这种模型数据与原始图片流数据一并写入云存储服务器的方式，免去了传统方式检索前需要将原始图片流数据再次导入服务器去分析处理的过程，节约了等待原始图片流数据单独建模的时间，能够提高检索效率。

当使用本方案执行图片检索时，会首先对用户给出的样本图片分析建模，再利用样本图片模型数据直接从系统之前存储的模型数据中检索出满足需求的图片，实现以图搜图。检索时只有样本图片需要即时建模，无需像传统的方式需要等所有的原始图片流数据建模完成，才能去比对检索，这样的方案既高效又能简化即时处理流程。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。