一种视频云存储系统中的数据热替换方法和系统

摘要

本发明公开了一种视频云存储系统中的数据热替换方法和系统：视频云存储系统中的服务进程启动，将预先生成的、存储在磁盘上的文件A映射到物理内存中；当需要进行数据热替换时，替换进程启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处；其中，文件A为由原始数据生成的文件，文件B为由替换数据生成的文件。应用本发明所述方案，能够提高替换速度和减少资源消耗等。

说明书

技术领域

本发明涉及数据存储技术，特别涉及一种视频云存储系统中的数据热替换方法和系统。

背景技术

视频云存储系统，是指通过集群应用、网络技术和分布式文件系统等，将网络中大量的存储设备通过应用软件集合起来协同工作，共同对外提供视频数据存储和业务访问功能的系统。

目前，当需要对视频云存储系统中的数据进行替换时，通常采用数据热替换的方式，所谓数据热替换，即指进程不停机，进行内部数据的全量更新替换。

具体的，可采用以下方式来实现数据热替换。

方式一

数据通过socket传输到视频云存储系统的服务进程，数据的格式预先约定好，数据接收完成后，由服务进程按照预先约定好的方式进行数据替换。

这种方式的弊端在于：服务进程需要专门创建一个socket来进行数据接收，socket的创建需要消耗端口号，同时socket的接收服务开发和维护相对复杂，数据的接收速度也较慢；另外，数据必须全部接收完，由服务进程确定数据的完整性之后，才能进行数据替换，如果只接收到一半即出现异常网线断开，则需要重新传输之前已经传输过的数据；也就是说，这种方式的替换速度较慢，且会增加资源消耗。

方式二

数据通过第三方中转到服务进程，如数据预先存储到数据库中，然后通过信号或者socket发送协议的方式通知替换。

这种方式的弊端在于：数据需要在第三方进行中转，从而增加了资源消耗；而且，如果通知替换的接口为socket的话，也会存在方式一中所述的关于socket的弊端。

发明内容

有鉴于此，本发明提供了一种视频云存储系统中的数据热替换方法和系统，能够提高替换速度和减少资源消耗。

为了达到上述目的，本发明的技术方案是这样实现的：

一种视频云存储系统中的数据热替换方法，包括：

视频云存储系统中的服务进程启动，将预先生成的、存储在磁盘上的文件A映射到物理内存中；

当需要进行数据热替换时，替换进程启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处；

其中，文件A为由原始数据生成的文件，文件B为由替换数据生成的文件。

一种视频云存储系统中的数据热替换系统，包括：

服务进程，用于当自身启动后，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，文件A为由原始数据生成的文件；

替换进程，用于当需要进行数据热替换时启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，其中，文件B为由替换数据生成的文件。

可见，采用本发明所述方案，无需进行socket的创建或借助于第三方的中转，即可实现数据热替换，从而克服了现有技术中存在的问题，进而提高了替换速度和减少了资源消耗；而且，本发明所述方案实现起来简单方便，从而便于进行普及和推广。

附图说明

图1为本发明视频云存储系统中的数据热替换方法实施例的流程图。

图2为本发明服务进程和替换进程的工作方式示意图。

具体实施方式

针对现有技术中存在的问题，本发明中提出一种视频云存储系统中的数据热替换方案，能够提高替换速度和减少资源消耗等。

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。

图1为本发明视频云存储系统中的数据热替换方法实施例的流程图。如图1所示，包括以下步骤11～12。

步骤11：视频云存储系统中的服务进程启动，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，文件A为由原始数据生成的文件。

服务进程是视频云存储系统对外提供功能服务的进程，是整个视频云存储系统的主体进程。

具体地，当服务进程启动之后，可通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件A映射到物理内存中，内存磁盘映射方式的具体实现为现有技术。

如前所述，文件A为由原始数据(即替换之前的旧数据)生成的文件，文件A的具体格式不作限制，可根据实际需要而定，另外，文件A可预先手动或自动生成，具体生成方式同样不作限制。

服务进程在将文件A映射到物理内存中之后，可直接对所映射的文件A进行操作，如进行增删查改等操作。

另外，为了防止与其它进程发生冲突，在每次进行操作之前，服务进程通常还需要针对文件A在物理内存中的映射区域加进程间锁(LOCK)，用于锁定所述映射区域，之后即可进行相应操作，并在操作完成时，解所述进程间锁，以释放对所述映射区域的占用，如何加所述进程间锁和解所述进程间锁均为现有技术。

步骤12：当需要进行数据热替换时，替换进程启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，其中，文件B为由替换数据生成的文件。

当需要进行数据热替换时，可手动或自动启动替换进程，如何进行启动不作限制，之后，替换进程可通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处。

如前所述，文件B为由替换数据(即替换之后的新数据)生成的文件，文件B的具体格式同样不作限制，可根据实际需要而定，另外，文件B可预先手动或自动生成，具体生成方式同样不作限制，在磁盘上，文件A和文件B分开存放，即是两个不同的文件。

另外，与服务进程类似，替换进程在将文件B映射到文件A在物理内存中的映射区域处之前，还需要针对所述映射区域加进程间锁，之后即可将文件B映射到所述映射区域处，并在映射完成后，解所述进程间锁。

通过上述操作，即可替换文件A映射到物理内存中的内容，同时，由于采用了内存磁盘映射的方式，因此磁盘上的文件A的内容也会被文件B的内容所替换，相应地，为了节省磁盘的存储空间，替换进程可将文件B从磁盘上删除，并退出进程。

后续，当服务进程对文件A进行操作时，即是对内容进行了替换后的文件A进行操作。

基于上述介绍，图2为本发明服务进程和替换进程的工作方式示意图。

如图2所示，其中服务进程的工作方式为：

服务进程启动；

服务进程通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件A映射到物理内存中；

服务进程需要对映射到物理内存中的文件A进行操作，针对文件A在物理内存中的映射区域加进程间锁；

服务进程进行相应的操作；

操作完成，服务进程解进程间锁；

当满足退出条件时，服务进程退出，如人为关闭服务进程。

如图2所示，替换进程的工作方式为：

需要进行数据热替换，替换进程启动；

替换进程针对文件A在物理内存中的映射区域加进程间锁；

替换进程通过内存磁盘映射的方式，将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处；

映射完成，替换进程解进程间锁；

替换进程将文件B从磁盘上删除，并退出进程。

本发明同时公开了一种视频云存储系统中的数据热替换系统，包括：服务进程和替换进程。

其中，服务进程，用于当自身启动后，将预先生成的、存储在磁盘上的文件A映射到物理内存中，其中，文件A为由原始数据生成的文件；

替换进程，用于当需要进行数据热替换时启动，并将预先生成的、存储在磁盘上的文件B映射到文件A在物理内存中的映射区域处，其中，文件B为由替换数据生成的文件。

具体地，

服务进程可通过内存磁盘映射的方式，将文件A映射到物理内存中；

同样，替换进程可通过内存磁盘映射的方式，将文件B映射到文件A在物理内存中的映射区域处。

另外，

服务进程还可进一步用于，在将文件A映射到物理内存中之后，当需要对映射到物理内存中的文件A进行操作时，针对所述映射区域加进程间锁，当操作完成时，解进程间锁。

再有，

替换进程还可进一步用于，在将文件B映射到文件A在物理内存中的映射区域处之前，针对所述映射区域加进程间锁，在将文件B映射到文件A在物理内存中的映射区域处之后，解进程间锁。

再有，

替换进程还可进一步用于，在将文件B映射到文件A在物理内存中的映射区域处之后，将文件B从磁盘上删除，并退出进程。

上述系统实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。

总之，采用本发明所述方案，无需进行socket的创建或借助于第三方的中转，即可实现数据热替换，从而克服了现有技术中存在的问题，进而提高了替换速度和减少了资源消耗；而且，本发明所述方案实现起来简单方便，从而便于进行普及和推广。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。