一种用于减少内存开销的数据处理方法、装置及存储介质

摘要

本公开涉及一种用于减少内存开销的数据处理方法、装置及存储介质，此方法包括：在数据压缩过程中，确定至少一原始数据块与压缩数据块的对应关系；根据所述至少一原始数据块的容量分配用于存储相应压缩数据块的内存空间；所述至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比。本公开中，使用至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比的内存空间分配方式，使分配的内存空间与原始数据块的容量相关，相比于现有技术中为各种不同容量的原始数据块分配相同内存空间的方式，节省内存空间，减少内存开销。

说明书

技术领域

本公开涉及移动终端数据处理技术，尤其涉及一种用于减少内存开销的数据处理方法、装置及存储介质。

背景技术

在数据压缩过程中，对于所述至少一原始数据块分配用于存储相应压缩数据块的内存空间时，分配固定容量的存储空间，从而造成内存空间的浪费。

发明内容

为克服相关技术中存在的问题，本公开提供一种用于减少内存开销的数据处理、装置及存储介质。

根据本文实施例的第一方面，提供了一种用于减少内存开销的数据处理方法，应用于电子设备，包括：

在数据压缩过程中，确定至少一原始数据块与压缩数据块的对应关系；

根据所述至少一原始数据块的容量分配用于存储相应压缩数据块的内存空间；所述至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比。

在一实施方式中，所述方法还包括：确定所述至少一原始数据块的压缩类型，所述类型包括完全压缩类型和部分压缩类型，统计待处理数据段中包含的压缩类型相同的多个原始数据块；

为所述压缩类型相同的多个原始数据块同时分配缓存区间，在压缩完成后同时释放所述缓存空间。

在一实施方式中，所述方法还包括：

在模拟解压过程中，标记各压缩数据块是否具有就地解压标识；

在实际解压过程中，判断压缩数据块中是否携带就地解压标识，在携带就地解压标识时，使用虚拟文件系统分配的内存页用于存储解压数据，在未携带就地解压标识时，确定需申请的用于存储解压数据的内存空间的容量，在所述容量大于当前可用内存块中最大连续空闲空间容量时，申请新的内存空间用于存储解压数据。

在一实施方式中，所述方法还包括：

在压缩数据块的信息索引文件中记录所述压缩数据块对应的多个未压缩的原始数据块的标识；

在数据解压缩过程中，读取一压缩数据块到内存；根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块；

为每个原始数据块分配内存页；

将为所述原始数据块配置的内存页映射到连续地址的虚拟空间；

调用解压缩算法对所述虚拟空间中的数据进行解压缩。

在一实施方式中，根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块，包括：

根据所述压缩数据块的信息索引文件中原始数据块的类型信息和位置信息，确定所述压缩数据块对应的多个未压缩的原始数据块；

所述类型信息包括：起始数据块类型和非起始数据块类型；所述位置信息包括各个非起始数据块相比于起始数据块的位置指示信息。

根据本文实施例的第二方面，提供了一种用于减少内存开销的数据处理装置，应用于电子设备，包括：

第一确定模块，被配置为在数据压缩过程中，确定至少一原始数据块与压缩数据块的对应关系；

第一分配模块，被配置为根据所述至少一原始数据块的容量分配用于存储相应压缩数据块的内存空间；所述至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比。

在一实施方式中，所述装置还包括：

第二确定模块，被配置为确定所述至少一原始数据块的压缩类型，所述类型包括完全压缩类型和部分压缩类型；

统计模块，被配置为统计待处理数据段中包含的压缩类型相同的多个原始数据块；

第二分配模块，被配置为所述压缩类型相同的多个原始数据块同时分配缓存区间，在压缩完成后同时释放所述缓存空间。

在一实施方式中，所述装置还包括：

标记模块，用于在模拟解压过程中，标记各压缩数据块是否具有就地解压标识；

判断模块，用于在实际解压过程中，判断压缩数据块中是否携带就地解压标识；

存储模块，用于在携带就地解压标识时，使用虚拟文件系统分配的内存页用于存储解压数据，在未携带就地解压标识时，确定需申请的用于存储解压数据的内存空间的容量，在所述容量大于当前可用内存块中最大连续空闲空间容量时，申请新的内存空间用于存储解压数据。

在一实施方式中，所述装置包括：

记录模块，用于在压缩数据块的信息索引文件中记录所述压缩数据块对应的多个未压缩的原始数据块的标识；

读取模块，用于在数据解压缩过程中，读取一压缩数据块到内存；

第三分配模块，用于根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块；为每个原始数据块分配内存页；将为所述原始数据块配置的内存页映射到连续地址的虚拟空间；

调用模块，用于调用解压缩算法对所述虚拟空间中的数据进行解压缩。

在一实施方式中，所述第三分配模块，还用于使用以下方法根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块：

根据所述压缩数据块的信息索引文件中原始数据块的类型信息和位置信息，确定所述压缩数据块对应的多个未压缩的原始数据块；

所述类型信息包括：起始数据块类型和非起始数据块类型；所述位置信息包括各个非起始数据块相比于起始数据块的位置指示信息。

根据本文实施例的第三方面，提供了一种数据处理装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述存储器中的可执行指令以实现上述方法的步骤。

根据本文实施例的第四方面，提供了一种非临时性计算机可读存储介质，其上存储有可执行指令，其特征在于，该可执行指令被处理器执行时实现上述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：使用至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比的内存空间分配方式，使分配的内存空间与原始数据块的容量相关，相比于现有技术中为各种不同容量的原始数据块分配相同内存空间的方式，节省内存空间，减少内存开销。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种用于减少内存开销的数据处理方法的流程图；

图2是根据一示例性实施例示出的一种原始数据块与压缩数据块的对应关系示意图；

图3是根据一示例性实施例示出的一种用于减少内存开销的数据处理装置的结构图；

图4是根据一示例性实施例示出的一种用于减少内存开销的数据处理装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例中提供一种数据处理方法。参照图1，图1是根据一示例性实施例示出的一种用于减少内存开销的数据处理方法的流程图。如图1所示，此方法包括：

步骤S11，在数据压缩过程中，确定至少一原始数据块与压缩数据块的对应关系。

步骤S12，根据所述至少一原始数据块的容量分配用于存储相应压缩数据块的内存空间；所述至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比。

其中，至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比包括：原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量相同。或者，所述用于存储相应压缩数据块的内存空间的容量与原始数据块的容量的比例为大于1且小于设定比例的整数。例如此比例为1.1,1.05,1.2等。

例如：至少一原始数据块共包括3个原始数据块，此3个原始数据块的容量分别为1KB、2KB、3KB，为此3个原始数据块分配的用于存储相应压缩数据块的内存空间的容量为6KB。而，现有技术中，为每个原始数据块分配相同容量的内存，例如为每个原始数据块分配4KB，则最终需要为3个原始数据块分配的用于存储相应压缩数据块的内存空间的容量为12KB。

本实施例中，使用至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比的内存空间分配方式，使分配的内存空间与原始数据块的容量相关，相比于现有技术中为各种不同容量的原始数据块分配相同内存空间的方式，节省内存空间，减少内存开销。

本公开实施例中还提供一种用于减少内存开销的数据处理方法，此方法包括图1所示的方法，并且还包括：确定所述至少一原始数据块的压缩类型，所述类型包括完全压缩类型和部分压缩类型，统计待处理数据段中包含的压缩类型相同的多个原始数据块；为所述压缩类型相同的多个原始数据块同时分配缓存区间，在压缩完成后同时释放所述缓存空间。

相比于现有技术中按照压缩顺序，依次为每个原始数据块分配缓存区间，使用完成后释放此缓存区间的方式，可以减少数据拷贝次数，从而减少内存数据处理开销。

本公开实施例中还提供一种用于减少内存开销的数据处理方法，此方法包括图1所示的方法，并且还包括：在模拟解压过程中，标记各压缩数据块是否具有就地解压标识。在实际解压过程中，判断压缩数据块中是否携带就地解压标识，在携带就地解压标识时，使用虚拟文件系统分配的内存页用于存储解压数据，在未携带就地解压标识时，确定需申请的用于存储解压数据的内存空间的容量，在所述容量大于当前可用内存块中最大连续空闲空间容量时，申请新的内存空间用于存储解压数据。

通过此方式可以减少内存申请开销。

本公开实施例中还提供一种用于减少内存开销的数据处理方法，此方法包括图1所示的方法，并且还包括：在压缩数据块的信息索引文件中记录所述压缩数据块对应的多个未压缩的原始数据块的标识；

在数据解压缩过程中，读取一压缩数据块到内存；根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块；

为每个原始数据块分配内存页；

将为所述原始数据块配置的内存页映射到连续地址的虚拟空间；

调用解压缩算法对所述虚拟空间中的数据进行解压缩。

其中，根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块，包括：根据所述压缩数据块的信息索引文件中原始数据块的类型信息和位置信息，确定所述压缩数据块对应的多个未压缩的原始数据块；所述类型信息包括：起始数据块类型和非起始数据块类型；所述位置信息包括各个非起始数据块相比于起始数据块的位置指示信息。

例如：如图2所示，在压缩过程中，将原始数据块D0、D1、D2、D3、D4压缩为压缩数据块C0。将原始数据块D5、D6、D7、D8压缩为压缩数据块C1。

在解压过程中，将压缩数据块C0读取到内存。压缩数据中包括信息索引文件，信息索引文件位于所有压缩数据块之前。压缩数据块C0的信息索引文件中包括对相应的原始数据块的信息的描述，描述参数包括：是否为头部块的标识，在不是头部块时与头部块的数据块偏移个数，在不是头部块时与头部块的偏移地址信息。

原始数据块D0的描述参数包括：是头部块的标识。

原始数据块D1的描述参数包括：不是头部块的标识，与头部块的数据块偏移个数为1，偏移地址为地址1。

原始数据块D2的描述参数包括：不是头部块的标识，与头部块的数据块偏移个数为2，偏移地址为地址2。

原始数据块D3的描述参数包括：不是头部块，与头部块的数据块偏移个数为3，偏移地址为地址3。

根据压缩数据块C0的信息索引文件，确定压缩数据块C0对应的未压缩的原始数据块为D0、D1、D2、D3、D4。

为原始数据块为D0、D1、D2、D3、D4分别分配一物理存储页。

将为原始数据块D0、D1、D2、D3、D4配置的物理存储页映射到连续地址的虚拟空间。

调用解压缩算法对所述虚拟空间中的数据进行解压缩。

本公开实施例中提供一种用于减少内存开销的数据处理装置。参照图3，图3是根据一示例性实施例示出的一种数据处理装置的结构图。如图3所示，此装置包括：

第一确定模块301，被配置为在数据压缩过程中，确定至少一原始数据块与压缩数据块的对应关系；

第一分配模块302，被配置为根据所述至少一原始数据块的容量分配用于存储相应压缩数据块的内存空间；所述至少一原始数据块的容量与所述用于存储相应压缩数据块的内存空间的容量呈正比。

本公开实施例中还提供一种用于减少内存开销的数据处理装置，此装置包括图3所示装置，并且此装置还包括：

第二确定模块，被配置为确定所述至少一原始数据块的压缩类型，所述类型包括完全压缩类型和部分压缩类型；

统计模块，被配置为统计待处理数据段中包含的压缩类型相同的多个原始数据块；

第二分配模块，被配置为所述压缩类型相同的多个原始数据块同时分配缓存区间，在压缩完成后同时释放所述缓存空间。

本公开实施例中还提供一种用于减少内存开销的数据处理装置，此装置包括图3所示装置，并且此装置还包括：

标记模块，用于在模拟解压过程中，标记各压缩数据块是否具有就地解压标识；

判断模块，用于在实际解压过程中，判断压缩数据块中是否携带就地解压标识；

存储模块，用于在携带就地解压标识时，使用虚拟文件系统分配的内存页用于存储解压数据，在未携带就地解压标识时，确定需申请的用于存储解压数据的内存空间的容量，在所述容量大于当前可用内存块中最大连续空闲空间容量时，申请新的内存空间用于存储解压数据。

本公开实施例中还提供一种用于减少内存开销的数据处理装置，此装置包括图3所示装置，并且此装置还包括：

记录模块，用于在压缩数据块的信息索引文件中记录所述压缩数据块对应的多个未压缩的原始数据块的标识；

读取模块，用于在数据解压缩过程中，读取一压缩数据块到内存；

第三分配模块，用于根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块；为每个原始数据块分配内存页；将为所述原始数据块配置的内存页映射到连续地址的虚拟空间；

调用模块，用于调用解压缩算法对所述虚拟空间中的数据进行解压缩。

在一实施方式中，所述第三分配模块，还用于使用以下方法根据所述压缩数据块的信息索引文件，确定所述压缩数据块对应的多个未压缩的原始数据块：

根据所述压缩数据块的信息索引文件中原始数据块的类型信息和位置信息，确定所述压缩数据块对应的多个未压缩的原始数据块；

所述类型信息包括：起始数据块类型和非起始数据块类型；所述位置信息包括各个非起始数据块相比于起始数据块的位置指示信息。

图4是根据一示例性实施例示出的一种用于减少内存开销的数据处理的装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件405和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件405包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件405包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。