数据分割方法和数据分割装置

摘要

本发明提供了一种数据分割方法，包括：用一个预设长度的窗口从待编码的数据流中选取部分待编码的数据；从窗口内的数据中随机选取一个数据段，或者从待编码的数据流中顺序选取部分待编码的数据作为一个数据段，所述数据段大于第一预定长度；以及，用所述数据段到第一数据库中匹配相应的记录，如果匹配成功，确定数据分割点，将所述窗口顺序向后移动相应的长度；否则，将所述窗口顺序向后移动第二预定长度。可以避免数据段找到以前进行的大量重复的比较运算，尤其是采用窗口的动态调整移动步长，更能够快速在数据库中定位所述数据段以及提高数据流的分割速度，本发明还提供了一种数据分割装置。