一种基于分片技术的大模型数据比较方法

摘要

本发明公开了一种基于分片技术的大模型数据比较方法，包括以下几个步骤：设置分片参数；取出基准数据源的所有关键字，按从小到大顺序排列，并存放至关键字数组中；计算出分片个数fragment_num及每个分片中的记录数，再按序从关键字数组中获取每个分片的首尾关键字值；为每个分片启动一个工作线程，每个工作线程分别从基准数据源和待比较数据源中获取相对应的数据内容；各个工作线程逐行比较分配给自己的数据内容，并记录下差异结果；所有工作线程处理结束后，得到fragment_num个差异结果，将所有差异结果汇合为最终的差异结果。本发明应用在两个系统或两个数据库中可大幅度提高大模型数据比较效率。