一种无业务主键数据在存储数据库时去重的方法

摘要

本发明公开了一种无业务主键数据在存储数据库时去重的方法，其特征在于，包括以下步骤：数据转换模块将导入数据库内的外部业务数据拼接为字符串，数据hash运算模块将拼接组合成的字符串使用sha256算法计算得到字节数组，消息摘要转换模块将字节数组格式的消息摘要转换为字符串H1，消息摘要hash模块对消息摘要转换的字符串H1再次进行hash运算，得到一个整型值H2，去重处理模块主要是用以上步骤中两次hash运算得到的值H1和H2作为条件查询数据库。本发明中，该无业务主键数据在存储数据库时去重的方法采用根据消息摘要算法结果碰撞率极低的特性，通过只比较两个字段即可判断数据是否相等，并且有效利用了数据库索引以提高效率。