私募产品的数据入库方法、装置、设备及存储介质

摘要

本发明涉及数据查重领域，公开了一种私募产品的数据入库方法、装置、设备及存储介质。该方法包括：获取待分析的私募产品特征集，其中，私募产品特征集包括：产品名称、产品经理名称、产品公司名称；根据预置拆分提取算法，对产品名称进行拆解处理，得到拆分关键词集；读取拆分关键词集中的拆分关键词，根据预置组合框架，将产品经理名称、产品公司名称、拆分关键词进行连接组合处理，得到检索词；根据预置向量转换算法，将检索词进行向量转换处理，得到检索向量，以及根据预置权重赋值算法，对检索向量进行权重控制处理，得到检测权重向量；根据预置相似度算法，计算检测权重向量与私募特征集数据库中私募特征集对应特征目标向量之间的相似度，得到相似度集；判断相似度集中的相似度是否均小于预置相似度阈值；若不均小于，则将私募产品特征集添加至私募特征集数据库中。

说明书

技术领域

本发明涉及数据查重领域，尤其涉及一种私募产品的数据入库方法、装置、设备及存储介质。

背景技术

在现有的技术下，判断一个新的私募产品是否是已存在的私募产品只能根据一些私募产品的唯一性特征来进行判断，比如私募注册号、私募产品全称、私募产品简称等。通过比较这些唯一的特征来判断该产品是否已经存在。但是对于某些私募产品缺失注册编号，或者私募产品全称或者简称并不完全一致的情况下，就很难进行判断了，必须进行人工干预，在数据量特别大的情况下，采用人工手动干预的工作量是非常巨大的，考虑到人力成本，基本上不可行。

当前私募数据库的处理有以下几个缺点：

1、只能使用私募产品的注册号进行判断是否重复，判断条件太过严格，对于没有注册号或者拿不到注册号的情况无法处理。

2、通过私募产品全称和简称来匹配是否同一个产品有很大的缺陷，在产品名称不一致的情况下无法判断，需要人工介入。

3、需要大量的人工操作，人力成本过高，不适合大数据量的场景。

因此，在当前私募数据处理过程中，因为私募产品名称不规范、注册编码缺失的无法判断数据库中是否已存在实质相同的私募产品数据，需要一种技术解决当前的问题。

发明内容

本发明的主要目的在于解决在当前私募数据处理过程中，因为私募产品名称不规范、注册编码缺失的无法判断数据库中是否已存在实质相同的私募产品数据的技术问题。

本发明第一方面提供了一种私募产品的数据入库方法，所述私募产品的数据入库方法应用于私募特征集数据库，所述私募产品的数据入库方法包括：

获取待分析的私募产品特征集，其中，所述私募产品特征集包括：产品名称、产品经理名称、产品公司名称；

根据预置拆分提取算法，对所述产品名称进行拆解处理，得到拆分关键词集；

读取所述拆分关键词集中的拆分关键词，根据预置组合框架，将所述产品经理名称、所述产品公司名称、所述拆分关键词进行连接组合处理，得到检索词；

根据预置向量转换算法，将所述检索词进行向量转换处理，得到检索向量，以及根据预置权重赋值算法，对所述检索向量进行权重控制处理，得到检测权重向量；

根据预置相似度算法，计算所述检测权重向量与所述私募特征集数据库中私募特征集对应特征目标向量之间的相似度，得到相似度集；

判断所述相似度集中的相似度是否均小于预置相似度阈值；

若不均小于，则将所述私募产品特征集添加至所述私募特征集数据库中。

可选的，在本发明第一方面的第一种实现方式中，在所述获取待分析的私募产品特征集之后，在所述根据预置拆分提取算法，对所述产品名称进行拆解处理，得到拆分关键词集之前，还包括：

判断所述私募产品特征集是否存在私募注册号；

若不存在私募注册号，则执行所述根据预置拆分提取算法，对所述产品名称进行拆解处理，得到拆分关键词集；

若存在私募注册号，则判断所述私募注册号是否在所述私募特征集数据库中存在匹配数据；

若不存在匹配数据，则将所述私募产品特征集添加至所述私募特征集数据库中。

可选的，在本发明第一方面的第二种实现方式中，所述读取所述拆分关键词集中的拆分关键词，根据预置组合框架，将所述产品经理名称、所述产品公司名称、所述拆分关键词进行连接组合处理，得到检索词包括：

读取所述拆分关键词中的拆分关键词；

根据预置组合映射关系，将所述产品经理名称、所述产品公司名称、所述拆分关键词替换预置零矩阵中的零元素，得到检索矩阵；

将所述检索矩阵进行字符转换处理，得到检索词。

可选的，在本发明第一方面的第三种实现方式中，所述根据预置向量转换算法，将所述检索词进行向量转换处理，得到检索向量，以及根据预置权重赋值算法，对所述检索向量进行权重控制处理，得到检测权重向量包括：

根据预置向量转换规则，依次对所述检索词中包含的所述产品经理名称、所述产品公司名称、所述拆分关键词单独进行转换，得到检索向量，其中，所述检索向量＝X

根据预置权重赋值算法，对所述检索向量中的X

可选的，在本发明第一方面的第四种实现方式中，所述根据预置相似度算法，计算所述检测权重向量与所述私募特征集数据库中私募特征集对应特征目标向量之间的相似度，得到相似度集包括：

读取所述私募特征集数据库中私募特征集对应特征目标向量；

将所述特征目标向量和所述检测权重向量代入相似度计算函数中，得到相似度，其中，

将所述私募特征集数据库中每个私募特征集对应的相似度提取，生成相似度集。

可选的，在本发明第一方面的第五种实现方式中，所述判断所述相似度集中的相似度是否均小于预置相似度阈值包括：

判断所述相似度集是否为空集；

若为空集，则确认所述相似度集中的相似度均小于预置相似度阈值；

若不为空集，则读取所述相似度集中的任一相似度，判断所述相似度是否小于预置相似度阈值；

若小于，则将所述相似度从所述相似度集中删除，重新判断所述相似度集是否为空集；

若不小于，则确认所述相似度集中的相似度并非均小于预置相似度阈值。

可选的，在本发明第一方面的第六种实现方式中，在所述判断所述相似度集是否均小于预置相似度阈值之后，还包括：

若均小于，则将所述私募产品特征集确定为重复数据，并存储在历史查询记录中，以便用户查询。

本发明第二方面提供了一种私募产品的数据入库装置，所述私募产品的数据入库装置应用于私募特征集数据库，所述私募产品的数据入库装置包括：

获取模块，用于获取待分析的私募产品特征集，其中，所述私募产品特征集包括：产品名称、产品经理名称、产品公司名称；

拆解模块，用于根据预置拆分提取算法，对所述产品名称进行拆解处理，得到拆分关键词集；

组合模块，用于读取所述拆分关键词集中的拆分关键词，根据预置组合框架，将所述产品经理名称、所述产品公司名称、所述拆分关键词进行连接组合处理，得到检索词；

向量生成模块，用于根据预置向量转换算法，将所述检索词进行向量转换处理，得到检索向量，以及根据预置权重赋值算法，对所述检索向量进行权重控制处理，得到检测权重向量；

相似度计算模块，用于根据预置相似度算法，计算所述检测权重向量与所述私募特征集数据库中私募特征集对应特征目标向量之间的相似度，得到相似度集；

判断模块，用于判断所述相似度集中的相似度是否均小于预置相似度阈值；

添加模块，用于若不均小于，则将所述私募产品特征集添加至所述私募特征集数据库中。

本发明第三方面提供了一种私募产品的数据入库设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述私募产品的数据入库设备执行上述的私募产品的数据入库方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的私募产品的数据入库方法。

本发明实施例中，通过使用在私募产品的名称拆分与私募公司名称和私募经理名称组合后，转换成向量与数据库中的存储数据转换的向量进行相似度比对，超过阈值认为是新的私募产品数据，未超过阈值则认为是原有的私募产品数据在私募产品名称并不完全一致的情况下自动进行正确的决策，在大数据量的情况下可以有效的减少人工的工作量，提升工作效率，解决了判断数据库中是否已存在实质相同的私募产品数据的技术问题。

附图说明

图1为本发明实施例中私募产品的数据入库方法的一个实施例示意图；

图2为本发明实施例中私募产品的数据入库装置的一个实施例示意图；

图3为本发明实施例中私募产品的数据入库装置的另一个实施例示意图；

图4为本发明实施例中私募产品的数据入库设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种私募产品的数据入库方法、装置、设备及存储介质。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中私募产品的数据入库方法的一个实施例，所述私募产品的数据入库方法应用于私募特征集数据库，所述私募产品的数据入库方法包括：

101、获取待分析的私募产品特征集，其中，私募产品特征集包括：产品名称、产品经理名称、产品公司名称；

在本实施例中，要入库的私募产品中，要输入相关信息，相关信息最少要有产品名称、产品经理名称、产品公司名称，而私募注册号不一定必须在私募产品特征集中输入。

进一步的，在101步骤之后，在102步骤之前，还可以有以下步骤：

1011、判断私募产品特征集是否存在私募注册号；

1012、若不存在私募注册号，则执行根据预置拆分提取算法，对产品名称进行拆解处理，得到拆分关键词集；

1013、若存在私募注册号，则判断私募注册号是否在私募特征集数据库中存在匹配数据；

1014、若不存在匹配数据，则将私募产品特征集添加至私募特征集数据库中。

在1011-1014步骤中，获取的私募产品特征集中判断是否有私募注册号的输入，如果没有输入，则跳转至102步骤中，如果存在私募注册号，则判断私募注册号是否和私募特征集数据库的私募注册号匹配，这里的匹配即是比较字符串是否相同。如果不存在相同数据则将私募产品特征集添加至私募特征集数据库中，如果存在相同则认为私募产品与数据库的数据重复，不进行处理。

102、根据预置拆分提取算法，对产品名称进行拆解处理，得到拆分关键词集；

在本实施例中，将私募产品进行关键词拆分，得到产品关键词、私募公司和私募经理信息。系统主要从三个方面进行查找和匹配，分别是私募产品名称、私募公司名称和私募经理名称。因为对于私募产品来说，私募公司名字和私募经理名字是不会变化的，只有私募产品名字可能不同，所以这里对私募公司名称和私募经理名称不做关键词拆分，直接建立索引。只对私募产品名称进行关键词拆分，之后再建立索引。

103、读取拆分关键词集中的拆分关键词，根据预置组合框架，将产品经理名称、产品公司名称、拆分关键词进行连接组合处理，得到检索词；

在本实施例中，检索过程是需要将所有词汇组合，产品名称拆解出A1、A2、A3的拆分关键词，产品经理名称B和产品公司名称C要与A1、A2、A3的拆分关键词组合，则检索词有A1-B-C、A2-B-C、A3-B-C三个词，后续步骤则根据三个词分别进行判断分析。

进一步的，103步骤还可以执行以下步骤：

1031、读取拆分关键词中的拆分关键词；

1032、根据预置组合映射关系，将产品经理名称、产品公司名称、拆分关键词替换预置零矩阵中的零元素，得到检索矩阵；

1033、将检索矩阵进行字符转换处理，得到检索词。

在1031-1033步骤中，产品名称拆解出A1、A2、A3的拆分关键词，读取A1关键词，组合映射是矩阵第一个元素为产品公司名称C，第二个元素为产品经理名称B，第三个元素为拆分关键词，零矩阵为[0，0，0]，依次替换后矩阵为[C，B，A1]，将[C，B，A1]矩阵转换得到检索词：C-B-A1。

104、根据预置向量转换算法，将检索词进行向量转换处理，得到检索向量，以及根据预置权重赋值算法，对检索向量进行权重控制处理，得到检测权重向量；

在本实施例中，向量的转换是现有的转换算法，而判断输入的新的私募产品的关键词向量和数据库中已经存在的关键词向量之间的相似度，该相似度是通过计算两个向量之间的夹角来确认的，夹角越小，说明两者的相似程度越高。但是不同的关键词的权重是不一样的，比如一个专有名词的权重就要比一个连接词的权重要高，权重控制器就负责对私募产品关键词、私募公司和私募经理进行权重设置。权重控制器负责查询私募公司、私募经理和私募产品关键词数据，并根据需要对其进行权重设置。

1041、根据预置向量转换规则，依次对检索词中包含的产品经理名称、产品公司名称、拆分关键词单独进行转换，得到检索向量，其中，检索向量＝X

1042、根据预置权重赋值算法，对检索向量中的X

在1041-1042步骤中，检索词C-B-A1中每个C、B、A1单独转化为X

105、根据预置相似度算法，计算检测权重向量与私募特征集数据库中私募特征集对应特征目标向量之间的相似度，得到相似度集；

在本实施例中，相似度算法可以直接计算两个向量之间的距离，可以使用

在105步骤中，还可以执行以下步骤：

1051、读取私募特征集数据库中私募特征集对应特征目标向量；

1052、将特征目标向量和检测权重向量代入相似度计算函数中，得到相似度，其中，

1053、将私募特征集数据库中每个私募特征集对应的相似度提取，生成相似度集。

在1051-1053的步骤中，相似度计算的函数为

106、判断相似度集中的相似度是否均小于预置相似度阈值；

在本实施例中，依次将相似度集中的相似度的值，相似度小于相似度阈值的，则记录为1，相似度不小于相似度阈值的，则记录为0。在比较完成后，读取记录，记录中不存在0，则认为相似度集中的相似度均小于预置相似度阈值。记录中存在0，则认为相似度集中的相似度均不小于预置相似度阈值。

1061、判断相似度集是否为空集；

1062、若为空集，则确认相似度集中的相似度均小于预置相似度阈值；

1063、若不为空集，则读取相似度集中的任一相似度，判断相似度是否小于预置相似度阈值；

1064、若小于，则将相似度从相似度集中删除，重新判断相似度集是否为空集；

1065、若不小于，则确认相似度集中的相似度并非均小于预置相似度阈值。

在1061-1065的步骤中，{P1，P2，…，Pn}为相似度集，判断不为空集，读取P2与相似度阈值比较，P2小于相似度阈值，删除P2，则此时{P1，P3，…，Pn}为相似度集，循环处理。如果循环至相似度集为空集，则认为相似度集中的相似度均小于预置相似度阈值。如果选择Pn不小于相似度阈值，则确认相似度集中的相似度并非均小于预置相似度阈值，循环嵌套的处理逻辑，在此不做赘述。

107、若不均小于，则将私募产品特征集添加至私募特征集数据库中。

在本实施例中，可以理解的，私募产品特征集被认为是新的私募产品记录，则将将私募产品特征集添加至私募特征集数据库中，完成数据入库的处理过程。

进一步的，在106步骤之后，还可以执行以下：

108、若均小于，则将私募产品特征集确定为重复数据，并存储在历史查询记录中，以便用户查询。

在本实施例中，私募产品被发现是重复数据后，不能进入到私募特征集数据库中，发出重复数据的信息至管理IP地址处，然后将查询的私募产品特征集存储在历史查询记录中，保证客户能及时查看，且知晓检测的私募产品未被增加至数据库中。

本发明实施例中，通过使用在私募产品的名称拆分与私募公司名称和私募经理名称组合后，转换成向量与数据库中的存储数据转换的向量进行相似度比对，超过阈值认为是新的私募产品数据，未超过阈值则认为是原有的私募产品数据在私募产品名称并不完全一致的情况下自动进行正确的决策，在大数据量的情况下可以有效的减少人工的工作量，提升工作效率，解决了判断数据库中是否已存在实质相同的私募产品数据的技术问题。

上面对本发明实施例中私募产品的数据入库方法进行了描述，下面对本发明实施例中私募产品的数据入库装置进行描述，请参阅图2，本发明实施例中私募产品的数据入库装置一个实施例，所述私募产品的数据入库装置应用于私募特征集数据库，所述私募产品的数据入库装置包括：

获取模块201，用于获取待分析的私募产品特征集，其中，所述私募产品特征集包括：产品名称、产品经理名称、产品公司名称；

拆解模块202，用于根据预置拆分提取算法，对所述产品名称进行拆解处理，得到拆分关键词集；

组合模块203，用于读取所述拆分关键词集中的拆分关键词，根据预置组合框架，将所述产品经理名称、所述产品公司名称、所述拆分关键词进行连接组合处理，得到检索词；

向量生成模块204，用于根据预置向量转换算法，将所述检索词进行向量转换处理，得到检索向量，以及根据预置权重赋值算法，对所述检索向量进行权重控制处理，得到检测权重向量；

相似度计算模块205，用于根据预置相似度算法，计算所述检测权重向量与所述私募特征集数据库中私募特征集对应特征目标向量之间的相似度，得到相似度集；

判断模块206，用于判断所述相似度集中的相似度是否均小于预置相似度阈值；

添加模块207，用于若不均小于，则将所述私募产品特征集添加至所述私募特征集数据库中。

本发明实施例中，通过使用在私募产品的名称拆分与私募公司名称和私募经理名称组合后，转换成向量与数据库中的存储数据转换的向量进行相似度比对，超过阈值认为是新的私募产品数据，未超过阈值则认为是原有的私募产品数据在私募产品名称并不完全一致的情况下自动进行正确的决策，在大数据量的情况下可以有效的减少人工的工作量，提升工作效率，解决了判断数据库中是否已存在实质相同的私募产品数据的技术问题。

请参阅图3，本发明实施例中私募产品的数据入库装置的另一个实施例，所述私募产品的数据入库装置应用于私募特征集数据库，所述私募产品的数据入库装置包括：

拆解模块202，用于根据预置拆分提取算法，对所述产品名称进行拆解处理，得到拆分关键词集；

组合模块203，用于读取所述拆分关键词集中的拆分关键词，根据预置组合框架，将所述产品经理名称、所述产品公司名称、所述拆分关键词进行连接组合处理，得到检索词；

向量生成模块204，用于根据预置向量转换算法，将所述检索词进行向量转换处理，得到检索向量，以及根据预置权重赋值算法，对所述检索向量进行权重控制处理，得到检测权重向量；

相似度计算模块205，用于根据预置相似度算法，计算所述检测权重向量与所述私募特征集数据库中私募特征集对应特征目标向量之间的相似度，得到相似度集；

判断模块206，用于判断所述相似度集中的相似度是否均小于预置相似度阈值；

添加模块207，用于若不均小于，则将所述私募产品特征集添加至所述私募特征集数据库中。

其中，所述私募产品的数据入库装置还包括号码分析模块208，所述号码分析模块208具体用于：

判断所述私募产品特征集是否存在私募注册号；

若不存在私募注册号，则执行所述根据预置拆分提取算法，对所述产品名称进行拆解处理，得到拆分关键词集；

若存在私募注册号，则判断所述私募注册号是否在所述私募特征集数据库中存在匹配数据；

若不存在匹配数据，则将所述私募产品特征集添加至所述私募特征集数据库中。

其中，所述组合模块203具体用于：

读取所述拆分关键词中的拆分关键词；

根据预置组合映射关系，将所述产品经理名称、所述产品公司名称、所述拆分关键词替换预置零矩阵中的零元素，得到检索矩阵；

将所述检索矩阵进行字符转换处理，得到检索词。

其中，所述向量生成模块204具体用于：

根据预置向量转换规则，依次对所述检索词中包含的所述产品经理名称、所述产品公司名称、所述拆分关键词单独进行转换，得到检索向量，其中，所述检索向量＝X

根据预置权重赋值算法，对所述检索向量中的X

其中，所述相似度计算模块205具体用于：

读取所述私募特征集数据库中私募特征集对应特征目标向量；

将所述特征目标向量和所述检测权重向量代入相似度计算函数中，得到相似度，其中，

将所述私募特征集数据库中每个私募特征集对应的相似度提取，生成相似度集。

其中，所述判断模块206具体用于：

判断所述相似度集是否为空集；

若为空集，则确认所述相似度集中的相似度均小于预置相似度阈值；

若不为空集，则读取所述相似度集中的任一相似度，判断所述相似度是否小于预置相似度阈值；

若小于，则将所述相似度从所述相似度集中删除，重新判断所述相似度集是否为空集；

若不小于，则确认所述相似度集中的相似度并非均小于预置相似度阈值。

其中，所述私募产品的数据入库装置还包括历史记录模块209，所述历史记录模块209具体用于：

若均小于，则将所述私募产品特征集确定为重复数据，并存储在历史查询记录中，以便用户查询。

本发明实施例中，通过使用在私募产品的名称拆分与私募公司名称和私募经理名称组合后，转换成向量与数据库中的存储数据转换的向量进行相似度比对，超过阈值认为是新的私募产品数据，未超过阈值则认为是原有的私募产品数据在私募产品名称并不完全一致的情况下自动进行正确的决策，在大数据量的情况下可以有效的减少人工的工作量，提升工作效率，解决了判断数据库中是否已存在实质相同的私募产品数据的技术问题。

上面图2和图3从模块化功能实体的角度对本发明实施例中的私募产品的数据入库装置进行详细描述，下面从硬件处理的角度对本发明实施例中私募产品的数据入库设备进行详细描述。

图4是本发明实施例提供的一种私募产品的数据入库设备的结构示意图，该私募产品的数据入库设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对私募产品的数据入库设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在私募产品的数据入库设备400上执行存储介质430中的一系列指令操作。

基于私募产品的数据入库设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Serve，Mac OS X，U nix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的私募产品的数据入库设备结构并不构成对基于私募产品的数据入库设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述私募产品的数据入库方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only mem ory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。