一种基于数据挖掘与隐私保护技术的人力资源双向推荐系统

摘要

本发明公开了一种基于数据挖掘与隐私保护技术的人力资源双向推荐系统，属于数据挖掘与推荐系统技术领域，包括：数据获取模块，数据库建立模块，数据匿名化模块，数据整理模块，数据挖掘模块和推荐算法模块；本发明既可以提供给高校在应届毕业生招聘与就业领域中对在校学生进行精准推荐来提高就业率；也可以供招聘企业或人力资源部门对社会招聘资源进行管理；同时系统中的大数据可视化展示模块还可以供校方就业办或政府相关部门，监控行情，做出科学决策，及早采取应对措施，应用范围广；同时解决推荐系统信息量不足，缺乏精准推荐，推荐系统双方不对等，缺乏双向推荐以及推荐系统数据有风险，缺乏隐私保护的问题。

说明书

技术领域

本发明属于数据挖掘与推荐系统技术领域，具体涉及一种基于数据挖掘与 隐私保护技术的人力资源双向推荐系统。

背景技术

近年来，全球范围内经济情况都处于不稳定的发展趋势，在国际经济摩擦 愈演愈烈的影响下，我国经济增长持续走低，与此同时，高校毕业生数量也在 逐年增加，就业竞争也日趋激烈，高校毕业生面临的就业压力越来越大，由此 产生的失业率上涨等诸多问题越来越突出，政府和社会各界也开始加大关注， 抛开我国人口基数大、劳动力数量供求矛盾突出及整体素质结构不高等客观因 素，行业就业机制不健全、不完善；就业渠道不通畅、不透明；就业信息不及 时、不全面等众多问题直接导致了：就业者对企业招聘信息不清楚，对自己能 力认知不明确，而四处碰壁效率低下；招聘方对就业者频繁面试，却找不到所 需的合适人选，浪费了宝贵的人力资源，因此，我们亟需一套精准的、科学的 人力资源双向推荐系统，来解决以上突出问题。

现有技术存在以下问题：1、现有推荐系统信息量不足，缺乏精准推荐：仅 根据求职者所提供或所选择的标签进行匹配和推荐，未考虑到求职者的内在条 件，如：履历或在校历史等详细信息，缺少在大数据环境下对同类求职者的能 力和诉求以及最终结果的分析和比对，最终导致推荐结果不准确；2、现有推荐 系统双方不对等，缺乏双向推荐：重点仅关注于求职者或者招聘者单方面的意 愿，不能同时考虑求职者的个人意愿及招聘者的客观需求，缺少对双方利益的 综合考虑，导致推荐因双方信息的不对称而失败，同时也缺少对招聘方提供检 索和推荐合适人才的相关功能；3、现有推荐系统数据有风险，缺乏隐私保护： 准确的推荐依赖于准确的个人数据及以往的招聘就业数据，当前，在对数据没 有保护的情况下，就业者与招聘者都有可能出于对自己数据泄露而产生隐私风 险的担忧，拒绝提供或者提供不全面、不真实的数据，直接导致推荐失败，针 对这一问题，系统对原始数据的隐私保护往往起着重要的作用,然而当前的研究 中,往往缺乏对这方面的考虑。

发明内容

为解决上述背景技术中提出的问题。本发明提供了一种基于数据挖掘与隐 私保护技术的人力资源双向推荐系统，具有应用范围广，历史信息量充足，可 以精准推荐，双向计算，可以双向推荐，有个性化考虑，充分考虑用户个性， 有数据保护功能，提高数据安全性的特点。

为实现上述目的，本发明提供如下技术方案：一种基于数据挖掘与隐私保 护技术的人力资源双向推荐系统，包括：

数据获取模块，其包括：

数据获取单元，通过相关兄弟院校就业指导中心或网络爬虫等技术获取毕 业生信息和企业信息；

数据库建立模块，其包括：

数据预处理单元，对获取的毕业生信息和企业信息进行预处理，禁止有错 误或有问题的数据进入数据挖掘过程，得到原始数据表；

数据熵值法加权单元，将原始数据表中的数据进行数据化，然后对这些数 据进行熵值法加权，这样能更客观的反应这个数据对最终结果的影响程度的大 小；再得到综合得分；最后将每一条信息向量化，最后生成所需数据库；

数据匿名化模块，其包括：

(k,l)-联合匿名模型单元，对于数据表DT

同时，定义参数η为分级隐私保护度，η＝l/k；当l＝1时，分级隐私保护度 η＝1/k，这时容易受到同质性攻击；当l＝k时，分级隐私保护度η＝1，这时保护 能力最强，可以抵御链接攻击、同质性攻击和知识背景攻击；k值一定的情况下， l的值越大，隐私保护程度越高，同时信息损失也越大；

对信息的损失定义为：

对于数据表DT

数据整理模块，其包括：

数据整理单元，将隐私保护后的数据整理形成三个信息库，分别为企业招 聘信息库，应届生信息库和往届生信息库；

数据挖掘模块，其包括：

聚类分析单元，先利用改进K-means聚类算法对具有相同特征的往届生进行 聚类，将具有相同特征偏好的用户加入同一个聚类中，并生成聚类中心，K-means 聚类算法如下：首先通过算法，解决了初始化质心选择问题，其核心思想就是 让初始化时聚类中心的距离尽可能的大；然后通过引入指标，用来量化计算样 本的类内散度与各聚类中心的间距，这样就可以得出较为科学的值，将该方法 记为改进质心选取算法的数据聚类模型(Dataclustering model based on improved k-means centroid selectionalgorithm)，简称为聚类算法模型；

相似度计算单元，对候选邻居集内相似度用改进算法进行求解，先计算待 推荐对象与k个候选集中心的距离，找到相似度最高的，然后再在这个候选集中 依次计算各个对象和待推荐对象的相似度，最终将结果按照降序排列，在此， 我们采用基于改进加权Cosine similarity算法的数据相似度计算模型(Data Similarity Calculation ModelBased on Improved Weighted Similarity Algorithm)， 简称为IWSA相似度计算模型，来计算这种距离，具体步骤如下：

Step1:对学生数据表DT

Step2:对于任意两个学生A和B，有向量

Step3:定义任意两个学生A和B之间的相似度Sim

通过上述方法得到的学生间的相似度能较为全面且准确的反应实验所需的 意义，同理可以计算出任意两个招聘方的相似度记做Sim

推荐算法模块，其包括：

面向就业方的基于内容的推荐算法推荐单元，即将毕业的应届毕业生，记 为Stu

Step1:对于一个待推荐应届毕业生记为Stu

Step2:再通过IWSA相似度计算模型，分别计算毕业学生Stu

Step3:因为在数据库中的往届生Stu

所以定义：

Sim

利用已签约学生作为中介，可间接得到企业与毕业生的相似度，特别地， 若有多个Stu

Fil(α)＝α

Step4:根据EO-CB算法，向应届毕业生Stu

面向招聘方的基于物品的协同过滤推荐算法单元，面向招聘方的基于物品 的协同过滤推荐算法推荐模型(Recruiter-oriented recommendation model for Item-basedcollaborative filtering recommendation algorithm)，简称为RO-ItemCF， 具体步骤如下：

Step1:对于一个已经有过推荐记录的待推荐的招聘企业记为Comp

Step2:再通过IWSA相似度计算模型，分别计算新企业Comp

Step3:从数据库中找出Comp

Sim

利用已签约学生作为中介，可间接得到企业与毕业生的相似度，特别地， 若有多个Stu

Fil(β)＝β

Step4:根据算法，向招聘企业推荐其适合的学生列表，按相似度降序排列， 其规则按法推荐；

双向推荐系统单元，结合各算法、各模块、各模型所述，最终提出了“人 力资源双向推荐系统”的模型，定义就业端最终排名度计算公式为：

同理，定义招聘端最终排名度计算公式为：

Rank

在本发明中进一步的，所述数据预处理单元的种类及处理方法如下：1)数 据错误：指数据没有严格按照数据规范进行录入，比如异常值：英语水平按照 四级六级录入，但是有五级的记录，比如格式错误：薪资格式录入成了字符串， 比如数据不统一：有的学校录入籍贯为西安市，有的为西安，有的为Xian，对 于异常值，可以通过区间限定来发现并排除，对于格式错误，需要从系统中找 原因，通过系统报错来纠改错误，对于数据不统一，系统无法报错，因为它并 不是真正意义上的“错误”，系统并不知道西安市和Xian是同一事物，只能通过 人工处理，将不统一的数据进行统一化处理；2)数据缺失：指数据缺一些记录， 或者一条记录里缺一些值或者有空值的情况，或者两者都缺，如果有空值，为 了不影响分析的准确性，要么删除空值，不将空值纳入分析范围，要么进行补 值；如果是缺一些记录，若就业系统中还有这些记录，则通过系统再次导入， 若业务系统也没有这些记录了，只能手工补录或者放弃；3)数据重复：指相同 的记录出现多条，去掉重复记录即可，但是如果出现不完全重复，比如两条学 生记录，其余值都一样，但是籍贯信息不一样，就较难处理，如果有时间戳的 还能判断以新值为准，没有时间属性的只能通过人工判断处理；4)数据不可用： 指数据正确，但是对于系统不可用，比如企业招聘的工作地址写成“北京中关 村”，想分析“区”一级别的区域时还需要通过人工干预才能判断出“中关村” 属于“北京市海淀区”，这种情况最好从数据获取时就规定格式，若事后补救则 只能通过关键词匹配，或者人工判断处理。

在本发明中进一步的，所述熵值法加权的处理方法如下：

1)以学生表为例，假设数据表内有n个学生，每个学生有m个属性，即一 个n行m列的矩阵。其中指第个学生的第个属性值；

2)再对指标的归一化处理，目的是将异质的指标同质化，由于各项指标的 计量单位并不统一，因此在用它们计算综合指标前，先要对它们进行标准化处 理，即把指标的绝对值转化为相对值，从而解决各项标值的同质化问题，并 且，由于正向指标和负向指标数值代表的含义不同(正向指标数值越高越好， 负向指标数值越低越好)，因此，对于高低指标我们用不同的算法进行数据标 准化处理，

正向属性值：

负向属性值：

其中x

3)计算第j个i属性值下第个学生占该指标的比重，用p

4)计算第j个属性值的熵值(e

其中，常数k＝1/ln(m)，这样就可以保证0≤e

5)计算信息熵的冗余度(d

d

6)计算各项属性值的权重值(W

当d

7)最终计算得到各方案的综合得分(S

在本发明中进一步的，所述IKCE聚类算法模型的具体步骤如下：设有无标 注的数据集DT

Step1:从数据集DT

Step2:先计算每个对象与当前已知聚类中心的距离(指与距离最近的一个簇 的中心距离)记做D(x)；

然后，计算每一个对象被选为下一个聚类中心μ

再按轮盘法选择出下一个聚类中心μ

Step3:对数据集DT

Step4:对初步形成的簇C

Step5:迭代上述Step3和Step4，直至聚类中心收敛为止。

与现有技术相比，本发明的有益效果是：

1、本发明既可以提供给高校在应届毕业生招聘与就业领域中对在校学生进 行精准推荐来提高就业率；也可以供招聘企业或人力资源部门对社会招聘资源 进行管理；同时系统中的大数据可视化展示模块还可以供校方就业办或政府相 关部门，监控行情，做出科学决策，及早采取应对措施，应用范围广。

2、本发明从多个方面获取多元数据，如建立了往届生就业信息库，充分将 求职者的内在条件如履历或在校历史等详细信息，加入到运算中，进而提供更 精准的推荐，从而解决现有推荐系统信息量不足，缺乏精准推荐的问题。

3、本发明同时关注求职者和招聘者双方面的意愿，同时考虑求职者的个人 意愿及招聘者的客观需求，增加了对双方利益的综合考虑，同时也加入了对招 聘方提供检索和推荐合适人才的相关功能，从而解决现有推荐系统双方不对等， 缺乏双向推荐的问题。

4、本发明除去根据大数据聚类所提供的的模糊化推荐方法，用户还可以选 择自己的个性化选择，从而实现了更有效的推荐结果筛选，充分考虑了用户的 个性化需求。

5、本发明增加了对数据进行匿名化保护等安全防护措施，避免了就业者与 招聘者对自己数据泄露而产生隐私风险的担忧，进而能获取更加准确的数据， 从而解决现有推荐系统数据有风险，缺乏隐私保护的问题，同时该方法能抵抗 一定程度的外部的链接攻击，更加准确的个人数据及以往的招聘就业数据，可 以进一步提高推荐准确率。

附图说明

图1为本发明方案实现步骤图。

图2为本发明数据库建立及匿名化方案流程图。

图3为本发明数据挖掘及推荐算法方案流程图。

图4为本发明聚类算法流程图。

图5为本发明面向就业方的基于内容的推荐算法推荐模型。

图6为本发明面向招聘方的基于物品的协同过滤推荐算法推荐模型。

图7为本发明双向推荐系统运行流程图。

图8为本发明双向推荐系统结构功能模块图。

图9为本发明三层模式B/S结构的系统模型图。

图10为本发明登录界面的结构示意图。

图11为本发明企业端推荐界面的结构示意图。

图12为本发明学生端推荐界面的结构示意图。

图13为本发明大数据展示端界面的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1-13，本发明提供以下技术方案：一种基于数据挖掘与隐私保护 技术的人力资源双向推荐系统，包括：

数据获取模块，其包括：

数据获取单元，通过相关兄弟院校就业指导中心或网络爬虫等技术获取毕 业生信息和企业信息；

数据库建立模块，其包括：

数据预处理单元，对获取的毕业生信息和企业信息进行预处理，禁止有错 误或有问题的数据进入数据挖掘过程，得到原始数据表；

数据熵值法加权单元，将原始数据表中的数据进行数据化，然后对这些数 据进行熵值法加权，这样能更客观的反应这个数据对最终结果的影响程度的大 小；再得到综合得分；最后将每一条信息向量化，最后生成所需数据库；

数据匿名化模块，其包括：

(k,l)-联合匿名模型单元，对于数据表DT

同时，定义参数η为分级隐私保护度，η＝l/k；当l＝1时，分级隐私保护度 η＝1/k，这时容易受到同质性攻击；当l＝k时，分级隐私保护度η＝1，这时保护 能力最强，可以抵御链接攻击、同质性攻击和知识背景攻击；k值一定的情况下， l的值越大，隐私保护程度越高，同时信息损失也越大；

对信息的损失定义为：

对于数据表DT

数据整理模块，其包括：

数据整理单元，将隐私保护后的数据整理形成三个信息库，分别为企业招 聘信息库，应届生信息库和往届生信息库；

数据挖掘模块，其包括：

聚类分析单元，先利用改进K-means聚类算法对具有相同特征的往届生进行 聚类，将具有相同特征偏好的用户加入同一个聚类中，并生成聚类中心，K-means 聚类算法如下：首先通过算法，解决了初始化质心选择问题，其核心思想就是 让初始化时聚类中心的距离尽可能的大；然后通过引入指标，用来量化计算样 本的类内散度与各聚类中心的间距，这样就可以得出较为科学的值，将该方法 记为改进质心选取算法的数据聚类模型(Dataclustering model based on improved k-means centroid selectionalgorithm)，简称为聚类算法模型；

相似度计算单元，对候选邻居集内相似度用改进算法进行求解，先计算待 推荐对象与k个候选集中心的距离，找到相似度最高的，然后再在这个候选集中 依次计算各个对象和待推荐对象的相似度，最终将结果按照降序排列，在此， 我们采用基于改进加权Cosine similarity算法的数据相似度计算模型(Data Similarity Calculation ModelBased on Improved Weighted Similarity Algorithm)， 简称为IWSA相似度计算模型，来计算这种距离，具体步骤如下：

Step1:对学生数据表DT

Step2:对于任意两个学生A和B，有向量

Step3:定义任意两个学生A和B之间的相似度Sim

通过上述方法得到的学生间的相似度能较为全面且准确的反应实验所需的 意义，同理可以计算出任意两个招聘方的相似度记做Sim

推荐算法模块，其包括：

面向就业方的基于内容的推荐算法推荐单元，即将毕业的应届毕业生，记 为Stu

Step1:对于一个待推荐应届毕业生记为Stu

Step2:再通过IWSA相似度计算模型，分别计算毕业学生Stu

Step3:因为在数据库中的往届生Stu

所以定义：

Sim

利用已签约学生作为中介，可间接得到企业与毕业生的相似度，特别地， 若有多个Stu

Fil(α)＝α

Step4:根据EO-CB算法，向应届毕业生Stu

面向招聘方的基于物品的协同过滤推荐算法单元，面向招聘方的基于物品 的协同过滤推荐算法推荐模型(Recruiter-oriented recommendation model for Item-basedcollaborative filtering recommendation algorithm)，简称为RO-ItemCF， 具体步骤如下：

Step1:对于一个已经有过推荐记录的待推荐的招聘企业记为Comp

Step2:再通过IWSA相似度计算模型，分别计算新企业Comp

Step3:从数据库中找出Comp

Sim

利用已签约学生作为中介，可间接得到企业与毕业生的相似度，特别地， 若有多个Stu

Fil(β)＝β

Step4:根据算法，向招聘企业推荐其适合的学生列表，按相似度降序排列， 其规则按法推荐；

双向推荐系统单元，结合各算法、各模块、各模型所述，最终提出了“人 力资源双向推荐系统”的模型，定义就业端最终排名度计算公式为：

同理，定义招聘端最终排名度计算公式为：

Rank

本实施例中，数据预处理单元的种类及处理方法如下：1)数据错误：指数 据没有严格按照数据规范进行录入，比如异常值：英语水平按照四级六级录入， 但是有五级的记录，比如格式错误：薪资格式录入成了字符串，比如数据不统 一：有的学校录入籍贯为西安市，有的为西安，有的为Xian，对于异常值，可 以通过区间限定来发现并排除，对于格式错误，需要从系统中找原因，通过系 统报错来纠改错误，对于数据不统一，系统无法报错，因为它并不是真正意义 上的“错误”，系统并不知道西安市和Xian是同一事物，只能通过人工处理， 将不统一的数据进行统一化处理；2)数据缺失：指数据缺一些记录，或者一条 记录里缺一些值或者有空值的情况，或者两者都缺，如果有空值，为了不影响 分析的准确性，要么删除空值，不将空值纳入分析范围，要么进行补值；如果 是缺一些记录，若就业系统中还有这些记录，则通过系统再次导入，若业务系 统也没有这些记录了，只能手工补录或者放弃；3)数据重复：指相同的记录出 现多条，去掉重复记录即可，但是如果出现不完全重复，比如两条学生记录， 其余值都一样，但是籍贯信息不一样，就较难处理，如果有时间戳的还能判断 以新值为准，没有时间属性的只能通过人工判断处理；4)数据不可用：指数据 正确，但是对于系统不可用，比如企业招聘的工作地址写成“北京中关村”，想 分析“区”一级别的区域时还需要通过人工干预才能判断出“中关村”属于“北 京市海淀区”，这种情况最好从数据获取时就规定格式，若事后补救则只能通过 关键词匹配，或者人工判断处理。

本实施例中，熵值法加权的处理方法如下：

8)以学生表为例，假设数据表内有n个学生，每个学生有m个属性，即一 个n行m列的矩阵。其中指第个学生的第个属性值；

9)再对指标的归一化处理，目的是将异质的指标同质化，由于各项指标的 计量单位并不统一，因此在用它们计算综合指标前，先要对它们进行标准化处 理，即把指标的绝对值转化为相对值，从而解决各项标值的同质化问题，并 且，由于正向指标和负向指标数值代表的含义不同(正向指标数值越高越好， 负向指标数值越低越好)，因此，对于高低指标我们用不同的算法进行数据标 准化处理，

正向属性值：

负向属性值：

其中x

10)计算第j个i属性值下第个学生占该指标的比重，用p

11)计算第j个属性值的熵值(e

其中，常数k＝1/ln(m)，这样就可以保证0≤e

12)计算信息熵的冗余度(d

d

13)计算各项属性值的权重值(W

当d

7)最终计算得到各方案的综合得分(S

本实施例中，IKCE聚类算法模型的具体步骤如下：设有无标注的数据集DT

Step1:从数据集DT

Step2:先计算每个对象与当前已知聚类中心的距离(指与距离最近的一个簇 的中心距离)记做D(x)；

然后，计算每一个对象被选为下一个聚类中心μ

再按轮盘法选择出下一个聚类中心μ

Step3:对数据集DT

Step4:对初步形成的簇C

Step5:迭代上述Step3和Step4，直至聚类中心收敛为止。

本实施例的工作原理(本实施例仅以面向高校毕业生招聘就业领域的人力 资源双向推荐系统为例，但不仅限于面向高校毕业生招聘就业领域，也可用于 企业等其他招聘就业领域)：

(1)本实施例具体运行流程如附图7所示，用户主界面主要有三个端口， 分别是：学生登录端、企业登录端和大数据展示端；各端口具体执行流程如下：

1)学生登录端：首先，应届毕业生输入账号密码(口令)登录自己的账号， 若无账号可以注册账号(受后台管理员监控，非法用户无法注册)；其次，学生 输入自己的学号可以自动检索出其在校信息；然后，选择推荐列表数量；然后， 系统就根据算法将与该学生匹配度最高的前个企业列表从高到底推荐给学生用 户；最后，可以对推荐结果进行反馈或收藏某个感兴趣的企业(后台数据库可 导出数据)；

2)企业登录端：首先，招聘企业输入账号密码(口令)登录企业账号，若 无账号可以注册账号(需在就业办等有关部门申请)；其次，招聘企业输入其企 业名称；然后，系统就根据算法将与该企业匹配度从高到低的毕业生列表推荐 给企业用户；最后，可以对推荐结果进行反馈或收藏某个意向学生的信息(后 台数据库可导出数据)；

3)大数据展示端：学校就业办或政府管理机构，可以通过管理员口令进入 该端口。通过数据可视化界面，可以直观的对签约总数、签约较多企业、学生 就业流向、全国招聘就业趋势等多元数据进行实时监测，也可导出数据进行进 一步分析。

(2)本实施例系统界面结构如附图8所示，前端主要面向用户，有如下功 能模块：

1)登录注册模块：主要包括用户的注册登录以及设置修改登录口令等功能；

2)双向推荐模块：如5.1.1所提出流程，实现推荐主体功能，并生成推荐 列表；

3)结果反馈模块：对用户体验的满意度进行收集，从侧面了解推荐的准确 率，同时还有信息收藏功能，方便用户对有意向的推荐进行记录和导出；

后端主要面对技术管理人员，有如下功能模块：

1)用户管理模块：主要从数据库中监控并管理用户的账户及口令信息，同 时还需要根据先验知识对注册用户进行筛选，拒绝非法用户的注册访问，如非 本校学生或未审核企业将无法注册使用；

2)数据管理模块：在数据库中，对往届生数据库、应届生数据库和企业信 息库进行管理和维护，定期进行数据更新，对错误信息进行处理，同时，还需 要对用户的满意度评价进行导出分析，对用户收藏的信息也需要导出；

3)算法管理模块：对推荐算法、数据挖掘算法进行管理，一般在算法确定 并注入后，无故障无需更改，若有新的或准确性更高的算法，可在此端口更改 优化。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可 以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变 化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。