一种面向实体解析任务的风险分析方法

摘要

本发明针对实体解析任务，通过决策树来生成作为风险特征的规则；对于每个风险特征，假设其匹配概率服从各自的正态分布，其中包含了三个可调参数，期望，方差和特征的重要度；给定任一记录对，其匹配概率的分布则是该记录对符合的所有风险特征所对应的正态分布的加权叠加；对于给定的记录对，得到其匹配概率的正态分布和机器标签后，采用风险值来评估机器标签的风险；风险特征的匹配概率的期望根据分类器训练数据集所提供的匹配频率统计提供，方差和特征的重要度权重则是在风险训练数据集上，采用学习排序技术和梯度下降优化方法来学习它们的最优值。风险模型训练完成后，输入任一记录对的机器标签，风险模型返回该标签的风险值。