基于Hadoop平台的内容相似度与PageRank的垃圾短信识别融合模型

摘要

垃圾短信是一种包含有欺诈、骚扰等内容的异常短信，不仅损害通信行业的形象，浪费通信卡资源，还会产生商业诈骗，引发客户不满。垃圾短信以商业、广告类和欺骗类信息为主要内容，其特征明显区别于正常短信；同时，客户之间的短信发送行为是一种真实的社交关系。基于此，论文对垃圾短信的识别采用基于Hadoop大数据平台的模型融合方法，在常规的内容相似度模型基础上，对短信发送行为构建PageRank社交技术模型，通过对上述模型加权融合，最后得出批量的高疑似垃圾短信，实验结果表明融合模型效果较优。