基于LSTM的关键词识别系统设计

摘要

本文应用Heritrix网络爬行工具建立了基于LSTM的关键词识别系统。这套系统实现,关键应用了以下几种技术:数据预处理技术,它设定了数据提取的范围和规则;CBOW和Skip-gram两种训练模型,它能学习英语关键词;NLPIR-ICTCLAS系统,它建立了汉语分词系统,并建立了简繁体汉字的映射;LSTM模型,它是一种基于时间序列的链式形式提取关键词的算法。这套系统应用Java语言来实现它。应用了这一系统,人们可以自己设定关键词,然后对网络中出现“关键词”的网页进行监视及跟踪。