一种从网页中抽取评论内容的方法和装置

摘要

本发明公开了一种从网页中抽取评论内容的方法和装置，涉及信息处理技术，通过建立评论页面的DOM树，并选择符合评论区抽取规则的子树抽取出评论区，再利用评论记录间的结构相似性，抽取出评论区中的评论记录，利用包含评论内容的子树的差异性，选择标准差最大的子树作为包含评论内容的子树，最后选取稳定性最小的一条路径中，稳定性差绝对值最大的相邻节点中的孩子节点作为根节点，这个子树就是要抽取的评论内容。由于利用了评论内容的无结构特性来进行抽取，而不是根据网页的模板进行抽取，所以网页的不同不影响抽取的准确性，并且不需要根据网页的模板进行复杂的配置，并通过计算去除了噪声信息，提高了从网页中抽取评论内容的效率和准确性。