基于视觉块识别的网页元数据提取方法

摘要

随着互联网知识数据的爆炸式增长以及内容呈现形式的多样化，特别是智能内容识别、提取和分析等数据处理方面的要求使得网页元数据采集和处理变得异常复杂。传统的信息采集服务需要人工分析页面的DOM树结构，并不能直接抽取到具有特定要求的网页元数据，无法满足人们对特定数据的需求。因此，如何自动识别并准确定位需要采集网页元数据的位置变得尤为重要。
　　本文针对视频网页信息采集提出一种基于视觉块识别的网页元数据提取方法，以解决自动识别定位并提取网页元数据的问题。论文的主要工作如下:
　　(1)对网页信息提取技术及视觉特征进行分析。通过研究基于DOM树、视觉特征、文本特征三种网页信息提取技术，对比总结这三种技术的优缺点，结合本课题需要提取的视频网页信息的特点以及网络爬虫技术，总结用户的视觉规律设计了一种基于视觉特征的网页元数据提取方法。
　　(2)页面视觉块划分。由于当前主流的网页设计均采用DIV+CSS布局代替传统以标签进行布局，造成VIPS算法对当前网页分块效果不理想。本课题基于视觉DOM树结构和DIV+CSS网页设计风格，通过定义视觉块提取规则和对不同DOM节点采用的规则组合，采用改进的VIPS算法将网页信息划分为多个具有明确语义的视觉块，并且对应页面上不同的视觉区域。
　　(3)视觉块分类和基于路径表达式的网页元数据提取。基于支持向量机分类算法和SVM Light，本课题针对视频网页元数据的特征制定特定的特征值提取规则，将视觉块划分为有效视觉块（即网页元数据）和无效视觉块，实现数据的准确识别。最后利用路径表达式从有效视觉块中提取网页元数据。
　　(4)系统实现以及实验验证。本文设计的原型系统分为三个模块，系统框架首先基于视觉块的页面分块，然后进行视觉块分类，最后提取网页元数据，并存储到数据库。基于主流的视频门户网站，分别对视觉块划分、视觉块分类及网页元数据提取进行功能测试，通过所提取数据的提取准确率和提取完整率来检测本文提出的基于视觉块识别的网页元数据提取方法的性能。

著录项

• 作者

• 作者单位
• 授予单位
• 学科
• 授予学位
• 导师姓名
• 年度 -1
• 页码
• 总页数
• 原文格式 PDF
• 正文语种
• 中图分类
• 关键词

相似文献

• 中文文献
• 外文文献
• 专利

• 1. 基于视觉特征去噪和DOM树的网页信息提取方法 [J] . 陈壮 ,葛斌 . 山西师范大学学报（自然科学版） . 2021,第004期
• 2. 基于视觉特征的网页正文提取方法研究 [J] . 安增文 ,徐杰锋 . 微型机与应用 . 2010,第003期
• 3. 一种基于MASM的口形轮廓特征提取方法及听视觉语音识别 [J] . 谢磊 ,冯伟 ,赵荣椿 . 西北工业大学学报 . 2004,第005期
• 4. 唇语识别的视觉特征提取方法综述 [J] . 马金林 ,巩元文 ,马自萍 . 计算机科学与探索 . 2021,第012期
• 5. 农田视觉导航基准线的识别与提取方法研究 [J] . 乔智利 ,崔彦平 ,邹新光 . 农机化研究 . 2016,第007期
• 6. 基于卡方统计量的藏文新闻网页关键词提取方法 [C] . Yu Hongzhi ,于洪志 ,Xu Tao . 第14届中国少数民族语言文字信息处理学术研讨会 . 2013
• 7. 基于视觉语义块的网页正文提取算法研究 [A] . 胡波 . 2013

• 1. WPBL: A Webpage Block Labeling Based Approach for Web Information Extraction [J] . Naizhou Zhang, Shijun Li, Zhuo Zhang, Journal of information and computational science . 2010,第1期
• 2. Recognising Informative Web Page Blocks Using Visual Segmentation for Efficient Information Extraction [J] . Jinbeom Kang, Joongmin Choi Journal of Universal Computer Science . 2008,第11期
• 3. 音声入力によるWeb検索のためのキーワード認識·抽出法の改善 [J] . 松下雅彦, 中川聖一, 西崎博光, 電子情報通信学会技術研究報告. 音声. Speech . 2004,第87期
• 4. Layout-tree-based approach for identifying visually similar blocks in a web page [C] . Zeng Jun, Flanagan Brendan, Hirokawa Sachio IEEE/ACIS International Conference on Computer and Information Science . 2013
• 5. Visual-based web page analysis. [D] . Lee, Kuang-Yao. 2014
• 6. An Optimal Mean Based Block Robust Feature Extraction Method to Identify Colorectal Cancer Genes with Integrated Data [O] . Jian Liu, Yuhu Cheng, Xuesong Wang, -1
• 7. Robust Visual Lips Feature Extraction Method for Improved Visual Speech Recognition System [O] . 2018
• 8. Report of Project MICHIGAN VISUAL RECOGNITION ALONG VARIOUS MERIDIANS OF THE VISUAL FIELD IX MONOCULAR AND BINOCULAR RECOGNITION OF PATTERNS OF SQUARES AND CIRCLES [R] . E. Rae Harcum 1958

• 1. 一种基于标题的网页有效元数据内容提取方法 [P] . 中国专利： CN107145591B . 2020.10.16
• 2. 一种基于标题的网页有效元数据内容提取方法 [P] . 中国专利： CN107145591A . 2017-09-08
• 3. EXTRACTION METHOD FOR INFORMATION ON COLOR AND SHAPE FEATURE IN VISUAL INSPECTION SYSTEM FOR OBJECT, OBJECT DISCRIMINATION METHOD BASED ON COLOR AND SHAPE FEATURE AND VISUAL INSPECTION SYSTEM FOR OBJECT [P] . 外国专利： JP2001013007A . 2001-01-19
• 4. Storage control system and method having first and second channel control sections which convert file level data to block level data, judge whether block level data is to be stored in external storage and identifies save destination address of file level data based on metadata [P] . 外国专利： US7707357B2 . 2010-04-27
• 5. USER EQUIPMENT FOR RECEIVING CONTENTS BASED ON THE VISUAL IDENTIFIED INFORMATION, CONTENTS PROVIDING SERVER FOR PROVIDING CONTENTS BASED ON THE VISUAL IDENTIFIED INFORMATION AND CONTENTS PROVIDING METHOD BASED ON THE VISUAL IDENTIFIED INFORMATION [P] . 外国专利： KR20110107178A . 2011-09-30

相关主题

代理获取

期刊订阅

抱歉，该期刊暂不可订阅，敬请期待！

目前支持订阅全部北京大学中文核心（2020）期刊目录。

暂不订阅

继续订阅其他期刊

• 意见反馈
• 回到顶部
• 回到首页

• 关于掌桥
• 资源导航
• 新手指南
• 常见问题
• 网站地图
• 版权声明

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

• 客服微信

• 服务号

目录

声明

摘要

缩略语清单

第1章 绪论

1．1 课题研究背景与意义

1．2 国内外研究现状

1．2．1 网络爬虫技术

1．2．2 网页信息提取技术

1．2．3 分类模型

1．3 本文主要研究工作

1．4 论文组织结构

第2章 基于视觉特征及DOM树的页面分块

2．1 基于视觉特征的页面分块算法概述

2．2 VIPS算法分块过程

2．2．1 视觉块提取

2．2．2 分隔条检测

2．2．3 内容结构重构

2．3 VIPS算法改进

2．4 算法改进前后页面分块结果对比

2．5 本章小结

第3章 分类模型设计与有效块识别

3．1 分类模型的选择

3．2 核函数选择

3．3 特征选择

3．3．1 视觉表现特征

3．3．2 统计特征

3．3．3 标题现频特征

3．4 特征值规范

3．4．1 根据自身特征进行规范

3．4．2 极值标准化

3．5 训练分类模型

3．5．1 参数选择与寻优

3．5．2 模型训练

3．6 本章小结

第4章 基于路径表达式的网页元数据提取

4．1 XPath表达式

4．2 XPath求值

4．3 路径表达式提取网页元数据

4．3．1 优酷视频路径表达式

4．3．2 爱奇艺视频路径表达式

4．3．3 乐视视频路径表达式

4．4 本章小结

第5章 系统实现与实验分析

5．1 系统实现

5．1．1 实现环境

5．1．2 实验数据

5．1．3 系统设计

5．1．4 系统可视化

5．2 页面分块的实现

5．2．1 优酷视频网页分块

5．2．2 乐视视频网页分块

5．2．3 爱奇艺视频网页分块

5．3 有效块识别

5．3．1 优酷视频网页有效块识别

5．4．2 乐视视频网页有效块识别

5．4．3 爱奇艺视频网页有效块识别

5．4 提取网页元数据

5．5 实验评估

5．6 本章小结

第6章 总结与展望

6．1 论文总结

6．2 工作展望

致谢

参考文献