计算机屏幕操作记录系统关键技术研究

摘要

随着计算机、多媒体与网络技术的飞速发展，视频数量正以几何级数的趋势不断增长，同时视频生成技术也衍生出了许多新的应用方式，计算机屏幕操作记录正是其中的一种。计算机屏幕操作记录能够实现对包括计算机屏幕活动图文信息以及音频信号在内信息的连续的数字化的记录，目前已经在很多行业获得了广泛的应用。
　　本文以计算机屏幕操作记录与分析为主题展开论述，文章首先介绍了国内外计算机屏幕操作记录技术的学术研究以及其商业化应用情况，并结合现有实现方式的缺陷以及本文特殊的应用背景，介绍了一套计算机屏幕操作记录系统框架。该系统以基于嵌入式SOC的计算机屏幕操作记录设备为核心硬件设备，通过嵌入式Web Server以及用户端软件实现对计算机屏幕的实时记录和分析。本文将计算机屏幕操作记录硬件设备划分为多个功能模块，对每个模块的设计做出了描述，并在此基础上，介绍了系统软件架构、组成及其功能。
　　然后，重点对计算机屏幕操作记录系统用户端软件的开发进行了阐述，对与此相关的键鼠数据解析技术进行了研究。对于客户端软件部分，在对用户需求做出分析的基础上，详细描述了用户登录、视频直播与点播、视频下载、编码参数设置、键鼠数据解析等功能模块的设计与实现。对于键鼠数据解析部分，首先介绍与讨论了PS/2协议的特点，选用二维字符数组法、结构体数组法、关联数组法三种不同的方法对计算机屏幕操作记录设备获取的键鼠操作数据做出了解析，通过性能测试从处理速度与内存占用两个角度对这些方法进行了比较与分析。实验结果表明，关联数组法的性能表现最优，并在此方法的基础上扩展实现了用户感兴趣的组合按键操作的识别。
　　对计算机屏幕操作记录视频内容进行分析十分重要。为了快速有效地获取计算机屏幕操作记录视频中所包含的重要操作信息，本文在分析了现有镜头边界检测算法的基础上提出了一种基于多种特征融合的屏幕操作场景转换(SOST)检测算法，该方法分别提取计算机屏幕操作记录视频的四种底层特征用于构造特征向量，利用SVM分类器检测其中包含的SOST操作。本文选取了其它四种算法并从同一算法对不同视频序列的适应性、不同算法对同一视频序列的性能以及不同算法的运行时间三个角度与本文算法做出了综合性能对比与分析，实验结果表明，本文所提出的SOST检测算法有着最佳的性能表现，具有良好的稳定性与有效性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章绪论

1.1 概述

1.2 国内外发展现状与趋势

1.3 本文研究背景与意义

1.4 本文的主要内容和章节安排

第二章计算机屏幕操作记录系统

2.1 概述

2.2设备组成与技术要求

2.3 硬件方案

2.4 系统软件方案

2.5本章小结

第三章 计算机屏幕操作记录系统用户端软件与键鼠操作数据分析

3.1 概述

3.2 用户端软件需求

3.3 用户端软件设计

3.4键鼠操作数据的处理

3.5 本章小结

第四章 基于多种特征融合的屏幕操作场景转换检测

4.1 计算机屏幕操作记录视频特点

4.2主要技术挑战

4.3 适用于SOST边界检测的算法分析

4.4基于多种特征融合的屏幕操作场景转换检测

4.5实验验证与分析

4.6 本章小结

第五章 总结与展望

5.1 总结

5.2 展望

参考文献

致谢

攻读硕士学位期间已发表或录用的论文