交互式屏幕共享的低复杂度压缩和低延时传输方法

摘要

近年来，随着个人电脑、智能手机和智能电视机等数字设备的发展，融合多个数字设备，以获得更好的用户体验的需求逐渐增加。而交互式计算机屏幕共享技术就是实现这种需求的一种重要技术。本文对于交互式屏幕共享中的一些关键技术进行了研究。交互式计算机屏幕共享需要做到以很低的端到端延时实现屏幕内容共享。一方面，这需要做到低复杂度的屏幕编解码，另一方面，这需要实现低延时传输。本文对于这两个方面进行了研究。此外，万维网上广泛存在的复合图像，是一种特殊类型的计算机屏幕内容，但是有着不同的需求和处理方法，因此本文也做了相应研究。最后，基于对交互式计算机屏幕共享的研究，本文提出多设备协作的浏览器系统以改善客厅环境中的网页浏览体验。
　　 具体而言，本文的研究工作和创新之处包括以下方面。
　　 首先，针对交互式屏幕共享对于压缩算法的需求，本文提出了一种基于块的低复杂度计算机屏幕序列压缩方法。这个方法通过检测相邻帧之间相同内容的区域来进行帧间编码，而将其余部分分类为图像块和文本块进行帧内编码。块分类算法利用了图像内容和文本内容的块级别的统计特性。本文设计了一种低复杂度并且有效的文本块压缩算法，包括量化方法和熵编码方法。实验结果显示，这个方法编码720P图像的时间小于30ms，同时在编码典型的屏幕图像时获得了与JPEG2000和X264帧内编码可比或者更高的编码效率(甚至高达13～15 dB)，并且有更好的视觉质量。此外，与X264相比，本文方法在压缩阅读文档等典型的屏幕序列时最低只产生了其32％的比特率。
　　 其次，万维网上的复合图像是一种特殊的屏幕内容，本文描述了一种浏览器友好的复合图像编码器以应对它们区别于一般屏幕内容的需求。这里首先提出一种简单而有效的块分类方法将编码块分类为图像块和文本块，进而将原始图像分为图像层和文本层。接下来提出有效的量化方法等对文本层内容进行预处理，然后采用PNG作为熵编码方法。由于图像层和文本层具有不同的量化方法和量化步长，这里提出了联合质量控制方法来平衡二者的量化误差。测试结果显示，本文提出的方法在压缩效率方面比JPEG2000高最多达16 dB，大幅优于JPEG和PNG，而且在视觉质量方面的性能优于JPEG，JPEG2000和DjVu。
　　 再次，本文研究了计算机屏幕的低延时传输方法，以满足用户对于屏幕共享系统的交互性需求。本文首先提出了一种低延时传输框架。接下来，分析了视频编码方法和屏幕编码方法的差异，并在此基础上分析了屏幕传输中采用不同传输差错控制方法所导致的延时。最后，提出了一种改进的ARQ方法以降低传输延时。实验结果表明，本文方法的延时比RDP等广泛使用的计算机屏幕共享系统低40％～70％。
　　 最后，基于对交互式计算机屏幕共享技术的研究，本文提出了一种多设备协作浏览系统来改善网页浏览体验。本文首先提出了一种基于代理服务器的瘦客户端网页浏览器框架，并且以这个相同的框架支持PC、移动设备和智能电视机上的丰富体验的网页浏览。接下来，本文设计了一种基于智能手机的触屏控制器，并且提出了一种可伸缩屏幕编码方法使得可以在单一码流中支持控制器和浏览器对于网页图像压缩的不同需求。最后，本文提出了一种浏览进程迁移机制以充分发挥多种设备的优势，这个方法可以保持迁移过程中网页内容的连续性。测试结果表明，首先，基于瘦客户端浏览器框架的手机浏览器的载入延时只有IE Mobile的1/4，同时有较低的网络带宽占用和比Skyfire更好的视觉质量;其次，可伸缩编码方法所带来的编码效率和编码复杂度方面的额外开销很小，可以忽略;最后，网页浏览进程迁移方法可以在最多0.8秒内实现浏览内容连续的浏览进程迁移。

目录

声明

摘要

表格

插图

算法

第一章 绪论

1．1 计算机屏幕共享概述

1．2 计算机屏幕共享的相关研究

1．2．1 计算机屏幕共享系统

1．2．2 复合图像／序列压缩方法

1．2．3 视频流传输方法

1．2．4 瘦客户端浏览器

1．3 研究内容及创新点

第二章 低复杂度的计算机屏幕压缩方法

2．1 计算机屏幕压缩框架

2．1．1 计算机屏幕内容分析

2．1．2 编码框架

2．2 文本块压缩方法

2．2．1 量化

2．2．2 熵编码

2．2．3 YUV联合编码

2．3 块分类方法

2．3．1 块分类基准

2．3．2 基于特征的块分类方法

2．4 实验结果及分析

2．4．1 测试设置

2．4．2 图像压缩性能

2．4．3 序列压缩性能

2．5 本章小结

第三章 浏览器友好的复合图像压缩方法

3．1 浏览器友好编码分析

3．2 编码框架

3．3 块分类算法

3．4 文本块压缩方法

3．4．1 文本块量化

3．4．2 联合质量控制

3．5 实验结果及分析

3．6 本章小结

第四章 低延时的计算机屏幕传输方法

4．1 低延时屏幕传输框架

4．2 支持解码错误恢复的计算机屏幕解码方法

4．2．1 无运动帧间编码的解码

4．2．2 一般帧间编码的解码

4．3 计算机屏幕共享中的延时分析

4．3．1 端到端延时

4．3．2 ARQ建模

4．3．3 混合FEC／ARQ建模

4．3．4 ARQ和混合FEC／ARQ对比

4．4 改进的ARQ

4．5 实验结果及分析

4．5．1 ARQ和混合FEC／ARQ对比

4．5．2 改进的ARQ

4．5．3 系统性能

4．6 本章小结

第五章 基于交互式屏幕共享的多设备协作网页浏览器

5．1 系统结构

5．2 瘦客户端网页浏览器

5．2．1 浏览器框架

5．2．2 交互设计

5．3 电视机浏览器的触屏控制器

5．3．1 触屏控制器的结构

5．3．2 可伸缩屏幕编码

5．4 网页浏览进程迁移

5．4．1 分析

5．4．2 实现

5．4．3 浏览进程迁移的多种模式

5．5 实验结果及分析

5．5．1 瘦客户端网页浏览器

5．5．2 可伸缩屏幕编码

5．5．3 网页浏览进程迁移

5．6 本章小结

第六章 总结与展望

6．1 全文总结

6．2 未来工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果