移动增强现实中的图像处理关键技术研究及应用

摘要

本文结合国家科技重大专项课题，研究移动增强现实中的图像处理关键技术，同时研发一套可商用的移动增强现实应用系统，为移动增强现实应用的产业化进行大胆探索和实践。本文研究的移动增强现实中的视频和图像处理关键技术，主要包括视觉搜索、目标的注册与跟踪、移动增强现实内容展现以及相关的图像压缩等多个方面，通过这些关键技术的研究，针对移动增强现实应用场景，针对性地提出了一些创新性的解决方案，分别解决了移动增强现实应用中图像搜索、图像识别、图像渲染等不同环节中存在的一些问题。主要研究内容简介如下:
　　1.视觉搜索技术
　　针对现有移动增强现实中的视觉搜索技术查询精度不高、码流不能自适应等问题，提出了一套完整的内存占用小、不同码率特征搜索鲁棒性强、易于分布式部署的移动视觉搜索解决方案。通过基于统计方法的融合多种影响图像检索性能的特征点选择方法、简单的描述子线性变换方法、以及基于区块的位置点编码方法，有效降低了局部特征码流;通过使用基于Fisher向量的局部描述子聚合方法，有效聚合局部特征并去除干扰信息，生成可快速进行距离计算的二进制紧凑型描述子，并采用DISTRACT算法来进行几何校验，对检索结果进行二次过滤，使得整套系统性能在不同码率的特征码流中表现均比较稳定，并结合快速线性查找方法实现了快速的视觉搜索，为移动增强现实系统的大规模部署提供了有力的条件。
　　2.注册跟踪技术
　　主要通过将特征匹配识别与特征跟踪分为多线程并行计算，以及对传统RANSAC算法进行几何约束优化，有效解决了现有基于无标识注册跟踪的增强现实系统中的实时性问题。另一方面，通过在系统中加入特征跟踪质量评估来实现两个线程间状态的切换，以及对单应矩阵进行有效性筛选等方法，使得系统在保证流畅性的同时，对目标旋转、平移、缩放和部分遮挡情况下均可进行稳定跟踪。最后实现了一套可在移动终端侧实时稳定跟踪的增强现实跟踪注册系统。
　　3.内容渲染技术
　　以轻量高效为主要目标对移动增强现实内容展现关键技术中涉及到的脚本解析、内容加载和渲染方案进行选型，依据大量测试结果对不同格式的增强内容给出了相关配置建议，同时针对目前由于移动智能终端计算资源有限尚无法运行于移动增强现实应用中的景深、阴影的渲染算法进行了探索，在阴影渲染时利用哈希表的方法快速查找轮廓边，同时基于Per-Object的思想进行阴影体构建，大幅减少了渲染的面元数目。
　　4.图像压缩技术
　　在标准JPEG编码框架下:
　　实现了一种视觉无损图像压缩算法，其中首次引入有效且完备的图像质量评价方法，动态调整质量因子，在保证用户视觉无感知的情况下，获得了较高压缩比;综合考虑压缩前后图像的信噪比、边缘和纹理等因素，构建客观图像质量评价模型，并利用质量因子及客观图像质量评分的先验统计知识，大幅缩小需调整的质量因子动态范围，并采用二分法快速调整质量因子，有效提高了系统运行效率。
　　在此基础之上，将理论研究成果应用于工程实践中，完成了移动增强现实业务系统架构设计，组织开发了增强现实业务应用平台和移动智能终端侧增强现实客户端应用软件，完成了一次有意义的移动互联网增值业务和信息服务创新模式的实践，为增强现实业务的推广普及奠定了基础。

目录

声明

摘要

第一章 绪论

1．1 引言

1．2 移动增强现实关键技术及其研究状况

1．2．1 基本概念

1．2．2 移动增强现实关键技术及其研究状况

1．3 主要工作及论文的组织编排

1．3．1 论文主要工作

1．3．2 论文的主要编排

第二章 移动增强现实视觉搜索关键技术研究

2．1 引言

2．2 移动视觉搜索相关技术概述

2．3 基于可伸缩的紧凑Fisher向量的视觉搜索算法

2．3．1 特征提取

2．3．2 全局特征检索

2．3．3 重排序—几何一致性校验

2．3．4 视觉搜索系统性能测试

2．4 本章小结

第三章 移动增强现实跟踪注册关键技术研究

3．1 引言

3．2 典型增强现实跟踪注册技术概述

3．3 自然场景下高鲁棒性实时目标跟踪注册技术

3．3．1 匹配模块部分使用算法

3．3．2 跟踪模块部分使用算法

3．3．3 虚实融合显示

3．4 测试结果分析

3．4．1 测试环境介绍

3．4．2 系统实时性测试

3．4．3 跟踪精度测试

3．4．4 系统鲁棒性测试

3．5 本章小结

第四章 移动增强现实内容展现关键技术研究

4．1 引言

4．2 脚本解析

4．2．1 XML解析方法之DOM简介

4．2．2 XML解析方法之SAX简介

4．2．3 XML解析方法之PULL简介

4．2．4 解析方法对比测试及选型

4．3 内容加载与绘制

4．3．1 渲染引擎对比分析与选型

4．3．2 内容加载与绘制基本优化方法

4．3．3 基于哈希表的实时阴影快速渲染方法

4．3．4 一种基于图像处理器的实时后期处理景深渲染算法

4．4 内容展现技术在实时虚拟雕刻系统中的应用

4．5 本章小结

第五章 移动增强现实图像压缩关键技术研究

5．1 引言

5．2 视觉无损图像压缩算法

5．2．1 客观图像质量评价算法

5．2．2 主观图像质量评价算法

5．3 一种基于JPEG的视觉无损图像压缩算法

5．3．1 预处理

5．3．2 图像重压缩

5．3．3 信噪比评价

5．3．4 块效应评价

5．3．5 纹理失真评价

5．3．6 质量因子调整

5．3．7 主观质量评价调整质量因子

5．3．8 视觉无损图像压缩算法测试结果

5．4 特征无损图像压缩算法

5．4．1 基于质量因子调整的特征无损图像压缩技术

5．4．2 基于色彩空间变换的特征无损图像压缩技术

5．5 一种基于JPEG的特征无损图像压缩算法

5．5．1 量化表训练

5．5．2 DCT系数重置位

5．5．3 特征无损图像压缩算法测试结果

5．6 本章小结

第六章 移动增强现实应用系统研究与实现

6．1 引言

6．2 图像并行处理

6．2．1 构造词汇树

6．2．2 图像并行处理框架设计

6．2．3 图像并行处理框架的创新性

6．2．4 图像并行处理性能测试

6．3 分布式矩阵乘法的实现

6．3．1 矩阵乘法算法分析

6．3．2 稠密矩阵乘法实现算法1

6．3．3 稠密矩阵乘法实现算法2

6．3．4 分布式矩阵乘法算法的测试

6．4 增强内容存储

6．4．1 增强内容存储设计

6．4．2 内容存储性能测试

6．5 移动增强现实系统架构

6．5．1 基于云计算的移动增强现实系统设计

6．5．2 移动增强现实客户端设计

6．5．3 移动增强现实综合服务端设计

6．6 移动增强现实示范应用——房产360

6．7 本章小结

第七章 总结与展望

7．1 全文总结

7．2 研究展望

参考文献

致谢

作者攻读博士学位期间参加的科研项目和成果