基于信息边缘和多模态特征的室内场景布局估计

摘要

室内场景布局估计是高层视觉图像场景理解中棘手且极富挑战的热点研究方向之一。估计室内场景的空间布局，能够为智能家居、虚拟现实、移动机器人导航等领域提供有效的3D空间结构信息，有利于改变传统视频监控的格子监控模式为融合3D空间的实时监控模式。室内场景布局估计存在着多重语义类别、互相遮挡、低层视觉特征辨识力较弱以及不均匀光照等问题。于是，本文提出了一种基于信息边缘由粗到精布局候选项生成和多模态异构特征融合的室内场景布局估计方法。
　　针对传统室内布局候选生成依赖消失射线的采样频率提高采样精度问题，本文设计一种基于场景图像结构化信息边缘由粗到精空间布局候选项生成方案。首先，采用自适应阈值Canny边缘检测算子提取室内场景图像中边缘直线段，根据直线段的方向性用RANSAC策略估计图像消失点，从水平和竖直方向消失点出发等角度间隔引出射线，采样粗划分图像区域。然后，采用VGG-16的全卷积神经网络获取室内场景信息边缘能量图，基于图像粗划分区域，以信息边缘图为先验条件，从水平和竖直方向分别选取图像中能量出现概率高的区域，再细采样相应布局区域，产生细粒度室内空间布局候选项。Hedau和LSUN数据集的实验表明，相较于传统方法，提高采样的本文方法能减少布局候选项计算量，得到更准确的布局候选项。
　　鉴于传统场景布局候选一元项单一特征表征能力欠佳且未充分考虑布局候选项多边形两两之间关系，本文提出一种融合多模态异构特征结构化预测的室内场景空间布局估计方案。首先，基于消失射线夹角角度参数化室内场景空间布局，建立房间3D盒式布局估计模型。然后，采用VGG-16的空间多尺度卷积神经网络多任务获取室内场景图像的表面方向法向量和几何深度特征；利用自适应阈值Canny边缘检测得到蕴含室内场景结构性底层视觉的线组成员特征；采用VGG-16的全卷积网络获取蕴含语义类别属性的几何上下文特征；采用积分几何累加法融合四种不同模态特征，得到场景布局候选项多边形区域级特征的一元共生呈现，布局候选项中多边形区域两两之间的位置关系和多边形区域几何中心之间夹角的角度表示概率图模型中二元平滑约束关系。最后，采用Cutting-Plane的结构化SVM算法学习模型参数；排序场景布局候选项整体得分，候选布局评分最大化机制，推理选取出得分最高的布局候选项，以实现室内场景布局估计。Hedau和LSUN数据集的实验表明，相较于传统方法，本文方法能完善布局候选项多边形特征映射的完整性，使最终推理出的布局估计结果更优。

目录

声明

第一章 绪论

1.1课题研究背景和意义

1.2场景布局估计国内外研究现状

1.3论文的研究内容与主要贡献

1.4全文组织架构

第二章 室内场景布局估计的基本概念和相关原理

2.1场景消失点与3D盒式布局模型

2.2场景布局估计图像特征提取

2.3神经卷积网络相关技术

2.4本章小结

第三章 基于信息边缘和多模态特征的室内场景空间布局估计

3.1室内场景空间布局估计整体框架

3.2室内场景空间布局估计实现方案

3.3室内场景空间布局估计实验数据集

3.4本章小结

第四章 融合信息边缘由粗到精的室内场景布局候选项生成

4.1场景消失点诱导空间布局候选项粗生成

4.2结构化信息边缘约束空间布局候选项优选

4.3实验结果与分析

4.4本章小结

第五章 融合区域级多模态异构特征的室内场景布局估计

5.1室内场景布局区域多模态异构特征提取

5.2室内场景空间结构3D盒式布局建模与估计

5.3基于结构化输出的3D盒式空间布局模型学习

5.4实验结果与分析

5.5本章小结

第六章 总结与展望

参考文献

附录1 攻读硕士学位期间申请的专利

附录2 攻读硕士学位期间参加的科研项目

致谢