一种基于特征金字塔网络的房间布局估计获取方法与系统

摘要

本发明公开了一种基于特征金字塔网络的房间布局估计获取方法与系统，涉及室内场景理解领域，其通过各层卷积模块数据利用卷积计算与上采样获取的多路数据侧连接融合得到多层金字塔特征，通过多层金字塔特征及其分辨率重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征，将图像特征逐像素相加并卷积计算后获取预设通道数的热图张量，通过热图张量以及房间类型的关键点及其连接关系获取室内房间布局估计。该方法高效地整合利用了多尺度特征提升了小目标检测的精度，并对相同的尺寸图片特征逐像素相加，节省了大量时间，最后网络的输出无需后处理就可得到最终的房间布局估计，省去了大量计算和内存成本。

说明书

技术领域

本发明涉及室内场景理解领域，尤其涉及一种基于特征金字塔网络的房间布局估计获取方法与系统。

背景技术

对于室内布局估计任务来说，使用深度学习技术加后处理方法来解决室内布局估计任务的方法较为常见，目前利用DRN网络结构获取室内布局估计任务的方法是目前最新的且在指标上达到了顶尖水平的方法，首先在网络结构方面，DRN的网络结构来自doublerefinement net，这个网络提取了多尺度的特征并将这些不同尺度的特征从小到大依次上采样后进行合并，由于该网络是对不同尺度特征进行的处理，且网络输出结果不能直接得到最终的房间布局，还需要一个单独的程序对网络输出做处理，因此耗费了较多时间和内存成本。

由此，我们可以看到基于DRN网络结构使用深度学习获取室内布局估计任务的这种方法需要大量的计算颇为耗时且优化方法的设计也因具体任务而异需要付出大量精力。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于特征金字塔网络的房间布局估计获取方法，包括步骤：

S1：利用卷积神经网络获取待识别图像的图像特征，并利用分类器根据图像特征获取房间类型，所述卷积神经网络具有多层卷积模块，各层卷积模块依次关联，所述房间类型由若干个有序关键点连接组成；

S2：通过图像特征得到特征金字塔，所述特征金字塔由多层金字塔特征组成，所述各层金字塔特征依次通过各层卷积模块数据利用卷积计算与上采样获取的多路数据侧连接融合得到；

S3：根据多层金字塔特征分别获取与金字塔层数对应的多个预设分辨率的图片特征；

S4：通过对多个预设分辨率的图片特征逐像素相加并卷积计算后获取预设通道数的热图张量，所述预设通道数的热图张量包含有预设通道数的关键点，每一个关键点对应一张通道关键点热图，每一个通道输出一张通道关键点热图；

S5：通过预设通道数的热图张量以及房间类型的关键点及其连接关系获取室内房间布局估计。

进一步地，所述多层卷积模块包括：首层卷积模块，中层卷积模块，尾层卷积模块；所述多层金字塔特征包括：首层金字塔特征，中层金字塔特征，尾层金字塔特征；所述预设分辨率的图片特征包括：首层图片特征，中层图片特征，尾层图片特征，所述首层、中层、尾层图片特征的分辨率相同；

所述多路数据包括：

通过尾层卷积模块利用卷积计算获取的第一路数据；

通过中层卷积模块利用卷积计算获取的第二路数据；

所述步骤S2中侧连接融合的具体步骤包括：

S21：通过第一路数据获取首层金字塔特征；

S22：通过第二路数据与首层金字塔特征上采样后侧连接融合获取中层金字塔特征；

S23：通过第二路数据与中层金字塔特征上采样后侧连接融合获取尾层金字塔特征。

进一步地，所述步骤S3中获取预设分辨率的图片特征其方法为：

根据多层金字塔特征以及多层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征；

所述卷积计算用于获取图像特征；

所述批归一化层用于标准化图像特征；

所述激活函数用于非线性变换标准化图像特征；

所述上采样用于放大非线性变换后的标准化图像特征。

进一步地，所述重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征其步骤包括：

根据首层金字塔特征以及首层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的首层图片特征；

根据中层金字塔特征以及中层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的中层图片特征；

根据尾层金字塔特征以及尾层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的尾层图片特征。

进一步地，所述步骤S5通过预设通道数的热图张量以及房间类型获取室内房间布局估计的具体方法为：

S51：获取房间类型的关键点与通道关键点热图的关键点之间的对应关系，通过对应关系获取一组通道关键点热图；

S52：获取通道关键点热图的合成图作为关键点热图；

S53：根据房间类型获取关键点热图的连接关系，并根据连接关系获取房间布局估计。

本发明还提出了一种基于特征金字塔网络的房间布局估计获取系统，包括：

卷积神经网络模块，利用卷积神经网络获取待识别图像的图像特征，并利用分类器根据图像特征获取房间类型，所述卷积神经网络具有多层卷积模块，各层卷积模块依次关联，所述房间类型由若干个有序关键点连接组成；

多层金字塔特征模块，通过图像特征得到特征金字塔，所述特征金字塔由多层金字塔特征组成，所述各层金字塔特征依次通过各层卷积模块数据利用卷积计算与上采样获取的多路数据侧连接融合得到；

预设分辨率图片特征模块，根据多层金字塔特征分别获取与金字塔层数对应的多个预设分辨率的图片特征；

关键点热图模块，通过对多个预设分辨率的图片特征逐像素相加并卷积计算后获取预设通道数的热图张量，所述预设通道数的热图张量包含有预设通道数的关键点，每一个关键点对应一张通道关键点热图，每一个通道输出一张通道关键点热图；

房间布局估计模块，通过预设通道数的热图张量以及房间类型的关键点及其连接关系获取室内房间布局估计。

进一步地，所述多层卷积模块包括：首层卷积模块，中层卷积模块，尾层卷积模块；所述多层金字塔特征包括：首层金字塔特征，中层金字塔特征，尾层金字塔特征；所述预设分辨率的图片特征包括：首层图片特征，中层图片特征，尾层图片特征，所述首层、中层、尾层图片特征的分辨率相同；

所述多路数据包括：

通过尾层卷积模块利用卷积计算获取的第一路数据；

通过中层卷积模块利用卷积计算获取的第二路数据；

所述多层金字塔特征模块中侧连接融合的具体步骤包括：

通过第一路数据获取首层金字塔特征；通过第二路数据与首层金字塔特征上采样后侧连接融合获取中层金字塔特征；通过第二路数据与中层金字塔特征上采样后侧连接融合获取尾层金字塔特征。

进一步地，所述预设分辨率图片特征模块中获取预设分辨率的图片特征其方法为：

根据多层金字塔特征以及多层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征；

所述卷积计算用于获取图像特征；

所述批归一化层用于标准化图像特征；

所述激活函数用于非线性变换标准化图像特征；

所述上采样用于放大非线性变换后的标准化图像特征。

进一步地，所述重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征其步骤包括：

根据首层金字塔特征以及首层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的首层图片特征；

根据中层金字塔特征以及中层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的中层图片特征；

根据尾层金字塔特征以及尾层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的尾层图片特征。

进一步地，所述房间布局估计模块中通过预设通道数的热图张量以及房间类型获取室内房间布局估计的具体方法为：获取房间类型的关键点与通道关键点热图的关键点之间的对应关系，通过对应关系获取一组通道关键点热图；获取通道关键点热图的合成图作为关键点热图；根据房间类型获取关键点热图的连接关系，并根据连接关系获取房间布局估计。

本发明至少具有以下有益效果：

1、解决了在几乎不增加计算量与模型参数的情况下高效地整合利用多尺度特征的问题，提升了小目标检测的精度；

2、本方法通过对多层卷积模块提取的一系列特征按照尺寸从小到大依次进行上采样后通过侧向连接得到多层金字塔特征，并通过对多层金字塔特征的一系列计算操作得到相同尺寸的图片特征，然后对提取的相同尺寸的图片特征在每个像素位置相加完成了对不同尺寸、不同语义强度特征之间的融合，经过融合之后的每层特征都拥有了更为丰富的语义信息，这只是在原有网络基础上通过简单的上采样以及侧向连接来完成的，这些操作在实际计算中不需要多少算力，十分划算；

3、本方法将金字塔特征上采样到一个相同的尺寸然后再合并，节省了时间和内存成本；

4、本方法中通过网络输出的关键点热图利用房间类型的关键点及其连接关系就能直接得到最终的房间布局估计。

附图说明

图1为一种基于特征金字塔网络的房间布局估计获取方法步骤图；

图2为一种基于特征金字塔网络的房间布局估计获取系统的网络框架工作流程图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

基于深度学习配合后处理方法获取室内房间布局估计的工作流程中，我们可以看到遵循这种工作流程的解决方案需要大量的计算颇为耗时且网络输出结果不能直接得到最终的房间布局，还需要一个单独的程序对网络输出做处理。为了缩短计算时间、提高小目标检测的精度以及解决几乎不增加计算量与模型参数的情况下高效地整合利用多尺度特征的问题，本发明提出了一种基于特征金字塔网络的房间布局估计获取方法，通过该方法所搭建的神经网络输出的关键点热图和该方法获取到的房间类型得到房间布局估计，如图1所示，具体通过下述步骤实现：

S1：利用卷积神经网络获取待识别图像的图像特征，并利用分类器根据图像特征获取房间类型，所述卷积神经网络具有多层卷积模块，各层卷积模块依次关联，所述房间类型由若干个有序关键点连接组成；

所述多层卷积模块包括：首层卷积模块，中层卷积模块，尾层卷积模块；

需要说明的是，中层卷积模块，尾层卷积模块均可分别包含多层卷积模块，本实施例中有三层中层卷积模块；本实例中卷积神经网络的主干架构选择了ResNeXt来进行特征提取，ResNeXt在分类任务上的出色表现使本方法的分类器提升了准确率，这对提升模型的最终表现有着不可忽视的作用。

S2：通过图像特征得到特征金字塔，所述特征金字塔由多层金字塔特征组成，所述各层金字塔特征依次通过各层卷积模块数据利用卷积计算与上采样获取的多路数据侧连接融合得到；

所述多层金字塔特征包括：首层金字塔特征，中层金字塔特征，尾层金字塔特征；

需要说明的是，中层金字塔特征、尾层金字塔特征均可分别包含多层金字塔特征，本实施例中有三层中层金字塔特征。本发明通过引入在目标检测和语义分割领域被广泛验证有效性的特征金字塔网络，端到端的解决了室内布局估计任务，大大缩短了任务的处理时间。

所述多路数据包括：

通过尾层卷积模块利用卷积计算获取的第一路数据；

通过中层卷积模块利用卷积计算获取的第二路数据；

所述步骤S2中侧连接融合的具体步骤包括：

S21：通过第一路数据获取首层金字塔特征；

S22：通过第二路数据与首层金字塔特征上采样后侧连接融合获取中层金字塔特征；

S23：通过第二路数据与中层金字塔特征上采样后侧连接融合获取尾层金字塔特征。

需要说明的是，上述步骤中将不同尺度特征整合到多层特征金字塔，从参数量与计算量的角度来看，本方法所搭建的网络为一个轻量级的非对称编码解码网络。编码部分为获取金字塔特征的过程，该过程将参数与计算的重心用在了获取金字塔特征上；解码部分为下述步骤S3中分别根据金字塔特征以及金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的图片特征的过程，该过程将前面的金字塔特征进行了有效的整合；这样的安排更为合理同时并没有太多额外的算力与内存方面的开销。

S3：根据多层金字塔特征分别获取与金字塔层数对应的多个预设分辨率的图片特征；

所述预设分辨率的图片特征包括：首层图片特征，中层图片特征，尾层图片特征，所述首层、中层、尾层图片特征的分辨率相同；

所述步骤S3中获取预设分辨率的图片特征其方法为：

根据多层金字塔特征以及多层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征；

所述卷积计算用于获取图像特征；

所述批归一化层用于标准化图像特征；

所述激活函数用于非线性变换标准化图像特征；

所述上采样用于放大非线性变换后的标准化图像特征。

所述重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征其步骤包括：

根据首层金字塔特征以及首层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的首层图片特征；

根据中层金字塔特征以及中层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的中层图片特征；

根据尾层金字塔特征以及尾层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的尾层图片特征。

需要说明的是，所述分别获取的预设分辨率的图片特征均为相同尺寸的图片特征，本方法在这里体现出了与DRN(double refinement network)方法的一个不同之处，即DRN方法是提取了多尺度的特征并将这些不同尺度的特征从小到大依次上采样后进行合并，而本方法是将多层金字塔特征上采样到一个相同的尺寸然后再相加合并，与DRN方法相比本方法节省了时间和内存成本。

S4：通过对多个预设分辨率的图片特征逐像素相加并卷积计算后获取预设通道数的热图张量，所述预设通道数的热图张量包含有预设通道数的关键点，每一个关键点对应一张通道关键点热图，每一个通道输出一张通道关键点热图；

S5：通过预设通道数的热图张量以及房间类型的关键点及其连接关系获取室内房间布局估计。

需要说明的是，本方法通过对多层卷积模块提取的一系列特征按照尺寸从小到大依次进行上采样后通过侧向连接得到多层金字塔特征，并通过对多层金字塔特征的一系列计算操作得到相同尺寸的图片特征，然后对提取的相同尺寸的图片特征在每个像素位置相加完成了对不同尺寸、不同语义强度特征之间的融合，经过融合之后的每层特征都拥有了更为丰富的语义信息，这只是在原有网络基础上通过简单的上采样以及侧向连接来完成的，且侧向连接配合特征金字塔有助于提升小目标检测的精度。这些操作在实际计算中不需要多少算力，节省了大量时间。

所述步骤S5通过预设通道数的热图张量以及房间类型获取室内房间布局估计的具体方法为：

S51：获取房间类型的关键点与通道关键点热图的关键点之间的对应关系，通过对应关系获取一组通道关键点热图；

S52：获取通道关键点热图的合成图作为关键点热图；

S53：根据房间类型获取关键点热图的连接关系，并根据连接关系获取房间布局估计。

本方法通过网络输出的关键点热图并利用房间类型的关键点及其连接关系即可得到室内房间布局估计，操作简单快速，相比于早期的传统方法省略了估计消失点、假设生成、假设排序的步骤，缩短了处理时间；相比于DRN(double refinement network)的方法，去掉了后处理程序，省去了大量的计算。

实施例二

为了缩短计算时间、提高小目标检测的精度以及解决几乎不增加计算量与模型参数的情况下高效地整合利用多尺度特征的问题，本发明提出了一种基于特征金字塔网络的房间布局估计获取系统，如图2所示，具体包括：

卷积神经网络模块，利用卷积神经网络获取待识别图像的图像特征，并利用分类器根据图像特征获取房间类型，所述卷积神经网络具有多层卷积模块，各层卷积模块依次关联，所述房间类型由若干个有序关键点连接组成；

所述多层卷积模块包括：首层卷积模块，中层卷积模块，尾层卷积模块；

需要说明的是，中层卷积模块，尾层卷积模块均可分别包含多层卷积模块，本实施例中有三层中层卷积模块；本实例中卷积神经网络的主干架构选择了ResNeXt来进行特征提取，ResNeXt在分类任务上的出色表现使本方法的分类器提升了准确率，这对提升模型的最终表现有着不可忽视的作用。

多层金字塔特征模块，通过图像特征得到特征金字塔，所述特征金字塔由多层金字塔特征组成，所述各层金字塔特征依次通过各层卷积模块数据利用卷积计算与上采样获取的多路数据侧连接融合得到；

所述多层金字塔特征包括：首层金字塔特征，中层金字塔特征，尾层金字塔特征；

需要说明的是，中层金字塔特征、尾层金字塔特征均可分别包含多层金字塔特征，本实施例中有三层中层金字塔特征。本发明通过引入在目标检测和语义分割领域被广泛验证有效性的特征金字塔网络，端到端的解决了室内布局估计任务，大大缩短了任务的处理时间。

所述多路数据包括：

通过尾层卷积模块利用卷积计算获取的第一路数据；

通过中层卷积模块利用卷积计算获取的第二路数据；

所述多层金字塔特征模块中侧连接融合的具体步骤包括：

通过第一路数据获取首层金字塔特征；通过第二路数据与首层金字塔特征上采样后侧连接融合获取中层金字塔特征；通过第二路数据与中层金字塔特征上采样后侧连接融合获取尾层金字塔特征。

需要说明的是，上述步骤中将不同尺度特征整合到多层特征金字塔，从参数量与计算量的角度来看，本方法所搭建的网络为一个轻量级的非对称编码解码网络。编码部分为获取金字塔特征的过程，该过程将参数与计算的重心用在了获取金字塔特征上；解码部分为下述步骤S3中分别根据金字塔特征以及金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的图片特征的过程，该过程将前面的金字塔特征进行了有效的整合；这样的安排更为合理同时并没有太多额外的算力与内存方面的开销。

预设分辨率图片特征模块，根据多层金字塔特征分别获取与金字塔层数对应的多个预设分辨率的图片特征；

所述预设分辨率的图片特征包括：首层图片特征，中层图片特征，尾层图片特征，所述首层、中层、尾层图片特征的分辨率相同；

所述预设分辨率图片特征模块中获取预设分辨率的图片特征其方法为：

根据多层金字塔特征以及多层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征；

所述卷积计算用于获取图像特征；

所述批归一化层用于标准化图像特征；

所述激活函数用于非线性变换标准化图像特征；

所述上采样用于放大非线性变换后的标准化图像特征。

所述重复利用卷积计算、批归一化层、激活函数以及上采样分别获取对应的多个预设分辨率的图像特征其步骤包括：

根据首层金字塔特征以及首层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的首层图片特征；

根据中层金字塔特征以及中层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的中层图片特征；

根据尾层金字塔特征以及尾层金字塔特征的分辨率重复利用卷积计算、批归一化层、激活函数以及上采样直至获取到预设分辨率的尾层图片特征。

需要说明的是，所述分别获取的预设分辨率的图片特征均为相同尺寸的图片特征，本方法在这里体现出了与DRN(double refinement network)方法的一个不同之处，即DRN方法是提取了多尺度的特征并将这些不同尺度的特征从小到大依次上采样后进行合并，而本方法是将多层金字塔特征上采样到一个相同的尺寸然后再相加合并，与DRN方法相比本方法节省了时间和内存成本。

关键点热图模块，通过对多个预设分辨率的图片特征逐像素相加并卷积计算后获取预设通道数的热图张量，所述预设通道数的热图张量包含有预设通道数的关键点，每一个关键点对应一张通道关键点热图，每一个通道输出一张通道关键点热图；

房间布局估计模块，通过预设通道数的热图张量以及房间类型的关键点及其连接关系获取室内房间布局估计。

需要说明的是，本方法通过对多层卷积模块提取的一系列特征按照尺寸从小到大依次进行上采样后通过侧向连接得到多层金字塔特征，并通过对多层金字塔特征的一系列计算操作得到相同尺寸的图片特征，然后对提取的相同尺寸的图片特征在每个像素位置相加完成了对不同尺寸、不同语义强度特征之间的融合，经过融合之后的每层特征都拥有了更为丰富的语义信息，这只是在原有网络基础上通过简单的上采样以及侧向连接来完成的，且侧向连接配合特征金字塔有助于提升小目标检测的精度。这些操作在实际计算中不需要多少算力，节省了大量时间。

所述房间布局估计模块中通过预设通道数的热图张量以及房间类型获取室内房间布局估计的具体方法为：获取房间类型的关键点与通道关键点热图的关键点之间的对应关系，通过对应关系获取一组通道关键点热图；获取通道关键点热图的合成图作为关键点热图；根据房间类型获取关键点热图的连接关系，并根据连接关系获取房间布局估计。

本方法通过网络输出的关键点热图并利用房间类型的关键点及其连接关系即可得到室内房间布局估计，操作简单快速，相比于早期的传统方法省略了估计消失点、假设生成、假设排序的步骤，缩短了处理时间；相比于DRN(double refinement network)的方法，去掉了后处理程序，省去了大量的计算。

本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。