一种用于室内设计家具模型的高效检索方法

摘要

本发明提供了一种用于室内设计家具模型的高效检索方法，在检索前分别通过目标检测处理技术得到待检索对象主体，再使用检索模型进行检索。检索模型利用较浅深度的自定义分类模型训练，通过在分类层前添加编码层，用输入图像对的方式进行训练，并自定义损失函数使得相似图片间哈希码尽可能相近，得到能实现均匀编码的网络模型。检索时采用分步检索方案，首先进行分类，然后与同类中哈希码进行比较，这种分步检索法提高了效率。本发明的方法与其他检索方案相比速度快，准确度高。

说明书

技术领域

本发明涉属于属于计算机视觉技术领域，尤其涉及一种用于室内设计家具模型的高效检索方法。

背景技术

近年来，随着虚拟现实技术和人工智能技术的进步，室内设计行业快速发展，室内设计行业为人们提供了越来越便利的服务。用户可以通过室内设计网站进行大量图片和模型的浏览下载。同时，这些网站也面临着很多挑战。很多室内设计网站设计了大量的家具方案以供用户选择搭配，在庞大的方案中，用户需要大量的手动搜索才能找到相似的图片，非常费时。由于用户对室内设计专业的认知不足，对色彩、空间、艺术搭配感知的模糊以及文字表述的局限性，无法快速、准确的选择出自己喜欢的、适合的家具模型方案。在网站中手动检索效率很低。因此需要一种方便快速的检索方法，根据输入图片内容，检索出相似的模型图片供用户挑选，避免设计人员根据用户需求手动寻找方案的开销，也减少用户的等待时间。

目前很多家具模型检索方案利用HOG和SIFT算法提取特征，这些方法在图像处理的早期就会丢失部分有用信息，而且需要人投入大量的精力调节参数，对大规模的图像数据集表现效果较差；或利用KNN和SVM等机器学习方法，其特征提取能力依然有限，准确度不高。一些基于深度学习的检索方法直接将未处理的图像作为输入，并采用特征向量作为相似度量方法，这种方案运算量大，且不适合大量数据的检索。同时，图片中冗余内容使得检索准确率低。因此，有必要根据待检图片特点进行处理，并设计计算量小，实时性好的检索方法。

发明内容

为解决上述问题，本发明公开了本发明提供一种用于室内设计家具模型的高效检索方法，完成对室内设计中家具模型对象的快速检索，根据用户输入图片，检索出相似的模型方案供选择，减少人工参与。

为了实现上述目的，本发明采用如下技术方案：

一种用于室内设计家具模型的高效检索方法，包括以下步骤：步骤1：针对家具模型图片，使用目标检测进行预处理；在预处理时完成对图片中主体元素的提取，提高检索准确度；

步骤2：设计了合理的网络模型结构，将数据集送入网络中训练，完成对图片的分类和编码，并构建数据；得到针对家具对象的检索模型；

步骤3：在检索过程当中采用了分步检索的方法，比较待搜索图片与同类图片之间的汉明距离，得到检索结果。

本发明进一步优选在于：其中所述步骤1具体包括：

步骤1.1：训练准确度高的目标检测算法模型，将此模型作为离线模型用于后续图片的检测，主要用于用户对图片中家具对象进行检索时截取出家具的主体部分。

步骤1.2：利用室内设计网站后台的大量图片，得到装修图截图，将图中主要家具使用labelImg进行标注得到主体家具部分。

步骤1.3：采用Centernet轻量级无锚框检测算法对模型进行训练，使用ResNet50作为基础特征提取网络，加载VOC2007数据集下训练的模型作为初始各参数权重，训练模型直至损失函数收敛得到离线模型。该模型可自动定位图像中较为显著的即预测置信度最高的目标区域，将其从原图像中分割出来后作为待检对象再进行后续的特征提取。

本发明进一步优选在于：所述步骤2具体包括如下：

步骤2.0，训练算法模型，利用哈希编码的方式对图片进行编码，作为检索依据。

步骤2.1对训练图像设定标签，设定标签为家具种类，对于设置后的标签进行one-hot编码。

步骤2.2搭建分类网络模型，模型输入图像大小为128x128x3，采用若干卷积层和池化层，全连接层节点数为1024，分类层节点数为类别数，激活函数为softmax。

步骤2.3在分类层前，添加编码层，以64作为编码位数，改进的sigmoid函数

步骤2.4损失函数分为两部分，首先是分类层的交叉熵损失，表达式为

步骤2.5将家具图片数据集数据集送入模型进行训练，训练至收敛，得到对于家具模型的深度学习检索模型。用训练好的模型对图片库中的图片进行处理，得到标签与编码，写入csv文件，构件数据库。

步骤3实现分步检索算法，对于输入图片对象，首先进行预处理工作，对于家具图片对家具主体进行检测截取。使用训练好的模型进行预测，得到标签和编码值，按照分步检索的方法，首先找到数据库中同标签值的图片，计算编码之间的汉明距离，选择topk作为输出结果。

本发明的有益效果在于：

1、本方法针对室内设计中家具图片对象的特点，采用Centernet目标检测方法得到包含家具的效果图图片中的家具主体，避免因图片中过多冗余信息导致的检索错误。使用少量卷积层和池化层搭建轻量级的网络模型，在分类层前加入编码层，将视觉特征信息进行64位编码，自定义损失函数，保证同类图片之间编码的相似性以及编码的均匀性，并以图像对的方式进行训练，得到高效的网络。

2、检索之前将数据库中家具模型图片的标签和编码写入csv文件，以哈希编码表示图片的视觉特征。检索时采用分步检索的方式，通过预处理得到图片主体区域，加载对应网络模型预测得到标签和编码，在同标签图片的编码中寻找topk结果相似结果，该方法效率高检索速度快，本文模型可在1.3s内完成模型的检索工作，并且具备95％以上检索准确度，效果优于目前室内设计软件中对家具模型的检索方式。

附图说明

图1是本发明图像检索模型网络结构图

图2是本发明的检索流程图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

本实施例提供一种用于室内设计家具模型的高效检索方法，包括以下步骤：

步骤1.0：训练准确度高的目标检测算法模型，将此模型作为离线模型用于后续图片的检测，主要用于用户对图片中家具对象进行检索时截取出家具的主体部分。

步骤1.1：利用室内设计网站后台的大量图片，得到装修图截图，将图中主要家具使用labelImg进行标注得到主体家具部分。

步骤1.2：采用Centernet轻量级无锚框检测算法对模型进行训练，使用ResNet50作为基础特征提取网络，加载VOC2007数据集下训练的模型作为初始各参数权重，训练模型直至损失函数收敛得到离线模型。该模型可自动定位图像中较为显著的即预测置信度最高的目标区域，将其从原图像中分割出来后作为待检对象再进行后续的特征提取。

步骤2.0，训练算法模型，利用哈希编码的方式对图片进行编码，作为检索依据。

步骤2.1对训练图像设定标签，对于家具，设定标签为家具种类，对于设置后的标签进行one-hot编码。

步骤2.2搭建分类网络模型，结构如图1所示，模型输入图像大小为128x128x3，采用若干卷积层和池化层，全连接层节点数为1024，分类层节点数为训练集类别数，激活函数为softmax。

步骤2.3在分类层前，添加编码层，以64作为编码位数，改进的sigmoid函数

步骤2.4损失函数分为两部分，首先是分类层的交叉熵损失，表达式为

步骤2.5将家具图片数据集送入模型进行训练，训练至收敛，得到对于家具模型的深度学习检索模型。用训练好的模型对图片库中的图片进行处理，得到标签与编码，写入csv文件，构件数据库。

步骤3，如图2所示检索流程，实现分步检索算法，对于家具图片对家具主体进行检测截取。使用训练好的模型进行预测，得到标签和编码值，按照分步检索的方法，首先找到数据库中同标签值的图片，计算编码之间的汉明距离，选择topk作为输出结果。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。