首页> 中国专利> 三维房屋模型质量评估方法、装置及计算机可读存储介质

三维房屋模型质量评估方法、装置及计算机可读存储介质

摘要

本公开的实施例公开了一种三维房屋模型质量评估方法、装置及计算机可读存储介质。该方法包括:根据三维房屋模型,获得N个视角对应的N张二维房屋图像;其中,N为大于或等于2的整数;将N张二维房屋图像输入神经网络,以获得神经网络输出的、N张二维房屋图像对应的N个模型质量评估数据;根据N个视角和N个模型质量评估数据,输出三维房屋模型的模型质量评估结果。与相关技术相比,本公开的实施例的适用范围更加广泛,并且,本公开的实施例得到的模型质量评估结果与人工主观的模型质量评估结果能够具有较高的一致性,从而能够更好地满足实际需求。

著录项

  • 公开/公告号CN112233103A

    专利类型发明专利

  • 公开/公告日2021-01-15

    原文格式PDF

  • 申请/专利权人 贝壳技术有限公司;

    申请/专利号CN202011159447.5

  • 发明设计人 付文兰;董秋成;戴良斌;

    申请日2020-10-26

  • 分类号G06T7/00(20170101);

  • 代理机构11657 北京思源智汇知识产权代理有限公司;

  • 代理人毛丽琴

  • 地址 300457 天津市滨海新区经济技术开发区南港工业区综合服务区办公楼C座一层112室05单元

  • 入库时间 2023-06-19 09:35:27

说明书

技术领域

本公开涉及三维建模技术领域,尤其涉及一种三维房屋模型质量评估方法、装置及计算机可读存储介质。

背景技术

三维房屋模型的应用越来越普遍,在一些情况下,需要对三维房屋模型进行模型质量评估,目前常用的评估方式有:在建模过程中计算模型的特征数值,同时根据大数据统计结果制定计分评价标准,并基于计分评价标准和特征数值进行评估,例如,可以通过对比直接采集到的点云和基于3D mesh(即三维网络)重新生成的点云,找到重新建模后模型被遮挡部分的大小,与经验数值进行比较,从而得到模型遮挡情况。

需要指出的是,不同三维房屋模型可能基于不同采集设备或不同重建算法得到,而上述评估方式无法统一不同设备或不同算法的计算逻辑,例如,其可能仅适用于基于某一种采集设备得到的三维房屋模型的模型质量评估,因此,上述评估方式存在较强的局限性。

发明内容

为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种三维房屋模型质量评估方法、装置及计算机可读存储介质。

根据本公开实施例的一个方面,提供了一种三维房屋模型质量评估方法,包括:

根据三维房屋模型,获得N个视角对应的N张二维房屋图像;其中,N为大于或等于2的整数;

将所述N张二维房屋图像输入神经网络,以获得所述神经网络输出的、所述N张二维房屋图像对应的N个模型质量评估数据;

根据所述N个视角和所述N个模型质量评估数据,输出所述三维房屋模型的模型质量评估结果。

在一个可选示例中,所述根据所述N个视角和所述N个模型质量评估数据,输出所述三维房屋模型的模型质量评估结果,包括:

根据所述N个模型质量评估数据,分别为所述N张二维房屋图像中的每张二维房屋图像获得M个模型质量评估维度对应的M个概率组;其中,任一模型质量评估维度对应的概率组包括:本模型质量评估维度下的所有评估等级各自对应的概率,M为大于或等于1的整数;

根据为每张二维房屋图像获得的M个概率组,为每张二维房屋图像确定所述M个模型质量评估维度对应的M个评估分数;

根据所述N个视角和为每张二维房屋图像确定的M个评估分数,输出所述三维房屋模型的模型质量评估结果。

在一个可选示例中,所述根据为每张二维房屋图像获得的M个概率组,为每张二维房屋图像确定所述M个模型质量评估维度对应的M个评估分数,包括:

获取目标模型质量评估维度下的所有评估等级各自对应的权重;其中,所述目标模型质量评估维度为所述M个模型质量评估维度中的任一模型质量评估维度;

根据所获得的权重,对为目标二维房屋图像确定的M个概率组中、所述目标模型质量评估维度对应的概率组中的所有概率进行加权求和,以得到加权求和结果;其中,所述目标二维房屋图像为所述N张二维房屋图像中的任一二维房屋图像;

将所述加权求和结果作为为所述目标二维房屋图像确定的、所述目标模型质量评估维度对应的评估分数。

在一个可选示例中,所述模型质量评估结果包括:所述N个视角中的每个视角,以及为所述N张二维房屋图像中每个视角对应的二维房屋图像确定的M个评估分数之间的映射关系。

在一个可选示例中,所述根据三维房屋模型,获得N个视角对应的N张二维房屋图像,包括:

以黑底背景展示三维房屋模型;

从N个视角,对以黑底背景展示的所述三维房屋模型进行截图处理,以得到所述N个视角对应的N张二维房屋图像。

在一个可选示例中,所述将所述N张二维房屋图像输入神经网络,包括:

去除所述N张二维房屋图像中的每张二维房屋图像中的边缘无效黑色区域;

将去除了所述边缘无效黑色区域后的所述N张二维房屋图像输入神经网络。

在一个可选示例中,所述神经网络利用根据样本三维房屋模型获得的样本二维房屋图像,以及所述样本二维房屋图像的模型质量标注数据训练得到。

根据本公开实施例的另一个方面,提供了一种三维房屋模型质量评估装置,包括:

第一获取模块,用于根据三维房屋模型,获得N个视角对应的N张二维房屋图像;其中,N为大于或等于2的整数;

第二获取模块,用于将所述N张二维房屋图像输入神经网络,以获得所述神经网络输出的、所述N张二维房屋图像对应的N个模型质量评估数据;

输出模块,用于根据所述N个视角和所述N个模型质量评估数据,输出所述三维房屋模型的模型质量评估结果。

在一个可选示例中,所述输出模块,包括:

第一获取子模块,用于根据所述N个模型质量评估数据,分别为所述N张二维房屋图像中的每张二维房屋图像获得M个模型质量评估维度对应的M个概率组;其中,任一模型质量评估维度对应的概率组包括:本模型质量评估维度下的所有评估等级各自对应的概率,M为大于或等于1的整数;

确定子模块,用于根据为每张二维房屋图像获得的M个概率组,为每张二维房屋图像确定所述M个模型质量评估维度对应的M个评估分数;

输出子模块,用于根据所述N个视角和为每张二维房屋图像确定的M个评估分数,输出所述三维房屋模型的模型质量评估结果。

在一个可选示例中,所述确定子模块,包括:

第一获取单元,用于获取目标模型质量评估维度下的所有评估等级各自对应的权重;其中,所述目标模型质量评估维度为所述M个模型质量评估维度中的任一模型质量评估维度;

第二获取单元,用于根据所获得的权重,对为目标二维房屋图像确定的M个概率组中、所述目标模型质量评估维度对应的概率组中的所有概率进行加权求和,以得到加权求和结果;其中,所述目标二维房屋图像为所述N张二维房屋图像中的任一二维房屋图像;

确定单元,用于将所述加权求和结果作为为所述目标二维房屋图像确定的、所述目标模型质量评估维度对应的评估分数。

在一个可选示例中,所述模型质量评估结果包括:所述N个视角中的每个视角,以及为所述N张二维房屋图像中每个视角对应的二维房屋图像确定的M个评估分数之间的映射关系。

在一个可选示例中,所述第一获取模块,包括:

展示子模块,用于以黑底背景展示三维房屋模型;

第二获取子模块,用于从N个视角,对以黑底背景展示的所述三维房屋模型进行截图处理,以得到所述N个视角对应的N张二维房屋图像。

在一个可选示例中,所述第二获取模块,包括:

去消单元,用于去除所述N张二维房屋图像中的每张二维房屋图像中的边缘无效黑色区域;

输出单元,用于将去除了所述边缘无效黑色区域后的所述N张二维房屋图像输入神经网络。

在一个可选示例中,所述神经网络利用根据样本三维房屋模型获得的样本二维房屋图像,以及所述样本二维房屋图像的模型质量标注数据训练得到。

根据本公开实施例的再一个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述三维房屋模型质量评估方法。

根据本公开实施例的又一个方面,提供了一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述三维房屋模型质量评估方法。

本公开的实施例中,可以先根据三维房屋模型,获得N个视角对应的N张二维房屋图像,然后将N张二维房屋图像输入神经网络,以获得神经网络输出的、N张二维房屋图像对应的N个模型质量评估数据,之后可以根据N个视角和N个模型质量评估数据,输出三维房屋模型的模型质量评估结果,这样就实现了三维房屋模型的模型质量评估。需要说明的是,无论是基于何种采集设备、何种重建算法得到的三维房屋模型,都可以采用统一的获得方式来获得二维房屋图像,并统一通过神经网络对获得的三维房屋图像进行处理,以实现模型质量评估,也即,本公开的实施例中的模型质量评估方法能够适用于基于各种采集设备、各种重建算法得到的三维房屋模型,因此,与相关技术相比,本公开的实施例的适用范围更加广泛,并且,二维房屋图像对应的视角可以是用户通常使用的视角,这样,本公开的实施例得到的模型质量评估结果与人工主观的模型质量评估结果能够具有较高的一致性,从而能够更好地满足实际需求。

下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。

图1是本公开一示例性实施例提供的三维房屋模型质量评估方法的流程示意图。

图2是本公开另一示例性实施例提供的三维房屋模型质量评估方法的流程示意图。

图3是本公开再一示例性实施例提供的三维房屋模型质量评估方法的流程示意图。

图4是本公开一示例性实施例中二维房屋图像的示意图。

图5是本公开一示例性实施例中神经网络的工作原理图。

图6是本公开又一示例性实施例提供的三维房屋模型质量评估方法的流程示意图。

图7是本公开一示例性实施例提供的三维房屋模型质量评估装置的结构示意图。

图8是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。

应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。

还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。

还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。

另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。

还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

图1是本公开一示例性实施例提供的三维房屋模型质量评估方法的流程示意图。图1所示的方法包括步骤101、步骤102和步骤103,下面对各步骤分别进行说明。

步骤101,根据三维房屋模型,获得N个视角对应的N张二维房屋图像;其中,N为大于或等于2的整数。

这里,可以先获得待进行模型质量评估的三维房屋模型,然后利用截图工具或者由三维转二维的转换工具,对三维房屋模型进行处理,以获得N个视角对应的N张二维房屋图像。可选地,N个视角与N张二维房屋图像之间可以为一一对应的关系,N的取值可以为2、5、10、15、17、20等,在此不再一一列举。

步骤102,将N张二维房屋图像输入神经网络,以获得神经网络输出的、N张二维房屋图像对应的N个模型质量评估数据。

这里,神经网络可以预先训练得到,神经网络可以为InceptionResNetV2等卷积神经网络。

在一种具体实施方式中,神经网络可以利用根据样本三维房屋模型获得的样本二维房屋图像,以及样本二维房屋图像的模型质量标注数据训练得到。

这里,可以预先获得大量的样本三维房屋模型,并利用截图工具或者由三维转二维的转换工具对每个样本三维房屋模型进行处理,以获得大量的样本二维房屋图像。之后,可以由用户针对每张样本二维房屋图像进行标注,以获得每张样本二维房屋图像的模型质量标注数据。

通过调查可知,用户比较关注的三维房屋模型的质量特征如下面的表1所示。

表1

通过对上面的表1中的内容进行整理总结,可以制定出对样本二维房屋图像进行标注时,需要进行标注的模型质量评估维度以及各个模型质量评估维度下的评估等级划分,具体可以见下面的表2。

表2

这样,在针对任一样本二维房屋图像进行标注时,可以分别针对表2中涉及的7个模型质量评估维度,分别从其可能的所有评估等级中选择一个评估等级进行标注,这样总共会为本样本二维房屋图像标注出7个评估等级,基于这7个评估等级,可以得到本样本二维房屋图像的模型质量标注数据。在一个具体例子中,某一模型质量标注数据可以包括如下信息:建模完整性:良好;贴图精细程度:良好;破洞程度:非常好;倾斜扭曲:非常好;颜色偏差:一般;模型重叠:好;模型遮挡:好。

之后,可以依据大量的样本二维房屋图像、大量的模型质量标注数据,以及预设的神经网络训练算法进行训练,以得到步骤102中涉及的神经网络,得到的神经网络能够根据输入的任一二维房屋图像,输出相应的模型质量评估数据,输出的模型质量评估数据可以包括表2中涉及的7个模型质量评估维度各自对应的评估信息(其具体可以为下文中的概率组)。

在训练好神经网络之后,可以在本地存储训练好的神经网络。在步骤102中,可以将N张二维房屋图像分别输入神经网络,这时,神经网络可以输出N张二维房屋图像对应的N个模型质量评估数据,N张二维房屋图像与N个模型质量评估数据之间可以为一一对应的关系。

步骤103,根据N个视角和N个模型质量评估数据,输出三维房屋模型的模型质量评估结果。

在获得N个模型质量评估数据之后,可以结合N个视角和N个模型质量评估数据,确定三维房屋模型的模型质量评估结果,模型质量评估结果既可以用于表征三维房屋模型的整体质量好坏情况,也可以用于表征三维房屋模型在不同视角和/或不同模型质量评估维度下的质量好坏情况。再之后,可以通过屏幕展示、邮件发送、语音播报等形式输出模型质量评估结果,以便相关人员查阅模型质量评估结果。

本公开的实施例中,可以先根据三维房屋模型,获得N个视角对应的N张二维房屋图像,然后将N张二维房屋图像输入神经网络,以获得神经网络输出的、N张二维房屋图像对应的N个模型质量评估数据,之后可以根据N个视角和N个模型质量评估数据,输出三维房屋模型的模型质量评估结果,这样就实现了三维房屋模型的模型质量评估。需要说明的是,无论是基于何种采集设备、何种重建算法得到的三维房屋模型,都可以采用统一的获得方式来获得二维房屋图像,并统一通过神经网络对获得的三维房屋图像进行处理,以实现模型质量评估,也即,本公开的实施例中的模型质量评估方法能够适用于基于各种采集设备、各种重建算法得到的三维房屋模型,因此,与相关技术相比,本公开的实施例的适用范围更加广泛,并且,二维房屋图像对应的视角可以是用户通常使用的视角,这样,本公开的实施例得到的模型质量评估结果与人工主观的模型质量评估结果能够具有较高的一致性,从而能够更好地满足实际需求。

在图1所示实施例的基础上,如图2所示,步骤103,包括:

步骤1031,根据N个模型质量评估数据,分别为N张二维房屋图像中的每张二维房屋图像获得M个模型质量评估维度对应的M个概率组;其中,任一模型质量评估维度对应的概率组包括:本模型质量评估维度下的所有评估等级各自对应的概率,M为大于或等于1的整数;

步骤1032,根据为每张二维房屋图像获得的M个概率组,为每张二维房屋图像确定M个模型质量评估维度对应的M个评估分数;

步骤1033,根据N个视角和为每张二维房屋图像确定的M个评估分数,输出三维房屋模型的模型质量评估结果。

这里,M可以为1、5、7、10或者其他取值,在此不再一一取值。对应上面的表2,M的取值具体可以为7,7个模型质量评估维度可以分别为:建模完整性、贴图精细程度、破洞程度、倾斜扭曲、颜色偏差、模型重叠、模型遮挡。

本公开的实施例中,任一二维房屋图像对应的模型质量评估数据可以包括:本二维房屋图像在M个模型质量评估维度对应的M个概率组,这样,在步骤1031中,可以直接从本二维房屋图像对应的模型质量评估数据中,为本二维房屋图像获得M个模型质量评估维度对应的M个概率组,按照这样的方式,可以为N张二维房屋图像中的每张二维房屋图像获得M个概率组。

接下来,可以执行步骤1032。在一种具体实施方式中,步骤1032,可以包括:

获取目标模型质量评估维度下的所有评估等级各自对应的权重;其中,目标模型质量评估维度为M个模型质量评估维度中的任一模型质量评估维度;

根据所获得的权重,对为目标二维房屋图像确定的M个概率组中、目标模型质量评估维度对应的概率组中的所有概率进行加权求和,以得到加权求和结果;其中,目标二维房屋图像为N张二维房屋图像中的任一二维房屋图像;

将加权求和结果作为为目标二维房屋图像确定的、目标模型质量评估维度对应的评估分数。

假设为目标二维房屋图像确定的M个概率组中、目标模型质量评估维度对应的概率组中的任一概率表示为P

在一个具体例子中,目标模型质量评估维度为上面的表2中的建模完整性,则为目标二维房屋图像确定的M个概率组中、目标模型质量评估维度对应的概率组将包括建模完整性下的5个评估等级对应的5个概率,分别是“非常差”对应的概率P

接下来,可以获取预先设置的、建模完整性下的5个评估等级对应的5个权重,分别是“非常差”对应的权重S

之后,可以采用下述公式,得到加权求和结果SUM:

SUM=S

再之后,可以将得到的SUM作为为目标二维房屋图像确定的、建模完整性对应的评估分数。

需要说明的是,在目标模型质量评估维度为上面的表2中不同于建模完整性的模型质量评估维度的情况下,评估分数的计算方式与上述计算方式是基本类似的,不同之处仅在于,在目标模型质量评估维度为颜色偏差或模型遮挡的情况下,其下的3个评估维度(即“严重”、“一般”、“好”)对应的3个权重可以分别为0、50、100,在目标模型质量评估维度为模型重叠的情况下,其下的4个评估维度(即“非常严重”、“严重”、“一般”、“好”)对应的4个权重可以分别为0、33.3、66.7、100。

这种实施方式中,通过基于权重进行概率的加权求和计算,能够便捷可靠地得到评估分数。

当然,评估分数的计算方式并不局限于此,例如,在基于P

在为每张二维房屋图像确定M个评估分数之后,可以根据N个视角和为每张二维房屋图像确定的M个评估分数,输出三维房屋模型的模型质量评估结果。在一种具体实施方式中,模型质量评估结果可以包括:N个视角中的每个视角,以及为N张二维房屋图像中每个视角对应的二维房屋图像确定的M个评估分数之间的映射关系。

假设N个取值为17,通过执行上述步骤,针对17个视角对应的17张二维房屋图像中的每张二维房屋图像,分别确定了7个模型质量评估维度对应的7个评估分数,可以认为得到了17张二维房屋图像对应的17组分数,每组分组包括相应模型质量评估维度对应的7个评估分数,之后,可以生成并输出包括17个视角与17组分数之间的映射关系的模型质量评估结果,基于模型质量评估结果中的映射关系,相关人员能够便捷可靠地获知三维房屋模型在不同视角、不同模型质量评估维度下的质量好坏情况。

当然,模型质量评估结果所包括的信息并不局限于此,例如,可以根据N个视角和为每张二维房屋图像确定的M个评估分数进行计算,以得到一评估总分,生成并输出包括评估总分的模型质量评估结果,基于模型质量评估结果的总分,相关人员能够便捷可靠地获知三维房屋模型的整体质量好坏情况。

本公开的实施例中,可以根据N个模型质量评估数据,为每张二维房屋图像获得M个概率组,并进一步为每张二维房屋图像确定M个评估分数,这样,根据N个视角和为每张二维房屋图像确定的M个评估分数输出的模型质量评估结果能够有效地表征三维房屋模型在不同视角、不同模型质量评估维度下的质量好坏情况。

在图1所示实施例的基础上,如图3所示,步骤101,包括:

步骤1011,以黑底背景展示三维房屋模型;

步骤1012,从N个视角,对以黑底背景展示的三维房屋模型进行截图处理,以得到N个视角对应的N张二维房屋图像。

需要说明的是,三维房屋模型一般存在窗户曝光成白色块、破洞呈黑色块的特征,且三维房屋模型很少有纯黑的部分,如果以白底背景对三维房屋模型进行展示,则窗户曝光区域或者光线强的区域会呈现纯白色,此时破洞区域和曝光区域会发生混淆,容易影响到三维房屋模型的模型质量评估效果,而如果以黑底背景对三维房屋模型进行展示,则黑底背景下出现黑色的部分一定是破洞,这样有利于保证模型质量评估效果。

有鉴于此,本公开的实施例中,对于待进行模型质量评估的三维房屋模型,可以黑底背景对其进行展示,从而避免破洞区域和曝光区域的混淆。之后,可以借助世界坐标系,确定出N个不同的视角,不同视角可以由水平和垂直的偏航角来控制,这17个视角具体可以包括:表示为(2π,0)的视角,水平视角下循环一周得到的(0,0)、(0,π/4)、(0,2π/4)、(0,3π/4)、(0,π)、(0,π/4)、(0,6π/4)、(0,7π/4)这8个视角,以及垂直往上π/4后再次旋转一周得到的(π/4,0)、(π/4,π/4)、(π/4,2π/4)、(π/4,3π/4)、(π/4,π)、(π/4,5π/4)、(π/4,6π/4)、(π/4,7π/4)这8个视角。通过从N个不同的视角,对以黑底背景展示的三维房屋模型进行截图处理,可以获得N个不同的视角对应的N张二维房屋图像,利用这N张二维房屋图像进行模型质量评估,可以较好地保证模型质量评估效果。

在一个可选示例中,步骤102中的将N张二维房屋图像输入神经网络,包括:

去除N张二维房屋图像中的每张二维房屋图像中的边缘无效黑色区域;

将去除了边缘无效黑色区域后的N张二维房屋图像输入神经网络。

需要说明的是,通过对以黑底背景展示的三维房屋模型进行截图处理得到的二维房屋图像的边缘可能存在大量的黑色区域,例如图4所示,因此,在通过截图处理得到N张二维房屋图像之后,可以针对每张二维房屋图像,分别确定边缘无效黑色区域。具体地,可以先确定图4中的二维房屋图像上下左右四个边缘点的坐标,然后逐渐向二维房屋图像的中心进行查找,以查找离任一边缘点比较近且包括的所有像素点的像素值均为黑色对应的像素值(例如0)的区域,查找出的任一区域即可作为边缘无效黑色区域,边缘无效黑色区域可以认为是在进行模型质量评估时没有参考价值的区域。

之后,可以去除N张二维房屋图像中的每张二维房屋图像中的边缘无效黑色区域,并将去除了边缘无效黑色区域后的N张二维房屋图像输入神经网络,这样不仅能够避免破洞区域和曝光区域的混淆对模型质量评估效果造成影响,还能够减小输入神经网络的二维房屋图像的大小,从而有利于缩短模型质量评估所需的时间,提高模型质量评估效率。

在一个可选示例中,三维房屋模型也可以称为房屋三维(Virtual Reality,VR)。为了实现房屋三维VR的模型质量评估,可以采取如下步骤:

步骤一:模拟人眼对房屋三维VR的关注视角,对样本房屋三维VR进行前端展示,取不同视角下的截图,得到样本房屋三维VR的二维图片集合,二维图像集合包括多张房屋三维VR截图(相当于上文中的二维房屋图像);

步骤二:根据上面的表2中涉及的7个模型质量评估维度,对由步骤一得到的样本房屋三维VR的二维图片集合中的房屋三维VR截图进行标注;

步骤三:将步骤一得到的样本房屋三维VR的二维图片集合中的房屋三维VR截图与步骤二得到的标注结果(相当于上文中的模型质量标注数据)作为卷积神经网络的输入进行训练;

步骤四:将房屋三维VR评估流程整合进房屋三维VR生产流程,得到每个房屋三维VR的模型质量评估结果。

可选地,由于上述的表2中涉及7个模型质量评估维度下的共计30个评估等级,在上述的步骤三中,如图5所示,可以将卷积神经网络最后一层的输出神经元设置为30个,在卷积神经网络中,还可以根据每个模型质量评估维度下的评估等级数量添加softmax激活函数并计算交叉熵,以使训练好的卷积神经网络能够针对任一输入图像(即上文中的二维房屋图像),输出7个模型质量评估维度对应的7个概率组(即概率组1至概率组7),任一模型质量评估维度对应的概率组可以认为是本模型质量评估维度下的各个评估等级的概率分布。

可选地,如图6所示,将房屋三维VR评估流程整合进房屋三维VR生产流程后,具体实施过程可以为:

(1)针对房屋进行拍摄,上传拍摄数据并依据拍摄数据进行3维重建,以得到房屋三维VR;

(2)基于房屋三维VR进行角度旋转,在多个视角截图,以得到截图数据(相当于上文中的N个视角对应的N张二维房屋图像);其中,为了实现截图,可以调用Chrome内核five框架打开房屋三维VR,默认俯仰角保持不变,通过控制水平和垂直的偏航角来实现不同的视角,并借助Chrome截图功能来实现截图;

(3)将房屋id和截图数据保存到存储结构上;

(4)若要进行房屋三维VR的模型质量评估,则可以下载对应截图数据,调用已训练好的卷积神经网络,以得到卷积神经网络的输出结果(相当于上文中的N个模型质量评估数据);

(5)将输出结果以一种轻量级的数据交换格式(JavaScript Object Notation,JSON)保存,同时可以按照预先配置的权重计算分数(相当于上文中的计算评估分数),之后可以输出模型质量评估结果,这样就实现了模型质量评估。

综上,本公开的实施例能够在无标准数据集作为参考的情况下,统一不同采集设备和不同重建算法得到的房屋三维VR的评价体系,同时模型质量评估结果符合用户在各个模型质量评估维度下的主观感知,模型质量评估结果与人工主观的模型质量评估结果具有较高的一致性,且性能稳定。

本公开的实施例提供的任一种三维房屋模型质量评估方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种三维房屋模型质量评估方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种三维房屋模型质量评估方法。下文不再赘述。

图7是本公开一示例性实施例提供的三维房屋模型质量评估装置的结构示意图,图7所示的装置包括第一获取模块701、第二获取模块702和输出模块703。

第一获取模块701,用于根据三维房屋模型,获得N个视角对应的N张二维房屋图像;其中,N为大于或等于2的整数;

第二获取模块702,用于将N张二维房屋图像输入神经网络,以获得神经网络输出的、N张二维房屋图像对应的N个模型质量评估数据;

输出模块703,用于根据N个视角和N个模型质量评估数据,输出三维房屋模型的模型质量评估结果。

在一个可选示例中,输出模块703,包括:

第一获取子模块,用于根据N个模型质量评估数据,分别为N张二维房屋图像中的每张二维房屋图像获得M个模型质量评估维度对应的M个概率组;其中,任一模型质量评估维度对应的概率组包括:本模型质量评估维度下的所有评估等级各自对应的概率,M为大于或等于1的整数;

确定子模块,用于根据为每张二维房屋图像获得的M个概率组,为每张二维房屋图像确定M个模型质量评估维度对应的M个评估分数;

输出子模块,用于根据N个视角和为每张二维房屋图像确定的M个评估分数,输出三维房屋模型的模型质量评估结果。

在一个可选示例中,确定子模块,包括:

第一获取单元,用于获取目标模型质量评估维度下的所有评估等级各自对应的权重;其中,目标模型质量评估维度为M个模型质量评估维度中的任一模型质量评估维度;

第二获取单元,用于根据所获得的权重,对为目标二维房屋图像确定的M个概率组中、目标模型质量评估维度对应的概率组中的所有概率进行加权求和,以得到加权求和结果;其中,目标二维房屋图像为N张二维房屋图像中的任一二维房屋图像;

确定单元,用于将加权求和结果作为为目标二维房屋图像确定的、目标模型质量评估维度对应的评估分数。

在一个可选示例中,模型质量评估结果包括:N个视角中的每个视角,以及为N张二维房屋图像中每个视角对应的二维房屋图像确定的M个评估分数之间的映射关系。

在一个可选示例中,第一获取模块701,包括:

展示子模块,用于以黑底背景展示三维房屋模型;

第二获取子模块,用于从N个视角,对以黑底背景展示的三维房屋模型进行截图处理,以得到N个视角对应的N张二维房屋图像。

在一个可选示例中,第二获取模块702,包括:

去消单元,用于去除N张二维房屋图像中的每张二维房屋图像中的边缘无效黑色区域;

输出单元,用于将去除了边缘无效黑色区域后的N张二维房屋图像输入神经网络。

在一个可选示例中,神经网络利用根据样本三维房屋模型获得的样本二维房屋图像,以及样本二维房屋图像的模型质量标注数据训练得到。

下面,参考图8来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。

图8图示了根据本公开实施例的电子设备800的框图。

如图8所示,电子设备800包括一个或多个处理器801和存储器802。

处理器801可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备800中的其他组件以执行期望的功能。

存储器802可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器801可以运行所述程序指令,以实现上文所述的本公开的各个实施例的三维房屋模型质量评估方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中,电子设备800还可以包括:输入装置803和输出装置804,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如,在电子设备800是第一设备或第二设备时,该输入装置803可以是麦克风或麦克风阵列。在电子设备800是单机设备时,该输入装置803可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。

此外,该输入装置803还可以包括例如键盘、鼠标等等。

该输出装置804可以向外部输出各种信息。该输出装置804可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。

当然,为了简化,图8中仅示出了该电子设备800中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备800还可以包括任何其他适当的组件。

除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维房屋模型质量评估方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维房屋模型质量评估方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号