一种基于三维建模与模型填补的3D打印系统及方法

摘要

本发明涉及一种基于三维建模与模型填补的3D打印系统及方法，该系统包括移动端、服务器端和打印终端，移动端和打印终端分别与服务器端连接，移动端用于输出待打印的人脸图片给服务器端，服务器端设置有依次连接的模型重建模块、模型填补模块和切片模块，模型重建模块与移动端连接，切片模块与打印终端连接，模型重建模块用于生成对应于人脸图片的人脸三维模型，模型填补模块用于对人脸三维模型的底部边缘进行模型填充，以将人脸三维模型封闭成一个流体，切片模块用于对填充后的人脸三维模型进行切片处理。与现有技术相比，本发明能够快速、准确、高效地实现人脸模型3D打印。

说明书

技术领域

本发明涉及3D打印技术领域，尤其是涉及一种基于三维建模与模型填补的3D打印系统及方法。

背景技术

现有的3D打印大多是通过在PC端建立模型后传输给3D打印机实现的，因此，当前的3D打印机必须通过数据线与PC端连接，且必须采用相关的切片软件对模型进行切片处理，这无疑增加了用户操作的复杂度。

此外，对于人脸三维重建而言，为了能够获取到深度信息以便后续重建模型，一方面只能借助结构光或深度相机等外部设备拍摄到高质量图片，另一方面则是利用运动恢复结构(structure from motion，SFM)对普通图片进行处理，前一种方式过度依赖于价格昂贵的外部拍摄设备，后一种方式处理后的相对精度较差，这就导致人脸三维重建的过程繁琐、成本较高，不利于3D打印的高效性与准确度。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三维建模与模型填补的3D打印系统及方法，以快速、准确、高效地实现人脸模型3D打印。

本发明的目的可以通过以下技术方案来实现：一种基于三维建模与模型填补的3D打印系统，包括移动端、服务器端和打印终端，所述移动端和打印终端分别与服务器端连接，所述移动端用于输出待打印的人脸图片给服务器端，所述服务器端设置有依次连接的模型重建模块、模型填补模块和切片模块，所述模型重建模块与移动端连接，所述切片模块与打印终端连接，所述模型重建模块用于生成对应于人脸图片的人脸三维模型，所述模型填补模块用于对人脸三维模型的底部边缘进行模型填充，以将人脸三维模型封闭成一个流体，所述切片模块用于对填充后的人脸三维模型进行切片处理。

进一步地，所述模型重建模块设置有用于提取人脸三维模型位置映射的CNN(Convolutional Neural Networks，卷积神经网络)单元，所述CNN单元采用沙漏网络构成。

进一步地，所述CNN单元包括编码结构和解码结构，所述编码结构和解码结构均包含多个残差块，所述编码结构用于对人脸图片进行编码处理，以得到多维特征图；

所述解码结构用于对多维特征图进行解码操作，以得到对应的位置映射。

进一步地，所述CNN单元具体由四个卷积层、三个池化层以及两个全连接层组成。

进一步地，所述模型填补模块包括特征点检测单元、点云匹配单元、非刚体配准单元和补洞单元，所述特征点检测单元用于获取人脸特征点信息，所述点云匹配单元用于生成对应于人脸特征信息的三维点云模型，所述非刚体配准单元用于对三维点云模型上的边界点进行非刚体配准，以减小模型边界点之间的距离，所述补洞单元用于对模型孔洞区域进行几何细节信息恢复。

进一步地，所述服务器端通过无线网络与打印终端连接。

进一步地，所述服务器端通过无线网络与移动端连接。

进一步地，所述打印终端具体为3D打印机或3D雕刻机。

进一步地，所述移动端连接有摄像头。

一种基于三维建模与模型填补的3D打印方法，包括以下步骤：

S1、移动端获取人脸图片，并将该人脸图片发送给服务器端；

S2、基于接收的人脸图片，服务器端首先生成对应的人脸三维模型，之后对人脸三维模型的底部边缘进行模型填充，以得到封闭的模型流体，最后对封闭的模型流体进行切片处理，得到切片文件；

S3、服务器端将切片文件发送给打印终端，由打印终端执行3D打印操作。

与现有技术相比，本发明具有以下优点：

一、本发明采用移动端、打印终端分别与服务器端连接的方式，利用服务器端的模型重建模块、模型填补模块和切片模块，能够直接对人脸图片进行人脸三维模型重建、模型填充和切片处理，不再需要额外采用数据线以及人工切片处理操作，由此减少用户的操作流程，方便快速进行3D打印操作，此外，服务器端的模型重建模块与模型填补模块能够保证重建后人脸三维模型的准确性，由此保证了3D打印的准确度。

二、本发明通过在服务器端设置模型重建模块和模型填补模块，其中，模型重建模块采用CNN网络结构进行规格化非刚性三维人脸的学习，结合模型填补模块能够充分恢复人脸形状细节、保证重建后人脸三维模型的精度，由此无需再依赖结构光或深度相机等外部设备获取高质量图片，针对普通图片，依旧能够获得精度高的人脸三维模型。

附图说明

图1为本发明的系统结构示意图；

图2为实施例中三维重建模型过程示意图；

图3为本发明的方法流程示意图；

图中标记说明：1、移动端，2、服务器端，20、模型重建模块，21、模型填补模块，22、切片模块，201、CNN单元，211、特征点检测单元，212、点云匹配单元，213、非刚体配准单元，214、补洞单元，3、打印终端。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种基于三维建模与模型填补的3D打印系统，包括移动端1、服务器端2和打印终端3，移动端1和打印终端3分别与服务器端2通过无线网络连接，在实际应用中，打印终端3可选用3D打印机或3D雕刻机，移动端1可连接至手机或其他移动设备的摄像头。

移动端1用于输出待打印的人脸图片给服务器端2，服务器端2设置有依次连接的模型重建模块20、模型填补模块21和切片模块22，模型重建模块20与移动端1连接，切片模块22与打印终端3连接，模型重建模块20用于生成对应于人脸图片的人脸三维模型，模型填补模块21用于对人脸三维模型的底部边缘进行模型填充，以将人脸三维模型封闭成一个流体，切片模块22用于对填充后的人脸三维模型进行切片处理。

考虑到目前普通的图片只能依赖于SFM获取深度信息，但相对精度较差，本技术方案从非刚性多视点立体(NRMVS)的角度来解决单幅或多幅图像重建人脸面部模型这个问题。与以往基于学习的方法直接回归人脸形状不同，本技术方案通过显式增强多视图外观一致性来优化三维人脸形状，这在传统的多视图立体方法中可以有效地恢复形状细节；通过基于多视图一致性的优化来估计人脸形状，可以对看不见的数据有更好的泛化。然而，这种优化是具有挑战性的，因为每个输入图像都有不同的表达式。本技术方案采用一个CNN网络来帮助它，这个CNN网络根据输入的图像和初步的优化结果来学习规格化非刚性的3D人脸，同时生成的3D人脸并非是一个封闭的整体无法进行切片和打印，再通过模型填充技术依照模型的底部边缘进行模型填充，将模型封闭成一个流体再交由切片程序进行切片成打印机识别的文件格式，最后由打印机负责打印。

因此，模型重建模块20设置有用于提取人脸三维模型位置映射的CNN单元201，本实施例中，CNN单元201采用沙漏网络构成，CNN单元201包括编码结构和解码结构，编码结构和解码结构均包含多个残差块，编码结构用于对人脸图片进行编码处理，以得到多维特征图；解码结构用于对多维特征图进行解码操作，以得到对应的位置映射。

如图2所示，CNN单元201具体由四个卷积层、三个池化层以及两个全连接层组成。算法模型的输入由两张图像叠加构成：一个是100*100*3大小的二维人脸图像，另一个是100*100*3大小的PNCC特征图。PNCC特征图记录着三维人脸的形状、旋转等信息，输入信息首先经过四个卷积层，然后在经过三个池化层以及两个全连接层，最终得到一个234维的特征向量。这个234维特征向量所包含的信息为：6个维度的位置信息、199个维度的3DMM形变模型的形状参数信息以及29个维度的形变模型的纹理参数信息。在得到这个特征向量后，会把此信息叠加到原来的PNCC特征图上，以此得到修正的PNCC特征图，然后再把它和输入的人脸图片重新输入到网络中，以此重复迭代，直至收敛。此外，为了更好的拟合三维人脸特征，实际应用中可采用加权参数距离损失函数来训练模型，该损失函数可以让网络优先优化模型的外观参数，当网络预测的形变模型的外观参数接近真实的形变模型的外观参数时，再去优化其它的参数。

此外，模型填补模块21包括特征点检测单元211、点云匹配单元212、非刚体配准单元213和补洞单元214，特征点检测单元211用于获取人脸特征点信息，点云匹配单元212用于生成对应于人脸特征信息的三维点云模型，非刚体配准单元213用于对三维点云模型上的边界点进行非刚体配准，以减小模型边界点之间的距离，补洞单元214用于对模型孔洞区域进行几何细节信息恢复。

将上述3D打印系统应用于实际，其具体的方法过程如图3所示，包括以下步骤：

S1、移动端获取人脸图片，并将该人脸图片发送给服务器端；

S2、基于接收的人脸图片，服务器端首先生成对应的人脸三维模型，之后对人脸三维模型的底部边缘进行模型填充，以得到封闭的模型流体，最后对封闭的模型流体进行切片处理，得到切片文件；

S3、服务器端将切片文件发送给打印终端，由打印终端执行3D打印操作。

其中，服务器端进行模型填充时，首先是通过人脸特征点检测的方法获取到人脸的特征点信息，根据这些特征点的图像坐标与点云上各个顶点坐标存在的相对应的联系来获取具体的三维坐标信息，在实际使用中往往人脸的3D信息和用于对照的人脸的模型存在较大差异，需要根据实际比例对生成得到的人脸三维模型进行预处理，将脸部轮廓范围与生成的三维点云的范围相一致。在人脸模型上选取两个参照点W、Y，两个参照点应分别在脸部中心的两边，以及在参照的二维脸部图片上的对应点Y

综上所述，本发明由于在服务器端内置有三维重建和模型填充和切片模块，所以无需额外进行有线连接和自己人工进行切片处理，减少了操作流程，方便无基础的使用者也能操作和打印所需文件。同时采用无线传输功能，服务器端通过网络可直接与打印机进行远程连接和无线传输，可以将服务器端生成的模型直接进行打印，本发明还基于深度学习进行人脸面部的三维重建，可以通过在移动端上直接输入需要打印的图片或使用摄像头拍摄获取图片，服务器端使用人脸面部轮廓检测技术对图片进行裁剪获得目标区域，再利用三维重建算法将裁剪的图片重建为三维模型，然后使用切片引擎对三维模型进行切片，切片完成后通过无线网络将打印请求与切片文件发送至打印终端。对比于一般的人脸三维重建技术需要使用结构光或深度相机等外部设备，本发明更加快捷方便，只需要简单获取普通的人脸图片，其他的工作直接交由服务器端完成，而一般的人脸三维重建还需要使用三维重建软件，操作繁琐而且需要浪费额外的模型重建时间。