一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置

摘要

本发明公开了一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置，属于点云数字信号处理领域。所述方法包括：对点云数据进行离线训练得到拉格朗日乘子模型；将点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；根据拉格朗日乘子模型及各编码结果，筛选出不同模式中的最优模式。本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时基于训练得到的拉格朗日乘子模型在不同的映射模式中确定最优模式，提高了编码性能，提升了点云数据的整体编码效果。

说明书

技术领域

本发明涉及点云数字信号处理领域，尤其涉及一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置。

背景技术

对比多路纹理加深度的数据格式，三维点云是一种更加高效的数据表示形式，其由大量的三维无序点组成，每一个点包括位置信息(X，Y，Z)以及若干属性信息(颜色，法向量等)。三维点云在自由视点渲染方面具有数据量小，处理方便等优点；同时，随着计算机硬件及算法的不断发展，三维点云数据的获取也越来越方便，为了方便的对点云数据进行存储与传输，点云压缩技术逐渐成为人们关注的焦点。

MPEG(Moving Pictures Experts Group/Motion Pictures Experts Group，动态图像专家组)成立工作组3DG，对于点云编码方案做了研究和征集，可参见以下文献1；MP3DG-PCC是MPEG推荐的一个点云编码软件，对于点云的位置信息以及颜色信息进行编码，可参见以下文献2；其中，对于颜色信息进行编码时，首先进行映射，即采用单种映射方式将三维的点云信息，映射到二维平面，如图1所示，其中虚线内的点为映射时的起点，然后通过JPEG对于映射后的点云颜色信息进行编码。然而，对于不同的点云数据，单种映射方式无法充分利用点云数据间的相关性，从而响应了点云数据整体的编码效果。再者，在现有的视频编码中，拉格朗日优化算法被大量的应用于模式决策中，可参见以下文献3和文献4，然而，并没有一种基于点云数据的决策模型，即没有一种基于点云数据特征的拉格朗日乘子模型，因而即使采用多种映射方式对点云数据进行映射，也无法确定其中最优的模式。

文献1：“Draft call for proposals for point cloud compression,”in ISO/IECJTC1/SC29/WG11(MPEG)output document N16538,Oct.2016.

文献2：R.Mekuria,K.Blom,and P.Cesar,“Design,implementationandevaluation of a point cloud codec for tele-immersive video,”IEEETransactions on Circuits and Systems for Video Technology,vol.PP,no.99,pp.1–1,2016.

文献3：G.J.Sullivan and T.Wiegand,“Rate-distortion optimization forvideocompression,”IEEE Signal Processing Magazine,vol.15,no.6,pp.74–90,1998.

文献4：J.Liu,Y.Cho,Z.Guo,and J.Kuo,“Bit allocation for spatialscalabilitycodingof h.264/svc with dependent rate-distortion analysis,”IEEETransactions on Circuits and Systems for Video Technology,vol.20,no.7,pp.967–981,2010.

发明内容

为解决现有技术的不足，本发明提供一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置。

一方面，本发明提供了一种基于拉格朗日乘子模型的点云帧内编码优化方法，包括：

步骤S1：对点云数据进行离线训练得到拉格朗日乘子模型；

步骤S2：将所述点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；

步骤S3：根据所述拉格朗日乘子模型及所述各编码结果，筛选出所述不同模式中的最优模式。

可选地，所述步骤S1，具体包括：

步骤S1-1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；

步骤S1-2：根据所述拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；

步骤S1-3：在预设编码软件中，设置预设数量的编码质量参数后，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；

步骤S1-4：对所述预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。

可选地，所述步骤S2，具体包括：

步骤S3-1：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；

步骤S3-2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。

可选地，所述步骤S3，具体包括：

步骤S4-1：根据所述预设编码质量参数和所述拉格朗日乘子模型计算对应的拉格朗日乘子；

步骤S4-2：根据计算得到的拉格朗日乘子、所述失真代价的计算公式及所述各第二失真和码率组合，计算对应的各模式的失真代价；

步骤S4-3：比对所述各模式的失真代价，并将最小失真代价对应的模式作为最优模式。

另一方面，本发明提供一种基于拉格朗日乘子模型的点云帧内编码优化装置，包括：

离线训练模块，用于对点云数据进行离线训练得到拉格朗日乘子模型；

映射模块，用于将所述点云数据按照不同模式分别进行映射，得到不同的映射数据；

编码模块，用于对所述映射模块得到的各映射数据分别进行独立编码得到对应的各编码结果；

筛选模块，用于根据所述离线训练模块得到的拉格朗日乘子模型及所述编码模块得到的各编码结果，筛选出所述不同模式中的最优模式。

可选地，所述离线训练模块，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块；

所述转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；

所述变换子模块，用于根据所述转换子模块得到的拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；

所述设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量参数；

所述编码子模块，用于根据所述设置子模块设置的编码质量参数，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；

所述拟合子模块，用于对所述编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对所述变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。

可选地，所述映射模块，具体用于：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；

可选地，所述编码模块，用于根据预设编码质量参数对所述映射模块得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。

可选地，所述筛选模块，具体包括：第一计算子模块、第二计算子模块和比对子模块；

所述第一计算子模块，用于根据所述预设编码质量参数和所述离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；

所述第二计算子模块，用于根据所述第一计算子模块计算的拉格朗日乘子、所述失真代价的计算公式及所述编码模块得到的各第二失真和码率组合，计算对应的各模式的失真代价；

所述比对子模块，用于比对所述第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。

本发明的优点在于：

本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时，通过对点云数据进行离线训练，得到拉格朗日乘子模型，并对不同模式映射后的点云数据分别进行编码得到对应的编码结果(失真和码率组合)，基于训练得到的拉格朗日乘子模型(λ-Q模型)以及各编码结果确定不同映射模式的失真代价，进而根据各失真代价在不同映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1为现有技术中对点云数据的颜色信息进行编码时的映射方式示意图；

附图2为本发明提供的一种基于拉格朗日乘子模型的点云帧内编码决策方法流程图；

附图3为本发明提供的各第一失真和码率组合的示意图；

附图4为本发明提供的对变换后的拉格朗日乘子表达式进行数据拟合的结果示意图；

附图5为本法发明提供的对点云数据的颜色信息进行编码时的映射方式示意图；

附图6和附图7为本发明中的方法与MP3DG-PCC编码方法的性能比对图；

附图8为本发明提供的一种基于拉格朗日乘子模型的点云帧内编码决策装置模块组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

根据本发明的实施方式，提供一种基于拉格朗日乘子模型的点云帧内编码优化方法，如图2所示，包括：

步骤101：对点云数据进行离线训练得到拉格朗日乘子模型；

根据本发明的实施方式，步骤101，具体包括：

步骤101-1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；

本发明中，从视频编码领域引入拉格朗日优化方法，将编码得到编码结果，即失真和码率，作为编码性能的评价指标计算失真代价，其中，失真代价的计算公式，具体为J＝D+λR，其中，J为失真代价(Rate-Distortion cost，简称RD cost)，D为失真，R为码率，λ为拉格朗日乘子；

步骤101-1具体为：将失真代价的计算公式对λ求导，得到从而可得拉格朗日乘子λ的表达式为：

步骤101-2：根据拉格朗日乘子表达式的几何含义，对拉格朗日乘子表达式进行变换；

具体地，由于失真和码率属于不同的维度，通过编码得到的一个失真和码率组合对应于一个点，且失真为点的纵坐标，码率为点的横坐标；因而拉格朗日乘子λ的表达式的几何含义为RD曲线的斜率，从而对拉格朗日乘子的表达式进行变换为：即相邻两个点的纵坐标之差与横坐标之差的比。

步骤101-3：在预设编码软件配置中，设置预设数量的编码质量参数后，对点云数据进行编码，得到相应预设数量的第一失真和码率组合；

其中，预设编码软件，具体为MP3DG-PCC编码软件，预设数量介于1至100之间，可以根据需求自行设定；

其中，每个失真即，每一个失真为R、G、B三个通道失真的平均值；

例如，在本实施例中，预设数量为25，分别对名称为Facade_00009、Shiva_00035、Stanford_Area_2的点云帧进行编码，得到的各第一失真和码率组合如图3所示。

步骤101-4：对得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。

具体地，预设数量的第一失真和码率组合对应了预设数量的点，分别计算相邻两点之间的斜率，得到“预设数量-1”个斜率，并使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。

在本实施例中，得到的拉格朗日乘子模型(λ-Q模型)，具体为：λ_Q＝αQ^β，其中，λ_Q为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值，其中α＝0.7121，β＝-1.002。

例如，在本实施例中，使用对名称为Facade_00009、Shiva_00035、Stanford_Area_2的点云帧进行编码得到的各第一失真和码率组合对变换后的拉格朗日乘子表达式进行数据拟合，其结果如图4所示。

步骤102：将点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；

根据本发明的实施方式，步骤102，具体包括：

步骤102-1：将点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；

优选地，在本实施例中，按照深度优先的原则，将点云数据按照8种不同模式分别映射到8*8的网格中，如图5所示，得到不同的8种映射数据，其中，虚线内的点为映射时的起点。

进一步地，在本实施例中，将点云数据按照某一模式进行映射时，当一个8*8的网格映射完成时，如仍有尚未映射的点云数据，则将该8*8的网格作为第一排的第一个网格，并按照从左到右的顺序，继续在第一个网格的右侧，依次排布下一个8*8的网格，直至排满256个点时，进行下一排的排布，即最终得到一个N*256的照片，其中，N是排的数量。

本发明中，提供多种不同的映射方式，相比于现有的单模式映射，提供了更多的编码选择。

步骤102-2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。

具体地，在本实施例中，根据预设编码质量参数对得到的8种不同的映射数据分别进行独立的JPEG编码，得到对应的8个编码结果，即对应的8个第二失真和码率组合。

步骤103：根据拉格朗日乘子模型及得到的各编码结果，筛选出不同模式中的最优模式。

根据本发明的实施方式，步骤103，具体包括：

步骤103-1：根据预设编码质量参数和拉格朗日乘子模型计算对应的拉格朗日乘子；

具体地，将预设编码质量参数带入拉格朗日乘子模型λ_Q＝αQ^β中，其中α＝0.7121，β＝-1.002，计算预设编码质量参数对应的拉格朗日乘子。

步骤103-2：根据计算得到的拉格朗日乘子、失真代价的计算公式及各第二失真和码率组合，计算对应的各模式的失真代价；

在本实施例中，由于按照多种不同的模式进行映射，故失真代价的计算公式J＝D+λR，可以进一步表示为J(m_i)＝D(m_i)+λR(m_i)，其中，J(m_i)为在映射模式m_i下的失真代价，D(m_i)为在映射模式m_i下的失真，R(m_i)为在映射模式m_i下的码率；

具体地，分别将计算得到的拉格朗日乘子和各第二失真和码率组合，通过公式J(m_i)＝D(m_i)+λR(m_i)计算出映射模式m_i下的失真代价。

步骤103-3：比对得到的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。

具体地，比对得到的8个失真代价，并将最小失真代价对应的映射模式作为最优模式，即得到最优的编码模式。

本发明中，通过将编码结果，即失真和码率组合作为编码性能的评价指标，进行各映射模式的失真代价计算，进而在各映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。

进一步地，为体现本发明技术方案的优势，如图6和图7所示，分别给出了使用本发明中的方法与现有的方法MP3DG-PCC在中高码率(编码质量参数QF为{85，75，65，55})和中低码率(编码质量参数QF为{55，45，35，25})上，对名称为Egyptian_mask、Landscape(00014)…Standford_Area4的点云帧在R、G、B三个通道上进行编码的性能对比结果，其中的数据表明，本发明中的方法要好于现有的MP3DG-PCC方法，并且数值越大，表明本发明中的方法相对于现有的方法越好。

实施例二

根据本发明的实施方式，提供一种基于拉格朗日乘子模型的点云帧内编码优化装置，如图8所示，包括：

离线训练模块201，用于对点云数据进行离线训练得到拉格朗日乘子模型；

映射模块202，用于将点云数据按照不同模式分别进行映射，得到不同的映射数据；

编码模块203，用于对映射模块202得到的各映射数据分别进行独立编码得到对应的各编码结果；

筛选模块204，用于根据离线训练模块201得到的拉格朗日乘子模型及编码模块203得到的各编码结果，筛选出不同模式中的最优模式。

根据本发明的实施方式，离线训练模块201，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块，其中：

转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；

根据本发明的实施方式，失真代价的计算公式，具体为J＝D+λR，其中，J为失真代价(Rate-Distortion cost，简称RD cost)，D为失真，R为码率，λ为拉格朗日乘子；

在本实施例中，转换子模块，具体用于：将失真代价的计算公式对λ求导，得到进而可得拉格朗日乘子λ的表达式为：

变换子模块，用于根据转换子模块得到的拉格朗日乘子表达式的几何含义，对拉格朗日乘子表达式进行变换；

根据本发明的实施方式，由于失真和码率属于不同的维度，通过编码得到的一个失真和码率组合对应于一个点，且失真为点的纵坐标，码率为点的横坐标；因而拉格朗日乘子λ的表达式的几何含义为RD曲线的斜率；

对应地，变换子模块，具体用于：将拉格朗日乘子的表达式变换为：即相邻两个点的纵坐标之差与横坐标之差的比。

设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量参数；

其中，预设编码软件，具体为MP3DG-PCC编码软件，预设数量可以根据需求自行设定；

编码子模块，用于根据设置子模块设置的编码质量参数，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；

拟合子模块，用于对编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。

在本实施例中，拟合子模块得到的拉格朗日乘子模型，具体为：λ_Q＝αQ^β，其中，λ_Q为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值，其中α＝0.7121，β＝-1.002。

根据本发明的实施方式，映射模块202，具体用于：将点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；

更加具体地，映射模块202，用于按照深度优先的原则，将点云数据按照8种不同模式分别映射到8*8的网格中，得到不同的8种映射数据。

根据本发明的实施方式，编码模块203，具体用于：根据预设编码质量参数对映射模块202得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。

更加具体地，编码模块203，用于根据预设编码质量参数对映射模块202得到的8种不同的映射数据分别进行独立的JPEG编码，得到对应的8个编码结果，即对应的8个第二失真和码率组合。

根据本发明的实施方式，筛选模块204，具体包括：第一计算子模块、第二计算子模块和比对子模块，其中：

第一计算子模块，用于根据预设编码质量参数和离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；

第二计算子模块，用于根据第一计算子模块计算的拉格朗日乘子、失真代价的计算公式及编码模块203得到的各第二失真和码率组合，计算对应的各模式的失真代价；

比对子模块，用于比对第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。

其中；第一计算子模块，具体用于：将预设编码质量参数带入离线训练模块201得到的拉格朗日乘子模型λ_Q＝αQ^β中，计算预设编码质量参数对应的拉格朗日乘子；

进一步地，在本实施例中，由于按照多种不同的模式进行映射，故失真代价的计算公式J＝D+λR，可以进一步表示为J(m_i)＝D(m_i)+λR(m_i)，其中，J(m_i)为在映射模式m_i下的失真代价，D(m_i)为在映射模式m_i下的失真，R(m_i)为在映射模式m_i下的码率；

对应地，第二计算子模块，具体用于：将第一计算子模块得到的拉格朗日乘子和编码模块203得到的各第二失真和码率组合，通过公式J(m_i)＝D(m_i)+λR(m_i)计算出映射模式m_i下的失真代价。

本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时，通过对点云数据进行离线训练，得到拉格朗日乘子模型，并对不同模式映射后的点云数据分别进行编码得到对应的编码结果(失真和码率组合)，基于训练得到的拉格朗日乘子模型(λ-Q模型)以及各编码结果确定不同映射模式的失真代价，进而根据各失真代价在不同映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。