多视点视频编码

摘要： “元宇宙”概念的出现引起了学术界与产业界的广泛关注,它给人们带来了巨大的想象空间。作为元宇宙系统的底层基础,交互式多媒体技术能够满足元宇宙所需的虚实融合、逼真呈现、高交互性等应用特点,成为人们高度关注的研究领域。交互式媒体以三维场景为观察对象,以三维时空分布的点云、图像等为数据表达,在技术流程上包括三维视觉数据的获取、处理、显示等几大环节,形成了庞大的技术分支,汇聚了丰富的技术成果。本文从上述三个环节入手,分别对当前的最新技术和成果展开综述,报告了相关的科学问题、研究方法和技术效果。这些成果将为未来元宇宙系统的流畅运行奠定坚实的基础。

摘要： 在当今这个数据爆炸增长的时代,深度学习强大的非线性建模能力进一步提高了多视点视频编码的率失真性能.对此,介绍多视点视频的特点及应用,重点对深度学习背景下现有的多视点视频编码方法进行介绍和总结,并展望多视点视频编码未来的发展趋势,旨在进一步发挥深度学习的能力,为用户提供更佳的观看体验.

摘要： 提出了自适应的多视点视频编码(Multi-view video coding,MVC)视点间预测结构算法.首先根据视点间相似度分析确定I-视点的位置,然后利用相机的几何关系预测I-视点和P-视点之间插入B-视点的数目,灵活调整视点间预测结构,提高编码效率.实验表明,所提出的算法与视点间独立编码相比,PSNR平均提高1.28 dB.

摘要： 在分布武多视点视频编码(distributed multi-view video coding,DMVC)数据传输过程中,编码方式不同导致K帧与WZ帧受信道误码影响也不相同,因此提出了一种DMVC整体容错传输框架,针对K帧及WZ帧特性设计了不同的容错保护传输方案并进行有效融合.针对K帧的容错传输问题,首先根据左、右相邻视点的对应K帧,利用DIBR算法产生的空间边信息对丢失块进行初始修复;然后根据K帧同一视点内的相邻已解码帧,生成它的时间参考帧,对K帧的丢失块进行重修复.针对WZ帧的容错传输问题,提出了基于不等错误保护(unequal error protection,UEP)的编码算法,根据不同频带的各个比特面的重要性不同,对低频带、高比特面进行更加合理的码率分配,在不增加编码端复杂度的前提下提高了WZ帧的误码容错性能.实验结果表明:在K帧和WZ帧均出现丢包的情况下(丢包率为5％～15％),相比K帧采用传统的帧内错误隐藏加WZ帧采用参考文献码率的算法,本文方案对视频序列重建图像的BD-PSNR平均提升了2.39～4.68 dB,且随着丢包率的增加,提升效果更加显著.

摘要： Compression artifacts of the depth images generated by multi-view video coding always lead to seriously geometry distortions in synthesized views.To remove the noise caused by encoding in depth image, a depth image denoising algorithm based on graph cut was proposed.The local binary patterns operator of depth image and corresponding color image were incorporated into this algorithm, and the edge imformation of depth image was effectively kept.Experimental results show that the quality of the virtual viewpoint rendered using denoised depth image is also greatly improved, the proposed approach offers 0.35 dB average PSNR gains comparing with the traditional filtering method, as well as significant subjective improvement in synthesized views.%多视点视频编码给深度图带来的编码块效应,导致合成的虚拟视点中出现严重的几何失真,为去除深度图中编码带来的噪声,提出一种基于图割的深度图去噪算法.将深度图及相应的彩色图的局部二值模式(LBP)算子作为去噪的约束,融入算法中,有效保持深度图的边缘信息.实验结果表明,由去噪后深度图绘制的虚拟视点的质量得到大幅提高,相对目前优秀的滤波方法能平均获得0.35 dB的PSNR增益,主观效果的提升非常明显.

摘要： 提出了一种针对多视点视频编码中Direct模式的提前终止算法.该算法基于当前编码宏块相邻视点、时间及空间方向的已编码邻近宏块的编码信息,提出了一个描述当前宏块的邻近块代价影响因子,通过与阈值比较可对多数编码宏块直接选择Direct模式进行编码,从而略过其他模式的相关计算.实验结果表明,与原始的多视点视频编码算法相比,该算法可平均减少约88.2%的编码时间,同时峰值信噪比仅下降约0.29dB,编码比特率增加约0.68%.

摘要： Aimed at the high complexity of multi view video coding,a fast algorithm based on the correlation of adjacent macro-block’s coding information is proposed in this paper.Using the relativity of adjacent macro-block’s rate distortion cost distribution in inter views of multi view video,current macro-block’s SKIP mode can be prejudge.According to the motion vector difference in the adjoining domains from visual,temporal and spatial perspective,current macro-block’s mo-tion activity can be classified quickly.Search range is adjusted and suitable mode size is chosen in accordance with the dif-ferent motion activity.Through coding performance testing on multi view video sequences that has respective motion activity characteristics,the simulation results show that this algorithm achieves a reduction of the encoding time by 66% on aver-age,while incurring only 0.04 dB loss in peak signal-to-noise ratio and 0.75%increment on the total bit rate compare with JMVM ergodic model.%针对多视点视频编码的高复杂度，提出一种利用相邻宏块编码信息的相关性进行编码的快速算法。利用多视点视频相邻宏块率失真代价分布的相关性，对当前宏块进行SKIP模式下的提前判决；根据视点间、时间和空间相邻区域运动矢量差值对当前宏块运动类型进行快速分类；针对不同的运动类型调整搜索范围，选择相应尺寸大小的编码模式。通过对具有不同运动特性的多视点视频编码性能测试，结果表明，相对于联合多视点视频模型（joint multi view video model，JMVM）遍历模式，在增加0．75％输出比特率和降低0．04 dB峰值信噪比的情况下，该快速编码算法能平均减少66％的编码时间。

摘要： 为解决多视点视频编码(MVC)计算复杂度过高的问题,提出一种多视点视频编码快速预测算法.计算当前宏块Direct模式的率失真代价并将其与自适应阈值进行比较,以提供有效的提前终止策略.当率失真代价小于自适应阈值时,Direct模式被选作最优模式,模式选择过程提前终止.当率失真代价大于自适应阈值时,利用运动复杂度将当前宏块分成不同的运动类型,每种类型的宏块仅检查指定的模式,从而使得不必要的模式检查过程提前结束.实验结果表明,该算法在保持几乎不变的编码效率基础上,大幅减少了MVC的计算量.

摘要： 针对多视点视频结构复杂、带宽大小非常有限的问题,提出了基于帧处理时间模型的多视点视频解码延迟分析框架,该框架的译码器在具有多线程处理能力的多核处理器上实现.首先,假设解码延迟系统每帧在一个独立专用的处理器上被解码;然后,利用有向无环图(DGA)计算硬件解码延迟;最后,在每次迭代中,计算解码计时和解码帧的数量,定义解码时间间隔.在多视点视频实验中,对于双核处器解码计算量在60ms能得到500ms下的通信延迟值,对于四核处理器100ms解码计算量也能得到500ms下的通信延迟值.实验结果表明,一帧处理时间的上限值可以保证目标延迟值,该框架可以应用到最小通信延迟的多视点视频编码系统.%For the issue that multi-view video has more complex structure and very limited bandwidth with the needing for the decoding delay analysis system, a framework of analysis of the decoding delay in multi-view coding (MVC) is proposed. The decoder of the framework achieves on multi-core processors capabilities of multi-threaded processing. Firstly, decoding delay system assumes each frame is decoded in a separate dedicated processor. Then, a directed acyclic-graph (DGA) is used to compute hardware decoding delay. Finally, the decoding timing and the number of decoded frames are calculated, and the decoding interval is defined. In multi-view video experiments, for dual-core decoder, the calculating cost in 60ms can get the delay value under 500ms. And for a four-core processor, the calculating cost in 100ms can also obtain the delay value under 500ms. Therefore the experimental results shows that a frame the upper limit of the processing time of a frame can guarantee target delay value, and the framework can be applied to multi-view video coding system of minimum communication delay.

摘要： 现有的多视点视频编码使用了分层B帧(Hierarchical B Picture,HBP)的预测结构,其帧内预测、帧间预测以及视点间预测的模式选择给多视点视频编码带来了庞大的计算复杂度.针对这一问题,在分析了JMVC模式分布比例的基础上,提出了一个快速帧间模式选择的算法.这种算法利用率失真代价和预测模式特征之间的关系来及时判定最优模式:如果上一尺寸预测模式的率失真代价小于当前尺寸预测模式的率失真代价则认为上一预测模式为最优模式,跳过检查其他更小尺寸的预测模式;反之,如果上一尺寸的预测模式的率失真代价大于当前尺寸的预测模式的率失真代价,则继续检查其他更小的尺寸.这样,通过提前终止一些不必要的模式选择过程,多视点视频编码的计算量得到大幅的降低.实验结果表明:所提算法能在保持JMVC中全搜索算法的编码效率同时,使计算复杂度减少了81.66％.

摘要： 多视点视频码率控制是多视点视频编码(MVC)中的一项关键技术。本文首先简单介绍了MVC的预测结构，然后详细讨论了多视点视频码率控制的研究内容及其研究现状，内容包括码率-量化(R-Q)模型、分层码率控制(包括GGOP层码率控制、GOP层码率控制、帧层码率控制、宏块层码率控制)、彩色和深度联合码率控制、基于小波变换的比特分配、基于主观质量的比特分配。最后在总结多视点视频码率控制研究现状的基础上，给出了多视点视频码率控制的研究展望。

摘要： 多视点视频码率控制是多视点视频编码(MVC)中的一项关键技术.本文首先简单介绍了MVC的预测结构,然后详细讨论了多视点视频码率控制的研究内容及其研究现状,内容包括码率-量化(R-Q)模型、分层码率控制(包括GGOP层码率控制、GOP层码率控制、帧层码率控制、宏块层码率控制)、彩色和深度联合码率控制、基于小波变换的比特分配、基于丰观质量的比特分配.最后在总结多视点视频码率控制研究现状的基础上,给出了多视点视频码率控制的研究展望.

摘要： 多视点视频编码采用了率失真优化技术来进行最优编码模式的选择，使得图像质量和编码比特率上达到平衡,大大提高了视频压缩效率。失真测度的选择对运动/视差估计中匹配块的选择有很大影响。在多视点视频编码校验模型中，失真测度选择的是当前块与参考块之间的绝对差和(SAD)和平方差和(SSD)，但传统的失真测度并没有考虑人眼的视觉特性。结构相似度(SSIM)是新提出的一种图像质量评价方法,与其他评价方法相比,它更加符合人眼视觉系统且计算量不大,为进一步提高多视点视频编码中压缩效率,本文将SSIM代替传统的SAD和SSD作为失真测度，提出了一种视觉感知率失真模型算法(VPRDO)。实验结果显示，该算法可以在保持视觉质量不下降的前提下，平均节约12%左右的码流。

摘要： 多视点视频是当前研究的热门领域，应用前景比较广泛。本文中主要讨论基于IBM 的 CELL 多核处理机的多视点视频编码（Multi-view Video Coding，简称 MVC）中 CELL 支持的 SIMD 指令的应用。本文总结了一些使用 SIMD 指令进行优化的思想，分析使用 SIMD 指令的预期效果。依据 这些 SIMD 优化思想，本文提出一个 SIMD 优化算法，来实际说明 SIMD 优化的应用。并且通过列 举实验数据说明在DCT和帧间预测模式两部分中使用SIMD优化之后，此部分的速度为未使用SIMD 的情况下的大约 2.28 倍。从而证明 SIMD 指令的应用潜能。同时本文虽然基于 MVC，但是总结的 SIMD 使用思想，对 CELL 上的 SIMD 优化具有普遍意义。

摘要： 多视点视频是当前研究的热门领域，应用前景比较广泛。本文中主要讨论基于IBM的CELL多核处理机的多视点视频编码(Multi-view Video Coding，简称 MVC)中CELL支持的SIMD指令的应用。本文总结了一些使用SIMD指令进行优化的思想，分析使用SIMD指令的预期效果。依据这些SIMD优化思想，本文提出一个SIMD优化算法，来实际说明SIMD优化的应用。并且通过列举实验数据说明在DCT和帧间预测模式两部分中使用SIMD优化之后，此部分的速度为未使用SIMD的情况下的大约2.28倍。从而证明SIMD指令的应用潜能。同时本文虽然基于MVC，但是总结的SIMD使用思想，对CELL上的SIMD优化具有普遍意义。

摘要： 码率控制技术是多视点视频编码与传输中一个核心与关键的问题。本文提出一种多视点彩色和深度独立编码的码率控制算法，算法分为四层，分别是彩色和深度层、视点层、GOP(group of picture) 层和帧层。在彩色和深度层，以虚拟视点绘制质量为标准，选择一个最优的彩色和深度比特分配比例。在视点层，根据各个视点编码结果的统计规律，不同序列采用不同的视点间比特分配比例。在GOP 层，确定各个GOP的起始量化参数和目标码率。并且，采用编码比特和量化参数来表征各帧的复杂度，用于帧层码率分配。实验结果显示，本文算法具有较好的码率控制精度，以满足3D 视频系统的要求。

摘要： 中文摘要应在文章总字数的5％左右，一般不超过300字。摘要应涵盖全文。摘要内容包括研究目的、方法、结果等，注意不是标题的罗列，能独立成文，不能出现公式号和文献号。针对多视点视频存在的三维视觉感知冗余，提出基于感兴趣区域的多视点视频编码方法提高压缩效率。先根据人们对多视点视频的感兴趣程度定义感兴趣区域(ROI)和非感兴趣区域(non-ROI)，然后提出低复杂度全自动的ROI提取算法，利用接近于语义的深度信息，有效保证了ROI提取得速度和准确性。最后，基于提取ROI和多视点视频加深度的数据格式提出基于ROI的多视点视频编码框架，为ROI区域分配较多的码率以提高视频质量，而为non-ROI区域分配较少码率以提高压缩比。结果表明在保证主观质量一致的前提下，提高压缩效率达11.34％至21.41％。

摘要： 多视点视频应用的关键是压缩编码技术，而目前对基于H．264多视点视频编(MVC：Mulit-vicwvideo Coding)的方案被广泛认同，其中基于分级B帧的MVC综合利用了多视点视频序列时间和视点间的相关性，具有较高的编码效率;但其复杂的预测结构阻碍了编解码器的具体实现，而且编码效率也需进一步提高。本文对其时间/视点间预测结构进行简化，提出两种改进方案。通过MVC校验模型JMVM3．0对一组测试序列进行了编码实验，结果表明：改进方案一能够简化预测结构使并行处理成为可能但其压缩效率略有下降，而改进方案二能够提高编码效率可达0．2dB。

摘要： 为了能得到一种具有立体感和交互操作功能的新型视频,在基于时空信息的单通道视频对象分割基础上,给出了多视点视频编码中视频对象的提取方案,并提出了一种基于对象的视差匹配算法,以提高视差估计的精确性和可靠性;并通过视差插值实现了视频对象的中间视点图象合成.实验结果显示所提出的方法是可行和有效的.

摘要： 在伴随相机间的局部的亮度、颜色的失谐的多视点视频中，也实现高效率的编码方法。根据多视点视频的编码对象视点中与编码对象帧同时刻被拍摄的、与编码对象视点不同的参考视点中已经编码完毕的参考视点帧，合成出与编码对象帧对应的视点合成图像。按预定大小的每个处理单位区域，搜索出与视点合成图像对应的、编码对象视点中已经编码完毕的参考帧上的参考区域。根据对应处理单位区域的视点合成图像和对应参考区域的参考帧，推断出校正相机间失谐的校正参数。利用已推断出的校正参数，校正对应处理单位区域的视点合成图像。利用已校正的视点合成图像，预测编码编码对象视点的视频。

摘要： 在伴随相机间的局部的亮度、颜色的失谐的多视点视频中，也实现高效率的编码方法。根据多视点视频的编码对象视点中与编码对象帧同时刻被拍摄的、与编码对象视点不同的参考视点中已经编码完毕的参考视点帧，合成出与编码对象帧对应的视点合成图像。按预定大小的每个处理单位区域，搜索出与视点合成图像对应的、编码对象视点中已经编码完毕的参考帧上的参考区域。根据对应处理单位区域的视点合成图像和对应参考区域的参考帧，推断出校正相机间失谐的校正参数。利用已推断出的校正参数，校正对应处理单位区域的视点合成图像。利用已校正的视点合成图像，预测编码编码对象视点的视频。

摘要： 提供基于树结构的编码单元的多视点视频层间编码和解码。一种视频编码方法，包括以下操作：基于通过分层划分图像的最大编码单元而获得的编码单元之中的树结构的编码单元对基本层图像进行编码，其中，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；确定用于基于树结构的编码单元通过参考基本层图像对附加视点图像执行层间编码的层间编码模式；基于层间编码模式参考包括附加视点图像的附加层图像。

摘要： 本发明提供用于多视点视频的可分级视频编码和解码的方法以及用于实现所述方法的可分级视频编码和解码的设备。将视频的图像序列的至少一个根图像和其它剩余图像分类为多个层。基于可分级预测编码的参考图像转换技术，通过使用当前图像的母图像来产生与图像序列的当前图像相关的至少一个参考图像。可通过使用所述至少一个参考图像针对当前图像执行预测编码。

摘要： 公开了一种多视点视频解码方法，包括：确定正被解码的当前块的预测模式是否是合并模式的步骤；当确定正被解码的当前块的预测模式为合并模式时，通过根据预定优先级将视点间候选、空间候选、视差候选、视点合成预测候选和时间候选中的至少一个候选添加为合并候选，来构造合并候选列表的步骤；通过在合并候选列表中选择将用于当前块的预测的合并候选，来对当前块进行预测的步骤，其中，在构造合并候选列表的步骤中，用于确定用于当前块的视点合成预测候选是否被添加为合并候选的优先级是固定的。

摘要： 公开了一种多视点视频解码方法，包括以下步骤：确定正被解码的当前块的预测模式是否是合并模式；当确定所述预测模式是合并模式时，形成合并候选列表，其中，合并候选列表包括视点间候选、空间候选、视差候选、视点合成预测候选和时间候选中的至少一个作为合并候选；通过从合并候选列表选择将用于对当前块进行预测的合并候选来对当前块进行预测，其中，基于是否对形成空间候选的邻近块之中的至少一个邻近块进行视点合成预测来将所述至少一个邻近块确定为空间候选或视点合成预测候选。

摘要： 一种层间视频解码方法包括：基于从比特流获取的第一层的编码信息，重构从比特流获取的第一层；基于第二层图像的划分信息，将从比特流获取的第二层图像的最大编码单元划分为一个或更多个编码单元；将所述一个或更多个编码单元划分为用于预测解码的一个或更多个预测单元；基于当前预测单元的预测模式、尺寸信息、或颜色和深度信息中的至少一个，确定是否使用预定编码工具，根据对是否使用所述预定编码工具的确定，使用所述预定编码工具对当前预测单元进行解码。

摘要： 提供了一种对多视点视频进行解码的方法，所述方法涉及接收构成多视点视频的多视点图像流，从包括基本视点画面的信息的预定数据单元头获得基本视点画面的画面顺序计数(POC)信息，基于基本视点的瞬时解码刷新(IDR)画面，通过使用基本视点画面的POC信息来确定基本视点画面的POC，通过使用基本视点画面的POC来确定与基本视点画面包括在同一访问单元中并被发送的附加视点画面的POC，其中，所述预定数据单元头被包括在基本视点图像流中。

摘要： 在不能得到处理图像的状况下，也高精度地推断运动向量并同时在视频信号预测中利用相机间相关及时间相关，实现有效率的多视点视频编码。根据多视点视频中包含的与拍摄处理图像的处理相机不同的相机拍摄的参考相机视频，按照与处理相机相同的设定，生成拍摄处理图像的时刻的视点合成图像。不用处理图像，而用相当于处理图像上的处理区域的视点合成图像上的图像信号，搜索由处理相机拍摄的参考图像中的对应区域，从而推断运动向量。

摘要： 提供了一种通过根据视点对多视点视频的每个画面执行帧间预测和视点间预测来对多视点视频编码和解码的方法。一种对多视点视频进行编码的预测编码方法，包括：在先于当前画面被重建的相同视点重建画面之中确定包括具有与当前画面的再现顺序不同的再现顺序的至少一个短期重建画面的参考画面集以及包括至少一个长期重建画面的参考画面集，在先于当前画面被重建的不同视点重建画面之中确定包括具有与当前画面的再现顺序相同的再现顺序的至少一个短期重建画面的参考画面集；在第一参考列表与第二参考列表之间确定至少一个参考列表，其中，第一参考列表包括在确定的多个参考画面集之中的具有早于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再现顺序并具有小于当前画面的视点标识符VID的VID的至少一个重建画面，第二参考列表包括具有与当前画面的再现顺序相同的再现顺序并具有晚于当前画面的再现顺序的再现顺序的至少一个重建画面以及具有与当前画面的再现顺序相同的再现顺序并具有大于当前画面的VID的VID的至少一个重建画面；通过使用确定的至少一个参考列表确定用于当前画面的当前块的至少一个参考画面和参考块；通过使用参考块执行从用于当前块的帧间预测和视点间预测中选择的至少一个操作。