帧间预测

摘要： HEVC帧间预测中,Merge模式是对相邻已编码的PU进行合并处理,其需要重复访问数据并进行大量的复杂计算,是影响硬件实现效率的模块之一。针对该问题,本文通过对帧间预测技术的研究,提出了一种能实现高清视频实时编码的多级流水并行硬件架构设计,其使用多级流水线计算Merge模块,达到了较高的数据吞吐率;合理规划同个CTU不同深度的CU扫描顺序,实现了CTU内流水线不断流的高效编码设计;整个帧间的插值模块和SATD运算模块合理复用,提高了硬件资源利用率。

摘要： 国际组织提出了新一代的视频编码标准:高效率视频编码标准.为了提高编码效率该标准引入大量新技术,随之不可避免的增加了计算复杂度.为进一步满足低延时视频传输的需求,本文提出将加权多视图聚类方法用于高效率视频编码帧间模式预测的想法,具体通过引入一种快速和高效的基于核的K均值多视图聚类算法,结合合并标签,运动矢量,跳过标签和率失真优化比率的特征选择.利用无监督机器学习视频帧间的时间相关性,达到减少帧间预测候选模式数量的目的.经过数学公式推导和实验证明,所提算法可以节省高达36.690%的编码时间,但只增加了0.278%的码率损耗.并通过与同类算法的横向比较,进一步证实所提算法的综合优势明显,达到预期目标.

摘要： 通用视频编码标准H.266/VVC通过引入多种新的编码技术,如仿射运动补偿预测、自适应运动矢量精度、多核变换等,以支持360°视频和HDR视频的编解码,从而为用户提供最优的视频质量,但是在H.266/VVC帧间预测过程中,仿射运动估计计算复杂度高导致编码时间显著增加。针对该问题,提出一种改进的仿射运动估计算法。通过对仿射高级矢量预测(AAMVP)候选列表的构建过程进行改进,并构建一种AAMVP候选列表候选项筛选准则,使得列表的候选项更接近编码块真实的运动矢量,从而缩短编码时间。同时对仿射运动估计中迭代搜索最优仿射运动矢量的迭代过程进行优化,以加快迭代搜索速度。实验结果表明,在低时延的编码器配置下,相比VVC原始算法,当BD-BR增加了0.023%时,该算法的总体编码时间平均缩短13%,在保证编码质量的前提下能够有效降低编码的计算复杂度。

摘要： 针对视频点云压缩(video-based point cloud compression,V-PCC)把点云序列分解成2D的非规则图像块(patch)进行编码,破坏点云连续性,不利于后续帧间预测的问题,设计一种三维配准帧间预测结合V-PCC帧间预测的改进算法.首先,为了提高点云配准的有效性,设计一种基于运动一致性的二叉树的粗分割和进一步八叉树细分割的算法,使得每一块点云在配准时具有一致性运动和准确的对应性.进一步地,为了保证三维帧间配准预测的可靠性,对分割后的块进行三维配准帧间预测并计算误差.对于误差小于一定阈值的块直接熵编码块索引和运动信息;对于误差大于阈值的块,则融合并使用V-PCC的帧间估计.实验结果表明,本方法进一步提高了V-PCC的编码性能.

摘要： 针对H.266/多功能视频编码(Versatile Video Coding,VVC)帧间仿射运动估计复杂度高的问题,提出了一种基于已重建先验信息的快速仿射运动估计算法。该算法利用帧间跳过(Skip)模式和仿射运动估计(Affine)模式之间的互斥性,根据上层级编码块(Coding Unit,CU)、本层级子CU和相邻CU的重建信息跳过冗余的仿射运动估计过程,以降低仿射运动估计的复杂度。实验结果表明,在不明显影响视频码率和质量的情况下,该算法的编码时间相较于VVC标准整体下降了10.17%,仿射运动估计时间下降了44.2%,有效地降低了仿射运动估计的复杂度。

摘要： 可逆性分像素插值滤波器可以解决插值没有真实样本的难点,但是,存在传统卷积核形状固定、正则项损失函数冲突等不足。为此,提出一种增强的可逆性插值滤波器设计优化方案。首先,引入可变形卷积层,改变卷积核的形状和不同位置的像素参与卷积的权重,增大了感受野,提高了网络的适应性;然后,在正则项设计中,引入生成对抗网络,提升了网络的收敛能力;最后,使用基于运动模糊方法生成的训练样本来替代原本的基于离散余弦变换生成的样本,达到更逼近真实运动的效果。实验结果表明,和H.265相比,改进方案的BD-rate指标提升了2.56%。

摘要： 针对H.266中基于历史块的运动矢量预测(HMVP)技术在换行更新列表过程中无法参考之前运动信息,以及HMVP候选列表在加入Merge列表过程中存在繁琐的去冗余过程的问题,提出一种改进的H.266合并模式候选决策算法。通过临时存储一个HMVP候选列表来解决原有HMVP列表在换行清空时存在的无法参考之前运动信息的不足,从而更好地预测运动信息。通过Merge候选列表中原有的空时域候选数量来确定需要进行去冗余的HMVP候选数量,以简化去冗余过程。实验结果表明,与H.266标准算法相比,该算法在随机接入的配置下,测试图像序列的亮度分量能够平均节省0.46%的码率,编码总时间平均缩短4.09%,帧间预测时间平均缩短10.87%,能够提高编码性能同时降低编码复杂度。

摘要： 帧间预测是视频编码的核心模块,其利用参考帧的重建样本来预测当前图像样本,从而通过传输少量预测残差数据表示复杂视频内容。在有损视频编码中,参考帧质量受到量化失真的影响,导致预测精度较差,影响编码性能。针对低时延视频业务,提出一种基于最邻近帧质量增强的参考帧列表优化算法,通过基于深度学习的卷积神经网络增强与当前帧最邻近参考帧的质量,并将增强后的高质量帧整合到当前帧的参考帧列表中,提高了帧间预测精度。以高效视频编码H.265/HEVC参考软件平台HM16.22为参考基准,所提算法在Y、Cb、Cr这3个分量上可分别节省9.06%、14.92%、13.19%的编码码率。

摘要： 高效视频编码(HEVC)作为最新视频编码标准,有着非常高的压缩效率,但是由于各种新技术的提出,其编码复杂度也大大提高.复杂度对视频编码有着重要意义,低复杂度编码的研究非常必要.利用神经网络进行HEVC的分区预测为低复杂度编码提供了有效的解决方案.文中提出了一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)的组合网络架构来对帧间分区进行预测的方法,利用自建数据库对网络进行训练;文中设计了一种预搜索模块来建立训练数据库,仿真结果表明,神经网络的精度可达87％,利用该网络架构进行帧间预测可以实现52％～71％的复杂度节省.

摘要： 由于X265编码库目前还不适应申威平台的软件生态环境,造成移植到申威处理器上的X265视频编码库性能较低.为了解决这个问题,通过分析X265编码库中视频编码的各个编码模块,提出了基于申威平台的帧间预测模块优化方法,该方法采用4个线程对帧间预测模块进行优化,提升了X265编码库执行效率,同时解决了多线程中存在的线程数据竞争、分配不均衡和迁移耗时的问题,进一步提升了X265编码库的性能.通过对比6个测试序列优化前后的编码转换时间和PSNR,证明了本文方法的有效性与可行性.

摘要： 现有的多视点视频编码使用了分层B帧(Hierarchical B Picture,HBP)的预测结构,其帧内预测、帧间预测以及视点间预测的模式选择给多视点视频编码带来了庞大的计算复杂度.针对这一问题,在分析了JMVC模式分布比例的基础上,提出了一个快速帧间模式选择的算法.这种算法利用率失真代价和预测模式特征之间的关系来及时判定最优模式:如果上一尺寸预测模式的率失真代价小于当前尺寸预测模式的率失真代价则认为上一预测模式为最优模式,跳过检查其他更小尺寸的预测模式;反之,如果上一尺寸的预测模式的率失真代价大于当前尺寸的预测模式的率失真代价,则继续检查其他更小的尺寸.这样,通过提前终止一些不必要的模式选择过程,多视点视频编码的计算量得到大幅的降低.实验结果表明:所提算法能在保持JMVC中全搜索算法的编码效率同时,使计算复杂度减少了81.66％.

摘要： 随着高质量的数字摄像机和功能复杂的视频编辑软件的出现，对视频进行恶意篡改已变得越来越客易;同时迅速庞大的视频数据也使得利用计算机自动检测恶意篡改的需求日益迫切.针对视频恶意篡改的特点并利用帧间内容的连续性，提出通过统计视频帧间预测的运动矢量，检测视频是否被恶意篡改.首先，提取各P帧的运动矢量幅度;然后利用滑动窗口、计算窗口中各运动矢量幅度与窗口中的幅度均值的距离.由于篡改点处运动矢量的幅度与所属窗口均值的偏移较大，从而能够有效检测出篡改及其位置.同时通过改变图像组大小进行再压缩，可以进一步降低漏检概率.实验表明所提方法能够有效地检测出视频在时间轴上的篡改.

摘要： 帧内多模式预测和帧间预测采用多种子块模式是H.264有别于以往视频编码标准的主要特征,二者在提高H.264编码性能的前提下也明显增加了编码的复杂度.因此,论文针对H.264帧间预测时的多子块模式选择和帧内预测的多模式选择问题,提出了一种实用的基于统计门限的模式快速选择算法.多组视频序列的实验结果表明,基于统计门限的帧内预测模式选择算法在Ⅰ帧的PSNR值有微小变化的情况下,大大降低了编码时间,Ⅰ帧的编码时间降低17﹪～23﹪,PSNR下降不到0.4﹪;基于统计门限的帧间块模式选择算法使得平均PSNR值下降了0.047db(PSNR最大下降不到1﹪),但是相对全模式预测时,编码器速度提高了20﹪-30﹪.

摘要： 本文设计了支持H.264/JVT/AVC标准和AVS标准的插值与加权预测的硬件结构。整个设计在其所属的视频解码器设计中是以宏块为单位处理的,在内部则以可变块为单位来处理,为了提高插值的速度,双向预测并行处理,在插值模块的内部则作6级流水(H.264)或8级流水(AVS)。加权预测同样也作了4级流水。整个设计在Modelsim下的仿真结果正确,用XST在VIRTEXⅡ4000,-6上综合频率为98M,所用SLICE约为10000,预期整个解码器设计能支持1080i@30fps的高清实时解码。

摘要： H.264采用了可变块大小的运动补偿和基于率失真优化的模式选择来提高压缩比和视频质量，这些技术使H.264比其他现有的编码标准都要好，然而，却计算强度大而且非常耗时。本文提出了一种快速的帧间模式选择方法。首先，先编码的几帧作为统计学习对象，得到相应的阈值;然后，后面的帧就根据这些阈值来选择备选模式，只对已选的模式进行运动估计。rn 本文提出的方法适用于所有现有的运动搜索算法，而且阈值是针对每个序列线上计算的。结果显示，本文的方法可使编码时间平均降低57.2％，而对视频质量的降级可忽略。

摘要： H.264采用了可变块大小的运动补偿和基于率失真优化的模式选择来提高压缩比和视频质量，这些技术使H.264比其他现有的编码标准都要好，然而，却计算强度大而且非常耗时。本文提出了一种快速的帧间模式选择方法。首先，先编码的几帧作为统计学习对象，得到相应的阈值;然后，后面的帧就根据这些阈值来选择备选模式，只对已选的模式进行运动估计。rn 本文提出的方法适用于所有现有的运动搜索算法，而且阈值是针对每个序列线上计算的。结果显示，本文的方法可使编码时间平均降低57.2％，而对视频质量的降级可忽略。

摘要： H.264采用了可变块大小的运动补偿和基于率失真优化的模式选择来提高压缩比和视频质量，这些技术使H.264比其他现有的编码标准都要好，然而，却计算强度大而且非常耗时。本文提出了一种快速的帧间模式选择方法。首先，先编码的几帧作为统计学习对象，得到相应的阈值;然后，后面的帧就根据这些阈值来选择备选模式，只对已选的模式进行运动估计。rn 本文提出的方法适用于所有现有的运动搜索算法，而且阈值是针对每个序列线上计算的。结果显示，本文的方法可使编码时间平均降低57.2％，而对视频质量的降级可忽略。

摘要： 本文根据率失真算法的原理提出了一种AVS-M中的快速模式算法。它利用宏块的空间相关性,预测当前模块的预测模式。实验结果表明,与AVS工作参考软件的算法相比,在图像质量和率失真性能不变的条件下编码时间明显减少。

摘要： 本文根据率失真算法的原理提出了一种AVS-M中的快速模式算法。它利用宏块的空间相关性,预测当前模块的预测模式。实验结果表明,与AVS工作参考软件的算法相比,在图像质量和率失真性能不变的条件下编码时间明显减少。

摘要： 本文根据率失真算法的原理提出了一种AVS-M中的快速模式算法。它利用宏块的空间相关性,预测当前模块的预测模式。实验结果表明,与AVS工作参考软件的算法相比,在图像质量和率失真性能不变的条件下编码时间明显减少。

摘要： 公开了帧间预测方法和使用帧间预测方法的视频编码/解码方法。该使用帧间预测的编码方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码；生成参考图片信息，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片；以及，传输编码的第一和第二图片以及所述参考图片信息。

摘要： 公开了帧间预测方法和使用帧间预测方法的视频编码/解码方法。该使用帧间预测的编码方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码；生成参考图片信息，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片；以及，传输编码的第一和第二图片以及所述参考图片信息。

摘要： 公开了帧间预测方法和使用帧间预测方法的视频编码/解码方法。该使用帧间预测的编码方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码；生成参考图片信息，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片；以及，传输编码的第一和第二图片以及所述参考图片信息。

摘要： 本发明涉及一种帧间预测编码方法、帧间预测解码方法及设备，方法包括：以根据已编码宏块的运动信息得到的运动矢量预测值为中心，获取与当前编码宏块的内容特征匹配度最大的参考区域；按照所述参考区域的划分方式将所述当前编码宏块划分为子块；所述参考区域根据内容特征进行划分；对所述子块进行运动估计，找到最佳的运动矢量进行帧间预测编码。该方法利用参考图像与编码图像之间存在较强的时间相关性，在参考图像找到与编码宏块内容特征匹配的参考区域，根据参考区域的内容特征确定编码宏块的划分方式或码率分配方式，提高了宏块划分的准确性，从而减少了预测误差，提高了宏块的帧间运动估计值的精确性。

摘要： 本发明涉及一种三维帧间预测改进V‑PCC帧间预测的方法。首先，对当前帧点云找到在前一帧点云的最近点并记录距离。然后，把当前点云的点按照的优先级升序排序，以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒。再而，设定可以容忍的点云失真阈值，并计算包围盒内最近点的距离的均值，根据均值与失真阈值的比较，把点云分成静态点云（均值小于阈值，能有效被三维帧间预测）和动态点云。对静态点云则通过构建代价函数对包围盒沿着某个最佳的维度延伸，并且每次去掉当前帧中的包围盒内点云。最后，重复上述步骤，直到所有点云分类完成，对动态点云融合并使用V‑PCC编码，静态点云则熵编码其包围盒坐标的最小和最大值。

摘要： 一种帧间预测方法，包含执行参考帧获取来得到第一帧组合中第一帧的帧间预测所使用的至少一参考帧，并且依据该至少一参考帧执行第一帧的帧间预测。第一帧的帧间预测所使用的该至少一参考帧被故意地限制为包含从该第一帧组合的至少一个第二帧的重建数据获得至少一个第一参考帧。该第一帧组合包含至少一第一帧与至少一第二帧，该至少一第一帧包含该第一帧，该第一帧组合中的多个帧具有相同的画面内容但具有不同的分辨率。

摘要： 公开了帧间预测方法和使用帧间预测方法的视频编码/解码方法。该使用帧间预测的编码方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码；生成参考图片信息，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片；以及，传输编码的第一和第二图片以及所述参考图片信息。

摘要： 公开了帧间预测方法和使用帧间预测方法的视频编码/解码方法。该使用帧间预测的编码方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码；生成参考图片信息，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片；以及，传输编码的第一和第二图片以及所述参考图片信息。

摘要： 公开了帧间预测方法和使用帧间预测方法的视频编码/解码方法。该使用帧间预测的编码方法包括以下步骤：对用作用于随机访问的参考的第一图片进行编码；通过使用多个参考图片对在所述第一图片之前显示的第二图片中包括的块进行帧间预测编码；生成参考图片信息，所述参考图片信息表示在所述第二图片之前显示的过去的图片是否被用作用于对所述第二图片进行编码的参考图片；以及，传输编码的第一和第二图片以及所述参考图片信息。

摘要： 本发明涉及一种帧间预测编码方法、帧间预测解码方法及设备，方法包括：以根据已编码宏块的运动信息得到的运动矢量预测值为中心，获取与当前编码宏块的内容特征匹配度最大的参考区域；按照所述参考区域的划分方式将所述当前编码宏块划分为子块；所述参考区域根据内容特征进行划分；对所述子块进行运动估计，找到最佳的运动矢量进行帧间预测编码。该方法利用参考图像与编码图像之间存在较强的时间相关性，在参考图像找到与编码宏块内容特征匹配的参考区域，根据参考区域的内容特征确定编码宏块的划分方式或码率分配方式，提高了宏块划分的准确性，从而减少了预测误差，提高了宏块的帧间运动估计值的精确性。