多描述编码

摘要： 提出一种联合边路和中路解码特征学习的多描述编码图像增强方法。该方法同时考虑了边路解码图像增强和中路解码图像增强的问题,因而可以通过联合学习优化中路解码和边路解码的特征来实现更好的网络训练。首先,考虑到多描述编码的边路独立解码和中路联合解码的特性,提出一种网络共享的边路低分辨率特征提取网络来有效地提取具有相同内容和差异细节的两个边路解码图像的特征,同时设计一种残差递归补偿网络结构并将其用于边路与中路低分辨率特征提取网络。其次,设计一种多描述边路上采样重建网络,该网络采用部分网络层参数共享策略,该策略能够减小网络模型参数量,同时提高网络的泛化能力。最后,提出一种多描述中路上采样重建网络,将两个边路低分辨率特征与中路低分辨率特征进行深层特征融合来实现多描述压缩图像的增强。大量的实验结果表明:在模型复杂度、客观质量和视觉质量评价方面,所提方法优于很多的图像增强方法如ARCNN、FastARCNN、DnCNN、WSR和DWCNN。

摘要： 为了提高视频编码的容错性能,保证视频经不可靠信道传输后的重建质量.本文提出了一种面向高效视频编码标准(High Efficiency Video Coding,HEVC)的基于参数重用的多描述视频编码方法.原始视频进行空间梅花下采样,生成四个行列交错的子序列,其中两个子序列采用标准编码器进行编码,并在编码过程中提取视频中每个编码单元(Coding Unit,CU)的深度信息、预测单元(Predicting Unit, PU)的分割方式以及帧内预测模式.而其余两个子序列利用已编码的视频序列信息,进行简化的编码过程.选取一个经标准编码的子序列,与一个简化编码的子序列,结合生成描述1,其余子序列生成描述2,不同描述分信道传输.多描述的编码结构可以保证即使只接收到单一描述也能保证视频的重建质量,参数重用的方法利用子序列间的相关性,减少了冗余信息,降低了编码开销.实验结果表明,参数重用的HEVC多描述视频编码针对高清视频编码效果明显,边缘解码质量PSNR值仅略低于中心解码0.7 dB,有效地提高了高清视频编码的容错性能.进行简化编码子序列的平均编码时间节省了91.7％,实现了高编码效率、低复杂度的HEVC容错编码.

摘要： 为了在无线物联网中缓解拥塞、实现传感信息的可靠传输,将分层编码和多描述编码及其组合编码方法引入物联网信源编码.文中设计了面向无线物联网的分层编解码器、多描述编解码器和多描述分层编解码器,结合传统的拥塞控制方法,有效匹配无线物联网多样性的数据特征、易变的网络拓扑和脆弱的无线链路通信质量,以保障信息可靠传输,提升无线物联网的服务质量.

摘要： 兼顾水印嵌入容量和篡改恢复质量，基于多描述编码提出一种自适应图像内容的可恢复脆弱水印算法。该算法在图像块自适应分类的基础上，将图像块的DCT系数分为两个独立且互补的变长描述编码，每个描述能独立地近似恢复图像块的内容，两个描述编码一起得到的恢复质量更高。水印嵌入时，两个描述编码基于密钥随机嵌在不同图像块中，以提高算法在不同攻击下的篡改检测性能。被篡改图像块，只要有一个描述有效即可恢复该篡改块，若两个描述同时有效，可进一步提高篡改块的恢复质量，有效缓解了同步攻击与数据浪费之间的矛盾。实验结果证明，该算法不仅有效降低了生成的恢复水印容量，同时提高了不同攻击下的篡改检测性能和篡改恢复质量。%To take watermark capacity and restoration quality into account,a kind of recoverable fragile water-marking scheme for adaptive image contents based on multiple description coding was proposed.For each block,two description codes with different lengths were generated according to its DCT coefficients based on a-daptive classification of image blocks.Each description code could independently and approximately restore the image block content and two description codes could achieve higher quality of the recovered block.In the water-mark embedding stage,two description codes were randomly embedded into other image blocks based on the secret key to improve the tamper detection performance under different attacks.The tampered image block could be approximately restored as long as there was a valid description code.If there were two valid descrip-tion codes of the tampered blocks,the quality of the recovered block of it could be further improved and the conflict of tampering coincidence and watermark-data waste could be effectively relieved.Results demonstrate that the proposed method effectively reduces the watermark capacity,and improves the tamper detection per-formance and the recovery quality under different attacks.

摘要： 为提高不可靠网络条件下传输图像的重建质量，提出一种结合遗传算法和小波变换的多描述图像编码方法。利用离散小波变换（DWT）将源图像分解为4个重要性不同的子带，通过自适应遗传算法优化的量化步长对子带系数进行均匀量化，增大引入相关后各个图像描述中的低频信息比重。3组测试图像的仿真分析结果表明，在丢失2或3数据包时，相校基于固定步长的MDTC． DWT／UQ方法，该方法具有更好的鲁棒性，用假设检验的方法进一步验证了该方法的有效性。%To improve the quality of reconstructed image under unreliable network condition,a multiple description transform coding for image that combined the genetic algorithm and wavelet transform was presented.Discrete wavelet transform (DWT) converted a still image into four descriptions in which essentialities were different.Subband was uniformly quantified using adap-tive genetic algorithms (GA)so that the low frequency information of image was protected.Experimental results show when compressing to the target bit rate,compared with traditional uniform quantization with a fixed step size,the proposed method has more improvements both in the obj ective evaluation of PSNR and subj ective visual effect in case of packet lose.

摘要： 为了解决实际的无线传输环境中由空间相关性的存在导致的MIMO MDC图像传输系统性能下降的问题,保证图像通信的质量,对基于SPIHT算法所形成的MDC各个码流采用RS码进行不等保护,利用ZF或MMSE减格辅助线性预编码处理,提出一种适宜4×4 MIMO相关信道的MDC传输方案,并在此基础上研究了其在信道确知和信道估计情况下的性能.实验结果表明,基于减格辅助预编码处理的MIMO MDC设计方案比MD-SPIHT方案在性能上有明显提升,因此,更适宜于MIMO空间相关信道.

摘要： 提出了一种基于Contourlet变换方向的多描述格型矢量量化图像编码算法。利用Contourlet变换所具有的多尺度、多方向的特点解决小波变换在多描述格型矢量量化过程中对输入的图像方向信息不充分的局限性。对Contourlet变换后的系数按照子带中方向特征划分区域设计相应的扫描方式对系数进行重新排序；然后采用基于几何相似的六边格矢量量化方案的多描述编码方案对图像进行编码。实验结果表明，文中策略对单路信道解码图像的峰值信噪比较传统方案具有一定程度的提高，同时重构图像较好地保留了原图像的纹理、边缘等几何信息。%M ultiple description lattice vector quantization image coding algorithm based on Contourlet transform direction is proposed .The characteristics of multi‐scale ,multi direction of Contourlet is used to solve the limitations of insufficiency of wavelet transform in the process of multiple descrip‐tion lattice vector quantization in directional information of input image .According to the direction characteristics of Contourlet coefficients in the sub‐bands dividing domain ,w hich design correspond‐ing scanning way to reorder coefficients ;As the multiple description coding of vector quantization scheme based on the geometric similarity six sides lattice for image coding .The experimental results show that the strategy of single channel decoding image peak signal‐to‐noise ratio has a certain degree of increase than traditional scheme ,at the same time ,reconstructed image retain the original image geometry information of texture and edge .

摘要： 多描述编码技术能提高编码的鲁棒性来保证视频流的高效稳定传输,是一种重要的差错复原技术.结合多描述编码理论和视频编码具体情况,提出了一种基于标量量化分割的视频多描述编码方法,通过归纳得到两张索引匹配表,并由此将DCT系数分割为两路,实现了在编码端的分割.而在接收端通过增加反映射模块,实现每一路都能单独解码,两路全部收到可以联合解码.最后通过实验证明:该方法是可行的,并取得比较好的图像效果.

摘要： To improve the performance of multiple description coding,a multiple description coding method based on scalar quan-tized compressed sensing was investigated.This method first partitioned an image into several sub-images using interleaving ex-traction,then measured each sub-image with block compressive sensing and formed multiple descriptions.At the decoding termi-nal,it reconstructed the original image by solving an optimization problem.Scalar quantization (SQ)was used to quantify the measurements to enlarge the rate of bits utilization.Experimental results showed that,on the premise of ensuring image restora-tion quality,the SQ method could save the number of bits required by encoding without affecting the ability against packet loss.%为提高多描述编码的性能，研究了一种基于分级量化压缩感知（compressive sensing，CS）的多描述编码方法。通过交织抽取把图像分块得到几个子图像，对每个子图像进行分块压缩感知形成多个描述码流，接收端通过求解优化问题重建原图像。为了提高比特利用率，使用分级量化方法对测量值进行量化。实验结果表明，在保证图像恢复质量的前提下，该方法可以节省编码所需比特数，不影响多描述编码的抗丢包性能。

摘要： 提出了一种基于压缩感知理论的图像多描述编码的方法.该方法在编码端利用分块压缩感知技术对图像进行随机测量,将得到的测量结果矩阵按行平分形成多个描述;在解码端,利用所收到的若干描述重建出相应的图像,且收到的描述个数越多,重建图像的质量越好.直接对测量后的矩阵进行行分割,可以随意产生多个描述,同时也使得编码端的计算复杂度大大降低.实验表明,在相同条件下,本文方法的编码时间更短,图像的重构质量也明显优于其他多描述编码的方法.

摘要： 本文详细介绍了多描述编码(MDC)方案的编码结构以及基于量化的多描述编码的量化形式并根据MDC原理。将传统的流媒体信号的单信道传输扩展到双信道，通过对流媒体中一帧图像的仿真对比，采用双信道接收器能较好的恢复出原始信号，能够保证较高的传输质量。

摘要： 我们提出一个基于对等式网络（peer-to-peer）视频传输网络来提供可靠的、高性 能的视频传输服务。我们把视频编码成多个低码率的描述(description)，然后把每一个描述 放置在不同的节点上。每一个用户接收到多个描述，组成原始的视频码流。当一个节点离开时，用户搜索一个代替的节点。在这期间，由于多描述编码的固有的鲁棒性，视频质量不会受到严重影响。我们运用分析与实验的方法来研究系统的性能，我们的结果显示我们提出的视频传输网络可以保持很好的性能，即使在经常性的节点离开条件下。我们的研究显示 peer-to-peer 技术结合多描述编码适用于视频传输服务。

摘要： 我们提出一个基于对等式网络(peer-to-peer)视频传输网络来提供可靠的、高性能的视频传输服务。我们把视频编码成多个低码率的描述(description)，然后把每一个描述放置在不同的节点上。每一个用户接收到多个描述，组成原始的视频码流。当一个节点离开时，用户搜索一个代替的节点。在这期间，由于多描述编码的固有的鲁棒性，视频质量不会受到严重影响。我们运用分析与实验的方法来研究系统的性能，我们的结果显示我们提出的视频传输网络可以保持很好的性能，即使在经常性的节点离开条件下。我们的研究显示peer-to-peer技术结合多描述编码适用于视频传输服务。

摘要： 针对在不可靠网络中传输包含感兴趣区域(以下简称ROI)图像的问题，提出了一种兼容于压缩标准的感兴趣区域Ⅰ的多描述编码方法。这种编码方法是建立在多路径网络传输结构的基础上，采用多描述编码思想，它能对信号传输鲁棒性和编码效率进行折衷控制，其中的关键技术是图象分成几个平衡的部分，本文采用多相下抽样方法的实现。多个描述的拆分。为了保护ROI，对这部分区域增加冗余度，然后分别通过不同的路径传输。实验证明，该方法既可以提高图像在网络上传输的抗干扰性能，同时也有效地保护了ROI。

摘要： 多描述编码(MDC)在提高P2P流媒体系统的服务质量方面起着重要作用,作为其传输平台的应用层组播树系统的构建及其在高动态网络中的性能研究是目前互联网研究领域中的重要问题.本文针对多描述编码的特点,设计实现了采用确定性组播树管理算法的多组播树系统,并基于PlanetLab [4] 分布式实验床分析了系统在P2P流媒体系统中应用的性能.实验结果表明,在节点非正常退出时,采用确定性算法构建的多组播树比单组播树和采用随机性算法构建的多组播树具有更好的数据传输连续性,而系统的恢复能力和数据传输连续性随着系统中组播树数量的增加而增强.

摘要： 提出了一种基于H.264标准的多描述编码方法。该方法首先对原始视频数据进行采样形成两个子图像,将其送入两个相关联的H.264编码器生成两路对等信号;然后复制一路的运动估计信息代替另一路信号的计算,采用一种非对称的网状标量量化索引方法使每路信号形成不同质量的两个描述;最后对两个描述的信号进行组合后实现信息传输。实验结果表明,这种方法能有效地降低算法的复杂度,提高了传输数据的质量。

摘要： 本文提出一种基于JPEG的低运算复杂度多描述图像编码方法,以避免压缩图像在网络传输中因数据包丢失而导致图像质量下降.基本思想是结合MDSQ编码原理,根据JPEG量化表中的量化步长设置相对应的索引矩阵,并利用这些矩阵对DCT变换系数进行索引分配,从而产生图像的多个压缩编码描述.实验结果表明,该算法具有较高的传输质量,并且运算复杂度低.

摘要： 在信息技术飞速发展的今天,指挥员需要的战场信息不再像以往一样主要靠一线侦察获得,而主要靠各种传感器和侦察设备进行远程侦测.因此,图像信息对于战场指挥员对战场态势做出正确判断和做出相应的决策起着非常重要的作用.系统地提出了基于重叠正交变换的多描述编码方法与最大图像平滑恢复算法及结合前向纠错和空域误码掩盖算法相结合的综合抗误码策略,并对算法进行了详细的理论推导,最后进行了实验仿真给出了仿真结果.

摘要： 自组网是一组带有无线收发装置的移动节点组成的一个多跳的临时性的自治系统.其拓扑结构的频繁变化使得如何在移动自组织网络中传输视频业务成为研究的难点.采用基于多描述编码的多径路由技术是在Ad hoc网络中进行视频传输的有效方法.本文结合当前学者的研究针对基于多描述编码的多径路由技术的不足之处提出了改进方案.仿真结果表明改进方案大大提高了网络的吞吐率和接受端的图像质量.

摘要： 随着视频信息在网络上的应用需求的日益广泛和迫切,适合无线网络传输的视频编码技术成为了当前研究的一个热点。而在无线环境中传输视频的关键在于如何使压缩的码流能够适应无线信道的变化并抵抗错误的影响。基于此,本文简要介绍了无线视频应用的特点,探讨了当前无线视频编码技术的新发展及研究热点,最后对无线视频编码技术进行了总结和展望。

摘要： 一种用以基于编码音频信息来提供解码音频信息的音频解码器包含用以基于频谱值的算术编码表示来提供多个解码频谱值的算术解码器，及使用所述解码频谱值来提供时域音频表示以获得解码音频信息的频域至时域变换器。算术解码器被配置成依据由一当前数值脉络值所描述的一脉络状态来选择一映射规则，所述映射规则描述一码值到一符元码的映射。算术解码器被配置成依据多个先前已解码频谱值来确定当前数值脉络值。算术解码器被配置成评估一散列表来选定映射规则，散列表表项界定数值脉络值中的有效状态值及数值脉络值的区间边界。一映射规则索引值与是有效状态值的一数值脉络值单独相关联，且一共用映射规则索引值与位于由区间边界确定界限的一区间内部的不同数值脉络值相关联。一种编码音频使用类似的构想。

摘要： 本公开提供了一种基于编码解码网络的交通场景描述方法及系统，获取交通场景的视频帧图像数据；对获取的视频帧图像数据进行场景分割，得到去除交通背景后的图像数据；将得到的图像数据输入到预设模型中，得到用于交通场景描述的视频字幕；其中，预设模型以编码解码器为框架，训练时：分别将解码后的结果与掩盖了当前和过去时间步长的GroundTruth输入到两个长短期记忆网络中，将输出结果与注意力机制得到的特征进行线性变换，输入到与解码器相同的长短期记忆网络得到引导的描述；本公开在模型训练阶段提出了一个引导模块，以鼓励编码器‑解码器结构在翻译中生成与过去和未来单词相关的单词，提高了视频内容描述的准确度。

摘要： 一种用以基于编码音频信息来提供解码音频信息的音频解码器包含用以基于频谱值的算术编码表示来提供多个解码频谱值的算术解码器，及使用所述解码频谱值来提供时域音频表示以获得解码音频信息的频域至时域变换器。算术解码器被配置成依据由一数值当前脉络值所描述的一脉络状态来选择一映射规则，所述映射规则描述一码值到一符元码的映射。算术解码器被配置成依据多个先前已解码频谱值来确定数值当前脉络值。算术解码器被配置成评估一散列表来选定映射规则，散列表表项界定数值脉络值中的有效状态值及数值脉络值的区间边界。一映射规则索引值与是有效状态值的一数值脉络值单独相关联，且一共用映射规则索引值与位于由区间边界确定界限的一区间内部的不同数值脉络值相关联。一种编码音频使用类似的构想。

摘要： 本发明公开了一种基于关系编码和层次注意力机制的图像段落描述方法，方法模型由关系编码模块和层次注意解码模块组成。关系编码模块通过两个编码器捕获编码空间关系信息和语义关系信息，其中语义关系编码时通过训练有监督的语义分类器来学习语义关系的先验知识。层次注意解码模块的层次注意力使用带有关系门和视觉门的层次注意力来动态的融合关系信息和物体区域特征，关系门用于在空间关系信息和语义关系信息之间切换，视觉门用于决定是否嵌入使用视觉信息，模型采用从粗粒度区域到细粒度的空间和语义关系的策略在段落生成过程中融合视觉信息。通过在斯坦福段落描述数据集上的大量实验表明，本发明方法在本领域的多个评价指标上显著优于现有方法。

摘要： 本发明涉及一种基于编码器‑双解码器的图像中文描述生成方法，包括：获取数据集，包括图像描述数据集和对应的背景语料数据集；对数据集进行数据预处理，将预处理后的数据集划分为训练集、验证集和测试集；构建编码器‑双解码器模型，并设定模型参数以及超参数，基于训练集和验证集，对编码器‑双解码器模型进行训练；基于测试集对训练后的编码器‑双解码器模型进行测试，以得到图像描述生成模型；将待描述图像输入图像描述生成模型，输出得到待描述图像对应的标题字段以及描述文本。与现有技术相比，本发明能够充分利用编码器获取的特征信息、能够对图像包含的信息进行丰富描述，具有准确率高、语句含义丰富通顺、图像与文本相关性强的优点。

摘要： 本发明涉及基于解码‑编码端的图像对差异描述方法。本发明包括：1)首先从预训练好的特征提取器中提取出图像的视觉特征；2)然后对这些特征语意之间的交互和位置关系进行建模来获取图像的细粒度信息；3)通过图片间分层交互匹配模块来精准地表征图像间的差异，排除视角/光照变化带来的干扰。4)最后通过基于从上到下的LSTM来对齐视觉和文本特征，然后解码出能够描述出图像间差异的句子。本发明具有强大的鲁棒性，能在存在视角、光照等干扰因素下准确的描述两张图像之间的差异，在该领域所提供的公共数据集的实验中，本发明的评价指标超过了目前最先进的模型，达到国际领先水平。

摘要： 本发明属于通信技术领域，提供了一种多描述编码和多描述解码的方法、装置及系统，本发明的技术方案为：编码端接收信号，对所述信号用第一多描述方法进行处理，生成至少两个第一描述，对所述第一描述中的至少一个用第二多描述方法进行处理，生成至少两个第二描述，对所述第二描述进行编码；输出多描述比特流；解码端进行编码端的反变换过程，输出重构信号。通过本发明，能够降低多描述解码的复杂度，并且使音质损伤分布在不同的方面，从而提高用户听觉感受。

摘要： 本发明属于通信技术领域，提供了一种多描述编码和多描述解码的方法、装置及系统，本发明的技术方案为：编码端接收信号，对所述信号用第一多描述方法进行处理，生成至少两个第一描述，对所述第一描述中的至少一个用第二多描述方法进行处理，生成至少两个第二描述，对所述第二描述进行编码；输出多描述比特流；解码端进行编码端的反变换过程，输出重构信号。通过本发明，能够降低多描述解码的复杂度，并且使音质损伤分布在不同的方面，从而提高用户听觉感受。

摘要： 本公开提出了基于卷积自编码器的多描述编码、解码方法及系统，对于编码：接收图像信息，对图像信息用卷积自编码器进行卷积处理，获得卷积特征，其中，所述卷积自编码器将输入图像信息压缩成一个潜在空间表示，然后通过它的特性来重构输出，使得输出无限接近输入；将获得的卷积特征分成两个描述，每个描述包含两个子集，将两个描述分别进行编码获得两个多描述码流，将两个多描述码流分别经过不同的信道进行传送。能够在保证解决丢包问题的前提下提高编码效率，能够获得精确度更高的重建图像。

摘要： 提供一种系统和方法，用于在多描述编码和可分级编码之间根据网络特征进行转换，以及使用了前向纠错(FEC)和可分级或优先化的视频。