数据压缩

摘要： 建立反映露天矿山真实情况的三维模型,能够有效地指导矿山生产计划的制定和生产管理工作,是露天矿山实现信息化、智能化的基础。然而,倾斜摄影测量数字模型数据量大,很难直接用于现有的三维矿业软件。基于此,提出一种顾及地形特征的露天矿倾斜摄影测量DEM(Digital Elevation Model)数据抽稀算法,以达到优化模型的目的。该算法包括两大部分:首先,对点云数据进行预处理,使其转换为规则栅格数据;然后,对规则栅格数据进行虚拟网格划分,利用等间距抽稀方法对原始点云数据进行初次抽稀;最后,运用顾及地形的断面扫描方法进行特征提取,仅保留地形特征点,达到点云抽稀的目的。通过在矿山进行试验,可将矿山点云数据压缩至原数据的0.130%;抽稀后所得DEM可快速导入三维矿业软件中。

摘要： 为解决用电信息采集系统中数据高频上报引起的通信及存储问题,通过协议分析将远程通信报文的冗余性分为了帧间冗余、模式冗余及编码冗余,并分别采用报文预处理方法、LZ77算法与Huffman算法压缩其冗余;针对单种算法无法同时对报文的三种冗余进行压缩的问题,通过对三种冗余各自的特性及相互间关系的分析,提出了一种组合压缩的方式,实验结果表明,该方法可以有效地缩短远程通信报文的长度,从而减少存储消耗、提高网络的传输效率。

摘要： 在基于后向映射查找表结构的实时视频图像几何校正系统中,由于后向映射查找表数据量较大,导致传输时间过长、SDRAM的带宽占有率过高,从而影响处理的实时性。针对以上问题,提出了基于等间隔采样的后向映射表压缩算法,算法保证高精度的前提下提高了压缩率,并设计实现了基于四点二次插值的解压算法IP核。实验结果表明,压缩解压算法具有较高的压缩率和精确度,基于四点二次插值的解压算法IP核可以正确运行。

摘要： 传统的数据更新同步往往每次直接更新整个文件或不加选择地更新局部改动部分。后者虽然节约了一部分通信带宽,但是每次文件变化,不管变化多少都立即更新,增加了通信负荷,这两种方法均不能很好地满足工业互联网实时性要求。针对此问题,提出了一种工业互联网端边云协同数据同步方案。该方案通过计算差分文件进行阈值判断。若在阈值范围内,则将变化的数据块进行编码、压缩上传到对应的云存储节点中解压存储;否则将相关信息暂存在边缘层。通过和RS编码、Rsync差分算法的对比实验可知,该方案提高了更新数据传输效率,且通过编码压缩提高了安全性,性能整体优于其他方法。

摘要： 针对无线传感器网络节点冗余和数据重叠的问题,提出一种基于深度自编码网络的实验室WSN数据压缩算法来减少传感器通信和计算开销.使用K-means算法将传感器节点划分为不同的簇,使用深度神经网络对相同簇中节点采集的数据进行压缩编码与分类,从而减小数据规模.使用贝叶斯估计算法对压缩编码后的数据特征进行融合.仿真测试与实验结果表明,所提出的算法能明显减少数据量,相比于Megrez算法与E-CPDA算法的数据融合精度分别提升了4.2%和19%,同时能够增加无线传感器网络的生命周期.

摘要： 超声成像是一种被广泛使用的无损检测手段,超声聚焦是超声成像的重要环节,延时叠加算法是超声聚焦最基础的波束形成算法。为了得到更好的成像质量,焦点随探测深度变化而变化的动态聚焦方法逐渐取代了传统的定点聚焦方法,然而该方法在现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)的实现中遇到了聚焦延时参数数据量过于庞大的问题,使得现有的实现方案只能采用传统的定点聚焦方法。为了解决这个问题,提出一种基于误差约束的超声延时参数压缩算法,通过对探测区间进行分段,将动态聚焦中聚焦延时参数相近的焦点分为一段,用统一的聚焦延时参数代表该段区间所有焦点的聚焦延时参数,靠算法将统一参数和实际参数的误差值约束在一定范围内,对原来的聚焦延时参数进行压缩处理,在文章例子中压缩比达到了2.548‰。为了减小近场的盲区,算法引入了动态孔径技术,在近场聚焦时关闭部分外侧阵元,随着聚焦深度增加,阵元逐渐恢复开启直到所有阵元都恢复开启。使用动态孔径技术后,未开启阵元的聚焦延时参数便成为无用的冗余数据,鉴于此,在新提出的结合动态孔径的超声延时参数压缩算法中对聚焦延时参数的数据量进一步压缩,压缩比达到了0.717‰,有效缓解了聚焦延时参数的存储压力。

摘要： 为解决10kV电缆监测数据(电场数据)的传输与存储问题,采用二维小波提升-DCT变换压缩算法对电场数据进行压缩。将一维电场数据构建为128×128大小的矩阵,对该矩阵进行一次haar小波提升变换,得到4个64×64的系数矩阵;采用二维DCT变换对4个系数矩阵进行处理,通过筛选矩阵,将筛选后的系数使用一维小波变换进行压缩,将压缩数据通过CAN总线进行传输并存入数据库。设定压缩比为16.603:1,使原始数据与解压缩后数据误差能够满足电场技术指标误差不超过±10%要求的同时将压缩比最大化,进而缓解海量电场数据传输与存储压力。

摘要： 本文针对仪器接收声波信号信噪比低、通道多、数据量大、控制时序复杂等特点,设计了一种基于TMS320F28335 DSP的阵列声波数据采集与处理电路,实现了16路声波信号的并行数据采集。在设计中,根据有用声波信号和干扰信号频谱的特点,用MATLABFDATool工具箱设计了FIR数字滤波器算法,为了减少数据传输时间和存储的数据量,本文实现了ADPCM数据压缩算法,所有算法通过C语言编程在DSP上得到了实现。试验结果表明,该电路工作非常稳定可靠,性能优异,能够满足多极子阵列声波信号采集和处理的要求。

摘要： 针对工程测井过程中传感器采集数据量大、测井电缆传输速率不足的问题,利用自适应差分脉冲编码调制(ADPCM)数据压缩原理,通过井下数据实时采集压缩电路和地面解码,实现了1∶4数据压缩比,减少了电缆数据传输量并降低了对传输速率的要求,在现有测井电缆条件下实现数据的实时上传。该项技术提高了测井仪器大数据量采集的成功率,为油田工程测井提供了技术支持。

摘要： 针对储能系统中海量的存储数据,采用旋转门压缩算法,对数据进行处理和压缩,节省数据的存储空间,选取系统中某电池簇12小时的运行数据进行模拟仿真。实验结果表明,使用该方法可大大节约数据的存储空间,在满足系统精度的需求上能够最大化压缩数据,合理减少数据的存储量。

摘要： 通过对有源矩阵有机发光(AMOLED)显示,Mura光学补偿过程中补偿数据压缩效果的分析方法进行探究,考察了直接差值法,差值FFT分析法,PSNR分析法和可视化数据分析法的在数据压缩效果分析中的应用.结果表明,Mura光学补偿效果受多个变量影响,需要从影响较大的补偿数据幅值差异及差异区域等因素探究.单一的数值化压缩效果分析并不能全面衡量Mura补偿数据压缩,IC解压缩后OLED面板的显示效果,需要综合考虑幅值差异及差异区域,筛选出直观准确的数据压缩效果分析方法.

摘要： 数据压缩是现代信息处理的一个关键技术,本文结合神经网络的非线性处理能力以及数据空间的关联性,设计了一种进行数据压缩的神经网络模型,并给出了模型的训练方法,并通过对仿真数据以及语音信号的压缩处理,验证了这种模型结构的有效性.

摘要： 随着无线网络数据传输能力和移动终端性能大幅提高,移动用户的广泛参与使得地理信息的采集和上传下载将达到空前的水平,而有限的带宽传输速率与信息海量传输存在着天然的矛盾.针对移动用户对空间数据提出的压缩率高、失真度容忍率高的新需求,提出和设计了一种新的矢量地图数据压缩方法.该方法综合压缩率接近70％,有效地减少无线网络数据传输负荷,节约移动终端存储空间.

摘要： 通过去除数据中的冗余信息,数据压缩技术可以有效地提升数据的存取和传输效率,并显著地降低数据的存储和传输成本.通常,数据压缩算法采用串行结构设计和实现,运行于通用处理器,导致数据压缩速率较低,无法满足大数据分析和处理等应用的实时性要求.采用硬件逻辑电路实现的数据压缩算法可以发挥逻辑电路的速度优势,提升数据的压缩效率.本文以Gzip无损压缩算法为蓝本,采用OpenCL语言设计和实现了一种无损数据压缩电路.该电路能够充分发挥硬件逻辑电路的并行设计和流水线结构优势,从而显著地提升数据压缩的处理速率.使用现场可编程门阵列(FPGA)对该硬件电路进行功能和性能验证,结果表明:与软件实现方式相比,该硬件电路在取得适当压缩率的同时,显著地提升了数据压缩的处理速率,压缩速率可达12Gbps.

摘要： 三维设计是目前中国水电顾问集团各设计院针对水电工程的主要设计手段,三维地形图是各种建构筑物、金属构件等各种三维设计产品的承载平台,也是地质、水工、交通各专业开展三维设计的基础和前提,三维地形出图效率和产品质量对三维设计的有效开展有着重要影响,本文以Microstation平台为基础,阐述了三维地形制作的方法和内容,并对数据融合和数据压缩进行了重点研究,取得了较好的效果,可为相关三维地形制作提供参考.

摘要： 我国自主研发的北斗导航系统不但具备导航定位、授时的功能,还兼具数据通信的功能,为迎合日益发展的通用航空市场对航空器飞行过程中定位、监管的需求,本文提出一种利用北斗导航系统的数据报功能发送、接收航空器飞行数据的压缩、解压缩方法.该方法综合了预测编码方法和霍夫曼编码方法,在北斗系统单次收发有限的数据吞吐能力下,不但能够顺利发送航空器飞行数据,而且还留有余量能够用来发送其他信息.实验证明该方法行之有效.

摘要： 简要介绍了稀疏表达算法，阐述了ROMP的改进算法——BtROMP算法,分别论述了基于稀琉表达的遥感影像融合方法和基于稀疏表达的天文数据压缩方法。

摘要： 介绍了AVS+的技术特点,包括高级熵编码、自适应加权量化和增强PB场编码,与AVS对应技术做了比较.针对AVS+相关测试标准,包括符合性测试标准以及针对AVS+高清编码器、标清编码器、专业卫星综合接收解码器、卫星直播系统综合接收解码器和数字电视接收终端等产品的测试标准进行了解读.AVS+中，对所有语法元素共有322种上下文模型，其中DCT变换系数的数据量最大，对DCT系数上下文模型的选择也最复杂，其数目也最多算术编码引擎是4EC的核心，决定了AFC的数据压缩率。对于P帧或场中的跳过模式宏块,当前块使用同一帧或场的邻近块的运动矢量来预测其运动矢量(空域预测)。处于P场中的P_Skip宏块的前向参考场是异极性场，即若当前宏块处于顶场或底场，则其前向参考场分别是可参考的离其最近的底场或顶场。

摘要： 近年来,“互联网+”智慧能源、电力市场改革、新能源革命等一系列举措引发了电力系统信息大爆炸,导致海量的电力设备、电器以及用户需要连接.信息的感知、连接、传输、处理、应用及发布,范围越来越广,规模越来越大,并出现了大规模、复杂的高维动态系统,伴随着海量数据集.而集中式信号处理在处理这类问题时,存在着通信负担重、计算复杂度高、可扩展性差、鲁棒性差等缺点.因此集中式信号处理方式已经明显不适用,需要寻找新模型、新算法来解决.在大规模复杂(能源)电力系统中采用分布式信号处理是有效的解决方法.对国内外分布式感知和协同估计/检测进行梳理和综述,并给出未来的挑战和研究方向.

摘要： 近年来,“互联网+”智慧能源、电力市场改革、新能源革命等一系列举措引发了电力系统信息大爆炸,导致海量的电力设备、电器以及用户需要连接.信息的感知、连接、传输、处理、应用及发布,范围越来越广,规模越来越大,并出现了大规模、复杂的高维动态系统,伴随着海量数据集.而集中式信号处理在处理这类问题时,存在着通信负担重、计算复杂度高、可扩展性差、鲁棒性差等缺点.因此集中式信号处理方式已经明显不适用,需要寻找新模型、新算法来解决.在大规模复杂(能源)电力系统中采用分布式信号处理是有效的解决方法.对国内外分布式感知和协同估计/检测进行梳理和综述,并给出未来的挑战和研究方向.

摘要： 本发明的目的在于提供一种能够在图像中产生不同的图像质量进行压缩的图像压缩方法。在马赛克处理部16，利用区域分割单元130将输入图像数据分割为多个滤波区域，利用滤波部131对至少一部分滤波区域按每个上述各滤波区域执行一元化处理。另一方面，在JPEG编码部17中，将马赛克处理后的图像数据分割为由矩形构成的多个区块区域，按每个上述区块区域实施DCT处理及量化处理。此时，上述滤波区域由上述区块区域2n(n是自然数)等分后的大于等于2像素的矩形区域的1个或大于等于2个的相邻集合体构成。

摘要： 动图像的数据采用在图中自上而下的z轴方向上由第0阶层（30）、第1阶层（32）、第2阶层（34）及第3阶层（36）构成的阶层构造。各阶层由将以不同的分辨率表示一个动图像的动图像数据、即多个图像帧按照时序顺序排列的数据构成。动图像显示时的视点坐标及与其对应的显示区域由表示图像的左右方向的x轴、表示上下方向的y轴、表示分辨率的z轴所构成的虚拟三维空间而定。通过预先对z轴设置阶层的切换边界，来根据帧坐标的z的值，切换用于帧描绘的动图像数据的阶层。

摘要： 本发明提供了数据压缩、解压缩以及基于数据压缩和解压缩的处理方法及装置,其中数据压缩方法包括：接收待压缩数据，所述待压缩数据为神经网络模型的任意层输出的稀疏数据；基于稀疏压缩算法和位平面压缩算法对所述待压缩数据执行压缩处理，得到已压缩数据。利用上述方法，能够实现较高的压缩率，进而能够节省数据传输带宽与外部存储器的存储空间，提高访存效率,提升芯片计算能力。

摘要： 本发明提供一种数据压缩及解压缩方法以及数据压缩器和解压缩器。其中，所述的数据压缩方法，包括：对输入信号进行缩放以产生缩放的信号；传输该缩放的信号至差分器和组装器；区分该缩放的信号和现有的信号以产生差分信号；检测该差分信号的零比特以产生零区间控制信号和零区间控制字；根据该零区间控制信号改善该差分信号以产生改善的信号；以及根据该零区间控制字确定将该零区间控制字与该缩放的信号组合或将该零区间控制字与该改善的信号组合以产生压缩信号。本发明提出的数据压缩方法可有效减少传输数据的数据大小并减少传输吞吐量。

摘要： 一种数据压缩/解压缩方法与影像数据压缩/解压缩装置，该影像数据压缩装置包含：第一数据缓存器、第一编码器及第二编码器，该方法包含下列步骤：将由该影像撷取装置所送出的第一数据字节与第二数据字节予以储存；将该第二数据字节与该第一数据字节进行比较运算而得到一以m个比特表示的差值并予以输出；对该差值进行编码得到一还原用数据码而输出至该帧缓冲器中存放，其中当该差值的绝对值小于第一门槛值时，利用一可变长度编码法对该差值进行编码而转换成以小于m个比特表示的该还原用数据码，当该差值的绝对值大于等于该第一门槛值而小于等于第二门槛值时，利用一固定长度编码法对该差值进行编码而转换成以m个比特表示的该还原用数据码。

摘要： 本发明提供一种数据压缩/解压缩方法、数据解压缩方法及光盘驱动器。其中用于光盘驱动器操作的数据压缩/解压缩方法，包括：获取数据；以及当一部分数据满足预定义规则时，压缩至少该部分数据以产生已压缩数据。通过利用本发明，节省了大量的存储空间。

摘要： 一种用于有损数据压缩的方法，所述方法包括：在存储装置处接收原始数据；接收要对旗标进行压缩的请求；存取板载数据压缩算法库，其包含分别与有损数据压缩方案对应的各种数据压缩算法；基于多个参数来选择所述数据压缩算法中的一者；在线运行所选择的所述数据压缩算法，使得当接收到所述原始数据时所述原始数据被所述存储装置压缩，且接着所述原始数据被作为压缩数据存储在所述存储装置上；或者离线运行所选择的所述数据压缩算法，使得所述原始数据存储在所述存储装置处，此后由所述存储装置根据所选择的所述数据压缩算法来压缩所述原始数据，且所述原始数据被作为压缩数据重新保存在所述存储装置处。也提供数据压缩系统和数据压缩的方法。

摘要： 数据压缩装置具有：数据取得部(101)，其从编码数据(11)取得n个整数；整数分割部(102)，其将n个整数的各整数分割成由分割比特数b的低位比特表示的第2整数(1022)和由除去低位比特后的高位比特表示的第1整数(1021)，输出n个第1整数(1021)和n个第2整数(1022)；第1编码部(104)，其对n个第1整数(1021)进行编码，作为由单位比特数L的自然数倍的比特数的二进制数据表示的第1码(1041)进行输出；以及第2编码部(106)，其对n个第2整数(1022)进行编码，作为第2码(1061)进行输出。

摘要： 本发明提供了数据压缩、解压缩以及基于数据压缩和解压缩的处理方法及装置,其中数据压缩方法包括：接收待压缩数据，所述待压缩数据为神经网络模型的任意层输出的稀疏数据；基于稀疏压缩算法和位平面压缩算法对所述待压缩数据执行压缩处理，得到已压缩数据。利用上述方法，能够实现较高的压缩率，进而能够节省数据传输带宽与外部存储器的存储空间，提高访存效率,提升芯片计算能力。

摘要： 本发明提供一种数据压缩及解压缩方法以及数据压缩器和解压缩器。其中，所述的数据压缩方法，包括：对输入信号进行缩放以产生缩放的信号；传输该缩放的信号至差分器和组装器；区分该缩放的信号和现有的信号以产生差分信号；检测该差分信号的零比特以产生零区间控制信号和零区间控制字；根据该零区间控制信号改善该差分信号以产生改善的信号；以及根据该零区间控制字确定将该零区间控制字与该缩放的信号组合或将该零区间控制字与该改善的信号组合以产生压缩信号。本发明提出的数据压缩方法可有效减少传输数据的数据大小并减少传输吞吐量。