零拷贝

摘要： 射电脉冲信号在传输过程中受到星际介质的影响,脉冲轮廓展宽变形,在研究过程中需要对信号进行消色散处理.设计并实现了基于零拷贝的脉冲星数据图形处理器(Graphic Processing Unit,GPU)相干消色散算法,采用设备内存映射以消除主机到设备的拷贝开销,利用统一计算设备架构(Compute Unified Device Architecture,CUDA)的cuFFT库进行多批次傅里叶变换以提高离散傅里叶变换(Discrete Fourier Transform,DFT)的效率,同时采用多线程实现了传递函数的加速计算.实验结果表明,与传统中央处理器及图形处理器算法相比,本文的算法在数据量大时表现良好.

摘要： 面对高性能计算、分布式存储等应用的快速发展,现有的网络件架构无法满足业务发展的需求,新兴的RDMA技术解决了传统网络架构的性能瓶颈,本文对RDMA技术的基本原理深入研究,并为应用开发给出指导.

摘要： 为提升物联网与边缘计算应用中前端节点间的数据访问效率,提出了一种新型远程零拷贝文件系统.该文件系统无须借助特殊硬件,可直接基于通用网卡设备实现零拷贝的数据传输框架;充分利用新型非易失内存的随机访问特性,尽可能减少数据缓存和拷贝,提高数据访问的吞吐量.建立缓冲区池,精简并融合传统网络栈和存储栈,从而缩短文件访问路径,减少软件冗余,降低数据访问延迟.最终提供高带宽、低延迟的远程数据访问性能.测试结果表明,远程零拷贝文件系统比传统网络文件系统减少了42.26％ ～99.19％的读写延迟,细粒度访问下的吞吐量最高可提升1297倍,显著降低了处理器开销和缓存失效次数.

摘要： LWIP是一种轻量级的TCP/IP协议栈.在运行过程中占用少量的资源,主要应用在低端的嵌入式系统.文中从物理层到应用层,分三个层次分析了LWIP协议栈的数据传递过程.分别是物理层到协议栈内部的数据传递过程、协议栈内部本身的数据传递过程、协议栈和外部应用程序数据的传递过程.而数据在协议栈内部传递时,通过pbuf缓冲包在各层之间传递数据包的地址指针已经实现了数据在协议栈内部各层之间的零拷贝传递.提出了在物理网卡和LWIP协议栈传递数据、外部应用程序和LWIP协议栈传递数据时的改进方法,避免了数据的两次拷贝,从而实现了数据从物理层直达应用层,提高了系统的传输效率和并发性能.测试结果表明,数据传输速率从未优化的2.04 MB/s提升到9.8 MB/s,已接近网卡性能极限.

摘要： 以奉化广播电视中心为例,探讨基层电视台如何以融合媒体、融合生产为核心打造一套全新的融媒体生产平台,并通过该平台实现融和媒体生产的流程化、规范化,建立一个适合基层电视台的融合媒体生产、发布体系.

摘要： mbuf全称为"memory buffer",主要用于保存进程和网络接口间互相传递的用户数据,也用于保存源与目标地址,套接字选项等.本文基于TCP/IP协议栈中mbuf的设计思想,设计了一种简化的mbuf,提供给应用软件能方便的操作可变长缓存、在缓存的头部和尾部添加协议头数据、从缓存中移除数据,同时通过内存的零拷贝技术,有效地提高CPU的利用率、节省存储空间的占用,并且可移植性强,具有较高的实用价值.

摘要： mbuf全称为＂memory buffer＂,主要用于保存进程和网络接口间互相传递的用户数据,也用于保存源与目标地址,套接字选项等。本文基于TCP/IP协议栈中mbuf的设计思想,设计了一种简化的mbuf,提供给应用软件能方便的操作可变长缓存、在缓存的头部和尾部添加协议头数据、从缓存中移除数据,同时通过内存的零拷贝技术,有效地提高CPU的利用率、节省存储空间的占用,并且可移植性强,具有较高的实用价值。

摘要： 软件路由器在现代网络的发展中发挥着越来越重要的作用,而Click是具有良好模块化设计的软件路由器,为开发和验证新的路由协议等应用提供了很好的软件平台.由于实现机制问题,用户态Click的I/O性能严重限制报文处理能力,影响以Click软件路由器为平台的系统的整体性能.针对现有Click用户态I/O机制的不足,提出了一种面向用户态Click的I/O优化框架,通过采用轮询技术、零拷贝技术和报文预取技术提升了I/O性能.实验结果表明:优化后的用户态Click的I/O性能提升了121倍.

摘要： 超融合存储为广电融合生产平台的建设提供了强有力的技术支撑,多业务、多应用的统一存储真正体现了融合,数据零拷贝技术极大提升了数据交换效率,多副本、纠删码的机制保证了数据超高安全性的同时也实现了负载均衡,视频业务最重要的读带宽指标成倍提高,在存储方面加速推进了苏州广播电视总台媒体融合生产的进程.

摘要： 随着高校信息化水平的快速发展，网络安全问题也成为各高校紧迫而又不可回避的问题。本文在简单分析高校校园网的特点与常见风险的基础上阐述了目前高校校园网安全审计系统存在的问题，针对存在的问题给出了相应的解决方法后，重点研究了高校校园网安全审计系统的关键技术。

摘要： 网络带宽的不断增加对报丈捕获技术提出了挑战，传统报文捕获技术已不能满足千兆以太网环境下的性能需求。目前报文捕获系统中广泛采用零拷贝技术来提高报丈捕获的性能，但是在报丈速率过高、中断过于频繁的情况下，零拷贝报文捕获技术同样存在性能瓶颈。本文深入分析了零拷贝报文捕获技术性能瓶颈产生的原因：用户空间释放报文、内核空间接收报文的机制造成系统活锁。为解决该问题提出用户空间报文捕获机制ULPC(uer-level packetcaputre)，在用户空间接收并释放报文。实验表明ULPC机制能有效解决零拷贝报文捕获系统的瓶颈，在小报文64字节的条件下，系统达到千兆的捕包性能。

摘要： 随着网络报文捕获平台的广泛应用，加速报文处理的零拷贝技术应用范围也日益扩大。零拷贝技术的核心机制是高效内存管理，因此报丈捕获缓冲区如何设计成为影响报文捕获平台性能的关键因素。报文捕获缓冲设计的一个重要方面就是对报文捕获缓冲区容量的确定。 通过对报文捕获过程的分析，本文提出了一种报文捕获分析模型。 在此模型的基础之上，通过量化各种时段长度，包括：硬中断处理环境的建立，网卡驱动在中断过程里对批量报文信息的提交，用户程序里面对报丈的处理及对缓冲区的释放，网卡驱动里面对于空闲描述符的填充等，我们得到三个关于如何设计报文捕获缓冲区容量的定理，并对其进行了证明，最后又通过实验对定理的可靠性进行了验证。

摘要： 在高速网络中,提高入侵检测系统检测速率和效率是目前入侵检测系统需要解决的主要问题. 基于Linux平台,采用了零拷贝技术对Snort入侵检测系统的数据包捕获引擎进行了改进;采用改进的BM算法提高了规则匹配的效率,搭建了相应的实验平台并进行了性能测试. 测试表明,本方法可以显著提高Snort系统的性能.

摘要： 数据监听是网络数据分析的基础,网络报文捕获作为数据监听的关键技术,被广泛的应用于分布式实时控制系统、网络故障分析、入侵检测系统、计算机取证系统等领域。通过对网络数据监听原理、报文捕获技术的总结和分析,研究了在不同应用环境下实现网络监听的方法,并对网络数据监听技术最新发展情况进行了介绍。

摘要： 数据监听是网络数据分析的基础,网络报文捕获作为数据监听的关键技术,被广泛的应用于分布式实时控制系统、网络故障分析、入侵检测系统、计算机取证系统等领域。通过对网络数据监听原理、报文捕获技术的总结和分析,研究了在不同应用环境下实现网络监听的方法,并对网络数据监听技术最新发展情况进行了介绍。

摘要： 数据监听是网络数据分析的基础,网络报文捕获作为数据监听的关键技术,被广泛的应用于分布式实时控制系统、网络故障分析、入侵检测系统、计算机取证系统等领域。通过对网络数据监听原理、报文捕获技术的总结和分析,研究了在不同应用环境下实现网络监听的方法,并对网络数据监听技术最新发展情况进行了介绍。

摘要： 随着网络速度的增加,作为网络监测底层设施的报文捕获引擎暴露出性能上的不足.首先建立了报文接收的模型,分析了报文捕获的主要性能瓶颈--数据拷贝和上下文切换.为了避免上下文切换,提出了一种异步算法,称为"非对称剥夺条件下的追赶算法",它解决了临界段互斥访问的问题,并可以充分发挥异步工作的效率优势.模型分析和测试表明,基于这种算法设计和实现的报文捕获引擎可以大大减少上下文切换次数,具有很高的性能.

摘要： 随着网络速度的增加,作为网络监测底层设施的报文捕获引擎暴露出性能上的不足.首先建立了报文接收的模型,分析了报文捕获的主要性能瓶颈--数据拷贝和上下文切换.为了避免上下文切换,提出了一种异步算法,称为"非对称剥夺条件下的追赶算法",它解决了临界段互斥访问的问题,并可以充分发挥异步工作的效率优势.模型分析和测试表明,基于这种算法设计和实现的报文捕获引擎可以大大减少上下文切换次数,具有很高的性能.

摘要： 随着网络速度的增加,作为网络监测底层设施的报文捕获引擎暴露出性能上的不足.首先建立了报文接收的模型,分析了报文捕获的主要性能瓶颈--数据拷贝和上下文切换.为了避免上下文切换,提出了一种异步算法,称为"非对称剥夺条件下的追赶算法",它解决了临界段互斥访问的问题,并可以充分发挥异步工作的效率优势.模型分析和测试表明,基于这种算法设计和实现的报文捕获引擎可以大大减少上下文切换次数,具有很高的性能.

摘要： 随着网络速度的增加,作为网络监测底层设施的报文捕获引擎暴露出性能上的不足.首先建立了报文接收的模型,分析了报文捕获的主要性能瓶颈--数据拷贝和上下文切换.为了避免上下文切换,提出了一种异步算法,称为"非对称剥夺条件下的追赶算法",它解决了临界段互斥访问的问题,并可以充分发挥异步工作的效率优势.模型分析和测试表明,基于这种算法设计和实现的报文捕获引擎可以大大减少上下文切换次数,具有很高的性能.

摘要： 本发明涉及一种通用网卡非缓存的零拷贝方法及系统，包括步骤：(1)于用户空间内进行内存注册，建立应用程序的buffer；(2)把应用程序的buffer附加到新建的skbuf上；(3)经过通用网卡，内核函数把skbuf中的数据发送出去。采用非缓存的零拷贝方式发送数据之前，采用MX协议为零拷贝提供数据传递的支持，在数据发送过程中采用非缓存的方式，并将最后发送的数据存储在结构体skbuf中。本发明的通用网卡非缓存的零拷贝方法，适用于所有通用网卡，并满足高性能计算(HPC)系统的需求。

摘要： 本发明公开了一种零拷贝全镜像的大数据静态数据库脱敏系统主要包括系统管理模块、数据源管理模块、数据脱敏任务执行模块及脱敏配置管理模块四大模块，其中数据脱敏任务执行模块是整个系统的核心。本发明一的种零拷贝全镜像的大数据静态数据库脱敏系统，包括对系统的基础功能进行管理的系统管理模块、对系统的源数据库地址和目标地址进行管理的数据源管理模块、实现对脱敏任务的配置和执行以及监控的数据脱敏任务执行模块、为脱敏任务提供配置基础的脱敏配置管理模块。本发明还公开了一种零拷贝全镜像的大数据静态数据库脱敏方法。

摘要： 本发明的实施例公开了一种基于零拷贝报文收集系统的物联网安全网关方法，涉及信息安全技术领域。所述方法包括，接收物联网数据包；根据所述数据包中每个报文的帧头数据和帧尾数据，判断所述数据包中的报文是否存在异常；若所述数据包中的报文不存在异常，则提取各个报文中的报文数据并对其进行校验；当所述数据包中的所有报文的报文数据都校验通过时，将从所述数据包中的每个报文中提取出来的报文数据按所述数据包中报文的顺序进行连接，在内核态完成报文的收集。本发明通过对网络中报文内容进行管控，能有效地防止入侵和攻击行为产生。

摘要： 本发明涉及一种通用网卡非缓存的零拷贝方法及系统，包括步骤：(1)于用户空间内进行内存注册，建立应用程序的buffer；(2)把应用程序的buffer附加到新建的skbuf上；(3)经过通用网卡，内核函数把skbuf中的数据发送出去。采用非缓存的零拷贝方式发送数据之前，采用MX协议为零拷贝提供数据传递的支持，在数据发送过程中采用非缓存的方式，并将最后发送的数据存储在结构体skbuf中。本发明的通用网卡非缓存的零拷贝方法，适用于所有通用网卡，并满足高性能计算(HPC)系统的需求。

摘要： 本申请涉及一种实现数据零拷贝的方法、装置、计算机设备和存储介质。所述方法包括：对存储系统中的内存按照分配单元设置唯一的地址并编号；所述分配单元为内存页，每个内存页都有一个引用计数，其初始值设置为零；在内存页中存储数据时，同时获取存储这些数据所有的内存页的编号，并将存储这些数据所有的内存页的引用计数加一；在进行数据拷贝处理时，获取并保存被拷贝数据对应的所有内存页的编号，同时将这些内存页的引用计数分别加一并保存，但不进行这些内存页的数据拷贝。采用本方法能够实现数据零拷贝，实现了系统层面的零拷贝技术，不依赖于具体业务模块和协议的数据结构，提高数据处理速度，提升了整个系统的性能。

摘要： 本发明的实施例公开了一种基于零拷贝报文收集系统的物联网安全网关方法，涉及信息安全技术领域。所述方法包括，接收物联网数据包；根据所述数据包中每个报文的帧头数据和帧尾数据，判断所述数据包中的报文是否存在异常；若所述数据包中的报文不存在异常，则提取各个报文中的报文数据并对其进行校验；当所述数据包中的所有报文的报文数据都校验通过时，将从所述数据包中的每个报文中提取出来的报文数据按所述数据包中报文的顺序进行连接，在内核态完成报文的收集。本发明通过对网络中报文内容进行管控，能有效地防止入侵和攻击行为产生。

摘要： 本发明公开了一种应用于远程过程调用系统的零拷贝序列化方法，包括：步骤1：客户端应用程序调用序列化库，对应用程序的数据进行序列化；步骤2：序列化库将应用程序数据转换成字节流，随后根据内存分配策略申请内存，并根据内存批量注册策略将内存注册，再将转换后的字节流写入到分配的内存空间中，生成序列化后的消息；步骤3：客户端应用程序使用基于RDMA的RPC系统通过网络传输序列化后的消息，将序列化后的消息交由服务端的程序处理；步骤4：服务端的程序完成客户端的请求后，将运行结果按照上述步骤反向发回给客户端程序。本发明消除了现有序列化库中的多次拷贝，并有效减少了内存分配次数和内存分配总量，显著提升了RPC系统的吞吐量。

摘要： 本发明公开了一种基于内核态协议栈的UDP数据零拷贝传输方法，涉及网络安全技术领域，包括：通过网络安全设备的网卡在网络传输链路中截获使用了UDP承载协议的IP报文；进行目的地址转换；解析并检查转换后的IP报文；将解析至UDP层落地且未出错的IP报文存储至应用层接收队列中；获取IP报文的真实目的地址和UDP目标端口，并在内核态协议栈中寻找或通过UDP socket连接获取对应的上下文fd；将IP报文的数据体放入上下文fd指示的发送队列，封装成新IP报文，并通过网卡将其发送至网络传输链路中。本发明所提供的方法相比于现有技术提升了基于UDP协议数据落地传输的速率。

摘要： 本申请公开了一种零拷贝控制方法、装置、设备及存储介质，应用于AI资源管理平台，该方法包括：接收用户空间发送的请求指令；请求指令包括待传输的文件；读取文件到内核空间；将内核空间的文件数据直接写入到硬件目标，以便硬件目标将写入结果返回到内核空间；将内核空间的结果信息返回至用户空间。这样可以实现用户空间和内核空间的拷贝为零，减少用户空间和内核空间之间的上下文切换，避免不必要的CPU拷贝，节省AI资源管理平台的CPU资源和内存空间，增强系统可用性和灵活性，提高TCP通信的效率和用户的体验，从而有效保障服务的正常运行和使用，提高AI资源管理平台的竞争力。

摘要： 本发明提供了一种用于传感器数据的多进程间零拷贝通信方法及装置，包含完整的读写同步过程控制、共享内存管理和进程退出处理机制；共享内存管理包含环形消息缓冲区设计和消息号与消息空间地址主动映射关系设计；在读写共享内存的过程中，不会产生任何消息数据的内存副本，降低了数据拷贝开销；上层应用程序在使用传感器数据时，只需依赖根据本方案编写的功能模块，即可实现轻量级的传感器数据跨进程通信，降低了重复开发成本，提高了开发效率。