内存映射文件

摘要： 传统余票库存查询系统以内存数据库或嵌入式数据库作为缓存系统,在高并发与密集计算环境中,读取性能很难满足需求.设计一种高性能库存缓存系统,利用内存映射文件技术,消除进程间通信消耗,减少数据拷贝,避免读写操作互锁,从而大幅提高缓存读取性能.实验表明,该方法在并发读取效率上提升了两个数量级以上.

摘要： 基于某产品测试实际需求,为了实现对大数据量TLV(Type,Length,Value)文件数据正确性的快速自动校验,采用Java编程语言,基于面向对象技术以及内存映射技术,完成了对具有二级嵌套结构型的大数据量TLV文件解析程序设计.在实际应用中,该程序针对内含十万条记录的约50MB的TLV文件,其解析速率可达到提取单条记录平均耗时在毫秒级,可以满足快速解析大数据量TLV文件以便进一步作数据正确性校验的需求.

摘要： 高分辨率遥感图像处理经常面临程序执行时间过长和内存空间不足的问题,虽然并行计算技术可以提高遥感图像的处理速度,但是无法降低算法占用的巨大内存空间.为了解决这一问题,本文提出了一种利用CUDA和内存映射文件的高分辨率遥感图像快速处理方法,并以K-Means算法为例进行了实现.其中,CUDA技术可以有效利用GPU强大的并行计算能力,而内存映射文件技术降低了磁盘I/O速度较慢对算法性能的影响.实验结果表明,本文方法比传统K-Means聚类算法计算速度提高了30倍左右,内存使用量降低了90％以上.

摘要： Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储.但由于HDFS存储和管理的数据容量受限于命名节点(NameNode)的内存大小,其扩展性受到制约.针对NameNode管理元数据时存在的加载文件系统镜像(FSImage)时间过长、容量受内存大小限制等问题,提出将HDFS层级化的元数据结构调整为扁平化结构,并将元数据移出内存的优化思路,设计了基于日志结构合并树(Log-Structured Merge-Tree,LSM)与内存映射文件进行元数据管理的F-HDFS架构,并介绍了F-HDFS的元数据管理方式.通过F-HDFS的原型系统与HDFS的对比实验,表明F-HDFS性能整体优于HDFS,可提供稳定快速的元数据服务,能存储与管理超过HDFS 5.3倍以上的数据.

摘要： 针对传统记录重演方法存在同报文格式相关、需要被控程序紧密配合及数据传输效率低等问题,提出了一种基于数据截获与欺骗方式实现的通用记录重演解决方案.首先,利用Winsock2服务提供者接口技术,实现了网络数据的自动截获;其次,采用内存映射文件技术解决了数据共享和高速存取问题;最后通过向用户程序发送伪消息激发其读数据动作,完成数据注入.实际应用表明,新方法避免了数据的网络传输,无需被重演程序配合且与系统报文无关,能够完成10倍速度的流畅重演,普适于分布式仿真与模拟训练系统.%For the problems of the traditional method of data record-replay,such as packet format association,close corporation with the controlled application,and low transmission efficiency,a new record-replay method based on data interception and cheating injection was proposed.Firstly,the network data packet was automatically intercepted through the service provider interface technique of Winsock 2.Secondly,the problem of the data sharing and high speed data access was solved by using the memory-mapped file technique.Finally,the saved data packet was intercepted into the user program by the data read operation motivated by the fake messages.The practical application shows that the new method is suitable for the distributed simulation and simulated training system for its merits such as the avoidance of network packet transmission,no necessity for corporation with the controlled application,irrelevance of the packet format,smooth recurrence with ten times the speed.

摘要： 利用内存映射文件实现高效的进程间通信,完成实时性要求高的工作.进程使用内存映射文件创建环形缓冲区存取数据达到进程间通信的目的.

摘要： 针对水声目标实测数据量庞大，LOFAR和DEMON分析计算量大的问题，设计了一个基于Visual C＋＋6．0的数据库管理系统。管理系统通过ADO接口实现与SQL Server 2005数据库管理程序的数据交换，保证了数据稳定存储和高效传输。通过内存映射文件技术，实现了对大数据文件的快速读取。采用CPU与GPU并行计算进行了LO-FAR和DEMON分析，实现了LOFAR和DEMON谱图的实时显示。整个数据库管理系统操作简洁高效，可靠性高，具有广泛的实际应用价值。%To deal with large amount of underwater acoustic target measured data and large amount of cal-culation of LOFAR and DEMON,a database management system based on Visual C++6.0 was designed. The system exchanged data with SQL Sever 2005 database management program through ADO interface in order to ensure a stable storage and efficient data transmission.The system read data using memory map-ping file,which can improve the efficiency of file read.The system analyzed LOFAR and DEMON using parallel computing based on CPU and GPU,which can real-timely display the spectrogram of LOFAR and DEMON.The system designed concisely,efficiently and of high reliability,which has extensive practical application value.

摘要： 为了观察和分析进化算法的执行情况，往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于进化算法的嵌入式数据存储引擎EADB（Evolutionary Algorithm Database）提供了简便灵活的数据存储接口，通过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件I/O存储方式和一般的通用数据存储引擎，EADB大大加快了存储速度。%In order to observe and analyze the execution of Evolutionary Algorithms(EAs), large volumes of data generated during algorithm execution are always stored in disk files. An embedded data storage engine, named as the Evolutionary Algorithm Database(EADB), provides simple yet flexible data storage interfaces for evolutionary algorithms, and facilitates fast large data storage by using memory-mapped files. Compared to storage methods using traditional file I/O and general database storage engine, EADB is tremendous faster.

摘要： 为解决大型 LED 灯饰实时控制系统中截取计算机屏幕图像速度慢和图像数据量大的问题，在屏幕 DC（Device Context）方法的基础上，结合内存映射文件技术，设计一种提高屏幕图像采集效率的新方法；同时在保证视频图像效果的基础上，使用改进型八叉树颜色量化技术有效降低视频图像颜色数据量，提高监控系统的实时性。实验结果表明，该 LED 灯饰效果优化方法既有较快的屏幕图像截取速率，又在降低图像位数的前提下保证了图像视觉效果。在 LED 灯饰实时信息处理显示系统中应用良好。%To solve the problems of low speed in computer screen images capturinge and large amount of image data the large-scale LED lighting real-time control system has,we design a new method to improve the efficiency of screen image collection based on screen device context (DC)method and combining the memory-mapped file technology.Meanwhile,on the basis of ensuring good video image effect,we utilise the improved octree colour quantisation technology to reduce the data amount of video image colours effectively and to improve the real time performance of monitoring system.Experimental results show that this LED lighting effect optimisation method achieves faster screen image capturing rate;besides,it also guarantees the visual effect of image on the premise of reducing image bits.The method is well applied in real-time information processing and display system of LED lighting.

摘要： 为了促进遥感图像的后续研究,针对高分辨率遥感图像实现了基于小波变换的迭代收缩(IST)图像复原算法。考虑到算法在复原过程中对内存需求较大,实现过程中采用内存映射文件的方法,将高分辨率遥感图像映射到进程地址空间。针对分块复原图像时通常会伴有边缘跳变现象,影响拼接后的图像质量的问题,使用特殊分块策略对图像进行分块处理。复原算法在VC平台下实现,通过遥感图像复原实验,并对复原图像进行评价分析,复原性能和效率良好。

摘要： 在地面地球物理勘探中,反射地震因其高分辨率的特点,广泛应用于石油及煤矿等矿产勘探,在地下介质的探测中发挥了巨大作用.以石油勘探为例,反射地震资料的构造解释是油田勘探开发工作的基础,而在地震资料的精细解释过程中,解释工区及数据量不断增多,出现了地震解释数据重复的问题.本文以Geo-frame地震解释系统为例,从重复地震解释数据的特点出发,基于C语言的字符连接和比较函数,研究了一种简单高效的重复地震解释数据的处理方法.对于数据量较大的情况,利用内存映射文件的方法,保证了处理的顺利进行及处理速度.通过对实际数据的处理表明,本文方法的处理结果准确可靠,处理速度快,效果好.

摘要： 介绍了在实际应用中使用光学三维扫描仪快速获取三维点云数据的基本原理，并针对点云数据渲染速度较慢这一问题，提出了通过使用内存映射文件来提高渲染速度。通过实验可知，针对复杂表面的三维数据获取，提出的算法具有一定的优化能力。

摘要： 本文设计了基于内存映射文件的机载双天线INSAR大图像读取和匹配方案.主辅图像读取和匹配过程中涉及的内存使用均采用内存映射文件方式，以解决计算机内存不足问题.对于主辅图像匹配，采用基于强度图像的最小二乘匹配策略，以实现匹配的高精度。

摘要： 当前国家物联网技术的发展越来越快,特别是在各行各业的发展中都能找到物联网的身影,其被广泛地应用于行业发展的进程中.物联网技术的普及成为了时代发展的代表性产物,它能有效地实现大数据量的信息传递,并且专注于传输层、感知层以及应用层三者之间的密切联系,将信息及时有效地进行传递,保证了实时信息的交换,体现出速度快、质量高的特点.主要通过分析物联网的大数据量实时信息交换思路构架,了解其进行实时信息交换的方式,分析信息传递中出现的问题,并提出了合理化建议.

摘要： 当前国家物联网技术的发展越来越快,特别是在各行各业的发展中都能找到物联网的身影,其被广泛地应用于行业发展的进程中.物联网技术的普及成为了时代发展的代表性产物,它能有效地实现大数据量的信息传递,并且专注于传输层、感知层以及应用层三者之间的密切联系,将信息及时有效地进行传递,保证了实时信息的交换,体现出速度快、质量高的特点.主要通过分析物联网的大数据量实时信息交换思路构架,了解其进行实时信息交换的方式,分析信息传递中出现的问题,并提出了合理化建议.

摘要： 当前国家物联网技术的发展越来越快,特别是在各行各业的发展中都能找到物联网的身影,其被广泛地应用于行业发展的进程中.物联网技术的普及成为了时代发展的代表性产物,它能有效地实现大数据量的信息传递,并且专注于传输层、感知层以及应用层三者之间的密切联系,将信息及时有效地进行传递,保证了实时信息的交换,体现出速度快、质量高的特点.主要通过分析物联网的大数据量实时信息交换思路构架,了解其进行实时信息交换的方式,分析信息传递中出现的问题,并提出了合理化建议.

摘要： 当前国家物联网技术的发展越来越快,特别是在各行各业的发展中都能找到物联网的身影,其被广泛地应用于行业发展的进程中.物联网技术的普及成为了时代发展的代表性产物,它能有效地实现大数据量的信息传递,并且专注于传输层、感知层以及应用层三者之间的密切联系,将信息及时有效地进行传递,保证了实时信息的交换,体现出速度快、质量高的特点.主要通过分析物联网的大数据量实时信息交换思路构架,了解其进行实时信息交换的方式,分析信息传递中出现的问题,并提出了合理化建议.

摘要： 当前国家物联网技术的发展越来越快,特别是在各行各业的发展中都能找到物联网的身影,其被广泛地应用于行业发展的进程中.物联网技术的普及成为了时代发展的代表性产物,它能有效地实现大数据量的信息传递,并且专注于传输层、感知层以及应用层三者之间的密切联系,将信息及时有效地进行传递,保证了实时信息的交换,体现出速度快、质量高的特点.主要通过分析物联网的大数据量实时信息交换思路构架,了解其进行实时信息交换的方式,分析信息传递中出现的问题,并提出了合理化建议.

摘要： 当前国家物联网技术的发展越来越快,特别是在各行各业的发展中都能找到物联网的身影,其被广泛地应用于行业发展的进程中.物联网技术的普及成为了时代发展的代表性产物,它能有效地实现大数据量的信息传递,并且专注于传输层、感知层以及应用层三者之间的密切联系,将信息及时有效地进行传递,保证了实时信息的交换,体现出速度快、质量高的特点.主要通过分析物联网的大数据量实时信息交换思路构架,了解其进行实时信息交换的方式,分析信息传递中出现的问题,并提出了合理化建议.

摘要： 本文介绍了一套完整的基于Windows NT平台的振动监测与故障诊断系统的实现方法,讨论了NT内核模式驱动程序的编制以及数据采集软件与数据分析软件的实现.

摘要： 提供了内存映射方法和内存映射模块。该内存映射方法用于将物理内存页映射到用户态中的线性地址空间，该方法包括：在用户态中分配第一线性地址空间；在用户态中查询第一线性地址空间对应的第一页表项；在内核态中查询第一页表项对应的第一物理页框号；在用户态中分配对应于第一页表项的第二线性地址空间；在用户态中查询所述第二线性地址空间对应的第二页表项；在内核态中将第一物理页框号填入第二页表项中，以使得在用户态中操作第二线性地址空间等效于在内核态操作第一页表项。通过根据本发明实施例的内存映射方法和内存映射模块，可以显著减少将物理内存页映射到线性地址空间的时间，提高了物理内存的访问速度，实现了高效的数据共享。

摘要： 提供了内存映射方法和内存映射模块。该内存映射方法用于将物理内存页映射到用户态中的线性地址空间，该方法包括：在用户态中分配第一线性地址空间；在用户态中查询第一线性地址空间对应的第一页表项；在内核态中查询第一页表项对应的第一物理页框号；在用户态中分配对应于第一页表项的第二线性地址空间；在用户态中查询所述第二线性地址空间对应的第二页表项；在内核态中将第一物理页框号填入第二页表项中，以使得在用户态中操作第二线性地址空间等效于在内核态操作第一页表项。通过根据本发明实施例的内存映射方法和内存映射模块，可以显著减少将物理内存页映射到线性地址空间的时间，提高了物理内存的访问速度，实现了高效的数据共享。

摘要： 本发明实施例公开了一种基于内存映射文件检测进程实例个数的方法及装置，用于更加隐蔽的检测同一时间存在的进程实例的个数。本发明实施例方法包括：定义将进程写入内存映射文件的数据存储格式；获取进程的进程唯一标识，并将进程的进程唯一标识进行加密，得到加密KEY和加密后的进程唯一标识，加密后的进程唯一标识随着开机状态的变化而变化；创建内存映射文件，并依据数据存储格式，将特征码写入内部映射文件的头端，并将加密KEY和进程的进程唯一标识写入内存映射文件；当需要检测当前进程实倒的个数时，根据数据存储格式读取内存映射文件，并解密加密后的进程唯一标识，得到解密后的进程唯一标识，即为当前进程实例的个数。

摘要： 一种基于内存映射文件的LTE基站大数据挖掘方法及装置，包括为所有基站创建共同的内存映射文件F1，存储当前周期原始counter信息；将原始counter按预定义数据结构M存储到F1中；在当前周期完整率统计时间点到达时，创建内存映射文件F2，将F1中原始counter数据拷贝到F2中；对F2中所有M结构进行排序，读取F2中每个M结构进行对比，将对比结果进行count计数，然后计算出当前指标的完整率。本发明使用内存映射文件处理存储于磁盘上的文件，减少对文件执行I/O操作，提高了原始counter完整率计算的效率，同时降低了平台内存的消耗、扩容难度和相应的成本。

摘要： 本发明提供了一种基于内存映射文件的跨进程异步任务处理方法及系统，包括：步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。本发明通过采用内存映射文件记录待处理任务的机制，实现跨进程任务登记和处理，主交易进程高效登记待处理任务，任务处理进程异步处理任务，既解决了额外附加的操作处理，又不影响主交易的性能，解决了各种高并发交易的附加操作，如日志记录、流量统计、异步消息发送等业务场景。

摘要： 本申请公开了内存映射文件清理方法、装置、电子设备及存储介质，涉及深度学习等人工智能领域，其中的方法可包括：源进程构建写入内存管理类；源进程利用写入内存管理类执行以下第一处理：创建内存映射文件，并针对内存映射文件进行共享内存映射及向内存映射文件中写入共享内存数据；其中，内存映射文件用于使目标进程构建的读取内存管理类重建共享内存数据，读取内存管理类还用于在程序正常退出的析构时清理内存映射文件。应用本申请所述方案，可节省人力成本及提升处理效率等。

摘要： 本发明实施例公开了一种基于内存映射文件检测进程实例个数的方法及装置，用于更加隐蔽的检测同一时间存在的进程实例的个数。本发明实施例方法包括：定义将进程写入内存映射文件的数据存储格式；获取进程的进程唯一标识，并将进程的进程唯一标识进行加密，得到加密KEY和加密后的进程唯一标识，加密后的进程唯一标识随着开机状态的变化而变化；创建内存映射文件，并依据数据存储格式，将特征码写入内部映射文件的头端，并将加密KEY和进程的进程唯一标识写入内存映射文件；当需要检测当前进程实倒的个数时，根据数据存储格式读取内存映射文件，并解密加密后的进程唯一标识，得到解密后的进程唯一标识，即为当前进程实例的个数。

摘要： 本发明公开了一种用于地面测试设备嵌入式软件中动态内存映射文件读取方法，涉及数据处理技术领域。本发明包括一个就绪线程预处理单元来分别获取一文件占用空间获取模块、一CPU采集模块和一当前线程时间片获取模块采集的信息，依照目标文件的内存映射大小进行内存映射操作，一数据交换模块用于数据交换操作，同时对线程时间片进行相应调整，并根据计算值进行数据的循环映射读取。本发明通过对大数据文件的动态映射，映射分段的粒度数大小随文件大小、嵌入式软件状态等因素动态改变，并根据每段映射读取时间动态调整执行时间片大小，从而有效提高文件读取和线程执行效率，减少了资源开销。

摘要： 一种基于内存映射文件的LTE基站大数据挖掘方法及装置，包括为所有基站创建共同的内存映射文件F1，存储当前周期原始counter信息；将原始counter按预定义数据结构M存储到F1中；在当前周期完整率统计时间点到达时，创建内存映射文件F2，将F1中原始counter数据拷贝到F2中；对F2中所有M结构进行排序，读取F2中每个M结构进行对比，将对比结果进行count计数，然后计算出当前指标的完整率。本发明使用内存映射文件处理存储于磁盘上的文件，减少对文件执行I/O操作，提高了原始counter完整率计算的效率，同时降低了平台内存的消耗、扩容难度和相应的成本。

摘要： 本发明的一种基于内存映射在超大文件中保存海量碎片文件的方法及介质，其方法包括S1创建与初始化数据卷；S2当有图片数据需要进行保存时，利用位图算法查找到空闲的数据块，使用内存映射文件技术将图片信息快速写入至数据块中；S3当有文件需要读取时，根据请求的路径解析出此文件保存的数据块索引，在数据块索引找到数据块位置；同时采用内存映射文件技术将数据块内容映射至内存中，程序读取内存文件数据发送至客户端；S4根据不同业务中文件的生命周期，当生命周期到达时，只修改数据块的使用状态。本发明可用于减少原来操作系统中对于每一张图片的INODE描述文件数量，以及在图片的生命周期到达时，快速删除图片，同时减少高并发的磁盘IO。