文件系统

摘要： Windows下利用SSH、NFS等协议将远端文件系统挂载为本地网络驱动器,这是将其映射到本地的传统方式,文件系统格式为非NTFS格式,在镜像挂载、数据恢复等方面兼容性差。针对以上问题提出了在原有文件系统层上利用过滤驱动技术实现一个跨平台的网络文件系统CPNFS的原型,CPNFS采用C/S架构,客户端内核利用过滤驱动技术截获IO请求,客户端用户层与服务端通信建立与远端文件系统的映射,使远端的文件系统如在本地一样可以访问。

摘要： 闪存因具有速度快、体积小等优点而广泛应用于数据存储领域,为提高NAND闪存的垃圾回收效率、延长闪存使用寿命,提出一种基于数据更新间隔的垃圾回收算法UIGC。计算闪存中空闲页的分散度,将其作为垃圾回收触发条件。从垃圾回收效率和磨损均衡效果2个方面出发,综合考虑块中无效页年龄累计和以及块中有效页比例,使用动态回收块选择和静态回收块选择相结合的策略来选择目标回收块,根据回收块中有效页数据更新间隔判断有效页热度,同时提出数据更新稳定性的概念来划分有效页的数据更新状态,将具有不同热度和更新状态的有效页数据分别存储在不同的空闲块中,从而提高块中数据的同步更新概率。实验结果表明,UIGC算法相较于CAT、FaGC等现有垃圾回收算法具有更优的垃圾回收效率和磨损均衡效果,并能有效延长闪存使用寿命。

摘要： 用户态文件系统框架(filesystem in user space,FUSE)因其相对简单快捷的开发特性被广泛应用于新型文件系统的开发过程中。但是FUSE框架在处理应用的I/O请求时存在多次用户态和内核态切换、上下文切换以及额外的内存拷贝操作,造成一定的性能开销。为减小FUSE对I/O性能的影响,提出一种绕过FUSE的方案。该方案利用动态链接技术,通过将I/O请求的接收和转发功能实现在用户空间的方式消除FUSE框架的接入。该方案针对并行日志文件系统进行了应用实现和测试,结果表明,该方案对于大块读操作的性能提升最大可达131%,对小块写操作的性能最大提升5倍左右。

摘要： (上接3期)7.CH376S文件管理控制芯片CH376S是文件管理控制芯片,用于单片机系统读写U盘或SD卡中的文件,其引脚功能见表4。该芯片内置USB通讯协议和处理Mass-Storage海量存储设备的专用通讯协议的基本固件,以及SD卡的通讯接口固件,FAT 16、FAT32和FAT12文件系统的管理固件,支持USB设备方式和USB主机方式,即支持常用的USB存储设备(包括U盘、USB硬盘、USB闪存盘、USB读卡器)和SD卡(包括标准容量SD卡、高容量HC-SD卡和与协议兼容的MMC卡和TF卡),其典型应用电路如图9所示。

摘要： 由于系统资源的有限性,目前空间飞行器中的嵌入式操作系统并没有文件系统模块.系统任务通过直接调用I/O接口,完成外部存储设备的读与写.但是,随着空间飞行任务复杂化,数据大量涌现,空间嵌入式操作系统需要文件系统来完成数据处理,因此安全可靠的文件系统的开发是空间嵌入式操作系统亟待解决的问题.空间嵌入式操作系统是典型的安全关键的系统,集成在系统中的每一个模块都需要经过严格的测试,保证其不会在运行期间产生故障.采用形式化验证的技术可以从数学上严格保证验证对象的正确性.因此,本文采用形式化技术,针对面向空间飞行器文件系统的需求,验证其内部逻辑的正确性.

摘要： 为了解决NTFS(newtechnologyfilesystem)环境下海量小文件读写性能低下的问题,提出了一种高速读写方法。该方法通过解析NTFS系统结构,提取文件记录、目录项等关键元数据,模拟文件系统读取磁盘数据,并通过元数据与用户数据的双预读机制,提升数据读取效率,从而实现了NTFS上海量小文件的高速读写。实验结果证明,该方法能够大幅提升NTFS环境下海量小文件的读写速率。

摘要： 针对分布式文件系统(Ceph)性能调优问题,以参数调节为出发点,将参数调节问题转化成参数转换决策问题,采用强化学习实现参数的自动调节达到文件系统的性能优化。根据文件系统的参数调节复杂程度,采用分层强化学习对问题不断地简化。为了减少手工分层,采用基于端到端的分层强化学习中的瓶颈和路径法进行分层,基于选项的分层强化学习根据分层结果选择合适的调节动作实现参数的调节。试验表明,使用分层强化学习调节后的参数的文件系统比使用默认参数的文件系统的读写速度提高了30%左右。

摘要： 对一个典型的综合化航空电子系统中的存储单元进行分析,解决其配置的事务型文件系统在实际使用一段时间之后,因自身结构不断增加导致查找有效信息的时间持续增长,影响实际的文件操作效率的问题。设计了一种机载存储系统快速维护方法,通过增加预设的逻辑分区作为临时存储区,设计适合工程使用的操作流程,实现在不影响原有存储文件的情况下,对文件系统进行格式化操作,且能够保证操作的各个时间点系统发生意外掉电等异常情况后能够有效恢复,并对系统进行了功能和可靠性性测试,结果表明满足设计要求,实现了整个维护过程的安全可靠。

摘要： 在嵌入式领域中需要可移植性、灵活性高的FAT32文件系统,以适用多样的硬件存储设备,因此采用一种满足该要求的文件系统设计实现,整个设计采用层次化设计,全部使用C语言编写,无任何特定操作系统API相关的调用,仅依赖少量几个标准C库函数的调用,使得文件系统本身代码不仅与具体硬件平台相分离,而且独立于任何操作系统,从而可以方便及灵活地移植于有操作系统支持或无操作系统支持的环境中。

摘要： 超融合架构作为一种快速发展的数据中心核心架构为未来云计算虚拟化的发展发挥重要作用。但是由于超融合集群文件系统是多主集群架构,能够通过任意节点管理整个集群,没有任何独立的管理节点,并且用户可以使用任何浏览器访问Web管理接口,所以如果集群中的节点在加入集群之后出现其他异常状态,或是被恶意攻击,那么对集群中的其他节点甚至整个集群都会造成安全隐患。

摘要： 随着安全关键软件规模越来越大,结构越来越复杂,高安全性的保证、验证成本高和开发周期长成为了安全关键软件开发的最主要问题.为了解决这些问题,国际上逐渐出现了一些主流的开发审定标准:美国航空无线电技术委员会(RCTA)针对安全关键软件的开发和审定所发布的DO-178B/C标准;美国航空无线电公司(ARINC)提出的航空电子应用软件标准接口(ARINC653).本文遵循D0178-CA级软件开发标准,提出了一套ARINC 653文件系统服务建模、验证和代码转换方法.首先,对ARINC 653的文件系统高层需求描述为前后置条件形式;之后使用M*抽象语言对文件系统进行建模;通过基于语境的一致性验证方法证明低层需求和高层需求的一致性;最后通过层级编码的方法将M*代码转换为MISRA-C源代码,并保证可追踪性.

摘要： 航空发动机运行过程中需要对众多数据进行实时记录.这些数据对于发动机状态监控、健康管理和故障分析有着极其重要的作用,必须保证数据的准确和完整记录.本文设计了一种专门针对航空发动机实时数据记录的文件系统,具有资源需求少、支持容量大、加载迅速、高实时性、高安全性等特点.完全满足目前航空发动机实时数据存储的要求,并已经在多个国内重点型号中使用,取得了良好的效果.

摘要： 数字信息长久化保存一直以来都是现代社会面临的一个重要问题,而传统的以磁带和磁盘作为存储介质的存储系统很难满足数据长久稳定保存的需求.人们需要一种专门面向归档的存储系统来减少存储成本和提高数据稳定性.光盘作为一种介质与读取驱动分离的存储介质,易保存,适合用在归档存储中.提出了一种基于光盘的大容量光盘库文件系统,其基本思想是将归档数据存放在较为廉价的光盘上,针对单张光盘容量小的缺陷,将大量的光盘虚拟成整个容量池,文件可以跨越光盘边界存储,光盘的刻录和读取完全实现自动化,并提供给用户通用文件访问接口.通过一系列读写测试,文件系统可以自动化读取和写入数据.

摘要： 随着高性能计算机的存储系统规模的不断扩大,传统的依靠硬件容错的方法已经不能满足系统对数据可靠性的要求.纠删码作为一种数据保护技术,具有存储利用率高和容错能力强等优点,已经逐步被应用到大数据计算和云存储系统中.为了探讨将纠删码作为容错技术应用到高性能计算的存储系统中的可行性,设计了一个使用纠删码容错的虚拟文件系统(EDFS),并将其堆叠在现有的并行文件系统之上进行了验证.针对纠删码对读写操作的影响,以及高性能计算的存储系统IO访问的特点,使用写合并以及流水线的技术对EDFS的顺序写操作进行了优化,同时利用近期访问数据缓存和预读机制,对顺序读过程中发生的降级读(degraded read)操作进行了优化.实验数据表明:对纠删码的实现进行针对性的优化可以使其在高性能计算机的存储系统中有效保障数据访问的性能和可靠性.

摘要： 针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.

摘要： 伴随着高性能、高可靠性、低功耗和重量轻等优势,SSD被认为是下一代主流存储设备.文件系统组织和管理文件的实现方式,以及I/O调度器对请求的预处理操作对SSD的性能和寿命有很大的影响.以负载、文件系统、I/O调度器作为测试维度,分析不同负载下的文件系统和调度器的特点以及TRIM优化,并利用Blktrace收集测试过程中发生的每一条I/O操作,用SSDsim评估数据块擦除次数.通过实验发现,在不同的负载下文件系统和调度器对性能和寿命存在显著的差异,Ext4和Deadline表现出更好的综合指标.基于各方面分析,为以后面向SSD文件系统和I/O调度器的设计提供见解.

摘要： 基于DNS系统的大数据分析，通利用数据挖掘技术对用户行为进行多维度统计分析，为网络优化、分析评估热门业务的引进、支撑市场发展提供有力的数据参考。将采集到的各类数据进行预处理，按照一定要求保存在系统的分布式文件系统内。在数据保存前，需要进行数据抽取、转换和丰富等操作，保证分布式文件系统中保存的数据是完整的、准确的和有效的。通过事先设计好的分布式计算平台的任务调度和数据索引引擎对采集到的信息数据进行归类、分析、数据挖掘等处理，从海量数据中发现直接的业务线索并进行统计分析处理。如不同业务的用户访问比例、用户地市分布、网站访问量、用户行为、域名解析成功率等数据做统计，通过深度分析评估，最终的结果将成为各类业务的指导数据，为网络的优化调整提供建议，给业务发展带来借鉴作用。

摘要： 芯片类存储设备有读写速度快、稳定性高的优点.随着技术的发展,各类芯片存储设备被广泛应用.芯片类存储设备也会因为主控芯片损坏,或设备电流电压变化对电路或存储芯片干扰导致损坏.电子数据鉴定案件中也常常涉及芯片存储设备的数据恢复.文章介绍了芯片类存储设备的数据存储原理和数据恢复的思路,并对实际应用案例进行了分析.Flash芯片存储设备一般都使用NAND Flash，根据NAND Flash的数据存储特点和文件系统的特征，采用数据检查和数据分析方法分析模拟主控算法，从而可以从损坏主控的Flash芯片中恢复原来文件系统的数据结构。在这一过程中，主控芯片的型号和算法分析、存储芯片的原始数据的准确读出非常重要，一定要清理好触点，避免数据读取错误。在分析主控算法时一定要了解芯片存储的主控的常规算法，如字节交叉、页大小转换、字节反转(与或变换)、取消字节交叉、重新分割并重组等，根据文件系统特征进行判断才能得到正确的结果。

摘要： 存储海量的小文件给文件系统带来容量和效率上的压力,多种传统处理小文件方法的工作机制都存在各自的缺陷.对于实时存储的文件系统,一种数据库与文件系统相结合的针对海量小文件实时存储的方案能较好的缓解小文件带来的压力.该方案先对小文件进行文件合并用数据库存储小文件的元数据,与单纯使用数据库的方法进行实验对比后验证了这种方案的可行性与有效性.

摘要： 当前中国石油管道线路已经实现基于风险的完整性管理,但对站场设备设施的管理仍基本沿用传统的管理模式,尚未形成规范的、覆盖油气站场设备设施的基于风险和可靠性的站场完整性管理体系.中国石油2012年启动了站场完整性管理工作,重点对体系文件建设情况以及取得的阶段进展和下一步工作计划做详细介绍.旨在通过协同发展和应用,实现站场完整性管理,最终实现中国石油油气站场设备设施风险管理水平和设备可靠性的整体提高.

摘要： 本发明涉及用于数据存储系统中的第一文件系统的数据迁移的方法和装置，数据存储系统包括：多个客户端计算机100；第一文件系统管理单元310，其用于管理所述第一文件系统并且被连接到所述多个客户端计算机100；以及第二文件系统管理单元410，其用于管理第二文件系统并且被连接到所述第一文件系统管理单元310，所述第二文件系统包括多个数据文件，并且所述第一文件系统包括多个外部链接对象，所述第一文件系统的每个外部链接对象与所述第二文件系统的相应数据文件相关联，以用于支持对所述第二文件系统的所述相应数据文件的客户端访问。

摘要： 本发明涉及一种提供允许间接访问数据存储系统中的第二文件系统的虚拟化文件系统的方法和设备，数据存储系统包括多个客户端计算机(100)、以及用于管理所述第二文件系统并且允许客户端访问所述第二文件系统的第二文件系统管理单元(410)，所述方法包括：在所述多个客户端计算机(100)与所述第二文件系统管理单元(410)之间互连第一文件系统管理单元(310)；在由所述第一文件系统管理单元(310)管理的第一文件系统中创建第一目录(/root)；将所述第二文件系统的第一目录(/root)与所述第一文件系统的所述第一目录(/root)建立关联；基于在所述第一文件系统管理单元(310)从所述客户端计算机(100)接收到的客户端请求以及基于所述第一文件系统的所述第一目录与所述第二文件系统的所述第一目录之间的关联，允许通过第一文件系统管理单元对所述第二文件系统的按需虚拟化；以及允许客户端通过所述第一文件系统间接访问所述第二文件系统。

摘要： 本发明公开了一种用户空间文件系统的文件操作方法及用户空间文件系统，方法包括：虚拟文件系统接收应用程序发送的对用户空间文件系统中的目标文件的文件操作请求，并将文件操作请求发送至用户空间文件系统对应的目标驱动模块；目标驱动模块开启扩展过滤器，以调用与文件操作请求相对应的插桩函数来对底层文件系统执行相应的文件操作，并根据操作结果对内核中的共享数据区域进行数据更新；以及用户空间守护进程从共享数据区域获取数据更新结果，并将数据更新结果发送至应用程序。根据本发明的技术方案，能够有效降低用户空间与内核之间的数据交互频次，有利于降低系统开销。

摘要： 本发明公开了一种分布式文件系统的文件存储方法、分布式文件系统、计算机可读存储介质，该方法包括：将单个磁盘划分成多个存储区域；获取待写文件数据；根据当前的策略类型获取对应的存储区域；将所述待写文件数据写入所述对应的存储区域。本发明在存储阶段就尽可能的做到按当前策略对文件进程存储，减少磁盘小碎片的产生，实现了文件存储的聚合，优化了对磁盘空间的管理和分配，提升了磁盘读写性能。

摘要： 本发明提供一种新型的集群文件系统及分布式文件系统多客户端文件控制方法。本发明通过注册回调函数的方式，当一个客户端操作分布式文件系统的文件时，所有已经向文件系统注册的客户端都会收到该文件的操作，进而执行回调函数，执行对应的操作，从而达到多客户端的控制。本发明实现简单，能够很好的对文件的操作进行控制。

摘要： 本发明提供一种可适用于文件系统的方法等，该文件系统以不一定经常运行的客户机为前提能够以高可用性写入和读出文件。适用于通过网络连接服务器和多台客户机的网络文件系统中的上述服务器的方法包括：第一接收步骤，接收来自一台客户机的数据写入请求；第一判断步骤，根据预先存储的上述一台客户机的状况和/或其他客户机的状况，从上述其他客户机中确定作为上述数据的写入对象的客户机；以及第一发送步骤，对被确定为写入对象的客户机发送上述数据的写入请求。

摘要： 本发明涉及一种提供允许间接访问数据存储系统中的第二文件系统的虚拟化文件系统的方法和设备，数据存储系统包括多个客户端计算机(100)、以及用于管理所述第二文件系统并且允许客户端访问所述第二文件系统的第二文件系统管理单元(410)，所述方法包括：在所述多个客户端计算机(100)与所述第二文件系统管理单元(410)之间互连第一文件系统管理单元(310)；在由所述第一文件系统管理单元(310)管理的第一文件系统中创建第一目录(/root)；将所述第二文件系统的第一目录(/root)与所述第一文件系统的所述第一目录(/root)建立关联；基于在所述第一文件系统管理单元(310)从所述客户端计算机(100)接收到的客户端请求以及基于所述第一文件系统的所述第一目录与所述第二文件系统的所述第一目录之间的关联，允许通过第一文件系统管理单元对所述第二文件系统的按需虚拟化；以及允许客户端通过所述第一文件系统间接访问所述第二文件系统。

摘要： 本发明涉及用于数据存储系统中的第一文件系统的数据迁移的方法和装置，数据存储系统包括：多个客户端计算机100；第一文件系统管理单元310，其用于管理所述第一文件系统并且被连接到所述多个客户端计算机100；以及第二文件系统管理单元410，其用于管理第二文件系统并且被连接到所述第一文件系统管理单元310，所述第二文件系统包括多个数据文件，并且所述第一文件系统包括多个外部链接对象，所述第一文件系统的每个外部链接对象与所述第二文件系统的相应数据文件相关联，以用于支持对所述第二文件系统的所述相应数据文件的客户端访问。

摘要： 本发明公开了一种用户空间文件系统的文件操作方法及用户空间文件系统，方法包括：虚拟文件系统接收应用程序发送的对用户空间文件系统中的目标文件的文件操作请求，并将文件操作请求发送至用户空间文件系统对应的目标驱动模块；目标驱动模块开启扩展过滤器，以调用与文件操作请求相对应的插桩函数来对底层文件系统执行相应的文件操作，并根据操作结果对内核中的共享数据区域进行数据更新；以及用户空间守护进程从共享数据区域获取数据更新结果，并将数据更新结果发送至应用程序。根据本发明的技术方案，能够有效降低用户空间与内核之间的数据交互频次，有利于降低系统开销。

摘要： 本发明公开了一种用户空间文件系统的文件操作方法及用户空间文件系统，方法包括：虚拟文件系统接收应用程序发送的对用户空间文件系统中的目标文件的文件操作请求，并将文件操作请求发送至用户空间文件系统对应的目标驱动模块；目标驱动模块开启扩展过滤器，以调用与文件操作请求相对应的插桩函数来对底层文件系统执行相应的文件操作，并根据操作结果对内核中的共享数据区域进行数据更新；以及用户空间守护进程从共享数据区域获取数据更新结果，并将数据更新结果发送至应用程序。根据本发明的技术方案，能够有效降低用户空间与内核之间的数据交互频次，有利于降低系统开销。