基于千兆以太网的物理实验高密度并行数据读出方法研究

摘要

现代高能核物理实验中，更高精度，更小粒度，更大广度的探测器装置被研制及应用，导致了数据率的急剧膨胀。在核物理重物质研究领域，由于产生的次级粒子极为复杂，传统的基于硬件判选的方式进行数据读出不再适用，需要采用“无触发”判选方式，这进一步导致了数据传输速率的增加。如何将前端电子学(FEE)海量的数据传递到数据获取系统(DAQ)成为一个重要的研究课题。
　　本论文依托CBM-973项目，针对CBM-TOF探测器MRPC(Multi-gap timingResistive-Plate Counter)和FPGA TDC研究&测试时TOF超级模块高速、高密度的数据读出需求，首先分析了目前物理实验中前端电子学到DAQ数据传输中使用到的技术和方法，然后总结了其技术与拓扑结构并且考虑了目前国内研究的具体情况和条件，提出了基于千兆以太网并行读出方案。该方案的核心目的在于简化物理实验数据读出拓扑结构，尽量在靠近FEE处开始使用标准通信协议，从而既能够提高数据吞吐率，又可以简化读出系统的软硬件结构，使其更加趋于扁平化。
　　在该并行读出架构核心思想的指导下，本论文以PXI机箱为基础，提出了针对CBM-TOF MRPC和FPGA TDC测试&研究的并行读出方法原型。利用PXI机箱提供系统配置、触发定时、机械及电源供应等功能。数据读出则通过独立的读出模块ROB(Read-Out-Board)实现。
　　ROB模块作为并行数据读出技术的载体，其设计和实现是本论文的核心研究内容。本论文采用将FPGA和ARM处理器集成于单个芯片的片上系统(SoC)解决方案，极大地简化了ROB的设计和实现，并着重研究了三个方面的内容，分别为:(1) FEE接口设计;(2) FPGA到片内硬核处理器系统(HPS)高速高效率数据传输（包括硬件和驱动两个部分）技术;(3)用户空间高效的TCP数据传输技术。在FEE接口设计方面，参考了SPI-4.2(System Packet Interface Level4 Phase2)协议，创新地设计了可以支持单向、可靠传输的RSPI(Reliable SPI)协议。RSPI协议充分地考虑了FEE数据流主要为上行的特点，节省FPGA和FEE接口资源;在FPGA到HPS数据传输方案设计中，通过DMA方式，巧妙地实现了高效的数据传输。该方案参考了NAPI(New API)技术，旨在降低FPGA存储空间占用率、HPS CPU占用率和中断频率。实际测试表明实现了上述目标，在754MB/s(6.032Gbps)速度下，CPU占用仅21％;在DAQ软件接口的设计方面，基于状态机管理的分布式状态同步方法保证了所有ROB状态的同步;在DAQ数据传输方法上，既实现了传统的read读出接口，还实现了splice方法。依赖于具体的EMAC(Etherent Media Access Control)设计，splice方法使得整个数据链路至多需要一次拷贝，甚至是零拷贝。本论文对两个读出方法性能进行了测试，并且对其优劣原因和值得改进的地方做了讨论。基于SoC FPGA的方案，使得FPGA逻辑远程配置极为便利，可重构性非常好。
　　本论文进行了ROB单板电子学硬件的设计实现，实现了小尺寸的单板（宽5cm长8cm高1.2cm）设计，并且完成了实验室性能测试。测试结果表明ROB在全链路（从前端硬件到数据获取系统软件）下，数据传输速度能够达到约58MB/s(464Mbps)，CPU占用率约64％。
　　由于ROB具有的灵活性，使得本论文的研究成果，不仅可以用于物理实验，在其他领域，如智能仪器、物联网、监控等领域也可以得到使用。

目录

声明

摘要

第1章 绪论

1．1 FAIR-CBM

1．2 CBM-TOF

1．3 研究内容、意义及结构安排

第2章 基于以太网并行读出原型结构设计

2．1 物理实验电子学典型结构

2．2 物理实验的数据读出技术现状

2．2．1 BESIII的数据读出

2．2．2 ALICE的数据读出

2．2．3 FAIR-CBM的数据读出

2．2．4 物理实验数据读出现状小结

2．3 并行读出方案原型结构

2．3．1 并行读出方案的时钟和触发分发

2．3．2 并行读出方案数据传输

2．4 小结

第3章 并行读出方法关键技术研究

3．1 并行读出的关键技术

3．2 FEE接口研究

3．2．1 数据传输协议设计的主要考虑点

3．2．2 协议层研究

3．3 FPGA到HPS数据传输研究

3．3．1 Cyclone V SoC FPGA简介

3．3．2 技术路线选择

3．3．3 DMA传输模式和Linux驱动程序设计

3．4 DAQ接口软件研究

3．4．1 设计思路

3．4．2 实现概述

3．5 小结

第4章 ROB模块电子学设计

4．1 硬件平台设计

4．1．1 时钟模块

4．1．2 电源和复位模块

4．1．3 输入输出模块

4．1．4 FPGA桉快

4．2 FPGA逻辑结构

4．2．1 自测模块

4．2．2 Gpio2amm模块

4．3 Linux系统及软件

4．4 小结

第5章 测试和验证

5．1 ROB单元模块测试

5．1．1 FEE接口测试

5．1．2 FPGA到HPS数据传输性能测试

5．1．3 DAQ接口服务器测试

5．2 软硬件系统全链路测试

5．3 小结

第6章 总结和展望

6．1 总结

6．2 工作特色和创新点

6．3 展望

参考文献

附录

致谢

在读期间发表的学术论文与取得的其他研究成果