一种可扩展多通道并行实时数据采集装置和方法

摘要

本发明公开了一种可扩展多通道并行实时数据采集装置和方法，装置包括PXIe背板、CPU板卡和若干个FPGA采集卡，PXIe背板包括CPU主板插槽、时钟板插槽、若干个FPGA板卡插槽和PCIe/PCI转接桥；CPU板卡与FPGA采集卡之间通过PCIe交换器进行数据传输，FPGA采集卡之间进行P2P数据传输；时钟模块通过时钟总线提供系统差分时钟、差分同步信号、差分星型触发，并且向下兼容PXI时钟；所述FPGA板卡插槽通过PCI总线及PCIe/PCI转接桥来实现PXI及CompactPCIe板卡的兼容。本发明还提供了一种基于上述装置的方法。本发明采样率高、数据传输快、易于多个板卡的大规模扩展。

说明书

技术领域

本发明涉及数据采集装置研究领域，特别涉及一种可扩展多通道并行实时 数据采集装置和方法。

背景技术

随着现代医学影像技术的发展，对获取病人病理信息的速度和准确度的要 求越来越高，目前解决这一问题的主要方法是在成像设备上采用多个探测器， 有时甚至是几百个探测器同时接收病理信号，这就要求有能对这几百个探测器 接收的数据进行实时的、并行处理大规模的数据处理系统。然而，受到高速布 板工艺及数据处理规模的限制，目前不可能实现把这几百个探测器接收的数据 传输到一个采集板卡上进行处理，普遍做法是分成几个采集板卡来处理，然后 再分别上传到计算机进行最后的成像。因此，要求设计的采集板卡易于扩展， 各板卡的采样时钟要严格同步，最后能利用总线技术分时复用将数据上传到计 算机。

对于采集到的大量数据，一般都会先经过信号调理，具体包括放大、滤波 等处理方法。这些处理方法有的可以通过硬件来实现，有的则必须通过软件算 法来实现。如果这些算法全部通过计算机的控制器来完成，会降低成像的速度。 因此，这就要求采集板卡有一定的数据预处理能力，包括简单的数学运算，软、 硬件滤波，内插，甚至是快速傅里叶变换(FFT)和快速傅里叶逆变换(IFFT)。

从数据采集到成像算法，以及与CPU进行数据交互，大量的数据传输对数 据总线的传输速率及带宽要求比较高，因此，不同的数据总线技术对成像速度 的影响也比较大。

公开号为CN2896368的中国专利申请公开了一种基于PXI/CompactPCI总 线的多通道数据同步采集卡，该采集卡包括多路信号调理电路、模数(A/D)转 换电路、现场可编程门阵列(Field-Programmable Gate Array，FPGA)电路、 数字信号处理器(Digital Signal Processor，DSP)、低抖动时钟分相电路、存储器 和PXI/CompactPCI接口。该数据采集卡的采样精度比较高，采样频率每个通道 可达65M/S，可以对中频信号进行采样；由于考虑了低抖动时钟的设计，因此 各通道采样相位误差比较小。但仍有一些不足：1、将系统时钟设计在采集板卡 上，单个板卡上各个通道的相位误差小，但如果做多板卡的扩展，各个板卡之 间的时钟误差就比较大，无法满足大规模多通道信号的同步并行处理要求。2、 利用专用的DSP处理器来实现其信号处理能力，双处理器组成乒乓工作方式， 增加了硬件成本及布板的难度。

因此，需要提供一种可扩展、多通道且能够并行实时地进行数据采集的装 置和方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种可扩展多通 道并行实时数据采集装置，该装置具有采样率高、数据传输快的优点，且易于 多个板卡的大规模扩展。本发明还提供了一种基于上述装置的可扩展多通道并 行实时数据采集方法。

本发明的目的通过以下的技术方案实现：一种可扩展多通道并行实时数据 采集装置，包括PXIe(PCI eXtensions for Instrumentation Express，面向仪器系 统的PCI扩展)背板、CPU板卡和若干个FPGA采集卡，所述PXIe背板包括 CPU主板插槽、时钟板插槽、若干个FPGA板卡插槽、电源模块、时钟模块和 PCIe/PCI转接桥，用于CPU板卡、FPGA采集卡的连接及通信，工作时CPU板 卡和FPGA采集卡均设置在CPU主板插槽和FPGA板卡插槽内；所述CPU板 卡与FPGA采集卡之间通过PCIe交换器进行数据传输，各个FPGA采集卡通过 PXIe总线与CPU板卡进行通信；所述FPGA采集卡之间通过PCIe交换器进行 采集卡之间的P2P(Peer-to-Peer，点对点)数据传输；所述电源模块通过电源总线 为CPU板卡、FPGA采集卡、PCIe交换器提供板载电源，所述时钟模块通过时 钟总线提供系统差分时钟、差分同步信号、差分星型触发，并且向下兼容PXI 时钟；所述FPGA板卡插槽通过PCI总线及PCIe/PCI转接桥来实现PXI及 CompactPCIe板卡的兼容。

所述时钟总线，包括由时钟模块产生的时钟以及由PXIe背板中时钟板插槽 引入的外部时钟。当采用外部时钟时，需要在时钟板插槽中插入同步定时板卡。

所述PXIe背板为各个FPGA板卡提供10MHz时钟及100MHz差分时钟， 定时及触发线，以及差分信号线。

所述CPU主板插槽包括电源接口、PCIe接口、信号输入输出接口。

所述CPU板卡上包括南桥芯片组、北桥芯片组、CPU、存储器和硬件驱动 模块，所述南桥芯片组与PXIe背板及硬件驱动模块连接，北桥芯片组与CPU、 南桥芯片组、内存、显卡、PCIe/PCI转接桥连接，存储器用于缓存数据，与北 桥芯片组连接；所述硬件驱动模块包括外部的USB、硬盘、GPIB、网卡。

作为优选，所述每个PCIe交换器连接2、4或8个FPGA采集卡。

具体的，所述FPGA采集卡包括信号调理与采集模块、DRAM(Dynamic  Random Access Memory，动态随机存储器)、Flash(闪存)、PXIe控制器和FPGA 控制器，所述信号调理与采集模块、DRAM、Flash、PXIe控制器均分别与FPGA 控制器相连，Flash用于存储FPGA的底层程序代码，PXIe控制器与PXIe背板 相连。

更进一步的，所述FPGA控制器包括FIFO(First Input First Output，先进先 出数据缓存器)模块、主控制单元、内部RAM(Random Access Memory，随机 存储器)、CMT(Clock Management Tile，时钟管理模块)和DSP48E Slices；所 述信号调理与采集模块将输入的模拟信号转换成串行的数字信号后通过总线输 入到FIFO模块，FIFO模块将信号传输到主控制单元，然后通过DSP48E Slices 进行相关的滤波及FFT运算并将结果存储在内部RAM里面，CMT提供FPGA 采集卡内部运行时钟及外部、DRAM、PXIe时钟。

作为优选，所述信号调理与采集后的总线传输包括数据总线、控制总线及 时钟，数据总线为LVDS(Low-Voltage Differential Signaling，低压差分信号) 传输。

所述信号调理与采集模块包括VCA(Variable Gain Amplifier，可变增益放 大器)、AAF(Anti-alias Filter、抗混叠滤波器)、A/D转换模块、串行控制模块、 LVDS转换模块、锁相环及总线控制模块，输入的差分模拟信号通过VCA进行 适当的放大，再通过AAF进行滤波，之后通过A/D转换模块及串行控制模块转 换为串行的数字信号，最后通过LVDS转换模块输出，总线控制模块用于AAF 放大倍数及AAF截止频率的设置，锁相环用于将外部差分时钟转换为稳定的单 端时钟信号，然后将信号传递到A/D转换模块。每个信号调理与采集模块可对 8路模拟信号同时进行处理，其单通道最高采样率可达65MSPS。

一种基于上述装置的可扩展多通道并行实时数据采集方法，模拟信号分别 输入到信号调理与采集模块后变成串行的数字信号，然后通过总线输入到FPGA 采集卡中的FIFO模块，再通过FPGA内的DSP48E Slices进行相关的滤波及FFT 运算并存储在其内部RAM里面，之后通过PXIe控制器建立P2P传输通道将多 个FPGA采集卡的数据传输到单个FPGA采集卡上，并将数据存储在外部DRAM 里面，最后将DRAM里面的数据通过PXIe控制器的DMA(Direct Memory  Access，直接内存存取)通道传输到CPU主板。

所述信号调理与采集模块采用差分输入，LVDS输出。采用这种方式可以提 高电路抗干扰能力。

根据FPGA采集卡的数量，整个系统可并行采集处理的模拟通道可为32路、 64路、96路、128路及更多通道。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明不仅可以提供较高的采样率、数据吞吐量及高速数据传输，而且 还可以提供常用的数学运算及软、硬件滤波，FFT及IFFT运算能力。采用 PXIe/CompactPCIe总线技术及高精度的定时和同步功能，易于多个板卡的大规 模扩展，为影像设备提供了良好的大规模高速的并行数据处理能力，提高了成 像的数据采集及处理速度。

2、本发明中由于采用了多通道的高速信号调理与采集，而且包含了VCA、 AAF，在满足采样率及采样精度的条件下，使得模拟信号的处理更为方便简捷， 易于硬件电路的设计和维护。采用串行LVDS的输出方式，减小了高速信号线 间的串扰。

3、本发明具有低功耗串行I/O及数字信号处理应用的高性能FPGA，提供 550MHz DSP48E Slices，可以有效实现高速DSP算法。就不需要采用专用的DSP 处理器用于数字信号处理，简化了硬件设计。因此在满足DSP算法的基础上大 大简化了硬件电路，缩短了系统的开发时间。

4、本发明采用PXIe总线，大大提升了带宽，可以达到3.2GB/s。同时各个 板卡间通过PCIe交换器提供P2P的连接，不需要通过CPU控制器进行P2P数 据交换，减小了对系统资源的占用，最大数据流速度可以达到1GB/s，使得同一 个系统中的设备可以共享数据而不用占用其它的系统资源。

5、本发明PXIe机箱背板为各个FPGA板卡提供高精度时钟，使得采用多 个板卡实现多通道的扩展比较简单。

6、本发明可用于包括数字B超、光学小动物成像仪及其他大规模并行数据 处理设备。

附图说明

图1是本发明装置的总体结构图；

图2是本发明单个FPGA数据采集卡的结构图；

图3是单个信号调理与采集模块的结构原理示意图；

图4是本发明PXI e背板结构示意图；

图5(a)是本发明中同一个PCIe交换器下的两个FPGA采集卡间的P2P 数据传输原理图；

图5(b)是本发明中不同PCIe交换器下的两个FPGA采集卡间的P2P数 据传输原理图。

图1-5中：1-CPU板卡、2-FPGA采集卡、3-时钟总线、4-数据及控制 总线、5-可变增益放大器(VCA)、6-抗混叠滤波器(AAF)、7-A/D转换模 块、8-串行控制模块、9-LVDS转换模块、10-锁相环、11-信号调理与采集 模块的总线控制、12-信号通道、13-PCI总线、14-电源总线、15-P2P传输 路径。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。

实施例1

如图1和4所示，本发明一种可扩展多通道并行实时数据采集装置，包括 PXIe背板、CPU板卡1和若干个FPGA采集卡2，所述PXIe背板包括CPU主 板插槽、时钟板插槽、若干个FPGA板卡插槽、电源模块、时钟模块和PCIe/PCI 转接桥，用于CPU板卡、FPGA采集卡的连接及通信，工作时CPU板卡1和 FPGA采集卡2均设置在CPU主板插槽和FPGA板卡插槽内；所述CPU板卡1 与FPGA采集卡2之间通过PCIe交换器进行数据传输，各个FPGA采集卡2通 过PXIe总线与CPU板卡1进行通信；所述FPGA采集卡2之间通过PCIe交换 器进行采集卡之间的P2P数据传输；所述电源模块通过电源总线14为CPU板 卡1、FPGA采集卡2、PCIe交换器提供板载电源，所述时钟模块通过时钟总线 3提供系统差分时钟、差分同步信号、差分星型触发，并且向下兼容PXI时钟； 所述FPGA板卡插槽通过PCI总线13及PCIe/PCI转接桥来实现PXI及 CompactPCIe板卡的兼容。

所述时钟总线3，包括由时钟模块产生的时钟以及由PXIe背板中时钟板插 槽引入的外部时钟。当采用外部时钟时，需要在时钟板插槽中插入同步定时板 卡。

所述PXIe背板为各个FPGA板卡提供10MHz时钟及100MHz差分时钟， 定时及触发线，以及差分信号线。

所述CPU主板插槽包括电源接口、PCIe接口、信号输入输出接口。

如图1所示，所述CPU板卡上包括南桥芯片组、北桥芯片组、CPU、存储 器和硬件驱动模块，所述南桥芯片组与PXIe背板及硬件驱动模块连接，北桥芯 片组与CPU、南桥芯片组、内存、显卡、PCIe/PCI转接桥连接，存储器用于缓 存数据，与北桥芯片组连接；所述硬件驱动模块包括外部的USB、硬盘、GPIB、 网卡。

如图2所示，所述FPGA采集卡2包括信号调理与采集模块、DRAM、Flash、 PXIe控制器和FPGA控制器，所述信号调理与采集模块、DRAM、Flash、PXIe 控制器均分别与FPGA控制器相连，Flash用于存储FPGA的底层程序代码，PXIe 控制器与PXIe背板相连。所述FPGA控制器包括FIFO模块、主控制单元、内 部RAM、CMT和DSP48E Slices。本实施例中采用32路模拟信号分别输入到 四个信号调理与采集模块后变成串行的数字信号通过总线输入到FPGA中的高 速缓冲FIFO，再通过FPGA内的DSP48E Slices进行相关的滤波及FFT运算并 存储在内部RAM里面，之后通过PXIe控制器建立P2P传输通道将多个板卡的 数据传输到单个板卡上，并将数据存储在外部DRAM里面，最后DRAM里面 的数据通过PXIe控制器的DMA通道传输到CPU主板。整个FPGA采集卡的主 控制单元用于控制各个模块的数据传输，CMT提供FPGA内部运行时钟及外部、 Flash、DRAM、PXIe时钟。信号调理与转换后的数据及控制总线4具体包括数 据总线、控制总线及时钟，数据总线为LVDS传输。PXIe背板为FPGA采集卡 提供数据传输通道及时钟总线3。

图3为信号调理与转换模块的原理框图，为了提高系统的抗干扰能力及高 频噪声抑制能力，保证信号的可靠传输，该模块电路采用差分输入，LVDS输出。 输入的差分模拟信号首先通过一个可变增益放大器5进行适当的放大，再通过 抗混叠滤波器6进行滤波，之后通过A/D转换模块7及串行化模块8转换为串 行的数字信号，最后通过LVDS转换模块9输出。总线控制模块11用于可变增 益放大器放大倍数及AAF截止频率的设置。锁相环10用于将外部差分时钟转 换为稳定的单端时钟信号，然后将信号传递到A/D转换模块。每个信号调理与 转换模块可对8路模拟信号同时进行处理，其单通道最高采样率可达65MSPS。

CPU板卡1与FPGA采集卡2之间的数据传输要通过一个PCIe交换器，每 个PCIe交换器可以连接2、4或8个FPGA采集卡。CPU与PCIe交换器、PCIe 交换器与FPGA板卡间的信号通道12的传输速率可以达到1GB/s、2GB/s、3GB/s 或4GB/s。

图5为FPGA采集卡间的P2P传输示意图。(a)图为在同一个PCIe交换器 下的两个FPGA采集卡间的P2P数据传输。其中12为信号通道，15为P2P数 据传输的路径。图(b)为在不同PCIe交换器下的FPGA采集卡间的P2P数据 传输，此时P2P的数据传输不仅要通过PCIe交换器，而且还需要通过CPU控 制器的板载开关或芯片，但不需要经过CPU或存储器。

一种基于上述装置的可扩展多通道并行实时数据采集方法，模拟信号分别 输入到信号调理与采集模块后变成串行的数字信号，然后通过总线输入到FPGA 采集卡中的FIFO模块，再通过FPGA内的DSP48E Slices进行相关的滤波及FFT 运算并存储在其内部RAM里面，之后通过PXIe控制器建立P2P传输通道将多 个FPGA采集卡的数据传输到单个FPGA采集卡上，并将数据存储在外部DRAM 里面，最后将DRAM里面的数据通过PXIe控制器的DMA通道传输到CPU主 板。

所述信号调理与采集模块采用差分输入，LVDS输出。采用这种方式可以提 高电路抗干扰能力。

根据FPGA采集卡的数量，整个系统可并行采集处理的模拟通道可为32路、 64路、96路、128路及更多通道。本实施例中采用32路模拟信号。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。