超大尺寸金属原位分析仪中大数据快速处理方法

摘要

本发明属于超大尺寸金属原位分析技术领域，特别涉及一种基于CUDA平台的GPU并行运算技术的超大尺寸金属原位分析仪中大数据快速处理方法。本发明在集加工、扫描、表征于一体的超大尺寸金属原位分析仪上，将单火花积分光谱强度数据转化为基于CUDA平台的GPU并行计算技术要求的数据结构，通过CPU+GPU异构平台基础上的并行操作及算法优化大幅提高大数据的处理效率，并最终实现超大尺寸金属原位分析仪的分布表征，处理数据量大，计算速度快，准确度高，即时性强，所有数据结果5分钟内完成。

说明书

技术领域

本发明属于超大尺寸金属原位分析技术领域，特别涉及一种基于CUDA平台的GPU并行运算技术的超大尺寸金属原位分析仪中大数据快速处理方法。

背景技术

为实现金属表面的各元素分布表征，以点分析(直读光谱技术、钻孔取样湿法化学分析技术等)、小区域扫描技术(小面积原位扫描分析技术)都避免不了以点代面，以偏概全的问题。集加工、扫描、表征于一体的超大尺寸金属原位分析仪，采用单火花积分技术在超大尺寸金属表面通过位置与含量的一一对应实现了在超大尺寸金属表面各元素的分布表征。但是在超大尺寸金属样品原位表征技术中，因为分析面大，带来的海量数据(GB级)。如何针对海量数据快速进行各元素的分布表征计算，如强度含量转化、基体干扰运算、第三元素干扰运算、最高含量、最高含量出现位置、最低含量出现位置、表面数据排序、统计偏析度、夹杂物信号阈值等。这些在点分析或小面积分布表征分析中都不会存在太大的问题，但是对超大尺寸的样品表征技术，由于原始信息的巨量，突破了传统计算方法的限制，如何保证表征结果的即时性表达显示是亟须解决的科学难题。

近年来，随着GPU(Graphic Processing Unit,图形处理器)技术的持续发展创新，GPU的并行运算能力越来越受到人们的重视。由于GPU的普及，NVIDIA公司推出了基于CUDA构架的高性价比并行运算平台，通过CPU+GPU异构平台基础上的并行操作及算法优化能够大幅提高大数据的处理效率。但该技术多用于图像处理，AI技术、网络大数据运算处理等，在传统化学领域应用较少。

在上述情况下，可采用本发明的方法，在集加工、扫描、表征于一体的超大尺寸金属原位分析仪上，将单火花积分光谱强度数据转化为基于CUDA平台的GPU并行计算技术要求的数据结构，通过CPU+GPU异构平台基础上的并行操作及算法优化大幅提高大数据的处理效率，并最终实现超大尺寸金属原位分析仪的分布表征。

发明内容

针对上述技术问题，本发明的目的是提供一种基于CUDA平台的GPU并行运算技术的超大尺寸金属原位分析仪中大数据快速处理方法，处理数据量大(GB级)，计算速度快，即时性强，所有数据结果5分钟内完成，适用于大面积(长度大于100mm，宽度大于100mm)样品的表面元素分布表征。

为了实现上述目的，本发明提供了如下技术方案：

一种超大尺寸金属原位分析仪中大数据快速处理方法，包括如下步骤：

S1、使用全自动偏析分析仪采用行扫描的方式对超大尺寸样品表面进行全覆盖扫描，获取L个扫描绝对强度文件，其中，L为扫描行数，每个扫描绝对强度文件包括C

S2、将步骤S1获得的校准工作曲线转化为系数矩阵CM[E

S3、在GPU的并行运算过程中，采用8个流进行同步并行运算，通过计算扫描强度文件的个数L除以8所得整数得到循环次数，将所有扫描绝对强度文件按照一个扫描绝对强度文件对应一个流的规则依次送进8个流，多出的扫描绝对强度文件等待下个循环，最后一次循环中采用的流的数目为剩余未计算的扫描绝对强度文件数；每个循环并行计算8个流中的8个扫描绝对强度文件，每个流中依次进行8次运算，具体运算步骤如下：

S3.1、将分析通道元素绝对强度I

S3.2、绝对强度转化为强度比；

R＝I

S3.3、强度比转化为含量比；

依据步骤S2获得的校准工作曲线转化的系数矩阵CM[E

S3.4、含量比转化为含量；

计算所有分析通道的含量比CR

S3.5、对元素含量进行第三元素干扰校正；

根据如下公式计算第三元素干扰校正后的元素含量；

其中，A

S3.6、强度行扫描数据二维转换；

将按时间顺序获得的分析通道元素绝对强度I

S3.7、强度时间顺序数组转换为空间位置数组；

将步骤S3.6获得的每个分析通道的IntM

S3.8、含量行扫描数据二维转换；

将步骤S3.5按时间顺序获得的每行第三元素干扰校正后的元素含量C

S3.9、含量时间顺序数组转换为空间位置数组；

将步骤S3.8的行二维数组ConM

S4、通过计算光谱分析通道的个数C

S4.1、在每个流中读入一个通道的强度分布数组IntM[Rows,Cols]；

S4.2、对强度分布数组IntM[Rows,Cols]进行希尔排序，计算多个参数值；

S4.3、对强度分布数组IntM[Rows,Cols]迭代计算夹杂信号阈值，阈值计算方式为：INT

S5、通过计算E

S5.1、在每个流中读入一个元素的含量分布数组ConM[Rows,Cols]；

S5.2、在含量分布数组ConM[Rows,Cols]进行希尔排序，计算多个参数值；

S5.3、采用四分位距法计算标准差，以计算稳健变异系数计算含量的统计偏析度；对含量矩阵按行进行统计分析，计算各个含量段出现次数，输出元素含量分布矩阵ConD[E

S6、将步骤S3.7获得的通道强度分布三维矩阵IntM[C

S7、将数据结果在CPU上以图形或图表的形式展现出来，所述数据结果为偏析、夹杂物含量和形貌。

所述步骤S3.2中，GPU线程设置(1024，1，1)，线程块设置(1024，(N

所述步骤S3.3、步骤S3.4和步骤S3.5中，GPU线程设置(1024，1，1)，线程块设置(1024，(N

所述步骤S3.6和步骤S3.7中，GPU线程设置(32，32，1)，线程块设置((Rowsi+1)/32，(Cols+1)/32，C

所述步骤S3.8和步骤S3.9中，GPU线程设置(32，32，1)，线程块设置((Rows

所述步骤S4中，强度参数值包括最大值、最小值、中位值、平均值、绝对偏差、0.135％分位值、0.5％分位值、2.5％分位值、1/4分位值、3/4分位值、97.5％分位值、99.5分位值、99.865分位值、最大值出现位置、最小值出现位置、夹杂物阈值、夹杂物强度信号分布。

所述步骤S4.1中，GPU线程设置(32，32)，线程块设置((Rows+1)/32，(Cols+1)/32)。

所述步骤S4.2和步骤S4.3中，GPU线程设置(1024，1，1)，线程块设置(1024，(N

所述步骤S5中，含量参数值包括最大值、最小值、中位值、平均值、绝对偏差、0.135％分位值、0.5％分位值、2.5％分位值、1/4分位值、3/4分位值、97.5％分位值、99.5分位值、99.865分位值、最大值出现位置、最小值出现位置、含量分布、统计偏析度、统计疏松度。

所述步骤S5.2和步骤S5.3中，GPU线程设置(1024，1，1)，线程块设置(1024，(N

所述方法的所有数据结果在5分钟内完成。

所述方法的扫描区域为长度100～1000mm，宽100～500mm。

与现有技术相比，本发明的有益效果在于：

本发明在集加工、扫描、表征于一体的超大尺寸金属原位分析仪上，即在先申请No.201911374898.8公开的“一种大尺度金属构件偏析度分析仪”，将单火花积分光谱强度数据转化为基于CUDA平台的GPU并行计算技术要求的数据结构，通过CPU+GPU异构平台基础上的并行操作及算法优化大幅提高大数据的处理效率，并最终实现超大尺寸金属原位分析仪的分布表征，处理数据量大，计算速度快，准确度高，即时性强，所有数据结果5分钟内完成。

附图说明

图1为本发明采用的集加工、扫描分析、结果表征于一体的全自动偏析分析仪的结构示意图；

图2为单火花数据结构图；

图3为二维数据GPU内存映射图；

图4为三维数据GPU内存映射图；

图5为GPU计算结果；

图6为CPU计算结果；

图7为实施例1000mm×500mm超大尺寸样品表面扫描图；

图8为扫描绝对强度文件并行运算流程图；

图9为强度分布数组并行运算流程图；

图10为含量分布数组并行运算流程图。

其中的附图标记为：

1 X轴

2 水平样品台

3 Z轴

4 刀具

5 刀库

6 样品表面加工模块

7 W轴

8 偏析度分析模块

9 待测样品

10 Y轴

具体实施方式

下面结合附图和实施例对本发明进行进一步说明。

本发明建立基于CUDA平台的GPU并行运算技术的超大尺寸金属原位分析仪中大数据快速处理方法，包括如下步骤：

S1、使用全自动偏析分析仪采用行扫描的方式对超大尺寸样品表面进行全覆盖扫描，获取L个扫描绝对强度文件，其中，L为扫描行数，每个扫描绝对强度文件包括C

如图1所示，本发明采用集加工、扫描分析、结果表征于一体的全自动偏析分析仪，全自动偏析分析仪包括高精密三维数控工作台、样品表面加工模块、偏析度分析模块和结果表征模块；高精密三维数控工作台包括在水平X轴1和Y轴10方向精密移动用于固定待测样品9的水平样品台2，以及相互平行且垂直于X轴Y轴平面的Z轴3和W轴7。样品表面加工模块6和偏析度分析模块8能够上下移动地分别安装在高精密三维数控工作台的Z轴3和W轴7上，位于水平样品台2上的待测样品9的上方。样品表面加工模块6包括用于在待测样品9表面进行表面加工的刀具4。全自动偏析分析仪采用全数字固态火花光源的单火花数字积分技术采集各通道的光谱强度，采用行扫描的方式实现对样品表面的全覆盖扫描，扫描分析区域为X×Y的矩形区域，单位为mm，行距D，单位为mm，扫描速度为V，单位为mm/s，单火花采集频率Q，扫描行数为L＝Y/D，每行每光谱分析通道获得的单火花数据个数为N

S2、将步骤S1获得的校准工作曲线转化为系数矩阵CM[E

S3、在GPU的并行运算过程中，采用8个流(Stream1～Stream8)进行同步并行运算，通过计算扫描强度文件的个数L除以8所得整数得到循环次数，将所有扫描绝对强度文件按照一个扫描绝对强度文件对应一个流的规则依次送进8个流，多出的扫描绝对强度文件等待下个循环，最后一次循环中采用的流的数目为剩余未计算的扫描绝对强度文件数；每个循环并行计算8个流中的8个扫描绝对强度文件，每个流中依次进行8次运算。流程图见图8，具体运算步骤如下：

S3.1、将分析通道元素绝对强度I

S3.2、绝对强度转化为强度比；

R＝I

此步骤GPU线程设置(1024，1，1)，线程块设置(1024，(N

S3.3、强度比转化为含量比；

依据步骤S2获得的校准工作曲线转化的系数矩阵CM[E

此步骤GPU线程设置(1024，1，1)，线程块设置(1024，(N

S3.4、含量比转化为含量；

计算所有分析通道的含量比CR

此步骤GPU线程设置(1024，1，1)，线程块设置(1024，(N

S3.5、对元素含量进行第三元素干扰校正；

根据如下公式计算第三元素干扰校正后的元素含量；

其中，A

此步骤GPU线程设置(1024，1，1)，线程块设置(1024，(N

S3.6、强度行扫描数据二维转换；

将按时间顺序获得的分析通道元素绝对强度I

此步骤GPU线程设置(32，32，1)，线程块设置((Rowsi+1)/32，(Cols+1)/32，C

S3.7、强度时间顺序数组转换为空间位置数组；

将步骤S3.6获得的每个分析通道的IntM

GPU线程设置(32，32，1)，线程块设置((Rows+1)/32，(Cols+1)/32，C

S3.8、含量行扫描数据二维转换；

将步骤S3.5按时间顺序获得的每行第三元素干扰校正后的元素含量C

GPU线程设置(32，32，1)，线程块设置((Rows

S3.9、含量时间顺序数组转换为空间位置数组；

将步骤S3.8的行二维数组ConM

GPU线程设置(32，32，1)，线程块设置((Rows+1)/32，(Cols+1)/32，E

S4、通过计算光谱分析通道的个数C

S4.1、在每个流中读入一个通道的强度分布数组IntM[Rows,Cols]；GPU线程设置(32，32)，线程块设置((Rows+1)/32，(Cols+1)/32)。

S4.2、对强度分布数组IntM[Rows,Cols]进行希尔排序，计算最大值、最小值、中位值、平均值、绝对偏差、0.135％分位值、0.5％分位值、2.5％分位值、1/4分位值、3/4分位值、97.5％分位值、99.5分位值、99.865分位值、最大值出现位置、最小值出现位置。

GPU线程设置(1024，1，1)，线程块设置(1024，(N

S4.3、对强度分布数组IntM[Rows,Cols]迭代计算夹杂信号阈值，阈值计算方式为：INT

GPU线程设置(1024，1，1)，线程块设置(1024，(N

S5、通过计算E

S5.1、在每个流中读入一个元素的含量分布数组ConM[Rows,Cols]；

S5.2、在含量分布数组ConM[Rows,Cols]进行希尔排序，计算最大值、最小值、中位值、平均值、绝对偏差、0.135％分位值、0.5％分位值、2.5％分位值、1/4分位值、3/4分位值、97.5％分位值、99.5分位值、99.865分位值、最大值出现位置、最小值出现位置。

GPU线程设置(1024，1，1)，线程块设置(1024，(N

S5.3、采用四分位距法计算标准差，以计算稳健变异系数计算含量的统计偏析度。对含量矩阵按行进行统计分析，计算各个含量段出现次数，输出元素含量分布矩阵ConD[E

GPU线程设置(1024，1，1)，线程块设置(1024，(N

S6、将步骤S3.7获得的通道强度分布三维矩阵IntM[C

S7、将数据结果在CPU上以图形或图表的形式展现出来。

实施例

通过对1000mm×500mm超大尺寸样品表面进行扫描，扫描图见图7。本实施例以该样品描分析为例。按照本发明的方法，步骤如下：

S1、采用OPA-1000大尺度构件偏析度分析仪，仪器配备14个光电倍增管(13个分析通道(0～12)，一个基体通道，基体通道号13)，选取工作曲线，工作曲线包含13个分析元素和一个基体元素。设定扫描起点位置(x,y,w)，扫描区域(1000mm×500mm)，扫描方式为逐行连续扫描全自动模式。每行开始时充气5秒，预燃5秒，扫描行距4mm,扫描速度为1mm/s，采集频率500次/s。扫描行数为125行。定点激发斑点直径为4mm。累计获得125个扫描绝对强度文件，每个数据文件包含14个通道，每个通道包含500000个火花强度数据。

S2、将校准工作曲线转化为系数矩阵CM[13,8]。

S3、在GPU的并行运算过程中，将125个扫描强度数据文件送入8个流(Stream1～Stream8)进行同步并行运算，每次同时输入8个文件，循环15次，剩下的5个文件送入第16次循环，此次只启动5个流进行并行计算，每个循环中每个流只处理一个强度数据文件。每个流中依次进行8次运算。具体实现步骤如下：

S3.1、对样品待分析表面编辑扫描路径，实现样品表面全覆盖，将样品表面的扫描路径文件转化为位置坐标信息，并由程序控制全自动偏析分析仪逐行扫描样品表面，获得分析通道元素绝对强度I

S3.2、绝对强度转化为强度比。此步骤GPU线程设置(1024，1，1)，线程块设置(1024，(500000+1023)/1024)，14)，GPU内存映射图如图3所示。

S3.3、强度比转化为含量比；依据步骤S2获得的校准工作曲线转化的系数矩阵CM[13,8]将步骤S3.2获得的强度比R转化为含量比CR，对于所得计算含量比超出曲线含量比上下限的含量比做超出界限处理。此步骤GPU线程设置(1024，1，1)，线程块设置(1024，(500000+1023)/1024)，13)，GPU内存映射图见图3。

S3.4、含量比转化为含量；计算所有分析通道的含量比CR

S3.5、对元素含量进行第三元素干扰校正。此步骤GPU线程设置(1024，1，1)，线程块设置(1024，(500000+1023)/1024)，13)，GPU内存映射图见图3。

S3.6、强度行扫描数据二维转换；将按时间顺序获得的分析通道元素绝对强度I

S3.7、将每个通道的IntM

GPU线程设置(32，32，1)，线程块设置((10000+1)/32，(5000+1)/32，14)，GPU内存映射图见图3。

S3.8、含量行扫描数据二维转换；将按时间顺序获得的每行含量数据按照随机均匀分布原则投射到一个扫描单行数据文件对应区域的行二维数组ConM

GPU线程设置(32，32，1)，线程块设置((40+1)/32，(5000+1)/32，13)，GPU内存映射图见图3。

S3.9、将步骤S3.8的行二维数组ConM

GPU线程设置(32，32，1)，线程块设置((5000+1)/32，(10000+1)/32，13)，GPU内存映射图见图3。N

S4、通过计算14除以8所得整数得到循环次数2，个循环采用8个流，第二个循环采用6个流。将强度分布数组IntM[14,5000,10000]按通道分别送进8个流，每个流负责一个通道数据的运算。每个循环计算依靠8个流计算8个通道的各个强度参数值，每个流中依次进行3步运算，具体实现步骤如下：

S4.1、在每个流中读入一个通道的强度分布数组IntM[5000,10000]；GPU线程设置(32，32)，线程块设置((5000+1)/32，(10000+1)/32)。

S4.2、对强度分布数组IntM[5000,10000]进行希尔排序，计算最大值、最小值、中位值、平均值、绝对偏差、0.135％分位值、0.5％分位值、2.5％分位值、1/4分位值、3/4分位值、97.5％分位值、99.5分位值、99.865分位值、最大值出现位置、最小值出现位置。GPU线程设置(1024，1，1)，线程块设置(1024，(5000×10000+1023)/1024)，14)。

S4.3、对强度分布数组IntM[5000,10000]迭代计算夹杂信号阈值，阈值计算方式为：INT

GPU线程设置(1024，1，1)，线程块设置(1024，(5000×10000+1023)/1024)，14)。

S5、通过计算13除以8所得整数得到循环次数2，将含量分布数组ConM[13,5000,10000]按元素分别送进8个流，每个流负责一个元素数据ConM2[5000,10000]的运算，多出的元素等待下个循环，最后一次循环中采用的流的数目为5。每个循环计算依靠8个流计算8个通道的各个含量参数值，具体实现步骤如下：

S5.1、在每个流中读入一个元素的含量分布数组ConM[Rows,Cols]；

S5.2、在每个流中对读入的含量分布数组ConM2[5000,10000]进行希尔排序，计算最大值、最小值、中位值、平均值、绝对偏差、0.135％分位值、0.5％分位值、2.5％分位值、1/4分位值、3/4分位值、97.5％分位值、99.5分位值、99.865分位值、最大值出现位置、最小值出现位置。

GPU线程设置(1024，1，1)，线程块设置(1024，(5000×10000+1023)/1024)，13)。GPU内存映射图见图3。

S5.3、采用四分位距法计算标准差，以计算稳健变异系数计算含量的统计偏析度。对含量矩阵按行进行统计分析，计算各个含量段出现次数，输出元素含量分布矩阵ConD[13,256]。GPU线程设置(1024，1，1)，线程块设置(1024，(5000×10000+1023)/1024)，13)。

S6、将通道强度分布三维矩阵IntM[14,5000,10000]、元素含量分布三维矩阵ConM[13,5000,10000]及步骤S4、步骤S5中要求计算的各个参数从GPU内存写入CPU内存。

S7、将数据结果在CPU上以图形或图表的形式展现出来。

对该样品的用本发明模型的计算结果(见图5)与传统CPU的计算结果(见图6)进行对比，计算结果完全一致，计算速度由3.5小时提高至15分钟，见下表。提高近14倍，取得非常好的应用效果。