技术领域
本发明涉及无损检测技术领域，具体地，涉及基于多模态图像的无损检测装置及其方法，更为具体地，涉及同时拥有射线检测、表面检测以及图像识别技术的检测方法。
背景技术
射线检测技术是一种利用X射线在物体中的衰减规律和与成像介质的相互作用进行物体内部缺陷检测的无损检测技术。射线检测技术具有检测结果直观，检测可靠性高等优点，被广泛应用于航空、航天、特种设备等领域的关键产品内部质量检测中。传统射线检测技术利用胶片进行成像，检测结果以胶片模拟图像进行记录，随着电子信息技术的发展，采用辐射探测器进行成像的数字射线检测技术得到广泛应用，同时，随着人工智能技术的发展，目前国内外广泛开展基于计算机图像识别算法的数字射线检测图像缺陷识别技术研究，传统缺陷识别算法仅根据射线图像进行物体内部缺陷识别，由于射线图像是物体沿射线方向在探测器平面的二维投影，射线图像同时包含物体表面结构信息和内部结构信息，采用识别算法进行物体内部缺陷识别时，识别结果易受表面结构特征的影响，本发明公开了一种基于多模态图像的无损检测方法，该方法通过同步采集物体表面图像和射线检测图像，并采用计算机图像识别算法同时对表面图像和射线图像进行特征识别，最后对两种图像的识别结果进行综合判读，能够有效排除表面特征对内部缺陷识别的影响，大幅降低内部缺陷识别误判率。
专利文献CN112529899A(申请号：CN202011584416.4)公开了一种基于机器学习与计算机视觉固体火箭发动机无损检测方法，通过将输入的图像分为多个局部图像，对重点部位进行重点学习，方便后续提取关键特征并做出初步判断。该发明解决人工识别率低、图像数据分散、数据利用率低等问题。实现发动机无损检测图像高效、快速识别。与该发明相比，本发明在对物体射线检测图像进行识别的同时，通过表面相机拍摄获得物体表面结构特征并对表面图像进行识别，可排除物体表面结构对射线图像识别的影响，识别准确率和可靠性更高。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于多模态图像的无损检测装置及其检测方法。
根据本发明提供的一种基于多模态图像的无损检测装置，包括：X射线机1、辐射探测器2、入射侧相机3、出射侧相机4以及被检测物体5；
所述X射线机1在开启时放射X射线，X射线穿透所述被检测物体5照射到所述辐射探测器2表面形成射线图像，射线图像反映照射到探测器表面不同区域的辐射强弱，得到被检测物体内部和表面的结构信息；
所述入射侧相机3置于X射线机照射所述被检测物体5的入射侧，所述入射侧相机3在入射侧对所述被检测物体表面进行拍摄，得到物体表面图像，记录射线入射侧被检测物体表面的结构信息；
所述出射侧相机4置于X射线出射侧，所述出射侧相机4在出射侧对被检测物体表面进行拍摄，得到物体表面图像，记录射线出射侧被检测物体表面的结构信息。
优选地，光源发出的光经被检测物体表面反射后照射到相机内形成物体表面图像；
所述光源发出的光包括均匀的可见光或具有空间分布特征的结构光。
优选地，物体表面图像通过包括相机拍摄可见光在物体表面反射形成的图像或通过其他成像方式获取能够反映物体表面结构的图像。
优选地，射线图像由包括X射线或其他辐射射线穿过物体后投影到辐射探测器上，经辐射探测器转换形成的包含物体表面和内部结构特征的投影图像。
根据本发明提供的一种基于多模态图像的无损检测方法，运用上述所述的基于多模态图像的无损检测装置执行如下步骤：
步骤S1：同步采集被检测物体表面图像和射线图像；
步骤S2：利用计算机图像识别软件对射线图像进行识别，得到具有缺陷特征的图像，并对缺陷特征进行定位标记；
步骤S3：对具有缺陷特征的射线图像采用计算机图像识别软件对物体缺陷特征对应位置的表面图像进行特征识别，对表面缺陷特征进行标记和定位；
步骤S4：对标记和定位后的表面图像和射线图像进行位置配准，建立两种图像平面坐标位置对应关系；
步骤S5：对射线图像缺陷识别定位结果和表面图像特征识别结果的位置进行比对，确定缺陷特征是否属于内部缺陷。
优选地，所述步骤S1采用：对于被检测物体的任一位置，当用X射线进行照射并用辐射探测器进行成像时，对X射线入射面和出射面分别用相机拍摄同一个位置的表面图像，且相机拍摄的表面区域与X射线入射面和出射面具有包含关系，并根据区域较小的图像确定有效检测区。
优选地，所述步骤S2采用：
步骤S2.1：对射线图像进行预处理，得到预处理后的射线图像；
步骤S2.2：预处理后的射线图像采用图像识别算法进行缺陷特征识别；
步骤S2.3：对识别出的缺陷特征进行分类、定位和标记。
优选地，所述步骤S2.1采用：对射线图像进行包括图像降噪和对比度增强处理，得到预处理后的射线图像；
所述步骤S2.2采用：预处理后的射线图像采用包括基于图像形态学的图像识别算法或基于深度学习的图像识别算法进行缺陷特征识别。
优选地，所述步骤S4采用：通过空间坐标校正配准和深度学习算法建立物体同一位置的射线图像和表面图像之间的位置对应关系，实现图像中对应特征的匹配和一一对应关系。
优选地，所述步骤S5采用：当射线图像对应位置的表面图像中同样识别出缺陷特征，经过对两张图像进行配准后，当射线图像缺陷特征与表面图像缺陷特征处于同一对应位置时，则判定当前缺陷为物体表面缺陷；当射线图像对应位置的表面图像中未识别出缺陷特征，则判定当前缺陷为物体内部缺陷。
与现有技术相比，本发明具有如下几个方面的有益效果：
1、传统射线图像自动识别的检测系统，因为无法区分表面缺陷和内部缺陷，从而易将表面形貌特征判断为内部缺陷，从而导致自动识别结果出错，识别准确率低，需要人工对自动识别结果再次确认，检测效率低；采用本发明后，检测系统能够同时对物体的射线图像和表面图像进行识别，从而有效区分物体内部结构信息和表面结构信息，自动剔除表面特征对内部缺陷识别结果的影响，从而提高了识别准确率，需要人工重复确认的图像数量减少，使检测效率大幅提升；
2、本发明可以增加缺陷识别软件的判据，通过射线图像和表面图像的识别、配准，解决单一射线图像表面特征和内部特征无法区分的问题，大幅提高内部缺陷识别准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于多模态图像的无损检测方法检测系统硬件组成示意图。
图2为基于多模态图像的无损检测方法检测系统软件模块组成图。
图3为基于多模态图像的无损检测方法检测流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明所要解决的技术问题在于，克服现有射线检测图像缺陷识别算法仅以射线图像为对象进行缺陷检测，识别结果易受表面特征和表面缺陷影响，识别准确率低的问题。
传统射线检测过程中的射线检测图像是被检物体结构特征在成像设备上的二维投影，无法区分表面和内部，人工对图像进行评定的时候易将表面形貌特征判定为内部缺陷，导致误判；
为了解决上述技术问题，本发明提出一种基于多模态图像的无损检测装置及其检测方法，能够同时采集物体射线检测图像和表面图像，从而有效区分物体内部结构信息和表面结构信息，大幅提高缺陷识别算法识别准确率。
根据本发明提供的一种基于多模态图像的无损检测装置，包括：X射线机1、辐射探测器2、入射侧相机3、出射侧相机4、被检测物体5以及与上述硬件配套的辅助设备；
所述X射线机1在开启时放射X射线，X射线穿透所述被检测物体5照射到所述辐射探测器2表面形成射线图像，射线图像反映照射到探测器表面不同区域的辐射强弱，得到被检测物体内部和表面的结构信息；
所述入射侧相机3置于X射线机照射所述被检测物体5的入射侧，所述入射侧相机3在入射侧对所述被检测物体表面进行拍摄，得到物体表面图像，记录射线入射侧被检测物体表面的结构信息；
所述出射侧相机4置于X射线出射侧，所述出射侧相机4在出射侧对被检测物体表面进行拍摄，得到物体表面图像，记录射线出射侧被检测物体表面的结构信息。
根据本发明提供的一种基于多模态图像的无损检测方法，运用上述所述的基于多模态图像的无损检测装置执行如下步骤：
步骤S1：同步采集被检测物体表面图像和射线图像；
步骤S2：利用计算机图像识别软件对射线图像进行识别，得到具有缺陷特征的图像，并对缺陷特征进行定位标记；
步骤S3：对具有缺陷特征的射线图像采用计算机图像识别软件对物体缺陷特征对应位置的表面图像进行特征识别，若存在表面缺陷，对表面缺陷特征进行标记和定位；
步骤S4：对标记和定位后的表面图像和射线图像进行位置配准，建立两种图像平面坐标位置对应关系；
步骤S5：对射线图像缺陷识别定位结果和表面图像特征识别结果的位置进行比对，确定缺陷特征是否属于内部缺陷。
具体地，检测过程中，X射线机和辐射探测器分别放置在被检测物体的两侧，同时分别在X射线机侧和辐射探测器侧各安装一台相机和一台光源，X射线机发出的X射线穿过物体后照射到辐射探测器表面形成射线图像；光源发出的光可以是均匀的可见光，也可以是具有空间分布特征的结构光，光源发出的光经物体表面反射后照射到相机内形成物体表面图图像。
具体地，采集的物体表面图像可以是通过相机拍摄的可见光在物体表面反射形成的图像，也可以是通过其他成像方式获取的能够反映物体表面结构的图像。射线检测图像是由X射线或其他辐射射线穿过物体后投影到辐射探测器上，经辐射探测器转换形成的包含物体表面和内部结构特征的投影图像。
具体地，所述步骤S1采用：对于被检测物体的任一位置，当用X射线进行照射并用辐射探测器进行成像时，对X射线入射面和出射面分别用相机拍摄同一个位置的表面图像，且相机拍摄的表面区域与X射线入射面和出射面具有包含关系，并根据区域较小的图像确定有效检测区。
具体地，所述步骤S2采用：计算机图像识别软件是指根据识别对象特征进行设计的，能够自动识别出图像中特定细节的计算机软件。对于射线检测图像，能够识别出包含在图像中的物体表面缺陷特征和内部缺陷特征，对于表面图像，能够识别出包含在图像中的物体表面缺陷特征。
具体地，所述步骤S2采用：
步骤S2.1：对射线图像进行预处理，得到预处理后的射线图像；
步骤S2.2：预处理后的射线图像采用图像识别算法进行缺陷特征识别；
步骤S2.3：对识别出的缺陷特征进行分类、定位和标记。
具体地，所述步骤S2.1采用：对射线图像进行包括图像降噪和对比度增强处理，得到预处理后的射线图像；
所述步骤S2.2采用：预处理后的射线图像采用包括基于图像形态学的图像识别算法或基于深度学习的图像识别算法进行缺陷特征识别。
具体地，所述步骤S3采用：所述射线图像对应位置的表面图像是指对于每一张射线图像，在物体同一位置射线入射面和出射面所采集的物体表面的图像。
具体地，所述步骤S4采用：通过空间坐标校正配准和深度学习算法建立物体同一位置的射线图像和表面图像之间的位置对应关系，实现图像中对应特征的匹配和一一对应关系。
具体地，所述步骤S5采用：当射线图像对应位置的表面图像中同样识别出缺陷特征，经过对两张图像进行配准后，当射线图像缺陷特征与表面图像缺陷特征处于同一对应位置时，则判定当前缺陷为物体表面缺陷；当射线图像对应位置的表面图像中未识别出缺陷特征，则判定当前缺陷为物体内部缺陷。
实施例2是实施例1的优选例
本发明公开了一种基于多模态图像的无损检测方法，该方法通过同步采集物体表面图像和射线检测图像，并采用计算机图像识别算法同时对表面图像和射线图像进行特征识别，最后对两种图像的识别结果进行综合判读，能够有效排除表面特征对内部缺陷识别的影响，大幅降低内部缺陷识别误判率。
如图1所示，本发明提供的一种焊缝内部缺陷检测及识别系统，其所采用的硬件主要包括：X射线机1、辐射探测器2、相机3、相机4、焊接件(被检测物体5)。所述X射线机1在开启时能够放射X射线，X射线能够穿透焊接件，根据射线传播路径方向上物体厚度、密度等的不同，均匀强度的射线穿过焊接件后会产生不同程度的强度衰减，通过探测穿透焊接件的射线强度变化，能够获得焊接件沿射线方向的结构信息。所述辐射探测器2是一种利用X射线进行成像的电子器件，不同强度的X射线照射到探测器表面时，探测器将辐射转换为数字图像，该图像能够反映照射到探测器表面不同区域的辐射强弱，从而获得焊接件内部和表面的结构信息，能够通过该图像判断焊接件是否存在缺陷。所述相机3和射线机1置于X射线照射焊接件的入射侧，相机3能够对焊接件表面进行拍摄，从而记录射线入射侧焊接件表面的结构信息。所述相机4和辐射探测器2置于X射线出射侧，相机4能够对焊接件表面进行拍摄，从而记录射线出射侧焊接件表面的结构信息。
检测过程中，X射线机1放射X射线，辐射探测器对穿过焊接件后照射到探测器表面的X射线进行转换获得射线图像，同时，相机3和相机4同时对射线照射区域焊接件的表面进行拍摄，获得焊接件表面图像，完成一个位置多模态图像的获取。由于射线图像是物体沿射线传播方向在探测器平面的二维投影，同时包含了焊缝表面结构信息和内部结构信息，相机3和相机4分别获取焊接件X射入射侧和出射侧表面图像，从而记录了X射线传播方向上入射表面的结构信息和出射表面的结构信息。通过上述检测系统，能够获得至少两类，共3幅包含焊接件内外部结构特征的图像，从而能够有效对焊接件射线图像中包含的内部缺陷和表面结构特征进行区分。
如图2所示，本发明一种基于多模态图像的无损检测方法软件系统组成包括射线图像采集模块、表面图像采集模块、射线图像预处理模块、表面图像预处理模块、射线图像缺陷识别模块、表面图像特征识别模块、图像配准模块、综合判读模块。进一步地，射线图像采集模与X射线机1和辐射探测器2进行连接，获取射线图像；表面图像采集模块与相机3和相机4进行连接，获取表面图像；射线图像预处理模块对射线图像做降噪、对比度增强处理，使图像中不同特征能够获得更高的对比度，更有利于计算机识别算法进行缺陷特征识别；表面图像预处理模块对表面图像做图像降噪、对比度增强等处理，更有利于计算机识别算法进行表面缺陷特征识别；射线图像缺陷识别模块采用基于图像形态学的图像识别算法或基于深度学习的图像识别算法进行缺陷特征识别，进一步地，基于深度学习的图像识别算法还包括建立缺陷特征图像数据库、模型训练等内容，射线图像识别模块能够对包含缺陷特征的射线图像进行筛选，并对缺陷特征进行分类、定位和标记；表面图像特征识别模块采用基于图像形态学的图像识别算法或基于深度学习的图像识别算法进行缺陷特征识别，进一步地，基于深度学习的图像识别算法还包括建立缺陷特征图像数据库、模型训练等内容，表面图像识别模块能够对包含缺陷特征的表面图像进行筛选，并对缺陷特征进行分类、定位和标记；图像配准模块采用坐标变换和特征对齐的方法对物体同一区域同步采集的射线图像和表面图像进行配准，使表面图像和射线图像在沿射线方向上完全重叠；综合判读模块根据射线图像识别结果和表面图像识别结果判断缺陷特征存在于焊接件内部或是表面，当射线图像中存在缺陷特征，且经图像配准后，表面图像中同一位置存在同类缺陷特征，则判定该缺陷为表面缺陷，若表面图像中同一位置未识别出缺陷特征，则判定该缺陷为焊接件内部缺陷。
如图3所示，本发明一种基于多模态图像的无损检测方法具体包括下列步骤：(1)同步采集物体表面图像和射线检测图像；(2)采用计算机图像识别软件对射线检测图像进行识别，挑选出具有缺陷特征的图像，并对缺陷特征进行定位标记；(3)对具有缺陷特征的射线图像，采用计算机图像识别软件对物体对应位置的表面图像进行特征识别，对表面缺陷特征进行标记和定位；(4)对上述表面图像和射线图像进行位置配准，建立两种图像平面坐标位置对应关系；(5)对射线图像缺陷识别定位结果和表面图像特征识别结果的位置进行比对，确定缺陷特征是否属于内部缺陷。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
机译： 基于图像的位置检测方法，基于图像的位置检测装置，装置和存储介质
机译： 基于图像的位置检测方法，基于图像的位置检测装置，设备和存储介质
机译： 基于图像的位置检测方法，基于图像的位置检测装置，设备和存储介质
