一种基于人工智能视觉技术的输液袋异物识别方法及检测方法

摘要

本发明公开了一种基于人工智能视觉技术的输液袋异物识别方法及检测方法，属于输液袋检测领域技术领域。包括以下步骤：步骤1：对输液袋进行预处理；步骤2：对输液袋进行图像预处理；步骤3：对输液袋进行图像后处理；识别出含有异物的输液袋。本发明通过高速CCD工业相机获取药液的连续帧图，然后结合颗粒不溶性异物在液体中的运动特征及形态学特征，挖掘出其在图像中的相关不变特性，应用图像处理算法可靠识别出异物还是外界引起的干扰，实现输液软袋中可见异物的视觉在线自动识别。

说明书

技术领域

本发明属于输液袋检测领域，具体涉及一种基于人工智能视觉技术的输液袋异物识别方法及检测方法。

背景技术

随着社会的发展和人民生活水平的提高，人们对于产品的质量要求越来越高，对产品的质量管控也越来越严，而更大规模的生产，需要更对的人力投入到产品的质量控制中。传统的人工筛选，不仅效率极低，由此而带来的管理成本、人力成本急剧上升，自动化检测替换人工检测，尤为重要。科伦药业作为生物制药行业的龙头企业，产品规格众多，年产量极高，且药剂需要每袋/瓶均需要检测。因此，为提升产品的重量，科伦药业拟构建基于视觉技术的产品质量体系服务平台，以智能灯检机为核心载体，依托输液软袋药液检测，并将其扩展到多行业、多领域的共享质量服务平台。

输液软袋作为一种重要的输液剂包装方式，由于其具有用料省、体积小、成本低的特点，有着巨大的潜在的竞争力。医药包装发展规划中鼓励包装材料使用新型、优质包装材料，要求逐步采用优质玻璃瓶和塑料瓶、软袋代替传统使用的玻璃输液瓶。据统计，2012年欧美等发达国家，塑料瓶和软袋大输液约占80％，玻璃瓶大输液占20％，而我国则以玻璃瓶大输液为主，占市场份额的70％。可以预见，在我国未来软袋大输液将逐步代替玻璃瓶大输液，占有更多的市场份额。

虽然企业千方百计避免医药制剂生产过程中混入杂质，但由于生产过程中过滤材质破损、管道内壁老化、灌封时的碳化、操作人员未按净化程序或厂房设计布局不合理、墙体材料颗粒脱落、非洁净区与洁净区管道连接不严等多方面原因，造成软袋注射液成品中混入玻璃屑、胶塞屑、铝屑、色点、白块、纤维、毛发等微小不溶性异物。其中白色的玻璃屑和塑料屑占绝大多数。这些来源不同的不溶性异物往往携带有数量巨大的细菌微生物，使药品受到严重污染。更有甚者，如果这些微小异物随着药品被注射至静脉，会给人体带来严重持久的危害。

目前，国内企业对输液软袋的检测均采用人工灯检方法。该法要求工人在光照度为1000～4000Lx的光线下轻轻旋转、翻转容器后完全依靠肉眼判断该液体药品中是否存在玻璃屑、纤维、色点、毛发等可见异物，人工灯检方法存在的固有缺点如下：

1)检测精度低，人的目视最大可见微粒直径在50～100μm。

2)检测方法、标准不统一，可重复性差。

3)生产效率低。

4)工人容易视力疲劳并受思想情绪影响，造成误检率、漏检率高。

发明内容

本发明的目的在于提供一种基于人工智能视觉技术的输液袋异物识别方法及检测方法，以期解决背景技术中的问题。

为了实现上述目的，本发明采用以下技术方案：

一种基于人工智能视觉技术的输液袋异物识别方法，包括以下步骤：

步骤1：对输液袋进行预处理；

步骤2：对输液袋进行图像预处理；

步骤3：对输液袋进行图像后处理；识别出含有异物的输液袋。

所述步骤1中，对输液袋进行预处理，包括：将输液袋内气泡去除、输液袋表面袪水以及让输液袋中的杂质运动起来。

进一步的，所述将输液袋内气泡去除以及让输液袋中的杂质运动起来，包括：通过机械手将输液袋抓取到相应工位并进行陈列悬挂，采用来回运动的气缸携带连杆击打输液袋，实现去除输液袋中的气泡，并让输液袋中的杂质运动起来。

进一步的，所述输液袋表面袪水，包括：采用风刀对输液袋表面的水迹进行去除。

所述步骤2中，对输液袋进行图像预处理，包括以下步骤：

对输液袋进行有效区域标定；

通过CCD工业相机获取药液的连续帧图；

计算帧差；

对比度增强处理；

自适应二值化处理；

噪声分析及抑制处理。

所述步骤3中，所述对输液袋进行图像后处理；识别出含有异物的输液袋，包括以下步骤：

对图像预处理后的输液袋进行异物、噪点与背离分割；

搜索异物和噪点；

提取特征。

进一步的，所述特征包括统计学特征、运动学特征、形态学特征。

本发明与现有技术相比具有的有益效果是：

本发明本项目核心是机器视觉技术，通过高速CCD工业相机获取药液的连续帧图，然后结合颗粒不溶性异物在液体中的运动特征及形态学特征，挖掘出其在图像中的相关不变特性，应用图像处理算法可靠识别出异物还是外界引起的干扰，实现输液软袋中可见异物的视觉在线自动识别。

附图说明

图1是本发明的一种基于人工智能视觉技术的输液袋异物识别方法的流程图。

图2是本发明的一种基于人工智能视觉技术的输液袋异物识别方法的智能图像处理与决策算法的具体流程图。

图3是本发明的实施例的智能识别跟随抓取系统。

具体实施方式

下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。

实施例1：

如图1所示，一种基于人工智能视觉技术的输液袋异物识别方法，包括以下步骤：

步骤1：对输液袋进行预处理；对输液袋进行预处理，包括：将输液袋内气泡去除、输液袋表面袪水以及让输液袋中的杂质运动起来。所述将输液袋内气泡去除以及让输液袋中的杂质运动起来，包括：通过机械手将输液袋抓取到相应工位并进行陈列悬挂，采用来回运动的气缸携带连杆击打输液袋，实现去除输液袋中的气泡，并让输液袋中的杂质运动起来。所述输液袋表面袪水，包括：采用风刀对输液袋表面的水迹进行去除。

输液袋通过传送带入料，智能识别跟随抓取系统将输液袋抓取到圆形的转盘上面进行阵列悬挂，转盘上设置预处理工位和视觉识别工位。在进行输液袋视觉识别之前，首先对输液袋进行预处理操作，包括输液袋内气泡去除、输液袋表面袪水、捏袋使液体中的杂质动起来。

输液袋识别需要将传送带上的输液袋抓取到相应的工位进行识别，基本操作流程如下图所示。输液袋抓取采用快速机器人DLETA进行抓取，设计的工作速度为75袋/分钟，即每0.8s抓取一袋。采用快速来回运动的气缸携带连杆击打输液袋，去除输液袋中的气泡，减少识别的干扰。

由于输液袋在来之前进行了高温消毒，输液袋表面存在大量的液体痕迹，需要采用风刀对输液袋表面的水迹进行去除。由于在视觉识别中采用了运动学的识别技术，因此，在进行输液袋拍摄之前，需要将输液袋中的水搅动起来，使输液袋中可能存在的杂质随液体的运动而运动，因此，在进行输液袋拍摄之前，需要进行捏袋的动作。经过白背景和黑背景的识别后，确定输液袋中是否存在杂质，需要对输液袋良品和非良品进行分拣。

步骤2：对输液袋进行图像预处理；对输液袋进行图像预处理，包括以下步骤：

对输液袋进行有效区域标定；得到需要的检测区域。

通过CCD工业相机获取药液的连续帧图；

计算帧差；去除静止干扰背景。

对比度增强处理；使得输液袋内的异物更明显。

自适应二值化处理；进一步增强对比度，并消除部分噪点，便于增强异物的性质。

噪声分析及抑制处理。去除剩下的一部分噪点。

步骤3：对输液袋进行图像后处理；识别出含有异物的输液袋。

所述对输液袋进行图像后处理；识别出含有异物的输液袋，包括以下步骤：

对图像预处理后的输液袋进行异物、噪点与背离分割；

搜索异物和噪点；

提取特征。所述特征包括统计学特征、运动学特征、形态学特征。

机器视觉技术是一种利用计算机视觉代替人工视觉、提供产品质量的新兴技术。机器视觉作为一种新兴的人工智能技术,它综合应用图像处理与分析、模式识别、人工智能、精密仪器等技术,具有速度快、精度高、非接触等优点。将其应用于工业领域,可以有效克服人工的不足,提高工厂生产的自动化程度与生产效率。一般的机器视觉系统可以分为检测系统、执行系统、控制系统及图像处理系统四个部分。

面向工业的机器视觉系统由于其明确的工程应用背景,相比于普通计算机视觉、或数字图像处理，自动视觉系统有如下特点：

1)工作环境已知。面向工业的自动视觉系统的工作环境一般为特定的工业生产线。在检测之前系统的光照、背景、拍摄位置等条件都需要事先确定。

2)系统用途专一。自动视觉检测系统基本以某一类特定的检测目标作为对象。相应的算法也针对某一类特定的检测目标进行设计，软件算法具有高度专一性。

3)目标类型确定，有明显特征。以输液软袋中可见异物为例，比较常见的可见异物有塑料屑、纤维、毛发、色点这几类。检测之前需要深入分析目标的特征，来设计出自动算法。

4)面向工业的自动视觉系统还需要适应工业应用环境的特殊要求。这就决定了工业视觉系统除了检测系统、控制系统及图像处理系统外，还会包括更多子系统及执行机构，例如：与生产线同步的通信系统，测距、测速等辅助系统，标记、报警或机械操作等结果反馈系统。

5)在一些数据量大、实时性要求高的场合,通用计算机的处理速度无法胜任，需要采用基于嵌入式处理器的实时图像处理系统。如使用数字信号处理器DSP等。

本项目核心是机器视觉技术，通过高速CCD工业相机获取药液的连续帧图，然后结合颗粒不溶性异物在液体中的运动特征及形态学特征，挖掘出其在图像中的相关不变特性，应用图像处理算法可靠识别出异物还是外界引起的干扰，实现输液软袋中可见异物的视觉在线自动识别，流程图如图1所示。

智能识别跟随抓取技术是集合机器人和视觉引导技术形成的能够对传送带上的输液袋进行实时跟随抓取，实现有序的输液袋悬挂排列，便于后续的视觉识别。该技术的核心是机器人自动抓取和视觉引导的有效结合，机器人抓取采用高速的DELTA机器人，能实现输液袋的快速搬运，视觉引导结合编码器迅速定位输液袋的速度和姿态，与机器人之间快速通信，抓取输液袋。

如图3所示，为基本的智能识别跟随抓取系统，主要包含的部件有DELTA机器人、工控机、工业相机/镜头、编码器、配套视觉光源等，工控机与相机之间USB或网口连接，实现照片捕捉；经过处理的照片识别出当前输液袋的姿态，编码器拾取当前输液袋的传送速度；DELTA机器人的控制系统提取输液袋的姿态和传送速度，对当前的输液袋进行跟随抓取。

光源照明条件的好坏，对自动识别系统的成像质量及后端图像处理算法的正确执行有着十分重要的影响。是整个自动识别系统的关键部分。照明的主要目的一个是将光照射到待检物体上，增加目标亮度；另一个是突出目标与背景的差异，增加目标对比度。好的照明方案可以使待检目标更大更容易识别，减小算法难度、增加系统可靠性。反之照明条件选择不当则引起诸多问题，例如过度曝光将隐藏很多重要信息，阴影会引起边缘误检，不均匀照明导致图像阈值选取困难等很多问题。

合适的照明方案往往需要大量实验才能得到，基于机器视觉的自动检测系统中常用的照明方案有单向照明、掠射照明、漫射光照明、背光照明及偏振光照明等。通过对相关文献的调研及对输液袋中可见异物的统计分析，计划采用不同照明方案进行两次拍摄。针对白色异物如塑料屑、玻璃屑等，采用黑色背景外加白色LED环形光源的照明方式进行拍摄。对于头发丝等深色异物，采用白色LED作为背光光源进行拍摄。

常见的可见异物主要包含玻璃屑、塑料屑、毛发、纤维、不溶性药物等。这些可见异物在输液袋水平传送的时候一般沉积在输液袋底部，不容易识别到。因而需要在识别前进行预处理，让拍摄时输液袋中可见异物处于运动状态。整个过程中机械与运动机构要与光学照明以及拍摄系统相匹配，以提高图像的对比度和识别效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。