Mask R-CNN

摘要： 为提高羊绒羊毛纤维定量的自动化程度,引入基于掩模区域卷积神经网络(Mask R-CNN)深度学习技术,对通过光学显微镜采集的图片进行图片处理、算法模型优化,以及学习和训练,建立起山羊绒和绵羊毛的自动识别模型。采用测试集对所建立的模型进行了验证测试,结果表明,对山羊绒和绵羊毛纤维的自动识别正确率达到95%以上,证实了所建立的识别技术的可行性。

摘要： 为实现纸质医药包装钢印字符的实时检测,设计一种基于图像处理和深度学习的钢印字符识别系统。系统首先采用多种图像处理的方法对原始打光下的图像进行预处理,从而自动提取图片中的感兴趣区域,并将其输入训练好的Mask-RCNN网络进行实例分割,得到每张图片中的不同字符的像素位置与其字符数值。实验结果表明,对比传统的字符识别方法,该方法可以很好地解决纸质医药包装钢印字符图片中灰度跳变不明显的问题,准确分割出纸质包装盒图片中的钢印字符并进行标记,其字符的识别准确率达到99%,为生产线上钢印字符的识别和记录提供了新的解决思路,具有较高的实用价值。

摘要： 复合材料在制造和使用过程中不可避免地会产生褶皱缺陷,因其形态变化多样,形变程度较小,人工辨认存在一定障碍,容易出现错漏情况.为提高检测效率,提出利用Mask-RCNN(Mask region-based convolutional neural net works)目标检测算法对复合材料超声图像中不同形态的褶皱缺陷进行检测并分类.制备含有不同形态褶皱缺陷的碳纤维复合材料层合板,利用超声相控阵采集全矩阵数据;通过波数成像算法得到复合材料层合板纵切面图像,根据地质层中褶皱的几何学特征,将复合材料层合板中存在的不同褶皱分为三类,进而建立褶皱形态与材料损伤程度之间的关系;提出Mask-RCNN算法用于褶皱缺陷的自动检测并分类,该算法中语义分割的引入可显示褶皱缺陷的位置和形状.实验结果表明:Mask-RCNN对不同形态褶皱识别的准确率分别达到92.1%,90.9%和93.3%,褶皱分类识别准确、有效.为实现复合材料层合板数据采集-成像-缺陷判别一体化、自动化提供了理论支撑.

摘要： 针对车载导航导光板表面缺陷像素值分布不均且普遍较小、背景复杂多变等特点,提出了基于改进掩膜区域卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)模型检测车载导航导光板表面缺陷的检测方法。首先,引入PinFPN模块改进原有Mask R-CNN的特征融合网络,充分利用高低语义信息构成各级语义、位置信息兼备的共享特征层,提升整体网络的检测精度;其次,通过引入跳层连接结构和SE(Sequence and Excitation)模块对网络的分割分支进行改进,改善了传统Mask R-CNN网络语义信息获取不充分的问题;最后,通过在自建的车载导航导光板数据集上的一系列实验对比,证明了本方法在检测精度和分割上的优势,在自建数据集上的检测准确率达到了95.3%,满足工业检测的要求。

摘要： 近年来,害鸟引起广东电网输电线路故障所占比例逐渐增高,成为电网安全的主要隐患之一.如何降低鸟害故障,已经成为输电线路运行维护所面临的一个新的课题.输电线路分布区域广,盲目的人工驱赶鸟类难以有效防止鸟害,因此通过对鸟害故障进行分析是防止鸟害的有力支持.通过收集广东电网2015—2019年5年来的鸟害运维数据,根据鸟害故障的地理环境特征、杆塔结构特征与季节特征,建立鸟害故障分析模型.首先,分别分析地理特征、杆塔结构特征以及不同季节对鸟害故障的影响,然后训练Mask R-CNN神经网络提取杆塔周围的地理环境特征,最后建立基于贝叶斯线性回归的鸟害故障分析模型,并使用相关系数R;评估模型的精度.实验结果表明,本文所构建的鸟害故障分析模型具有较高的准确性和可靠性.

摘要： 海洋锋是重要的中尺度海洋现象,具有数据量小、目标小、弱边缘等特性。针对实际检测任务中弱边缘、小目标海洋锋的检测精度低、错检及漏检率高等问题,融合scSE(spatial and channel Squeeze&Excitation)空间注意力模块构建了一种改进的Mask R-CNN海洋锋检测模型。该方法首先对Mask R-CNN骨干网络结构进行改进,采用scSE模块引导的ResNet-50网络作为特征提取网络,通过加权策略对图像通道和空间位置进行特征突出,提升网络对重要特征的提取能力;其次,针对海洋锋目标边缘定位不准确的问题,引入IoU boundary loss构建新的Mask损失函数,提高边界检测精度。最后,为验证方法的有效性,从训练数据和实验模型上,分别设计多组对比实验。实验结果表明,相比传统Mask R-CNN、YOLOv3神经网络及现有Mask R-CNN改进网络,本文方法对SST梯度影像数据集上的强、弱海洋锋检测效果最好,定位准确率(IoU,Intersection-over-union))及检测精度(mAP,Mean Average Precision)均达0.914以上。此外,对文中设计评估模型进行检测效率实验,结果发现在不同网络模型、不同迭代次数情况下,本文提出模型消耗时间最短,远低于YOLOv3网络完成训练时所用时长。

摘要： 针对工厂化番茄智能化整枝打叶作业需要,研究了基于MaskR-CNN模型的整枝操作点识别定位方法,以期为整枝机器人的精准操作提供依据。鉴于丛生植株中主茎和侧枝茎秆目标随机生长、形态各异,结合植株在不同生长阶段、远近视场尺度和观测视角等条件下的成像特征,构建了温室番茄植株图像样本数据集。采用学习率微调训练方法,对Mask R-CNN预训练模型进行迁移训练,建立了主茎和侧枝像素区域的识别分割模型。在对视场内同株相邻主茎和侧枝目标进行判别基础上,提出基于图像矩特征的茎秆中心线拟合方法。以中心线交点为参考,沿侧枝进行定向偏移,实现对整枝操作点图像坐标的定位。最后,通过测试试验评估该方法对目标识别和定位的效果。试验结果表明,模型对番茄主茎和侧枝目标识别的错误率、精确率和召回率分别为0.12、0.93和0.94,对整枝操作点平均定位偏差与对应主茎像素宽度的比值为0.34,模型对于近景仰视图像中目标的识别和定位效果优于其他视场的图像。该研究可为整枝机器人视觉系统的研发提供技术依据。

摘要： 针对木材检尺中采用人工检尺的方法存在效率低下且检尺主观性较强的问题,提出一种基于掩模区域卷积神经网络(Mask R-CNN)实例分割模型的木材分割方法,探究实例分割在木材密集堆放场景下对各尺寸木材分割的可行性,以期实现智能检尺,提高检尺效率。应对密集木材检测分割任务,难点在于密集小木材和大木材的检测。本研究在原始Mask R-CNN模型的基础上通过改进优化模型参数,包括多尺度训练、提升样本采样数、提高图片输入尺寸和有效数据增广等技术,进行多组分割对照实验,同时利用OpenCV库对模型输出的木材分割掩码图完成木材轮廓拟合和木材计数,并就实验结果对模型性能进行分割精度、掩码质量和木材真检率等多维度分析。实验结果表明:测试集木材真检率达到97.989%,误检率为0.30%,并且相较基础网络,对小木材和大木材的检测分割能力提升明显,分割精度最佳提升12.9%和5.2%,掩码分割质量最佳提升2.2%。改进后的Mask R-CNN模型对密集场景下的木材分割效果良好,此外算法具有较强的鲁棒性及迁移能力,微调下能适应各种场景下的各尺寸大小密集木材检测分割任务。

摘要： 马铃薯晚疫病是由马铃薯晚疫病菌引起的一种严重影响马铃薯产量和质量的病害。农业生产者需在早期发现病害,以便采取必要措施防止病害传播到田间其他地方。在农业生产活动中,病害严重程度是一个重要参数,可用于预测产量、推荐防治措施、减少生产损失并控制成本。研究提出一种基于Mask R-CNN的马铃薯晚疫病量化评价方法,该方法包括数据集创建、图像分割、统计计算和表格查询操作等步骤。具体地,通过Mask R-CNN分割算法检测单个马铃薯叶片中的晚疫病斑,同时在正常和受病害感染区域生成高质量的分割掩膜,并计算病斑面积与叶片总面积之比K,根据K的取值确定病害的严重程度级别从而对病害进行量化评价。结果表明,研究提出的马铃薯晚疫病量化评价方法在保留测试集上总体精度可达到87.50%。

摘要： 针对无人机在电力输电线路巡检过程中,因空巡视角受风吹晃动导致线路难以完整呈现在巡检视频中,以及线路直径较小、观察距离远等限制,造成了巡检影像中线路识别准确率低下的问题.针对这一问题,提出了一种基于减帧的改进Mask-RCNN方法,该方法以相邻帧作为对比模板寻找图像差异从而提高识别准确度,并且通过减少运算过程中的数据处理量以减少数据处理时间,提高运算效率.在以复杂背景下导线为目标的试验中,本文方法的识别准确率与CPU使用率综合性能明显优于其他方法.

摘要： 本发明提出一种基于MaskRcnn的膀胱肿瘤检测方法，包括：采集少许医学膀胱图片作为训练样本，利用图像处理的方式解决医学膀胱训练图片不足产生样本数据不均衡导致过拟合的问题，该图片具有矩形识别框，矩形识别框包含了膀胱位置标记或肿瘤位置标记或同时具有膀胱和肿瘤位置标记；利用针对本发明调试好的全新参数ResNet对医学图片进行特征提取，并生成预测的ROI区域；预测的ROI区域表示了膀胱和肿瘤可能存在的位置；利用给ResNet加权操作提高了训练速度和测试速度，利用边框回边对利用感兴趣区域进行坐标的平移和尺度缩放；利用非极大值抵制得到目标矩形框。使用人工智能方法即深度学习，大量的减少了传统方法重复的人工操作，提高了速度和效率；达到实时的目的。

摘要： 本发明涉及了一种基于MaskRCNN算法的城市多类型交叉口识别方法，包括轨迹数据的处理、特征提取、训练深度学习模型以及利用所述深度学习模型识别交叉口的类型。本发明能够提高从轨迹数据中提取交叉口的准确率，并对识别出来的交叉口准确分类，本发明相对于传统方法从轨迹数据中识别交叉口来说是一种新的思路。

摘要： 本发明涉及基于弱光补偿的MaskRCNN渗水检测方法及系统，其方法包括：S1、采用融合样本数据增强扩充样本数据集；S2、对扩增后的数据集用Lableme进行数据标注，生成积水区域的标记文件；S3、对标记的数据集进行增强操作；S4、利用增强的数据集训练MaskRCNN模型；S5、将待检测图像导入MBLLEN模型，获取最终弱光增强的渗水区域图像；S6、将最终输出的弱光增强渗水图像导入MaskRCNN模型，渗水图像经过卷积计算获得特征图，经过RPN获得候选区域，经过ROI Align层获得最终的渗水区域位置。本发明通过将待检测的巡检图像导入MBLLEN模型进行弱光增强，再将弱光增强的图像导入MaskRCNN模型进行积水区域检测，不仅可以进行有效的目标检测，而且还可以实现精准分割目标区域的边界。

摘要： 本发明公开了一种基于改进MaskRCNN与SEED框架的自然场景文字检测识别方法，该方法将CV领域常用的实例分割算法Mask‑RCNN进行改进并用于自然场景中的文字定位，将其输出结果(蒙版Mask、边框Box)通过进一步的RoI Masking操作增强图像文字部分信息，然后与用于场景文字的语义增强的编码器‑解码器框架SEED组合完成精确度较高的自然场景文字检测与识别。本发明所述方法能够显著降低对训练过程中所需数据集的要求，对文字定位精确至字符轮廓，得到的文字识别精确度高。

摘要： 本发明公开了一种基于MaskRCNN的螺母表面缺陷分割方法，包括步骤一：采集训练样本，制作数据集；使用数据集训练MaskRCNN模型，将MaskRCNN模型训练收敛；步骤二：采集目标图像，对目标图像进行裁剪起直接使用原图调整大小，最大程度上保证了图像的清晰度；步骤三：修改ResNet50结构，在ResNet50的Res4和Res5模块中加入了可形变卷积，使用DCN代替普通的卷积模块，增强模型的几何变换建模的能力，在一定程度上减少了漏报和误报；步骤四：利用先验知识对RPN网络的候选框大小及长宽比进行优化，使其更适合螺母缺陷检测，进一步减少漏报，提高检测精度；步骤五：调整图像大小，利用K‑Means聚类法，对数据集中目标框的大小进行聚类，划分出合适的候选框大小以及长宽比例。

摘要： 本发明公开了一种基于MarkRCNN的变电设备异常识别定位方法及系统，包括，采集电力设备的实时数据进行预处理；利用iForest算法识别出预处理后的运行数据的异常值，结合K‑means聚类策略标记的所述异常值；基于卷积神经网络构建Mask RCNN目标识别网络模型；将标记的所述异常值输入至所述Mask RCNN目标识别网络模型中进行初步识别，输出目标识别结果；对LSSVM进行训练和参数优化，设定精度要求和阈值，训练完成后输出定位模型；将所述目标识别结果导入所述定位模型内，获得所述电力设备的异常位置信息。本发明大幅度的提升变电设备图像识别准确度的同时，提高了对设备异常位置的定位识别，提升了故障定位信息容错能力、定位效率和准确度。

摘要： 本发明公开了一种基于MaskRCNN的汉字笔画分割提取方法，包括以下步骤：构成笔画分割数据集，并解析字体，生成训练集和验证集；构建MaskRCNN网络模型，所述MaskRCNN网络模型包含骨干网络、区域建议网络、分支网络；预设MaskRCNN网络模型的初始参数和迭代次数，对训练集进行图像增强补充数据；训练MaskRCNN网络模型，通过训练集更新网络参数，并通过验证集选择最优参数并保存；将待测汉字图像输入训练好的网络模型，得到笔画分割提取结果；本发明创新地利用实例分割领域Mask RCNN算法于汉字的笔画分割提取任务中，对比笔画提取的方法，处理效果和效率大幅度提升。

摘要： 本发明涉及了一种基于MaskRCNN算法的城市多类型交叉口识别方法，包括轨迹数据的处理、特征提取、训练深度学习模型以及利用所述深度学习模型识别交叉口的类型。本发明能够提高从轨迹数据中提取交叉口的准确率，并对识别出来的交叉口准确分类，本发明相对于传统方法从轨迹数据中识别交叉口来说是一种新的思路。

摘要： 本发明公开了一种基于MaskRCNN网络的铸件定位方法，包含以下步骤：采集铸件图像、手工标记铸件轮廓、MaskRCNN网络模型处理、轮廓查找、凸包查找、最小圆拟合、手眼标定、完成铸件定位。本发明使用MaskRCNN深度学习网络，可以快速、准确的将铸件目标分割开来，计算铸件的圆心位置，完成铸件的定位，提高了铸件定位的速度和精确度。

摘要： 本发明提供一种基于MaskRCNN的视频火灾识别方法及系统，采用了MaskRCNN深度学习模型来检测视频图像中的烟雾和火焰等目标，将视频流中的图像传输到训练好的MaskRCNN模型中，经过一系列的卷积、池化等操作，可以充分提取出图像中的特征信息，可以准确地输出预测到的烟雾和火焰等目标的坐标信息和得分结果。MaskRCNN模型具有较高的准确性和可靠性，但是也存在少量的误报现象，为了进一步降低误报，本实施例使用了基于帧差的动态能量检测方法对MaskRCNN的检测结果进行过滤，可以去除掉绝大部分的静态物体误报现象。最后，本实施例采用深度神经网络对检测到的物体对应的图像区域进行最后的分类决策，进一步地降低了误报率。