首页> 中国专利> 大米垩白区域检测方法、装置、设备及存储介质

大米垩白区域检测方法、装置、设备及存储介质

摘要

本发明公开了一种大米垩白区域检测方法、装置、设备及存储介质,所述方法包括:对大米图像数据集中的各大米图像进行正常区域和垩白区域标注;对大米图像数据集中标注垩白区域的大米图像标签进行预处理,以将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,并将处理好的大米图像数据集划分为训练样本和测试样本;利用训练样本和测试样本训练和测试垩白分割模型;获取待检测大米图像,并将待检测大米图像输入至训练好的垩白分割模型,输出待检测大米图像中的大米垩白区域。本发明能够快速准确地对大米进行垩白区域检测,且具有抗干扰能力强,稳定性好,模型参数量小等优点。

著录项

  • 公开/公告号CN114066887A

    专利类型发明专利

  • 公开/公告日2022-02-18

    原文格式PDF

  • 申请/专利权人 安徽高哲信息技术有限公司;

    申请/专利号CN202210025286.3

  • 发明设计人 武勇;蒋光好;

    申请日2022-01-11

  • 分类号G06T7/00(2017.01);G06T7/11(2017.01);G06T7/136(2017.01);G06T3/40(2006.01);G06N3/04(2006.01);G06N3/08(2006.01);

  • 代理机构北京清亦华知识产权代理事务所(普通合伙) 11201;

  • 代理人赵静

  • 地址 230088 安徽省合肥市高新区创新大道2800号创新产业园二期G3-303

  • 入库时间 2023-06-19 15:49:21

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-04-22

    授权

    发明专利权授予

  • 2022-03-08

    实质审查的生效 IPC(主分类):G06T 7/00 专利申请号:2022100252863 申请日:20220111

    实质审查的生效

说明书

技术领域

本发明涉及检测技术领域,尤其涉及一种大米垩白区域检测方法、装置、设备及存储介质。

背景技术

大米的外观是大米品质一项非常重要的指标,正常大米呈白色透明状,垩白区域是因稻谷生长过程中由于气候、养分等因素影响淀粉颗粒排列不够密致导致透光率变化而引起,垩白区域呈白色不透明状,边界不清晰,通常位于大米的腹部。大米的质量安全关系着人们的生命健康,垩白米相比正常稻米透明度低,加工易断裂,食味品质差,同时垩白米缺少有助于人体代谢的成份,营养价值低,这些因素直接影响稻米的价格,因此垩白信息成为了决定稻米质量优劣的重要评价指标。

对大米垩白区域进行检测的相关技术包括:

(1)基于阈值和边缘检测的方法:垩白区域由于其白色不透明特性,在图像上相比稻米其他部分要呈现出高亮度的特征。基于阈值和边缘检测分割算法,其原理主要是通过图像灰度值来区分稻谷中的垩白区域和非垩白区域。问题在于:此类方法对图像质量要求高,对不同类别的大米适应性差,尤其是大米籽粒上存在划痕、破碎以及大米胚芽等也会在灰度图像上也表现出高亮度特征,此时该方法会经常出现误识别。同时不同稻谷的透明度也不相同,该方法为了适应不同的稻谷样本需要不断去调节相应阈值参数。

(2)深度学习方法:是基于卷积神经网络的语义分割方法,过程为:对采集到的大米图像中的垩白区域及非垩白区域进行标注,制作大米分割数据集;将标注的数据送到语义分割网络进行训练,最后直接对预处理后的大米图像进行分割。问题在于:此类方法数据标准由人工标注,但人工标注存在标准不统一,标注有偏差等情况,尤其是在垩白区域与正常区域的连接处存在边界模糊等问题。此外,现有的面向大米垩白区域语义分割的方法未实现标准可调功能。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种可提高大米垩白区域识别准确度的大米垩白区域检测方法、装置、设备及存储介质。

为此,本发明实施例提供了一种大米垩白区域检测方法,所述方法包括:

获取大米图像数据集,并对所述大米图像数据集中的各大米图像进行正常区域和垩白区域标注;

对所述大米图像数据集中标注垩白区域的大米图像标签进行预处理,以将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,并将处理好的大米图像数据集划分为训练样本和测试样本;

利用所述训练样本和所述测试样本训练和测试垩白分割模型,其中,所述垩白分割模型为基于编码-解码结构的深度学习网络模型;

获取待检测大米图像,并将所述待检测大米图像输入至训练好的垩白分割模型,输出所述待检测大米图像中的大米垩白区域。

进一步地,对标注垩白区域的大米图像标签进行预处理,以将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,包括:

提取所述标注垩白区域的大米图像中的垩白区域图像;

计算所述垩白区域图像的质心,并采用最大类间方差法进行阈值分割,将所述垩白区域图像分割为重度垩白区域和轻度垩白区域;

以所述质心为中心点将所述轻度垩白区域的硬标签转换为从中心到边缘标签值逐渐减弱的软标签。

进一步地,所述采用最大类间方差法进行阈值分割,将所述垩白区域图像分割为重度垩白区域和轻度垩白区域,包括:

根据重度垩白和轻度垩白之间的方差g=w

将所述垩白区域图像中灰度值大于T的像素点记为重度垩白像素点,灰度值大于0且小于等于T的像素点记为轻度垩白像素点,得到所述垩白区域图像的轻度垩白区域和重度垩白区域。

进一步地,以所述质心为中心点将所述轻度垩白区域的硬标签转换为从中心到边缘标签值逐渐减弱的软标签,包括:

对所述轻度垩白区域中的像素点赋予权重值w(i,j),其中,w(i,j)=e

将所述轻度垩白区域的像素值与对应的权重值w(i,j)相乘,得到所述软标签。

进一步地,所述基于编码-解码结构的深度学习网络模型包括依次连接的编码网络结构、空洞空间金字塔结构和解码网络结构;

所述编码网络结构包括两个依次连接的第一卷积层、第一BN层、第一ReLU层,以及四个依次连接的下采样层、残差空洞深度可分离卷积层,其中,所述编码网络结构用以提取抽象的语义特征信息;

所述空洞空间金字塔结构包括并行的全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层以及与所述全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层连接的第三卷积层,其中,所述并行的全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层用以提高网络的感受野,获取多尺度特征信息;

所述解码网络结构包括四个依次连接的特征聚合层、残差深度可分离卷积层,以及两个并行的特征对齐处理器和与两个所述并行的特征对齐处理器连接的累加层,其中,所述特征聚合层包括上采样层、第二Concat层、第四卷积层、第二BN层、第二ReLU层、第五卷积层,所述解码网络结构的输入包括多种分辨率特征图。

进一步地,所述利用所述训练样本和所述测试样本训练和测试垩白分割模型包括:

将所述训练样本输入至垩白分割模型,使用损失函数Loss=α×L

利用所述测试样本对所述最终训练模型进行分割精度评测;

在评测结果满足预设条件时,将所述最终训练模型作为所述训练好的垩白分割模型;

在评测结果不满足所述预设条件时,根据所述测评结果继续更新垩白分割模型的参数。

进一步地,在输出所述待检测大米图像中的大米垩白区域之后,所述方法还包括:

对所述待检测大米图像中大米垩白区域的范围进行调节。

此外,为实现上述目的,本发明还提供了一种大米垩白区域检测装置,所述装置包括:

获取模块,用于获取大米图像数据集,并对所述大米图像数据集中的各大米图像进行正常区域和垩白区域标注;

预处理模块,用于对所述大米图像数据集中标注垩白区域的大米图像标签进行预处理,以将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,并将处理好的大米图像数据集划分为训练样本和测试样本;

训练模块,用于利用所述训练样本和所述测试样本训练和测试垩白分割模型,其中,所述垩白分割模型为基于编码-解码结构的深度学习网络模型;

检测模块,用于获取待检测大米图像,并将所述待检测大米图像输入至训练好的垩白分割模型,输出所述待检测大米图像中的大米垩白区域。

此外,为实现上述目的,本发明还提供了一种大米垩白区域检测设备,所述设备包括存储器、处理器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上所述的方法。

此外,为实现上述目的,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的方法。

根据本发明实施例的大米垩白区域检测方法、装置、设备及存储介质,通过对大米图像数据集中的各大米图像进行正常区域和垩白区域标注,对标注的垩白区域的大米图像标签进行预处理,以将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,将处理好的大米图像数据集划分为训练样本和测试样本,用于对垩白分割模型进行训练,利用训练好的垩白分割模型对待检测大米图像进行处理,输出待检测大米图像的垩白区域。通过将人工标注的大米垩白区域与正常区域的邻接区域的硬标签转换为软标签,使垩白分割模型在学习的过程中对此区域的置信度相比于不邻接正常区域的垩白区域置信度较低,同时垩白分割模型是基于语义分割技术的大米分割模型,能够快速准确地对大米进行垩白区域检测,且具有抗干扰能力强,稳定性好,模型参数量小等优点。

本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

图1是本发明第一实施例中大米垩白区域检测方法的流程图;

图2是本发明中标注数据预处理流程图;

图3是本发明中标注数据预处理过程中的相关图像示意图;

图4是本发明中垩白分割模型的网络结构图;

图5是本发明中空洞空间金字塔结构示意图;

图6是本发明中特征对齐处理器的结构示意图;

图7是本发明第二实施例中大米垩白区域检测方法的流程图;

图8是本发明第三实施例中大米垩白区域检测装置的结构框图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。

下面参考附图1描述本发明第一实施例的一种大米垩白区域检测方法,所述方法包括如下步骤:

S10、获取大米图像数据集,并对所述大米图像数据集中的各大米图像进行正常区域和垩白区域标注。

S20、对所述大米图像数据集中标注垩白区域的大米图像标签进行预处理,以将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,并将处理好的大米图像数据集划分为训练样本和测试样本。

需要说明的是,通过将人工标注的大米垩白区域与正常区域的邻接区域的硬标签转换为软标签,使垩白分割模型在学习的过程中对此区域的置信度相比于不邻接正常区域的垩白区域置信度较低,提高垩白分割模型学习结果的准确性。

S30、利用所述训练样本和所述测试样本训练和测试垩白分割模型,其中,所述垩白分割模型为基于编码-解码结构的深度学习网络模型。

需要说明的是,本实施例中垩白分割模型为基于语义分割技术的大米分割模型,能够快速准确地对大米进行垩白区域检测,具有抗干扰能力强,稳定性好,模型参数量小等优点。

S40、获取待检测大米图像,并将所述待检测大米图像输入至训练好的垩白分割模型,输出所述待检测大米图像中的大米垩白区域。

需要说明的是,本实施例通过采用大量大米图像,对大米图像中正常区域以及垩白区域两个区域进行标注,并对标注出的垩白区域的大米图像的标签进行预处理,将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,利用处理好的大米图像数据集对垩白分割模型进行训练和测试,在实际检测过程中,将待检测的大米图像输入至训练好的垩白分割模型中,即可输出待检测大米图像中的大米垩白区域。

在一些实施例中,如图2至图3所示,所述步骤S20,包括如下步骤:

S201、提取所述标注垩白区域的大米图像中的垩白区域图像。

需要说明的是,本实施例可通过标注的垩白区域掩码提取原大米图像中的垩白区域图像。

S202、计算所述垩白区域图像的质心,并采用最大类间方差法进行阈值分割,将所述垩白区域图像分割为重度垩白区域和轻度垩白区域。

其中,垩白区域图像中每一个像素的灰度值可以理解为此像素点处的重量,对于二维图像的质心坐标,在x轴上和y轴上分别独立地找出质心。记图像中每个像素点在x轴方向上的坐标为x

在y轴方向上的质心坐标y

使用质心计算方法可以获得垩白区域的质心坐标为(x

S203、以所述质心为中心点将所述轻度垩白区域的硬标签转换为从中心到边缘标签值逐渐减弱的软标签。

在一些实施例中,所述步骤S202中,采用最大类间方差法进行阈值分割,将所述垩白区域图像分割为重度垩白区域和轻度垩白区域,具体包括如下步骤:

S2021、根据重度垩白和轻度垩白之间的像素值方差g=w

S2022、将所述垩白区域图像中灰度值大于T的像素点记为重度垩白像素点,灰度值大于0且小于等于T的像素点记为轻度垩白像素点,得到所述垩白区域图像的轻度垩白区域和重度垩白区域。

需要说明的是,本实施例使用最大类间方差法确定最佳分割阈值,将整个数据分成两个类,两类之间的像素值方差最大,那么这个阈值就是最佳的阈值。对于提取的垩白图像有三类,分别为背景区域、轻度垩白区域及重度垩白区域。其中背景区域的灰度值为0,去除背景区域,将图像由三类区域转换为只有轻度垩白区域及重度垩白区域二类,求取轻度垩白区域与重度垩白区域分割的最佳阈值,只计算1-256的灰度级。

在一些实施例中,所述步骤S203,包括如下步骤:

S2031、对所述轻度垩白区域中的像素点赋予权重值w(i,j),其中,w(i,j)=e

需要说明的是,对于轻度垩白区域的每个灰度像素值通过权重值进行缩放,以质心点为中心点,从中心点到边缘的灰度像素值逐渐减弱,也就是每个像素点对应的权重越靠近边缘的值越小,越靠近中心点的像素的权重值越大,则权重的分布符合高斯分布,可以利用近似高斯函数的指数函数来求取图像中每个像素点对应的权重值。

S2032、将所述轻度垩白区域的像素值与对应的权重值w(i,j)相乘,得到所述软标签。

其中,将轻度垩白区域的像素值与对应的权重值w(i,j)相乘,得到符合高斯分布的像素灰度值,对像素灰度值进行归一化,得到处于(0.5,1)范围内的概率值,实现轻度垩白区域的硬标签转换为从中心到边缘标签值逐渐减弱的软标签。

在一实施例中,如图4所示,所述基于编码-解码结构的深度学习网络模型包括依次连接的编码网络结构、空洞空间金字塔结构和解码网络结构:

(1)编码网络结构:

编码网络结构包括两个依次连接的第一卷积层、第一BN层、第一ReLU层,以及四个依次连接的下采样层、残差深度可分离卷积层,其中,所述编码网络结构用以提取抽象的语义特征信息。

需要说明的是,利用编码网络结构实现编码过程为:先采用步长为1连续双层的卷积核大小为3×3的第一卷积层进行大米图像特征提取,第一卷积层后面紧接第一BN层和第一ReLU层。然后利用残差空洞深度可分离卷积层进一步提取输入图像的抽象语义特征,即卷积核大小为3×3,空洞系数为2的深度可分离卷积,再利用卷积核大小为1×1的卷积做通道调整并引入残差连接避免梯度消失或爆炸。将输入图像为192×192的米粒图像送入编码网络,得到尺度为16×16的特征图,目的是提取抽象的语义特征信息,再将编码阶段最后一层的特征送入到空洞空间金字塔结构,提高网络的感受野,并引入了多尺度信息。

(2)空洞空间金字塔结构:

如图5所示,空洞空间金字塔结构包括并行的全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层以及与所述全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层连接的第三卷积层,其中,所述并行的全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层用以提高网络的感受野,获取多尺度特征信息。

其中,带有空洞卷积的空间金字塔池化结构,主要是为了提高网络的感受野,提取多尺度信息。此网络结构可以在不改变特征图大小的同时控制感受野,有利于提取多尺度信息。其工作过程为:采用一个全局平均池化层得到图像级特征,并进行1×1卷积,使用双线性插值将特征图恢复到原始大小;一个卷积核大小为1×1的第二卷积层,以及三个卷积核大小为3×3的空洞卷积输出不同尺度特征信息,最后将5个不同尺度的特征在通道维度上连接在一起,再送入卷积核大小为1×1的第三卷积层进行融合输出。

(3)解码网络结构:

如图6所示,解码网络结构包括四个依次连接的特征聚合层、残差深度可分离卷积层,以及两个并行的特征对齐处理器和与两个所述并行的特征对齐处理器连接的累加层,其中,所述特征聚合层包括上采样层、第二Concat层、第四卷积层、第二BN层、第二ReLU层、第五卷积层,所述解码网络结构的输入包括多种分辨率特征图。

需要说明的是,解码网络结构将空洞空间金字塔结构输出的低分辨率的高级特征经过上采样与编码网络结构输出的高分辨低级特征图进行特征聚合,使用特征对齐处理器进行特征融合,能够精准对齐高分辨率和低分辨率特征映射,将低级和高级特征信息进行聚合。

需要说明的是,本实施例构建的垩白分割模型使用残差深度空洞分组卷积来保持大米数据的高分辨率特征,利用空洞金字塔结构来获取多尺度特征信息;在解码阶段使用特征对齐处理器来聚合多分辨率特征,能有效解决低分辨率和高分辨率特征图的特征错位问题。

进一步地,特征对齐处理器用于针对两个尺度的特征融合,首先对低分辨率特征进行上采样,再与高分辨率特征进行连接,经过卷积核大小为1×1的第四卷积层和卷积核大小为3×3的第五卷积层传递级联特征可以预测两个位置偏移特征图,分别对应两个尺度特征图的预测偏置,每个偏置特征图有2个通道,表示特征图宽和高的两个偏置,最后对两个尺度的特征分别对齐后进行相加操作,具体表示公式如下:

其中,

其中,

需要说明的是,特征对齐处理器使用可学习的对齐方法来对齐聚合期间的多分辨率特征,能有效解决特征错位问题。

需要说明的是,利用预处理后的大米训练数据对构建好的垩白分割模型进行训练,得到大米分割模型,在模型的训练期间,将多分类的语义分割任务转换为多个二分类模型的组合。进一步来说,对于大米分割任务,包括背景,正常区域,垩白区域三类。背景,正常区域的像素点标签都是one-hot形式,而垩白区域包含重度垩白区域和轻度垩白区域,垩白区域像素点的标签值被转化为概率形式,标签值范围处于[0,1]。网络模型的输出特征的通道数量为3,分别代表背景,正常区域,垩白区域的概率预测图。为了使网络模型的预测值与真实标签的误差很小,将背景区域和正常区域转换为二分类任务,垩白区域转换为回归任务。

在一实施例中,所述步骤S30,包括如下步骤:

S301、将所述训练样本输入至垩白分割模型,使用损失函数Loss=α×L

其中,α为两个损失函数的权重,在训练阶段设置为0.4。

需要说明的是,交叉熵损失函数经常用于分类任务中;MSE损失函数经常用于回归任务中。对于标签以one-hot形式的背景和正常区域,取背景和正常区域的网络模型预测的概率输出与真实类别的one-hot形式进行交叉熵损失函数的计算。交叉熵损失函数为:

其中,y

对于垩白区域的标签值是以概率值的形式,处于[0,1]范围内,不是one-hot形式,使用交叉熵损失函数不能精确的计算误差损失,于是取垩白区域的网络模型预测的概率值与真实的标签值进行MSE损失函数计算,计算每个像素点的预测概率值与真实概率值的误差。MSE损失函数为:

其中,y

需要说明的是,在垩白分割模型的训练过程中采用Adam优化器,网络的损失函数选择交叉熵和MSE损失函数。初始学习率设置为5×10

S302、利用所述测试样本对所述最终训练模型进行分割精度评测。

S303、在评测结果满足预设条件时,将所述最终训练模型作为所述训练好的垩白分割模型。

S304、在评测结果不满足所述预设条件时,根据所述测评结果继续更新垩白分割模型的参数。

需要说明的是,本实施例通过结合交叉熵和MSE损失函数,能够加快网络模型的训练,网络模型对大米的预测分割概率值,背景和正常区域的预测概率值是逼近于1的,垩白区域中的重度垩白的预测输出概率值逼近于1,处于轻度垩白的预测概率值低于重度区域的概率值,通过垩白区域预测的概率值可以对垩白区域进行调节。

进一步地,本实施例在利用测试样本数据对模型进行测试之前,先对测试样本数据进行预处理,并输入到垩白分割模型中,得到初步的分割图像,然后对分割图像进行后处理。利用垩白模型对大米数据进行分割,由于背景的噪声会干扰大米的分割效果,有些像素会被分类错误,通过计算连通域面积的方式去除分割结果中的噪声,提高垩白分割模型测试的准确度。

在一实施例中,参照图7,基于第一实施例提出本发明大米垩白区域检测方法第二实施例,所述方法还包括:对所述待检测大米图像中大米垩白区域的范围进行调节。

需要说明的是,用垩白分割模型预测得到的垩白区域掩码来提取待检测大米图像中的垩白区域图像,并使用最大类间方差法求取最佳阈值T2,将垩白区域分割为重度垩白区域和轻度垩白区域。以阈值T2为设定的最大调节阈值,设置的调节阈值为0时,则网络分割得到的恶白区域不变,当设定的阈值逐渐增大至T2,则恶白区域逐渐减少。通过此方法可以对分割的恶白区域进行调节。

本实施例中,将待检测大米图像送入到学习好的垩白分割模型中,得出大米的垩白分割图像,并送入到垩白区域调节模快,通过垩白区域调节模块中设置的阈值参数,可以调节垩白区域的范围。

此外,参照图8,本发明第三实施例提供一种大米垩白区域检测装置,所述装置包括:

获取模块10,用于获取大米图像数据集,并对所述大米图像数据集中的各大米图像进行正常区域和垩白区域标注。

预处理模块20,用于对所述大米图像数据集中标注垩白区域的大米图像标签进行预处理,以将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,并将处理好的大米图像数据集划分为训练样本和测试样本。

需要说明的是,通过将人工标注的大米垩白区域与正常区域的邻接区域的硬标签转换为软标签,使垩白分割模型在学习的过程中对此区域的置信度相比于不邻接正常区域的垩白区域置信度较低,提高垩白分割模型学习结果的准确性。

训练模块30,用于利用所述训练样本和所述测试样本训练和测试垩白分割模型,其中,所述垩白分割模型为基于编码-解码结构的深度学习网络模型。

需要说明的是,本实施例中垩白分割模型为基于语义分割技术的大米分割模型,能够快速准确地对大米进行垩白区域检测,具有抗干扰能力强,稳定性好,模型参数量小等优点。

检测模块40,用于获取待检测大米图像,并将所述待检测大米图像输入至训练好的垩白分割模型,输出所述待检测大米图像中的大米垩白区域。

需要说明的是,本实施例通过采用大量大米图像,对大米图像中正常区域以及垩白区域两个区域进行标注,并对标注出的垩白区域的大米图像的标签进行预处理,将标注垩白区域的大米图像中垩白区域与正常区域的邻接区域的硬标签转换为软标签,利用处理好的大米图像数据集对垩白分割模型进行训练和测试,在实际检测过程中,将待检测的大米图像输入至训练好的垩白分割模型中,即可输出待检测大米图像中的大米垩白区域。

在一实施例中,所述预处理模块20,包括:

提取单元,用于提取所述标注垩白区域的大米图像中的垩白区域图像。

需要说明的是,本实施例可通过标注的垩白区域掩码提取原大米图像中的垩白区域图像。

划分单元,用于计算所述垩白区域图像的质心,并采用最大类间方差法进行阈值分割,将所述垩白区域图像分割为重度垩白区域和轻度垩白区域。

其中,垩白区域图像中每一个像素的灰度值可以理解为此像素点处的重量,对于二维图像的质心坐标,在x轴上和y轴上分别独立地找出质心。记图像中每个像素点在x轴方向上的坐标为x

在y轴方向上的质心坐标y

使用质心计算方法可以获得垩白区域的质心坐标为(x

转换单元,用于以所述质心为中心点将所述轻度垩白区域的硬标签转换为从中心到边缘标签值逐渐减弱的软标签。

在一实施例中,所述划分单元,具体用于:

根据重度垩白和轻度垩白之间的像素值方差g=w

将所述垩白区域图像中灰度值大于T的像素点记为重度垩白像素点,灰度值大于0且小于等于T的像素点记为轻度垩白像素点,得到所述垩白区域图像的轻度垩白区域和重度垩白区域。

需要说明的是,本实施例使用最大类间方差法确定最佳分割阈值,将整个数据分成两个类,两类之间的像素值方差最大,那么这个阈值就是最佳的阈值。对于提取的垩白图像有三类,分别为背景区域、轻度垩白区域及重度垩白区域。其中背景区域的灰度值为0,去除背景区域,将图像由三类区域转换为只有轻度垩白区域及重度垩白区域二类,求取轻度垩白区域与重度垩白区域分割的最佳阈值,只计算1-256的灰度级。

在一实施例中,所述转换单元,具体用于:

对所述轻度垩白区域中的像素点赋予权重值w(i,j),其中,w(i,j)=e

需要说明的是,对于轻度垩白区域的每个灰度像素值通过权重值进行缩放,以质心点为中心点,从中心点到边缘的灰度像素值逐渐减弱,也就是每个像素点对应的权重越靠近边缘的值越小,越靠近中心点的像素的权重值越大,则权重的分布符合高斯分布,可以利用近似高斯函数的指数函数来求取图像中每个像素点对应的权重值。

将所述轻度垩白区域的像素值与对应的权重值w(i,j)相乘,得到所述软标签。

其中,将轻度垩白区域的像素值与对应的权重值w(i,j)相乘,得到符合高斯分布的像素灰度值,对像素灰度值进行归一化,得到处于(0.5,1)范围内的概率值,实现轻度垩白区域的硬标签转换为从中心到边缘标签值逐渐减弱的软标签。

在一实施例中,所述基于编码-解码结构的深度学习网络模型包括依次连接的编码网络结构、空洞空间金字塔结构和解码网络结构:

(1)编码网络结构:

编码网络结构包括两个依次连接的第一卷积层、第一BN层、第一ReLU层,以及四个依次连接的下采样层、残差深度可分离卷积层,其中,所述编码网络结构用以提取抽象的语义特征信息。

需要说明的是,利用编码网络结构实现编码过程为:先采用步长为1连续双层的卷积核大小为3×3的第一卷积层进行大米图像特征提取,第一卷积层后面紧接第一BN层和第一ReLU层。然后利用残差空洞深度可分离卷积层进一步提取输入图像的抽象语义特征,即卷积核大小为3×3,空洞系数为2的深度可分离卷积,再利用卷积核大小为1×1的卷积做通道调整并引入残差连接避免梯度消失或爆炸。将网络的输入图像为192×192的米粒图像送入编码网络,得到尺度为16×16的特征图,目的是提取抽象的语义特征信息,再将编码阶段最后一层的特征送入到空洞空间金字塔结构,提高网络的感受野,并引入了多尺度信息。

(2)空洞空间金字塔结构:

空洞空间金字塔结构包括并行的全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层以及与所述全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层连接的第三卷积层,其中,所述并行的全局平均池化层、第二卷积层、三个不同空洞率的空洞卷积层用以提高网络的感受野,获取多尺度特征信息。

其中,带有空洞卷积的空间金字塔池化结构,主要是为了提高网络的感受野,提取多尺度信息。此网络结构可以在不改变特征图大小的同时控制感受野,有利于提取多尺度信息。其工作过程为:采用一个全局平均池化层得到图像级特征,并进行1×1卷积,使用双线性插值将特征图恢复到原始大小;一个卷积核大小为1×1的第二卷积层,以及三个卷积核大小为3×3的空洞卷积输出不同尺度特征信息,最后将5个不同尺度的特征在通道维度上连接在一起,再送入卷积核大小为1×1的第三卷积层进行融合输出。

(3)解码网络结构:

解码网络结构包括四个依次连接的特征聚合层、残差深度可分离卷积层,以及两个并行的特征对齐处理器和与两个所述并行的特征对齐处理器连接的累加层,其中,所述特征聚合层包括上采样层、第二Concat层、第四卷积层、第二BN层、第二ReLU层、第五卷积层,所述解码网络结构的输入包括多种分辨率特征图。

需要说明的是,解码网络结构将空洞空间金字塔结构输出的低分辨率的高级特征经过上采样与编码网络结构输出的高分辨低级特征图进行特征聚合,使用特征对齐处理器进行特征融合,能够精准对齐高分辨率和低分辨率特征映射,将低级和高级特征信息进行聚合。

需要说明的是,本实施例构建的垩白分割模型使用残差深度空洞分组卷积来保持大米数据的高分辨率特征,利用空洞金字塔结构来获取多尺度特征信息;在解码阶段使用特征对齐处理器来聚合多分辨率特征,能有效解决低分辨率和高分辨率特征图的特征错位问题。

进一步地,特征对齐处理器用于针对两个尺度的特征融合,首先对低分辨率特征进行上采样,再与高分辨率特征进行连接,经过卷积核大小为1×1的第四卷积层和卷积核大小为3×3的第五卷积层传递级联特征可以预测两个位置偏移特征图,分别对应两个尺度特征图的预测偏置,每个偏置特征图有2个通道,表示特征图宽和高的两个偏置,最后对两个尺度的特征分别对齐后进行相加操作,具体表示公式如下:

其中,

其中,

需要说明的是,特征对齐处理器使用可学习的对齐方法来对齐聚合期间的多分辨率特征,能有效解决特征错位问题。

在一实施例中,所述训练模块30,包括:

训练单元,用于将所述训练样本输入至垩白分割模型,使用损失函数Loss=α×L

其中,α为两个损失函数的权重,在训练阶段设置为0.4。

需要说明的是,交叉熵损失函数经常用于分类任务中;MSE损失函数经常用于回归任务中。对于标签以one-hot形式的背景和正常区域,取背景和正常区域的网络模型预测的概率输出与真实类别的one-hot形式进行交叉熵损失函数的计算。交叉熵损失函数为:

其中,y

对于垩白区域的标签值是以概率值的形式,处于[0,1]范围内,不是one-hot形式,使用交叉熵损失函数不能精确的计算误差损失,于是取垩白区域的网络模型预测的概率值与真实的标签值进行MSE损失函数计算,计算每个像素点的预测概率值与真实概率值的误差。MSE损失函数为:

其中,y

需要说明的是,在垩白分割模型的训练过程中采用Adam优化器,网络的损失函数选择交叉熵和MSE损失函数。初始学习率设置为5×10

评价单元,用于利用所述测试样本对所述最终训练模型进行分割精度评测。

确定单元,用于在评价单元输出结果满足预设条件时,将所述最终训练模型作为所述训练好的垩白分割模型;

以及,用于在评价单元输出结果不满足所述预设条件时,根据所述测评结果继续更新垩白分割模型的参数。

需要说明的是,本实施例通过结合交叉熵和MSE损失函数,能够加快网络模型的训练,网络模型对大米的预测分割概率值,背景和正常区域的预测概率值是逼近于1的,垩白区域中的重度垩白的预测输出概率值逼近于1,处于轻度垩白的预测概率值低于重度区域的概率值,通过垩白区域预测的概率值可以对垩白区域进行调节。

在一实施例中,所述装置还包括:

调节模块,用于对所述待检测大米图像中大米垩白区域的范围进行调节。

需要说明的是,将检测模块40输出的大米垩白分割图像,送入到调节模块,通过调节模块中设置的阈值参数,可以调节垩白区域的范围。

其中,阈值参数以使用最大类间方差法求取最佳阈值T2作为最大调节阈值,若设定的调节阈值为0,则网络分割得到的恶白区域不变,当设定的阈值逐渐增大至T2,则恶白区域逐渐减少。通过此方法可以对分割的恶白区域进行调节。

此外,本发明第四实施例还提供了一种大米垩白区域检测设备,所述设备包括存储器、处理器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上实施例所述的方法。

此外,本发明第五实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上实施例所述的方法。

需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。

在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号