公开/公告号CN112861654A
专利类型发明专利
公开/公告日2021-05-28
原文格式PDF
申请/专利权人 浙江理工大学;
申请/专利号CN202110077443.0
申请日2021-01-20
分类号G06K9/00(20060101);G06K9/32(20060101);G06K9/34(20060101);G06K9/38(20060101);G06K9/46(20060101);A01D46/04(20060101);
代理机构33101 杭州九洲专利事务所有限公司;
代理人王之怀;王洪新
地址 310018 浙江省杭州市下沙高教园区白杨街道2号大街928号
入库时间 2023-06-19 11:08:20
技术领域
本发明涉及到人工智能、机器视觉及图像处理算法领域,具体是提供一种基于机器视觉的名优茶采摘点位置信息获取方法。
背景技术
近年来,基于视觉的自动采摘机器人被用于名优茶的采摘,其采摘点的自动识别定位成为限制其发展的关键点和重难点。名优茶质量轻,风吹或采摘机移动都会引起茶叶的摆动;茶园环境复杂,茶叶相互遮挡;光照太强或太暗,嫩芽和老叶分辨率低。这些因素使得嫩芽采摘点的识别定位非常困难,严重限制了名优茶的自动化采摘。目前所采用的茶叶嫩芽采摘点的定位方法定位精度低、效率低,为了实现采摘点的快速识别定位,保证名优茶机采效率和高质量要求,需要研发一种的名优茶采摘点位置信息获取方法。
发明内容
本发明的目的是克服上述背景技术中的不足,提供一种基于机器视觉的名优茶采摘点位置信息获取方法,该方法应能大大提高茶叶嫩芽采摘点定位的精度和效率。
本发明的技术方案是:
一种基于机器视觉的名优茶采摘点位置信息获取方法,依次包括以下步骤:
第1步:从茶园获取的茶叶图片,用3╳3的卷积核对茶叶图片进行高斯滤波除噪:
第2步:为了减少与采摘点无关因素的影响和图像处理的像素数,提高图像处理的实时性,对于图像获取的每一个嫩芽分别设置各自的ROI,在进行采摘点识别时,只以该区域为目标对象;
第3步:将RGB色彩空间下的ROI转换到HSV色彩空间,提取嫩芽及其生长点枝条的特征;
第4步:用Otsu算法对提取的嫩芽及枝条区域进行二次二值化分割;
第5步:采用改进的Zhang细化算法对上步二值化图片进行细化,提取其骨架,以保留原特征并生成单像素骨架;
第6步:以Shi-Tomasi算法搜索嫩芽和树枝的分叉点作为对细化的骨架检测的特征角点;
第7步:将轮廓最低点和角点拟合成直线段,取中心点为采摘点,其坐标为:
式中,u,v表示采摘点的横坐标、纵坐标;
x
x′,y′表示Shi-Tomasi算法检测出的特征角点横、纵坐标。
所述第1步中,在RGB模型下先获取其图片的G-B分量图,再采用Otsu算法对茶叶嫩芽进行初次分割,然后对其进行腐蚀形态学操作,以滤去因噪声等原因再次产生的细小轮廓。
所述第2步中,以茶叶嫩芽轮廓的最低点为中心设置ROI的搜索算法为:
1)遍历图中每个轮廓的边缘点,找到最低点(x
2)设置轮廓高度筛选参数D,滤除部分因遮挡等原因造成的可见区域过小的嫩芽,当最高点和最低点间的直线长度大于等于预设值D时,将轮廓编号i录入待处理列表list[],反之则舍去记空
3)以list[]中每个轮廓最低点(x
式中x
所述第3步包括:
1)对HSV空间的ROI分离出H、S、V通道,设定H、S、V通道像素值的上下限,选出嫩芽和枝条所在区域,设置与原图等大的掩码mask:
式中,src表示HSV色彩空间H、S、V通道各像素点的像素值,min表示像素值下限,max表示像素值上限;
2)将RGB空间的ROI和掩码mask,按位与运算提取嫩芽及枝条区域。
所述第5步的细化包括:
1)记某一位于二值图像边界的像素点为P
2)标记同时满足下列条件的边界点:
①2≤N(P
②S(P
③P
④P
3)删除同时满足以下条件的边界点:
①2≤N(P
②S(P
③P
④P
4)重复上述细化步骤,迭代至没有满足上述条件的点时停止;
其中,N(P
所述第6步包括:
设窗口中某点像素坐标为(x,y),移动量为(Δx,Δy),灰度为I,则灰度变化为:
式中窗口函数ω(x,y)用高斯函数表示:
将灰度变化函数泰勒展开并略去高阶项得:
式中
I
定义角点响应函数:
R=min(λ
式中,λ
当R大于阈值T
本发明的有益效果是:
本发明所采用的茶叶嫩芽采摘点坐标获取方法,能根据茶叶嫩芽的生长姿态确定采摘点,保证所定位的采摘点坐标都落在茶叶嫩芽的叶柄上,提升了所采摘的茶叶嫩芽的完整度,同时降低了周围环境对其定位的影响,并提高了茶叶嫩芽采摘点定位的精度和效率。
附图说明
图1是本发明的原理图。
图2是本发明实施例拍摄的茶叶照片。
图3是对图2执行本发明第1步骤操作后的效果图。
图4是对图3执行本发明第2步骤操作后的效果图。
图5是对图4执行本发明第3步骤操作后的效果图。
图6是对图5执行本发明第4步骤操作后的效果图。
图7表示图6的其中一个ROI区域内茶叶嫩芽的框图。
图8是对图7的其中一个ROI区域内的茶叶嫩芽执行本发明第5步骤操作后的效果图。
图9是对图8执行本发明第6步骤操作后的效果图;即:输出该交点坐标(x′,y′)并将其标注在图中(图中的白色圆点点)。
图10中的A图为图2(图2为原始照片)中某一茶叶嫩芽放大图。
图10中的B图是对图9执行本发明第7步骤操作后的效果图,将获得的采摘点标注在原图(即图10中的A图)中。图中圆形黑色点表示本发明所标记的采摘点;矩形黑色点表示初次分割轮廓最低点;三角形黑色点表示检测的角点
具体实施方式
以下结合说明书附图所示实施例,对本发明作进一步说明,但本发明并不局限于以下实施例。
一种基于机器视觉的名优茶采摘点位置信息获取方法,依次包括以下步骤:
第1步,对从茶园获取的茶叶图片(图2),对采集的茶叶样本图片用3╳3的卷积核进行高斯滤波除噪(处理后的图片见图3)。
在RGB模型下先获取其图片的G-B分量图,再采用Otsu算法对茶叶嫩芽进行初次分割,然后对其进行腐蚀形态学操作,以滤去因噪声等原因再次产生的细小轮廓;
第2步,为了减少与采摘点无关因素的影响和图像处理的像素数,提高图像处理的实时性,对于图像获取的每一个嫩芽分别设置各自的ROI,在进行采摘点识别时,只以该区域为目标对象;
以茶叶嫩芽轮廓的最低点为中心设置ROI的搜索算法为:
1)遍历图中每个轮廓的边缘点,找到最低点(x
2)设置轮廓高度筛选参数D,滤除部分因遮挡等原因造成的可见区域过小的嫩芽,当最高点和最低点间的直线长度大于等于预设值D时,将轮廓编号i录入待处理列表list[],反之则舍去记空
(3)以list[]中每个轮廓最低点(x
式中x
结合茶园茶叶嫩芽实例,取x
处理后的图片见图4。
第3步,将RGB色彩空间下的ROI转换到HSV色彩空间,提取嫩芽及其生长点枝条的特征:
1)对HSV空间的ROI分离出H、S、V通道,设定H、S、V通道像素值的上下限,选出嫩芽和枝条所在区域,设置与原图等大的掩码mask:
式中,src表示HSV色彩空间H、S、V通道各像素点的像素值;min表示像素值下限,max表示像素值上限;
结合茶园茶叶嫩芽实例,设各通道的取值范围为:H=[80,150],S=[35,250],V=[35,250],可得较为理想的效果。
2)将RGB空间的ROI和掩码mask,按位与运算提取嫩芽及枝条区域(处理后的图片见图5);
第4步,用Otsu算法对提取的嫩芽及枝条区域进行二次二值化分割(处理后的图片见图6);
第5步,采用改进的Zhang细化算法依次对上步二值化图片中的每一个ROI区域进行细化,提取其骨架,以保留原特征并生成单像素骨架(提取图7中每一个ROI区域,依次执行本发明的第5步操作;参见图7、图8);结果如图8所示;
细化的步骤为:
1)记某一位于二值图像边界的像素点为P
2)标记同时满足下列条件的边界点:
①2≤N(P
②S(P
③P
④P
3)删除同时满足以下条件的边界点:
①2≤N(P
②S(P
③P
④P
式中N(P
4)重复上述细化步骤,迭代至没有满足上述条件的点时停止;
第6步,以Shi-Tomasi算法搜索嫩芽和树枝的分叉点作为对细化的骨架检测的特征角点(对图8执行第6步操作,输出该交点坐标(x′,y′)并将其标注在图中(图中的白色圆点点),其结果如图9所示),具体步骤为:
设窗口中某点像素坐标为(x,y),移动量为(Δx,Δy),灰度为I,则灰度变化为:
式中窗口函数ω(x,y)用高斯函数表示:
将灰度变化函数泰勒展开并略去高阶项得:
式中
I
定义角点响应函数:
R=min(λ
式中λ
当R大于阈值T
第7步:将获得的采摘点标注在原图中,其结果如图10所示(图中圆形黑色点表示本发明所标记的采摘点;矩形黑色点表示初次分割轮廓最低点;三角形黑色点表示检测的角点)。
具体步骤是:将轮廓最低点和角点拟合成直线段,取中心点为采摘点,其坐标为:
式中u,v表示采摘点的横坐标、纵坐标。
机译: 基于机器视觉和储存介质的水果和蔬菜采摘方法和装置
机译: 基于机器视觉的Brasenia Schreberi采摘和收集装置和方法
机译: 基于对等设备与相关设备和计算机程序产品之间共享的位置信息获取第一位置和第二位置之间的导航轨迹的方法