首页> 中国专利> 基于角度信息解耦的旋转检测框表达方式的系统

基于角度信息解耦的旋转检测框表达方式的系统

摘要

本发明涉及一种基于角度信息解耦的旋转检测框表达方式的系统,包括:角度信息采集模块,用于获取目标检测框的角度信息;角度信息编码模块,用于将角度信息采集模块获取的目标检测框角度信息编码成四个分量;角度信息解码模块,用于根据角度信息编码模块编码的四个分量解码出目标检测框的角度信息,通过角度信息编码模块编码的四个分量获取目标检测框的角度和角度方向向量以确定目标检测框的角度信息;角度旋转框检测模块,其与角度信息编码单元相连接,用于检测角度信息的精确度;中控模块,用于根据角度旋转框检测单元获取的角度信息精确度对角度信息解码模块获取目标检测框的角度信息进行调节。

著录项

  • 公开/公告号CN114964120A

    专利类型发明专利

  • 公开/公告日2022-08-30

    原文格式PDF

  • 申请/专利权人 贵州大学;

    申请/专利号CN202210124933.6

  • 申请日2022-02-10

  • 分类号G01B21/22(2006.01);G05D3/12(2006.01);G06K9/62(2022.01);G06T3/40(2006.01);G06V10/24(2022.01);G06V10/764(2022.01);G06V10/74(2022.01);G06V10/774(2022.01);

  • 代理机构北京翔石知识产权代理事务所(普通合伙) 11816;

  • 代理人李勇

  • 地址 550025 贵州省贵阳市花溪区贵州大学机械工程学院601工作室

  • 入库时间 2023-06-19 16:34:57

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-09-16

    实质审查的生效 IPC(主分类):G01B21/22 专利申请号:2022101249336 申请日:20220210

    实质审查的生效

说明书

技术领域

本发明涉及检测框表达方式领域,尤其涉及一种基于角度信息解耦的旋转检测框表达方式的系统。

背景技术

带有角度信息的目标检测是工业检测中常见的需求任务,而目前工业界中常用的角度检测方法有传统的基于NCC的快速图像匹配算法、基于图像处理的角度估算方法等,以及基于深度学习的场景文字识别、旋转目标检测算法等等。上述这些算法基于开源数据集,只能解决生活场景中旋转目标检测问题。同时旋转目标框只需要判断小范围的角度就能确定目标位置,而无法确定物体在平面坐标系中精确到 [0°,360°]的角度信息。但在工业场景中,更加注重的是确定目标的位置信息,以及目标具体的角度信息。本发明将角度拟合问题编码成了分类回归问题,算法与单步检测器相融合,解决了目前自然场景下的目标检测模型无法满足工业界对角度精确拟合的角度损失突变问题。所以针对工业场景中,旋转目标检测角度[0°,360°]预测问题。通过分析原有bounding box的表示方法,提出原有bbox在计算旋转角度误差时会出现的计算角度突变的问题,通过对角度信息解耦并提出了一种编码Encode和解码Decode方法,通过将角度信息编码进Rbbox中,并在网络推理结束后将角度信息还原,将角度拟合问题转换成检测器更擅长的分类回归问题,从而解决计算角度突变问题。

发明内容

为此,本发明提供一种基于角度信息解耦的旋转检测框表达方式的系统,可以计算角度突变的问题。

为实现上述目的,一方面本发明提供一种基于角度信息解耦的旋转检测框表达方式的系统,包括:

角度信息采集模块,用于获取目标检测框的最小外接矩形第一顶点与目标检测框第一顶点的距离S1,目标检测框第一顶点所在最小外接矩形的边bw,最小外接矩形第一顶点与目标检测框第二顶点的距离S2,目标检测框第二顶点所在最小外接矩形的边bh;

角度信息编码模块,用于将所述角度信息采集模块获取的目标检测框角度信息编码成四个分量,所述分量包括最小外接矩形第一比例 R1,最小外接矩形第二比例R2,第一角度参数jud以及第二角度参数 adv,其中,最小外接矩形第一比例R1,设定R1=S1/bw;最小外接矩形第二比例R2,设定R2=S2/bh;

角度信息解码模块,用于根据所述角度信息编码模块编码的四个分量解码出目标检测框的角度信息,其中,所述角度信息解码模块通过目标检测框的中心点位、目标检测框第一顶点所在最小外接矩形的边bw以及目标检测框第二顶点所在最小外接矩形的边bh确定最小外接矩形的角度信息,通过角度信息编码模块编码的四个分量获取目标检测框的角度和角度方向向量以确定目标检测框的角度信息;

角度旋转框检测模块,其与所述角度信息编码单元相连接,用于检测角度信息的精确度;

中控模块,其与所述角度信息采集单元、所述角度信息编码模块、角度信息解码模块以及所述角度旋转框检测单元,用于根据角度旋转框检测单元获取的角度信息精确度对角度信息解码模块获取目标检测框的角度信息进行调节;

所述中控模块根据所述角度旋转框检测单元获取的角度信息精确度大于预设精确度,中控模块判定当前目标检测框角度信息符合标准,中控模块获取的角度信息精确度小于预设精确度,中控模块判定当前目标检测框角度信息不符合标准,中控单元根据损失量对目标检测框的角度信息进行调节。

进一步地,所述中控模块根据最小外接矩形第一顶点与目标检测框第一顶点的距离S1与最小外接矩形第一顶点与目标检测框第二顶点的距离S2获取目标检测框的角度θ,设定θ=arctan(S2/S1),中控模块根据获取的目标检测框的角度获取第一角度参数和第二角度参数,其中,

当0<θ<π,第一角度参数jud=1,

当-π<θ<0,第一角度参数jud=0,

当-π/2<θ<0,或0<θ<π/2,第二角度参数adv=1,

当-π<θ<-π/2,或π/2<θ<π,第二角度参数adv=0。

进一步地,所述角度信息解码模块根据最小外接矩形第一比例 R1,最小外接矩形第二比例R2,第一角度参数jud,第二角度参数adv,确定目标检测框的角度的方向向量,其中,目标检测框与其最小外接矩形相交的四个相交点设为A、B、C、D,其中,

A=(Xc+bw/2-R1×bw,Yc+bh/2);

B=(Xc+bw/2+R1×bw,Yc+bh/2-R2×bh);

C=(Xc-bw/2+R1×bw,Yc-bh/2);

D=(Xc-bw/2,Yc-bh/2+R2×bh);

进一步地,所述角度信息解码模块获取目标检测框的角度的方向向量L(start,end)其中,start为目标检测框的起始方向向量,设定start(Xc,Yc),其中,目标检测框中心位点X轴位置为Xc,目标检测框中心位点Y轴位置为Yc,end为目标检测框的终止方向向量,其中,

当jud=1,且adv=1时,设定end=(B+C)/2;

当jud=1,且adv=0时,设定end=(D+C)/2;

当jud=0,且adv=1时,设定end=(B+A)/2;

当jud=0,且adv=0时,设定end=(A+D)/2。

进一步地,所述中控模块获取目标检测框的损失量p,设定 p=(1+(az-az0)/az0)×(1+(b-b0)/b0)×(1+(c-c0)/c0),其中,a为置信度损失量,ao为置信度损失量标准值,b为类别损失量,b0为类别损失量标准值,c为角度信息损失量,c0为角度信息损失量。

进一步地,所述中控模块预设损失量P,中控模块根据获取的损失量与预设损失量相比较,获取当前目标检测框角度信息精确度,其中,

当p≤P1,所述中控模块选取第一预设精确度W1为角度信息精确度;

当P1<p<P2,所述中控模块选取第二预设精确度W2为角度信息精确度;

当P2≤p<P3,所述中控模块选取第三预设精确度W3为角度信息精确度;

当P3≤p<P4,所述中控模块选取第四预设精确度W4为角度信息精确度;

当p≥P4,所述中控模选取第五预设精确度W5为角度信息精确度;

其中,所述中控模块预设损失量P,设定第一预设损失量P1、第二预设损失量P2、第三预设损失量P3、第四预设损失量P4,中控模块预设精确度W,设定第一预设精确度W1、第二预设精确度W2、第三预设精确度W3、第四预设精确度W4、第五预设精确度W5。

进一步地,所述中控模块预设精确度标准值W0,中控模块根据角度信息精确度Wi与预设精确度标准值W0相比较,判定当前目标检测框角度信息是否符合标准,其中,

当Wi≥W0,所述中控模块判定当前目标检测框角度信息符合标准;

当Wi<W0,所述中控模块判定当前目标检测框角度信息不符合标准;

其中,i=1,2,3,4,5。

进一步地,所述中控模块判定当前目标检测框角度信息不符合标准,中控模块根据损失量p与预设损失量标准值P0相比较,对目标检测框的角度进行调节,其中,

当p≤P0-△k,所述中控模块将目标检测框的角度θ缩小至θ1,设定θ1=θ×(1-(P0-△k-p)/P0);

当P0-△k<p<P0+△k,所述中控模块将目标检测框的角度θ扩大至θ2,设定θ2=θ×(1+(P0+△k-p)×(p-P0+△k)/(P0)

当p≥P0+△k,所述中控模块判定对目标检测框角度信息进行进一步分析,中控模块获取置信度损失量、类别损失量和角度信息损失量对目标检测框角度信息进行调节;

其中,△k为所述中控模块预设损失量补偿参数。

进一步地,所述中控模块判定对目标检测框角度信息进行进一步分析,中控模块根据获取置信度损失量a与预设置信度损失量相比较,对目标检测框的终止方向向量end进行调节,其中,

当az≤AZ1,所述中控模块选取第一调节参数g1对目标检测框的终止方向向量end提高至end1,设定end1=end×(1+g1×(AZ1-az));

当AZ1<az<AZ2,所述中控模块选取第二调节参数g1对目标检测框的终止方向向量end提高至end2,设定end2=end×(1+g2× (az-AZ1)×(AZ2-az)/(AZ1×AZ2));

当az≥AZ2,所述中控模块选取第三调节参数g3对目标检测框的终止方向向量end提高至end3,设定end3=end×(1+g3×(az-AZ2));

其中,所述中控模块预设置信度损失量AZ,设定第一预设置信度损失量A1、第二预设置信度损失量A2,中控模块预设调节参数g,设定第一预设调节参数g1、第二预设调节参数g2,第三预设调节参数 g3。

进一步地,所述中控模块根据获取类别损失量b与预设类别损失量相比较,对最小外接矩形的角度信息进行调节,其中,

当b≤B1,所述中控模块将最小外接矩形的宽bw缩小至bw1,设定 bw1=bw×(1-(B1-b)/B1),将最小外接矩形的长bh缩小至bh1,设定 bh1=bh×(1-(B1-b)/B1);

当B1<b<B2,所述中控模块将最小外接矩形的宽bw缩小至bw2,设定bw2=bw×(1-(B2-b)

当b≥B2,所述中控模块判定重新获取目标检测框的中心位点;

其中,所述中控模块预设类别损失量B,设定第一预设类别损失量B1、第二预设类别损失量B2。

进一步地,所述中控模块根据角度损失量c与预设角度损失量C 相比较,对目标检测框的角度θj进行调节,其中,

当c≤C1,所述中控模块不对目标检测框的角度θj进行调节;

当C1<c<C2,所述中控模块将目标检测框的角度θj提高至θj1,设定θj1=θj×(1+(c-C1)×(C2-c)/(C1×C2));

当c≥C2,所述中控模块将目标检测框的角度θj提高至θj2,设定θj2=θj×(1+(c-C2)/C2);

其中,所述中控模块预设角度损失量C,设定第一预设角度损失量C1,第二预设角度损失量C2,j=1,2。

另一方面,本发明提供一种基于角度信息解耦的旋转检测框表达方式的方法,包括,

步骤S1,角度信息采集模块获取目标检测框的信息;

步骤S2,角度信息编码模块将所述角度信息采集模块获取的目标检测框角度信息编码成四个分量;

步骤S3,角度信息解码模块根据所述角度信息编码模块编码的四个分量解码出目标检测框的角度信息;

步骤S4,中控模块根据角度旋转框检测模块获取角度信息的精确度对角度信息解码模块获取目标检测框的角度信息进行调节,所述中控模块根据所述角度旋转框检测单元获取的角度信息精确度大于预设精确度,中控模块判定当前目标检测框角度信息符合标准,中控模块获取的角度信息精确度小于预设精确度,中控模块判定当前目标检测框角度信息不符合标准,中控单元根据损失量对目标检测框的角度信息进行调节。

与现有技术相比,本发明的有益效果在于,本发明设计一种系统用于表达检测框的角度信息,其根据获取检测框的最小外接矩形的各项参数,将角度拟合问题转换成分类回归问题,简化角度计算方法,解决计算角度突变的问题;通过设置中控模块所述中控模块根据所述角度旋转框检测单元获取的角度信息精确度大于预设精确度,中控模块判定当前目标检测框角度信息符合标准,中控模块获取的角度信息精确度小于预设精确度,中控模块判定当前目标检测框角度信息不符合标准,中控单元根据角度信息损失量对目标检测框的角度信息进行调节。

尤其,本发明将损失量划分为明确的四个标准,中控模块根据置信度损失量、类别损失量以及角度信息损失量综合评价当前检测框的表达是否准确,中控模块根据获取的损失量与预设值相比较,获取当前目标检测框角度信息获取的精确度,同时,中控模块还设置有精确度标准值,中控单元根据获取的当前角度信息精确度与预设标准值相比较,用于判定检测是否符合标准。通过双重判定,进一步地加强对角度信息判定的准确度。

尤其,当中控模块判定当前目标检测框角度信息不符合标准时,中控模块根据获取的损失量与预设损失量标准值,对获取的角度信息进行初步调节,以期经过调节后的角度信息能够符合标准,以使检测结果更为准确,当中控模块获取的当前目标检测框角度信息的损失量小于等于标准值与补偿参数的差值,说明当前损失量较小,中控模块将当前获取的目标检测框的角度缩小,当中控模块获取的当前目标检测框角度信息的损失量在标准值与补偿参数的差值和标准值与补偿参数的和之间,中控模块将目标检测框的角度扩大,以使目标检测框的角度符合标准,若中控模块获取的当前目标检测框角度信息的损失量大于等于标准值与补偿参数的和,中控模块判定对目标检测框角度信息进行进一步分析,中控模块获取置信度损失量、类别损失量和角度信息损失量对目标检测框角度信息进行调节。

尤其,本发明中控模块对目标检测框角度信息进行进一步分析时,中控模块根据置信度损失量与预设置信度损失量相比较,对目标检测框的终止方向向量进行调节,以使目标检测框的角度方向向量符合标准,中控模块根据获取类别损失量b与预设类别损失量相比较,对最小外接矩形的角度信息进行调节,以获取准确的最小外接矩形角度信息,进而更为准确的获取目标检测框的角度信息,中控模块根据角度损失量与预设角度损失量相比较,对目标检测框的角度进行调节,以使目标检测框的角度符合标准。

附图说明

图1为发明实施例基于角度信息解耦的旋转检测框表达方式的系统结构示意图;

图2为发明实施例目标检测框和最小外接矩形示意图;

图3为发明实施例不同方向的目标检测框示意图;

图4为发明另一实施例目标检测框示意图;

图5为发明另一实施例目标检测框示意图;

图6为发明另一实施例目标检测框示意图;

图7为发明另一实施例目标检测框示意图;

图8为发明实施例评价指标图。

具体实施方式

为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。

需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示,其为本发明实施例基于角度信息解耦的旋转检测框表达方式的系统,包括,角度信息采集模块,用于获取目标检测框的最小外接矩形第一顶点与目标检测框第一顶点的距离S1,目标检测框第一顶点所在最小外接矩形的边bw,最小外接矩形第一顶点与目标检测框第二顶点的距离S2,目标检测框第二顶点所在最小外接矩形的边bh;角度信息编码模块,用于所述角度信息采集模块获取的目标检测框角度信息编码成四个分量,所述分量包括最小外接矩形宽比例R1,最小外接矩形长比例R2,第一角度参数jud以及第二角度参数adv,其中,最小外接矩形第一比例R1,设定R1=S1/bw,最小外接矩形第二比例R2,设定R2=S2/bh;

请参阅图2所示,其为本发明实施例目标检测框和最小外接矩形示意图,本发明实施例以目标检测框2中心点为初始位点,将目标检测框的朝向划分为四个方向。请参阅图2-图3所示,其中,图3为不同方向的目标检测框示意图,具体而言,本发明实施例以目标检测框待确定朝向的一侧与最小外接矩形上最近的点为最小外接矩形第一顶点,目标检测框的目标检测框与最小外接矩形相交的点为目标检测框第一顶点和第二顶点,其中,目标检测框第一顶点为目标检测框与最小外接矩形长边相交的点,目标检测框第二顶点为目标检测框与最小外接矩形宽边相交的点。最小外接矩形1,其与目标检测框的相交点为A、B、C、D,当目标检测框的朝向为位点O的方向时,将最小外接矩形与目标检测框的第一顶点为最小外接矩形距位点O最近的顶点A,逆时针确定B、C、D各顶点的位置。

请继续参阅图2所示,所述中控模块根据最小外接矩形第一顶点与目标检测框第一顶点的距离S1与最小外接矩形第一顶点与目标检测框第二顶点的距离S2获取目标检测框的角度θ,设定θ=arctan(S2/S1),中控模块根据获取的目标检测框的角度获取第一角度参数和第二角度参数,其中,当0<θ<π,第一角度参数jud=1,当-π<θ<0,第一角度参数jud=0,当-π/2<θ<0,或0<θ<π/2,第二角度参数adv=1,当-π<θ<-π/2,或π/2<θ<π,第二角度参数 adv=0。

具体而言,本发明实施例将最小外接矩形一点设为原点,以最小外接矩形一边为X轴,以垂直于X轴的方向设置为Y轴,建立平面之间坐标系,所述的目标检测框的角度为目标检测框斜边与X轴正方向的角度。具体而言,本发明实施例以目标检测框中心点为原点,将目标检测框的朝向划分为四个方向,其中,第一方向区域为21,第二方向区域22,第三方向区域23,第四方向区域24。当jud=1,adv=1, 其表示目标检测框的角度朝向在第一方向区域;当jud=1,adv=0,其表示目标检测框的角度朝向在第二方向区域;当jud=0,adv=1,其表示目标检测框的角度朝向在第三方向区域;当jud=0,adv=0,其表示目标检测框的角度朝向在第四方向区域。

角度信息解码模块,用于根据所述角度信息编码模块编码的四个分量解码出目标检测框的角度信息,其中,所述角度信息解码模块通过目标检测框的中心点位、目标检测框第一顶点所在最小外接矩形的边 bw以及目标检测框第二顶点所在最小外接矩形的边bh确定最小外接矩形的角度信息,通过角度信息编码模块编码的四个分量获取目标检测框的角度和角度方向向量以确定目标检测框的角度信息;所述角度信息解码模块根据最小外接矩形第一比例R1,最小外接矩形第二比例R2,第一角度参数jud,第二角度参数adv,确定目标检测框的角度的方向向量,其中,目标检测框与其最小外接矩形相交的四个相交点设为A、B、C、D,其中,A=(X+bw/2-R1×bw,Y+bh/2); B=(X+bw/2+R1×bw,Y+bh/2-R2×bh);C=(X-bw/2+R1×bw,Y-bh/2); D=(X-bw/2,Y-bh/2+R2×bh);

所述角度信息解码模块获取目标检测框的角度的方向向量L (start,end)其中,start为目标检测框的起始方向向量,设定 start(Xc,Yc),end为目标检测框的终止方向向量,其中,

当jud=1,且adv=1时,设定end=(B+C)/2;

当jud=1,且adv=0时,设定end=(D+C)/2;

当jud=0,且adv=1时,设定end=(B+A)/2;

当jud=0,且adv=0时,设定end=(A+D)/2。

具体而言,本发明实施例根据最小外接矩形的第一顶点的位置确定第一角度参数和第二角度参数,更进一步的解释,当第一顶点位于图4所示的位点O,所述第一角度参数jud为0,第二角度参数adv 为1,图5所示的位点O,所述第一角度参数jud为1,第二角度参数adv为1,图6所示的位点O,所述第一角度参数jud为0,第二角度参数adv为0,图7所示的位点O,所述第一角度参数jud为1,第二角度参数adv为1。

角度旋转框检测模块,其与所述角度信息编码单元相连接,用于检测角度信息的精确度;

具体而言,本发明实施例通过获取目标检测框的损失量p与预设损失量判定当前检测角度信息的精确度,其中,损失量p,设定 p=(1+(az-az0)/az0)×(1+(b-b0)/b0)×(1+(c-c0)/c0),其中,a为置信度损失量,ao为置信度损失量标准值,b为类别损失量,b0为类别损失量标准值,c为角度信息损失量,c0为角度信息损失量。

中控模块,其与所述角度信息采集单元、所述角度信息编码模块、角度信息解码模块以及所述角度旋转框检测单元,用于根据角度旋转框检测单元获取的角度信息精确度对角度信息解码模块获取目标检测框的角度信息进行调节;

所述中控模块根据所述角度旋转框检测单元获取的角度信息精确度大于预设精确度,中控模块判定当前目标检测框角度信息符合标准,中控模块获取的角度信息精确度小于预设精确度,中控模块判定当前目标检测框角度信息不符合标准,中控单元根据角度信息损失量对目标检测框的角度信息进行调节。

具体而言,本发明实施例中目标检测框的角度信息包括目标检测框的角度和目标检测框的角度方向向量,

具体而言,本发明设计一种系统用于表达检测框的角度信息,其根据获取检测框的最小外接矩形的各项参数,将角度拟合问题转换成分类回归问题,简化角度计算方法,解决计算角度突变的问题。

所述中控模块预设损失量P,中控模块根据获取的损失量与预设损失量相比较,获取当前目标检测框角度信息精确度,其中,

当p≤P1,所述中控模块选取第一预设精确度W1为角度信息精确度;

当P1<p<P2,所述中控模块选取第二预设精确度W2为角度信息精确度;

当P2≤p<P3,所述中控模块选取第三预设精确度W3为角度信息精确度;

当P3≤p<P4,所述中控模块选取第四预设精确度W4为角度信息精确度;

当p≥P4,所述中控模选取第五预设精确度W5为角度信息精确度;

其中,所述中控模块预设损失量P,设定第一预设损失量P1、第二预设损失量P2、第三预设损失量P3、第四预设损失量P4,中控模块预设精确度W,设定第一预设精确度W1、第二预设精确度W2、第三预设精确度W3、第四预设精确度W4、第五预设精确度W5。

所述中控模块预设精确度标准值W0,中控模块根据角度信息精确度Wi与预设精确度标准值W0相比较,判定当前目标检测框角度信息是否符合标准,其中,

当Wi≥W0,所述中控模块判定当前目标检测框角度信息符合标准;

当Wi<W0,所述中控模块判定当前目标检测框角度信息不符合标准;

其中,i=1,2,3,4,5。

具体而言,本发明将损失量划分为明确的四个标准,中控模块根据置信度损失量、类别损失量以及角度信息损失量综合评价当前检测框的表达是否准确,中控模块根据获取的损失量与预设值相比较,获取当前目标检测框角度信息获取的精确度,同时,中控模块还设置有精确度标准值,中控单元根据获取的当前角度信息精确度与预设标准值相比较,用于判定检测是否符合标准。通过双重判定,进一步地加强对角度信息判定的准确度。

所述中控模块判定当前目标检测框角度信息不符合标准,中控模块根据损失量p与预设损失量标准值P0相比较,对目标检测框的角度进行调节,其中,

当p≤P0-△k,所述中控模块将目标检测框的角度θ缩小至θ1,设定θ1=θ×(1-(P0-△k-p)/P0);

当P0-△k<p<P0+△k,所述中控模块将目标检测框的角度θ扩大至θ2,设定θ2=θ×(1+(P0+△k-p)×(p-P0+△k)/(P0)

当p≥P0+△k,所述中控模块判定对目标检测框角度信息进行进一步分析,中控模块获取置信度损失量、类别损失量和角度信息损失量对目标检测框角度信息进行调节;

其中,△k为所述中控模块预设损失量补偿参数。

具体而言,当中控模块判定当前目标检测框角度信息不符合标准时,中控模块根据获取的损失量与预设损失量标准值,对获取的角度信息进行初步调节,以期经过调节后的角度信息能够符合标准,以使检测结果更为准确,当中控模块获取的当前目标检测框角度信息的损失量小于等于标准值与补偿参数的差值,说明当前损失量较小,中控模块将当前获取的目标检测框的角度缩小,当中控模块获取的当前目标检测框角度信息的损失量在标准值与补偿参数的差值和标准值与补偿参数的和之间,中控模块将目标检测框的角度扩大,以使目标检测框的角度符合标准,若中控模块获取的当前目标检测框角度信息的损失量大于等于标准值与补偿参数的和,中控模块判定对目标检测框角度信息进行进一步分析,中控模块获取置信度损失量、类别损失量和角度信息损失量对目标检测框角度信息进行调节。

所述中控模块判定对目标检测框角度信息进行进一步分析,中控模块获取置信度损失量a与预设置信度损失量标准值相比较,对目标检测框方向向量L(start,end)进行调节,其中,

当az≥az0,所述中控模块判定对目标检测框的终止方向end进行调节;

当az<az0,所述中控模块判定对目标检测框的起始方向向量 start和目标检测框的终止方向end进行调节。

所述中控模块判定对目标检测框角度信息进行进一步分析,中控模块根据获取置信度损失量a与预设置信度损失量相比较,对目标检测框的终止方向向量end进行调节,其中,

当az≤AZ1,所述中控模块选取第一调节参数g1对目标检测框的终止方向向量end提高至end1,设定end1=end×(1+g1×(AZ1-az));

当AZ1<az<AZ2,所述中控模块选取第二调节参数g1对目标检测框的终止方向向量end提高至end2,设定end2=end×(1+g2× (az-AZ1)×(AZ2-az)/(AZ1×AZ2));

当az≥AZ2,所述中控模块选取第三调节参数g3对目标检测框的终止方向向量end提高至end3,设定end3=end×(1+g3×(az-AZ2));

其中,所述中控模块预设置信度损失量AZ,设定第一预设置信度损失量A1、第二预设置信度损失量A2,中控模块预设调节参数g,设定第一预设调节参数g1、第二预设调节参数g2,第三预设调节参数 g3。

所述中控模块根据获取类别损失量b与预设类别损失量相比较,对最小外接矩形的角度信息进行调节,其中,

当b≤B1,所述中控模块将最小外接矩形的宽bw缩小至bw1,设定 bw1=bw×(1-(B1-b)/B1),将最小外接矩形的长bh缩小至bh1,设定 bh1=bh×(1-(B1-b)/B1);

当B1<b<B2,所述中控模块将最小外接矩形的宽bw缩小至bw2,设定bw2=bw×(1-(B2-b)

当b≥B2,所述中控模块判定重新获取目标检测框的中心位点;

其中,所述中控模块预设类别损失量B,设定第一预设类别损失量B1、第二预设类别损失量B2。

所述中控模块根据角度损失量c与预设角度损失量C相比较,对目标检测框的角度θj进行调节,其中,

当c≤C1,所述中控模块不对目标检测框的角度θj进行调节;

当C1<c<C2,所述中控模块将目标检测框的角度θj提高至θj1,设定θj1=θj×(1+(c-C1)×(C2-c)/(C1×C2));

当c≥C2,所述中控模块将目标检测框的角度θj提高至θj2,设定θj2=θj×(1+(c-C2)/C2);

其中,所述中控模块预设角度损失量C,设定第一预设角度损失量C1,第二预设角度损失量C2,j=1,2。

具体而言,本发明中控模块对目标检测框角度信息进行进一步分析时,中控模块根据置信度损失量与预设置信度损失量相比较,对目标检测框的终止方向向量进行调节,以使目标检测框的角度方向向量符合标准,中控模块根据获取类别损失量b与预设类别损失量相比较,对最小外接矩形的角度信息进行调节,以获取准确的最小外接矩形角度信息,进而更为准确的获取目标检测框的角度信息,中控模块根据角度损失量与预设角度损失量相比较,对目标检测框的角度进行调节,以使目标检测框的角度符合标准。

具体而言,本发明实施例提供一种基于角度信息解耦的旋转检测框表达方式的方法,包括,步骤S1,角度信息采集模块获取目标检测框的信息;步骤S2,角度信息编码模块将所述角度信息采集模块获取的目标检测框角度信息编码成四个分量;步骤S3,角度信息解码模块根据所述角度信息编码模块编码的四个分量解码出目标检测框的角度信息;步骤S4,中控模块根据角度旋转框检测模块获取角度信息的精确度对角度信息解码模块获取目标检测框的角度信息进行调节,所述中控模块根据所述角度旋转框检测单元获取的角度信息精确度大于预设精确度,中控模块判定当前目标检测框角度信息符合标准,中控模块获取的角度信息精确度小于预设精确度,中控模块判定当前目标检测框角度信息不符合标准,中控单元根据损失量对目标检测框的角度信息进行调节。

具体而言,本发明实施例在现有矩形框目标检测器的基础上,提供另一种基于角度信息解耦的旋转检测框表达方式的系统,包括,

式中,ra,rb分别为目标检测框的最小内接椭圆的长轴和短轴长度。 ratio

Rbbox:(x_center,y_center,bw,bh,R1,R2,jud,adv)

具体而言,本发明实施例对各损失量的获取方式不作限定,本发明实施例提供一种优选的实施方案,其中,

损失量包括三部分。对于最小外接矩形框我们采用Ciou损失函数来进行优化:

其中α是权重系数,v用来度量长宽比的相似性,定义为

其中w表示预测框的宽度,h表示预测框的高度。w

b和b

置信度损失:

类别损失:

其中

角度信息损失:

其中λ

具体而言,本发明实施例采用MVtec公司的工业数据集,其中包括13类工业产品,每一类产品的数量如下表1所示;

表1工业数据集产品类别和数量统计

实验参数设置如表2所示:

表2训练参数设置

训练过程中,采用batch_size=64,输入图像大小为608x608 pixel,训练500epoch后网络收敛。本发明实施例采用Rotated-Yolo 算法对每一类的平均召回率达到了0.995,随着confidence的增加, F1_score指标逐渐增大,在confidence达到0.765时,F1_score达到了最大值0.99。算法拥有较高的准确率和召回率,鲁棒性好。

表3 Rotated-Yolo评价指标

检测和定位的评价指标如表3所示,表中显示了各个类别的检测定位评价指标。

目前旋转框目标检测任务大部分算法适用的评价指标依然是IOU 和map等值来评判算法监测性能。但这些评价指标不能准确地描述算法对旋转矩形角度预测的性能,如图8所示。因此除了评价IOU之外,还需要通过计算Rbbox和ground truth的方向向量余弦夹角的大小来评判旋转框的角度预测效果。

余弦相似度可义为:

余弦相似度的取值范围是[-1,1],相同的两个向量之间的相似度为1,正交时为0,相反时为-1。余弦相似度更关注的是向量之间的角度关系,并不关心它们的绝对大小。当两个Rbbox之间的相差180°时,使用IOU判断后,二者的损失值可能很小,IOU可能比较高,而如果使用余弦相似度的话,它们之间的夹角可能很大,因而相似度低,因此,在角度评价指标中,引入了余弦相似度的判断。

表4各个类别Rbbox的余弦相似度评价指标

由表4可分析,Rotated-Yolo算法对角度的拟合效果较好

具体而言,本发明实施例第一角度参数和第二角度参数在特殊情况下的编码方式如表5所示;

表5特殊情况下jud和adv的编码方式

至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号