基于深度学习的垃圾分类识别方法、装置及智能垃圾桶

摘要

本申请涉及一种基于深度学习的垃圾分类识别方法、装置及智能垃圾桶，基于深度学习的垃圾分类识别方法包括通过预先根据每种垃圾的特征建立具有多种垃圾种类的数据集，对数据集中的图像进行预处理得到标准化图像，将标准化图像分别输入区域提议网络分支和Fast R‑CNN分支得到具有感兴趣区域的特征图像，将具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分，最终输出垃圾细化种类。本申请中垃圾根据特征进行分类，分类结果更加精确，有利于后期垃圾回收利用，且不需要人工辅助自动快速进行分类，提示用户体验，有利于垃圾分类工程的顺利开展。

说明书

技术领域

本申请属于人工智能技术领域，具体涉及一种基于深度学习的垃圾分类识别方法、装置及智能垃圾桶。

背景技术

随着城市规模的扩大和人口的聚集，维护城市整洁，保持优美的市容环境编的尤为重要。市容环境成为城市整体形象的综合体现，直接影响着居民的生活品质和身体健康。垃圾分类是对垃圾收集处置传统方式的改革，是对垃圾进行有效处置的一种科学管理方法。人们面对日益增长的垃圾产量和环境状况恶化的局面，如何通过垃圾分类管理，最大限度地实现垃圾资源利用，减少垃圾处置量，改善生存环境质量，是当前世界各国共同关注的迫切问题之一。垃圾分类就是在源头将垃圾分类投放，并通过分类的清运和回收使之重新变成资源。

在我国对于日常生活中的垃圾，绝大多数是由人工捡拾进行垃圾分类。少数地方使用综合分类技术，将计算机系统和金属探测仪、机器手臂，光敏传感器等外部设备连接起来，然后进行探测，垃圾中的金属就被挑出来了；玻璃类垃圾使用玻璃的光谱特性进行分拣；其余垃圾利用其红外特性进行处理。在日常生活中，人们丢弃垃圾时，主要通过人为视判，外部设备协助判断，将不同的垃圾按可回收物、厨余垃圾、有害垃圾、其他垃圾4个垃圾类型的装入不同的垃圾桶，进而进行垃圾分类，但上述方法可识别的垃圾种类有限，垃圾分类不精确，不利于后期垃圾回收利用，且通过人工辅助外部设备协助判断时延较长，在丢弃垃圾时占用用户较长时间，影响用户体验。

发明内容

为至少在一定程度上克服在人们日常生活丢弃垃圾场景中，传统垃圾识别分类方法可识别的垃圾种类有限，垃圾分类不精确，不利于后期垃圾回收利用，且通过人工辅助外部设备协助判断时延较长，在丢弃垃圾时占用用户较长时间，影响用户体验的问题，本申请提供一种基于深度学习的垃圾分类识别方法、装置及智能垃圾桶。

第一方面，本申请提供一种基于深度学习的垃圾分类识别方法，包括：

根据每种垃圾的特征建立具有多种垃圾种类的数据集；

对数据集中的图像进行预处理得到标准化图像；

将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像；

将所述具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分；

根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类。

进一步的，所述根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类，包括：

若回归得分大于分类得分，则判定分类得分对应的分类结果正确，输出垃圾分类结果为分类得分对应的分类结果；

否则，判定分类得分对应的分类结果不正确，重新进行分类。

进一步的，所述对数据集中的图像进行预处理得到标准化图像，包括：

对数据集中的所有图像进行归一化线性处理得到64×64的灰度图像。

进一步的，所述对数据集中的所有图像进行归一化线性处理得到64×64的灰度图像，包括：

采用OpenCV中提供的颜色空间转换函数得到灰度图像。

进一步的，所述多种垃圾种类，包括：

粪便、烟头、坚果、果核、树叶、砖瓦、陶瓷、渣土、卫生纸、茶渣、骨头、剩菜剩饭、菜叶、蛋壳、西瓜皮、橘子皮、香蕉皮、底片、杀虫剂、温度计、药品、灯管、书包、毛巾、衣服、塑料盒、塑料袋、书本、易拉罐、玻璃杯、碎玻璃、电池、玻璃瓶、塑料瓶、纸张和未知类。

进一步的，将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像，包括：

将标准化图像输入共享的五层卷积神经网络提取特征，通过五层卷积神经网络的卷积层、池化层、最大池化层、归一化、标准化和Dropout层生成特征图；

特征图前向传播进入区域提议网络分支和Fast R-CNN分支；

根据区域提议网络分支计算得到备选裂缝区域建议；

将备选裂缝区域建议输入Fast R-CNN分支的池化层得到具有感兴趣区域的特征图像。

进一步的，所述根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类，包括：

通过非极大值抑制算法得到预设数量的感兴趣区域；

分别计算每个感兴趣区域对应特征图像的分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分；

根据回归结果及回归结果对应的回归得分确定最佳感兴趣区域；

根据最佳感兴趣区域对应特征图像的分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类。

第二方面，本申请提供一种基于深度学习的垃圾分类识别装置，包括：

建立模块，用于根据每种垃圾的特征建立具有多种垃圾种类的数据集；

预处理模块，用于对数据集中的图像进行预处理得到标准化图像；

输入模块，用于将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像；

计算模块，用于将所述具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分；

输出模块，用于根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类。

第三方面，本申请提供一种智能垃圾桶，包括：

如第二方面所述的基于深度学习的垃圾分类识别装置。

本申请的实施例提供的技术方案可以包括以下有益效果：

本发明实施例提供的基于深度学习的垃圾分类识别方法、装置及智能垃圾桶，通过智能垃圾桶自动快速进行垃圾识别与分类，通过预先根据每种垃圾的特征建立具有多种垃圾种类的数据集，对数据集中的图像进行预处理得到标准化图像，将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像，将具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分，根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类，垃圾根据特征进行分类，分类结果更加精确，有利于后期垃圾回收利用，且不需要人工辅助自动快速进行分类，提示用户体验，有利于垃圾分类工程的顺利开展。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请一个实施例提供的一种基于深度学习的垃圾分类识别方法的流程图。

图2为本申请另一个实施例提供的一种基于深度学习的垃圾分类识别方法的流程图。

图3为本申请一个实施例提供的一种预处理后图像。

图4为本申请一个实施例提供的一种Faster R-CNN算法的框架流程图。

图5为本申请一个实施例提供的一种基于深度学习的垃圾分类识别装置的功能结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

图1为本申请一个实施例提供的基于深度学习的垃圾分类识别方法的流程图，如图1所示，该基于深度学习的垃圾分类识别方法，包括：

S11：根据每种垃圾的特征建立具有多种垃圾种类的数据集；

S12：对数据集中的图像进行预处理得到标准化图像；

S13：将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像；

S14：将具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分；

S15：根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类。

在日常生活中，人们丢弃垃圾时，主要通过人为视判，外部设备协助判断，将不同的垃圾按可回收物、厨余垃圾、有害垃圾、其他垃圾4个维度分门别类的装入不同的垃圾桶，进而进行垃圾分类，但上述方法可识别的垃圾种类有限，垃圾分类不精确，不利于后期垃圾回收利用，且通过人工辅助外部设备协助判断时延较长，在丢弃垃圾时占用用户较长时间，影响用户体验。

在垃圾按照可回收物、厨余垃圾、有害垃圾、其他垃圾4个垃圾类型度进行分类丢入4个垃圾桶时，每种垃圾类型下包括多个垃圾种类，例如厨余垃圾包括剩菜剩饭、菜叶、蛋壳、西瓜皮、橘子皮、香蕉皮等，而不同种类的厨余垃圾的处理利用方法可能不同，因此，由于分类不够精确会影响后期的回收利用。

本实施例中，根据每种垃圾的特征建立具有多种垃圾种类的数据集，剩饭剩菜是垃圾的一种特征，因此，在数据集中添加剩菜剩菜垃圾种类，以此类推，使垃圾种类更加细化，对数据集中的图像进行预处理得到标准化图像，将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像，将具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分，根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类，不需要人工辅助自动快速进行分类，提示用户体验，有利于垃圾分类工程的顺利开展。

图2为本申请另一个实施例提供的一种基于深度学习的垃圾分类识别方法的流程图，如图2所示，该基于深度学习的垃圾分类识别方法，包括：

S21：根据每种垃圾的特征建立具有多种垃圾种类的数据集；

其中，垃圾种类，包括但不限于：

粪便、烟头、坚果、果核、树叶、砖瓦、陶瓷、渣土、卫生纸、茶渣、骨头、剩菜剩饭、菜叶、蛋壳、西瓜皮、橘子皮、香蕉皮、底片、杀虫剂、温度计、药品、灯管、书包、毛巾、衣服、塑料盒、塑料袋、书本、易拉罐、玻璃杯、碎玻璃、电池、玻璃瓶、塑料瓶、纸张和未知类。

S22：对数据集中的所有图像进行归一化线性处理得到64×64的灰度图像。

归一化线性处理得到64×64的灰度图像尺寸小、像素小，在后期计算过程中占用空间小，有利于提高计算速度，实现快速分类。

归一化线性处理得到64×64的灰度图像如图3所示。

一些实施例中，对数据集中的所有图像进行归一化线性处理得到64×64的灰度图像，包括：

采用OpenCV中提供的颜色空间转换函数得到灰度图像。

S23：将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像；

Fast R-CNN(Fast Region-CNN，快速区域基于卷积的神经网络)，具有独立的分类器和回归器需要很多的特征作为训练，提取候选框、提取特征和分类回归是分开的，可独立；

在获取具有感兴趣区域的特征图像后，由于感兴趣区域在图像内部，因此计算处理数据进一步减小，可以进一步实现快速识别检测。

一些实施例中，如图4所示，将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像，包括：

S231：将标准化图像输入共享的五层卷积神经网络提取特征，通过五层卷积神经网络的卷积层、池化层、最大池化层、归一化、标准化和Dropout层生成特征图；

S232：特征图前向传播进入区域提议网络分支和Fast R-CNN分支；

S233：根据区域提议网络分支计算得到备选裂缝区域建议；

S234：将备选裂缝区域建议输入Fast R-CNN分支的池化层得到具有感兴趣区域的特征图像。

S24：将具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分；

一些实施例中，根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类，包括：

S241：通过非极大值抑制算法得到预设数量的感兴趣区域；

S242：分别计算每个感兴趣区域对应特征图像的分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分；

S243：根据回归结果及回归结果对应的回归得分确定最佳感兴趣区域；

S244：根据最佳感兴趣区域对应特征图像的分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类。

S25：若回归得分大于分类得分，则判定分类得分对应的分类结果正确，输出垃圾分类结果为分类得分对应的分类结果；

S26：否则，判定分类得分对应的分类结果不正确，重新进行分类。

通过将标准化图像分别输入区域提议网络分支和Fast R-CNN分支对模型进行训练，使用训练好模型进行垃圾实时分类，可以获得更准确的分类结果。

例如，首先对垃圾建立36种数据集，针对数据集中的图像我们进行灰度化和缩小等预处理，然后进入Faster R-CNN分支进行垃圾特征提取，最终识别出垃圾类型并识别出垃圾分类。

选取几种生活中常见的垃圾数据集进行识别，识别结果如表1所示。

表1生活常见垃圾分类识别结果

由表1可以看出，本实施例里提供的基于深度学习的垃圾分类识别方法对于垃圾分类的识别准确度较高，识别时间较短。

本实施例中，通过细化垃圾种类，通过区域提议网络分支和Fast R-CNN分支对模型进行垃圾分类，不仅使得识别准确度较高，而且识别时间较短，适用于多种应用场景。

本发明实施例提供一种基于深度学习的垃圾分类识别装置，如图5所示的功能结构图，该基于深度学习的垃圾分类识别装置包括：

建立模块51，用于根据每种垃圾的特征建立具有多种垃圾种类的数据集；

预处理模块52，用于对数据集中的图像进行预处理得到标准化图像；

输入模块53，用于将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像；

计算模块54，用于将具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分；

输出模块55，用于根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类。

本实施例中，通过建立模块根据每种垃圾的特征建立具有多种垃圾种类的数据集，预处理模块对数据集中的图像进行预处理得到标准化图像，输入模块将标准化图像分别输入区域提议网络分支和Fast R-CNN分支得到具有感兴趣区域的特征图像，计算模块将具有感兴趣区域的特征图像输入全连接层分别计算出分类结果及分类结果对应的分类得分和回归结果和回归结果对应的回归得分，输出模块根据分类结果及分类结果对应的分类得分和回归结果及回归结果对应的回归得分输出垃圾种类，垃圾根据特征进行分类，分类结果更加精确，有利于后期垃圾回收利用，且不需要人工辅助自动快速进行分类，提示用户体验，有利于垃圾分类工程的顺利开展。

本发明实施例提供一种智能垃圾桶，包括：

如上述实施例所述的基于深度学习的垃圾分类识别装置。

现有的自动分类垃圾桶，基于垃圾介电常数，能够将可回收物与其他垃圾两个维度进行分类。但是这种自动分类垃圾桶在应用过程中，垃圾分类准确度低且速度慢。

本申请中基于深度学习算法进行垃圾分类，应用在智能识别垃圾桶上，经过比较准确地识别可协助居民对垃圾进行快速分类并正确投放，能确保很大一部分垃圾实现回收利用，有效降低垃圾总量，提升处理效率，是破解“垃圾围城”的实招。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能组件的形式实现。所述集成的模块如果以软件功能组件的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

需要说明的是，本发明不局限于上述最佳实施方式，本领域技术人员在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。