一种基于多模态融合机器感知的智能生活垃圾箱

摘要

本发明公开了一种基于多模态融合机器感知的智能生活垃圾箱，属于家用生活产品领域：包括对进行垃圾投放的人进行感应，得到人体感应信号的人体感应模块、控制模块、语音交互模块、语音识别模块、投放的垃圾进行分类的垃圾箱体、电源模块、云端数据库、手机APP、控制模块将语音信号转化为文本并与垃圾名称文本库进行相似度比较，每一种垃圾都对应一种类别，得到分类结果Ⅰ；对投放的垃圾进行图像获取，得到投放的垃圾图像信号的视觉识别模块控制模块基于轻量化深度学习模型进行推理运算得出分类结果Ⅱ，将分类结果Ⅰ和分类结果Ⅱ进行比较，选取分类结果Ⅰ作为最终分类结果；该垃圾箱，提升垃圾处理的处理效率，降低垃圾存放和运输环节对环境的影响。

说明书

技术领域

本发明涉及属于家用生活产品领域，尤其涉及一种基于多模态融合机器感知的智能生活垃圾箱。

背景技术

关于新型智能垃圾桶，国内外有许多发明专利，但其专利多为外观等机械结构设计专利。目前市面上的智能分类垃圾箱，例如柯通制造的扫码识别语音播报智能识别分类垃圾箱。还有宁海引入垃圾分类声光报警智能系统，可进行“督导提醒”的垃圾房等。这些设备体积过大，不适合大量投入使用，以解决垃圾分类投放过程的问题为主。

另外，对于智能分类垃圾系统，国内外均有较多不同的设计思路，有多重驱动控制的全智能垃圾桶，基于STC89C52单片机的智能分类垃圾桶，STEM理念下的“智能垃圾桶”，基于Arduino的智能垃圾桶等。还有相关智能识别进行垃圾分类的软件设计等。

现阶段市面上的智能垃圾桶，它的“智能”仅仅体现在增加了自动感应开启功能和密封功能，无法实现垃圾自动分类。

发明内容

根据现有技术存在的问题，本发明公开了一种基于多模态融合机器感知的智能生活垃圾箱，包括

对进行垃圾投放的人进行感应，得到人体感应信号的人体感应模块；

接收所述人体感应模块传送的人体感应信号的控制模块；

接收所述控制模块传送的控制信号、与投放垃圾的人进行语音交流的，得到投放垃圾的人语音回答的语音信号的语音交互模块，所述语音交互模块将投放垃圾的人语音回答的垃圾语音信号传送给所述控制模块，所述控制模块将语音信号转化为文本并与垃圾名称文本库进行相似度比较，每一种垃圾都对应一种类别，得到分类结果Ⅰ；

接收所述控制模块传送的投放垃圾的人语音回答的语音信号进行识别、得到投放垃圾品种的语音信号的语音识别模块，所述语音识别模块将得到的投放垃圾品种的语音信号传送给所述控制模块；

对投放的垃圾进行图像获取，得到投放的垃圾图像信号的视觉识别模块，所述视觉识别模块将得到的投放的垃圾图像信号传送给所述控制模块，所述控制模块基于轻量化深度学习模型进行推理运算得出分类结果Ⅱ，所述控制模块将分类结果Ⅰ和分类结果Ⅱ进行比较，当得到分类结果Ⅰ和分类结果Ⅱ一致，则得到最终的垃圾分类结果，当得到分类结果Ⅰ和分类结果Ⅱ不一致，选取分类结果Ⅰ作为最终分类结果；

接收所述控制模块传送的垃圾分类结果，对投放的垃圾进行分类的垃圾箱体；

为所述控制模块、所述人体感应模块、所述语音交互模块、所述视觉识别模块提供的电源的电源模块；

对所述控制模块传送的识别的投入垃圾的分类结果Ⅰ进行存储的云端数据库；

接收所述云端数据库传送的垃圾的分类结果Ⅰ的的手机APP，所述手机APP统计单种垃圾总量以及四种垃圾的总量。

进一步地，所述垃圾箱体包括设置于顶部的上壳体Ⅰ；

设置在所述上壳体上垃圾投放的投放口Ⅰ；

与所述上壳体一体连接的外围壳体；

设置在所述上壳体Ⅰ下方的自动旋转上壳体Ⅱ；

所述上壳体Ⅰ下方设置(连接)的从投放口Ⅰ投放进来的垃圾的自动开合盖模块；

所述上壳体Ⅰ下方设置自动开合盖模块；

所述自动开合盖模块打开之后形成投放口Ⅱ；

所述投放口Ⅱ下方设置有滑入口，

所述投放口Ⅰ和所述投放口Ⅱ之间通过壳体Ⅰ一体连接；

所述滑入口与所述投放口Ⅱ通过壳体Ⅱ一体连接，形成偏心漏斗；

所述自动开合盖模块的下方设置四个口径相同放置不同种类垃圾的桶体；

所述滑入口的中心点设置在所述四个口径相同桶体组成的圆周上。

进一步地，所述自动开合盖模块包括

设置在所述自动旋转上壳体Ⅱ边缘下侧外部设置轴承，所述轴承的内圈与偏心漏斗上平面边缘上侧固定连接，所述轴承的外圈与外围壳体的上侧平面固定连接；所述外圈与所述外圈中间由滚珠填充；

与所述偏心漏斗上平面边缘下侧相连接的咬合齿圈；

与所述咬合齿轮咬合连接的主动齿轮；

与所述主动齿轮相连接的电机，所述电机与所述控制模块相连接；

与上壳体Ⅰ相连接的自动开合盖，所述自动开合盖包括3N个滑块、托盘架和滑块固定盘，托盘架和滑块固定盘相连接，中间留有一层空隙放置滑块，其中N≥2；所述3N个滑块在闭合时配合成一个平面；

设置在上所述自动开合盖3N个滑槽，每个滑槽分别设置在滑块的侧边，所述3N个滑槽与所述3N滑块一一对应；

对称设置在所述3N个滑块的外围的两个电缸，所述电缸一端与所述滑块相连接，所述电缸另一端与所述控制模块相连接。

进一步地，所述投放口Ⅰ的口径尺寸大于等于投放口Ⅱ的口径尺寸。

进一步地，所述外围壳体的四周平均设置四个开合门。

进一步地：还包括为所述视觉识别模块提供光线条件的光源模块，所述光源模块与所述视觉识别模块、所述控制模块和所述电源模块相连接。

进一步地，所述控制模块采用树莓派。

由于采用了上述技术方案，本发明提供的一种基于多模态融合机器感知的智能生活垃圾箱，全面提升垃圾处理上游环节的处理效率，降低垃圾存放和运输环节对环境的影响；根据垃圾分类情况，对收运线路进行设计，实现一体化垃圾收运体系；通过大数据整理，建立智能分类及互联网新兴垃圾分类模式，开发相关产业链增加产值，最大化回收利用资源；以此推广节能环保理念，推动可持续发展；本发明通过树莓派、图像识别技术、语音技术及深度学习技术的结合，极大地提高垃圾识别的准确度，实现了对垃圾分类的智能分类和准确识别，识别准确度可达到95％以上；基于计算机视觉与深度学习的垃圾精细类型识别技术和基于语音识别与自然语言处理技术的垃圾类型识别技术可以精确识别垃圾的种类，解决垃圾分类源头的难点，基于人机智能交互的垃圾分类物联网系统可以将垃圾分类信息上传至云端数据库，将每日投放的垃圾信息收集储存，统计分析后，得出各种垃圾产生数量及居民投放习惯等；并通过手机APP实现实时动态监测；依此对小区内的垃圾桶数量及位置进行合理配置，形成更因地制宜的垃圾分类方案；同时可对垃圾收运线路进行规划设计，形成一体化的垃圾收运体系。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的模块图；

图2为本发明多模态识别技术流程图；

图3为本发明自动化分类投放技术流程图；

图4为本发明的整体外观图；

图5为本发明的正视图；

图6为本发明的左半剖图；

图7为本发明的右半剖图；

图8为自动开合盖关闭图；

图9为自动开合盖打开示意图；

图10为本发明的俯视图；

图11为本发明的俯视图Ⅰ；

图12为本发明的自动开合盖图Ⅰ；

图13为本发明的自动开合盖图Ⅱ；

图14为本发明的俯视图Ⅱ；

图15为本发明的四个桶体示意图。

图中：1、人体感应模块，2、控制模块，3、语音交互模块，4、语音识别模块，5、视觉识别模块，6、垃圾箱体，7、电源模块，8、云端数据库，9、手机APP，10、上壳体Ⅰ，11、投放口Ⅰ，12、上壳体Ⅱ，13、自动开合盖模块,14、投放口Ⅱ,15、壳体Ⅰ,16、壳体Ⅱ,17、偏心漏斗,18桶体，19、轴承，20、滚珠，21、咬合齿圈，22、主动齿轮,23、电机，24、电机支架，25、自动开合盖，26、滑块，27、托盘架，28、滑块固定盘,29、滑槽，30、电动缸，31、光源模块,32、外围壳体，33、开合门，34、门把手，35、合页，36、电动缸支架。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

一种基于多模态融合机器感知的智能分类垃圾桶，包括人体感应模块1、控制模块2、语音交互模块3、语音识别模块4、视觉识别模块5、垃圾箱体6、电源模块7、云端数据库8和手机APP9；

图1为本发明的模块图；图2为本发明多模态识别技术流程图；

图3为本发明自动化分类投放技术流程图；所述人体感应模块1对进行垃圾投放的人进行感应，得到人体感应信号；

所述控制模块2接收所述人体感应模块1传送的人体感应信号；

所述语音交互模块3接收所述控制模块2传送的控制信号、与投放垃圾的人进行语音交流的，即人的语音指令，具体过程为人靠近垃圾桶时，语音交互模块发出语音“是否进行垃圾投放”，得到投放垃圾的人语音回答的语音信号，所述语音交互模块3将投放垃圾的人语音回答的垃圾语音信号传送给所述控制模块2，所述控制模块2将语音信号转化为文本并与垃圾名称文本库进行相似度比较，每一种垃圾都对应一种类别，得到分类结果Ⅰ；

所述语音识别模块4接收所述控制模块传2送的投放垃圾的人语音回答的语音信号进行识别、得到投放垃圾品种的语音信号，所述语音识别模块4将得到的投放垃圾品种的语音信号传送给所述控制模块2；

所述视觉识别模块5对投放的垃圾进行图像获取，得到投放的垃圾图像信号的，所述视觉识别模块5将得到的投放的垃圾图像信号传送给所述控制模块2，所述控制模块2基于轻量化深度学习模型进行推理运算得出分类结果Ⅱ，所述控制模块2将分类结果Ⅰ和分类结果Ⅱ进行比较，当得到分类结果Ⅰ和分类结果Ⅱ一致，则得到最终的垃圾分类结果，当得到分类结果Ⅰ和分类结果Ⅱ不一致，选取分类结果Ⅰ作为最终分类结果；

所述垃圾箱体6接收所述控制模块2传送的最终垃圾分类结果，对投放的垃圾进行分类；

所述电源模块7为所述控制模块2、所述人体感应模块1、所述语音交互模块2、所述视觉识别模块4和所述视觉识别模块5提供的电源；

所述云端数据库7对所述控制模块识2别的投入垃圾的分类结果Ⅰ进行存储；

所述手机APP8接收所述云端数据库7传送的垃圾的分类结果Ⅰ，所述手机APP8统计单种垃圾总量以及四种垃圾的总量，所述手机APP9与所述云端服务器7通过Wi-Fi相连接，所述云端数据库7的单种垃圾总量以及四种垃圾的总量显示在手机APP9和微信小程序上；

所述云端数据库8对所述控制模块2传送的识别的投入垃圾的分类结果Ⅰ进行存储；每日会通过Wi-Fi将此分类结果Ⅰ发送给云端数据库8，构建家庭垃圾数据库，所述云端数据库8会定期对数据库进行大数据分析；

还可以根据多个家庭的垃圾桶的云端数据库8，构建小区的垃圾云端数据库；若云端数据库8中某一类垃圾占比最大，则增加附近的垃圾桶中此类垃圾的分类桶数量；若云端数据库8中某一户使用者的垃圾数量最多，则可设置垃圾桶放置位置更靠近此户。

所述人体感应模块1中采用了红外传感器，若投放人走近智能垃圾桶，人体感应模块1将收集红外传感器信息并传输给控制模块2；

所述视觉识别模块5采用的是摄像头；选用华为垃圾分类比赛的公开图片数据集作为基础数据集，采用深度神经网络Resnet50模型进行数据训练；所述视觉识别模块5中的摄像头还可采用基于计算机视觉与深度学习的垃圾精细类型识别技术，通过大量对不同类别的垃圾的拍照，构造垃圾分类图像数据库，训练深度卷积神经网络模型(ResNet50)，配合结构化环境下的图像分割技术实现垃圾箱体6内垃圾的类型(如饮料瓶、水果、包装纸、塑料等)识别；

所述语音交互模块3采用的是麦克风；

所述语音交互模块3中采用基于语音识别与自然语言处理技术的人机交互技术，根据麦克风传回的语音信号进行语音内容识别，并建立不同语句与常用指令的关联性模型，从而允许垃圾投放者以语音的形式与该垃圾箱进行交互，通过将采集的语音信号转化为文本并与模板进行相似度比较，从而对垃圾箱体6下达指令，进行垃圾识别，若桶内垃圾已满，语音交互模块3还会通过播报语音消息进行提醒。

所述控制模块2采用树莓派，其中嵌入了轻量化深度学习模型，利用所述摄像头捕捉倒入垃圾桶的垃圾图片并将图像反馈给深度学习模型，深度学习模型进行推理运算得出分类结果；树莓派还嵌入了不同词汇与垃圾类别之间的关联性模型，利用所述麦克风捕捉语音信号，由树莓派将接收到的信号转化为文本并于模板进行相似度比较，与视觉识别结果进行比对从而得出最终结果，然后由树莓派发出相关控制指令。

所述语音识别模块4中采用基于语音识别与自然语言处理技术的垃圾类型识别技术，根据麦克风传回的语音信号进行语音内容识别，并建立不同词汇与垃圾类别之间的关联性模型，从而允许垃圾投放者以语音的形式告知智能垃圾桶，垃圾箱通过采集的语音信号，将其转化为文本并与模板进行相似度比较，与视觉识别模块里利用深度神经网络Resnet50模型训练出的垃圾分类模型共同进行比对从而实现垃圾分类；当前投掷的对象的具体类别，帮助不了解垃圾分类标准，但具有一定垃圾分类意识的投放人更好地实现垃圾分类。

图4为本发明的整体外观图；图5为本发明的正视图；图6为本发明的左半剖图；图7为本发明的右半剖图；所述垃圾箱体7包括设置于顶部的上壳体Ⅰ10、设置在所述上壳体Ⅰ10上垃圾投放的投放口Ⅰ11；与所述上壳体Ⅰ10一体连接的外围壳体32；与所述上壳体Ⅰ10一体连接的外围壳体12；设置在所述上壳体Ⅰ10下方的自动旋转上壳体Ⅱ12；所述上壳体Ⅰ10下方设置的从投放口Ⅰ11投放进来的垃圾的自动开合盖模块13；所述自动开合盖模块13打开之后形成投放口Ⅱ14；所述投放口Ⅱ14下方设置有滑入口，

所述投放口Ⅰ12和所述投放口Ⅱ14之间通过壳体Ⅰ15一体连接；所述滑入口与所述投放口Ⅱ14通过壳体Ⅱ16一体连接，形成偏心漏斗17；所述自动开合盖模块13下方设置四个口径相同存放不同种类垃圾的桶体18；所述桶体18通过垂直隔断分成四个区域，四个区域放置四个桶体18，所述外围壳体32不可旋转，所述桶体18可以是圆柱体、多边体或长方体；所述滑入口的中心点设置在所述四个口径相同桶体18组成的圆周上。

进一步地，所述自动开合盖模块13包括设置在所述上壳体Ⅱ12边缘下侧外部设置轴承19，所述轴承19的内圈与偏心漏斗18上平面边缘上侧固定连接，所述轴承19的外圈与所述外围壳体11的上侧平面固定连接；所述轴承的外圈与内圈中间由滚珠20填充；二者可以相对滑动，由此保证了所述偏心漏斗17可以相对下三维几何中心相对转动；所述自动开合盖模块13还包括与所述偏心漏斗17上平面边缘下侧相连接的咬合齿圈21；与所述咬合齿圈21咬合连接的主动齿轮22；与所述主动齿轮22相连接的电机23；所述控制模块2与所述电机23相连接，所述控制模块2对摄像头采集到的垃圾图像进行识别，根据得到的分类结果控制电机23旋转，从而带动咬合齿圈21转动；所述电机23通过电机支架24固定在所述上壳体Ⅰ12内壁上；与上壳体Ⅰ12相连接的自动开合盖25；

图8为自动开合盖关闭图；图9为自动开合盖打开示意图；图10为本发明的俯视图；图11为本发明的俯视图Ⅰ；图12为本发明的自动开合盖装置图Ⅰ；图13为本发明的自动开合盖装置图Ⅱ；图14为本发明的俯视图Ⅱ；

所述自动开合盖25包括3N个滑块26、托盘架27和滑块固定盘28，所述滑块26为多边形，3N个滑块26在闭合时配合成一个平面；其中N≥2；设置在上所述自动开合盖3N个滑槽29，每个滑槽29分别设置在滑块26的侧边，3N个滑槽29与3N滑块26一一对应；对称设置在3N个滑块26的外围的两个电缸30，所述电缸30一端与所述滑块26相连接，所述电缸30另一端与所述控制模块2相连接；当N＝2时，六块多边形滑块26对称分布在和滑块固定盘28中间，由于托盘架27上留有配合的孔径，所述托盘架27和滑块固定盘28相连接，中间留有一层空隙放置滑块26，可用两个对称电动缸30驱动滑块26运动，由于六块滑块26相互配合，从而一起做相对运动，进而完成自动开合盖25的开和闭，所述电动缸30配有电动缸支架36；

进一步地，所述投放口Ⅰ10的口径尺寸大于等于投放口Ⅱ14的口径尺寸；

进一步地，所述外围壳体32的四周平均设置四个方便取出桶体的开合门33；所述开合门33上设置门把手34，所述门把手34通过合页35和和外围壳体32相连接；图15为本发明的四个桶体示意图；

进一步地，该垃圾箱还包括为所述视觉识别模块5提供光线条件的光源模块31，所述光源模31与所述视觉识别模块5、所述控制模块2和所述电源模块7相连接。

进一步地，所述投放口Ⅰ11与所述投放口Ⅱ14可以为圆形、矩形或其他多变形。

本发明的工作原理是，当使用者靠近垃圾桶一米范围内，红外传感器会检测到人体感应信号并将其反馈给树莓派控制模块2，投放垃圾的人开始通过扬声器进行语音交互，此时麦克风开始收集使用者的语音信号并实时传递给树莓派控制模块2，经过控制模块2判断得出语音分类结果；当垃圾落入自动开合盖25中时，光源模块31被点亮，摄像头开始捕捉图像，并将其反馈给树莓派控制模块2，控制模块2经过深度学习模型的计算后得出视觉分类结果；综合上述两类结果，最终由分类控制算法给出总分类结果，并由树莓派控制扬声器进行语音播报分类结果，该项功能可关闭。

根据总分类结果，树莓派控制模块2对自动开合盖模块13发出相关控制命令，由相关电机23带动主动齿轮22转动，从而带动与之配合的偏心漏斗17的转动，使偏心漏斗17的下层口对准与分类结果对应的桶体18，实现不同垃圾类别的分类功能，桶体18内由两块相互垂直的隔板将其分为四个区域，可以用于容纳四种垃圾的圆形垃圾内桶。当偏心漏斗17转到指定位置时，控制模块2会发送控制指令给电动缸30，使其收缩，滑块26会进行相对滑动，滑块26固定在滑块固定盘28内部，滑块固定盘28上的垃圾掉入偏心漏斗17中，最终掉入垃圾内桶中，完成了对垃圾的准确识别和收集，此动作完成之后，电动缸30会伸长，牵引滑块26相对滑动，伸出滑块固定盘28，重新构成自动开合盖，并保持下桶体的密闭状态。

自动开合盖25有两个状态，分别是自动开合盖25关闭和自动开合盖25打开，使用流程为：初始状态为自动开合盖25关闭，桶体18为密闭状态，投入垃圾时，首先进行视觉识别，得到分类结果后，控制模块2向控制偏心漏斗17旋转的电机23发送指令，使其旋转至相应分类区域，之后自动开合盖25打开，垃圾掉入相应分类区域，自动开合盖25关闭，保持桶体18的密闭状态。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。