防疫机器人视听觉协同感知模型、方法及介质

摘要

本发明提供了一种防疫机器人视听觉协同感知模型、方法及介质，包括：听觉通路处理模型：获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置；视觉通路处理模型：输入从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息；协同感知处理模型：将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能。本发明能够很好的应用到防疫机器人上，利用视听觉协同感知，可以方便地获得环境目标位置并进行跟踪，具有极大的应用价值。

说明书

技术领域

本发明涉及防疫机器人技术领域，具体地，涉及防疫机器人视听觉协同感知模型、方法及介质。

背景技术

随着科技的日新月异，尤其是计算机视觉和神经网络等技术的快速发展，机器人的功能也逐渐复杂化、多样化，机器人的应用也日益普遍。防疫机器人就是在近年来被广泛应用的机器人之一，它可以执行消毒杀菌等任务，防疫机器人的工作环境一般比较危险且复杂，所以在应用时，为了让机器人能够顺利且出色的完成任务，对环境目标的感知功能非常重要。

听觉是我们在日常生活中获得信息的主要来源之一，利用听觉我们可以获得不同方位的信息。如图2所示，在人的听觉通路中，耳廓、耳蜗等听觉感受器负责采集环境中的声源信息，并进行去噪处理得到较理想的声源信息，在内耳耳蜗螺旋器上的毛细胞将声波信息转化为神经冲动，然后传输到上橄榄核，在上橄榄核部位对双耳时间差和双耳强度差信息进行编码，下丘根据上橄榄核发出的双耳时间差和双耳强度差的编码信息对声源进行初步定位，最终在大脑听觉皮层进行信息整合，完成听觉认知。但上述从耳蜗到大脑听觉皮层的传导只是上行通路，大脑听觉皮层到下丘对声源定位具有控制作用，可以提高定位的准确性，这一通路也被称之为下行通路。根据上述人类的听觉通路的原理研究设计防疫机器人的听觉通路，其中在上行通路部分主要对目标声源进行采集预处理，完成对目标声源的初步定位，然后在下行通路部分，设计矫正模型对定位信息进行矫正，调整误差，得到较精确的定位信息，从而完成目标声源的定位。

如图3所示，利用视觉我们也能获得环境目标的信息，眼睛接收环境中的目标图像的反射光线，光线通过视网膜形成物像，视神经在颅腔内形成视交叉，然后视交叉将信息传入左右大脑半球，视束经外侧膝状体产生视放射，然后投射到大脑视皮层形成视觉认知，对于环境目标的空间感知，可以通过瞳距的调整，从而认清物体的特征。根据所述人类视觉通路的机理，设计防疫机器人的视觉通路，首先对视觉感受器捕获目标图像信息进行滤波去噪等预处理操作，然后对目标进行目标检测，提取出目标特征，完成对目标的认知功能，接着对目标进行跟踪，从而完成检测目标并跟踪的功能。

我们在生活中不仅需要依靠视觉信息，也依靠听觉信息，依靠单一的视觉信息或听觉信息会导致我们获得的信息不全面。而对机器人来说，将视听信息结合起来，得到一种协同感知模型，可以将不完善的信息相互补充，获得多源融合信息，可以方便地获得环境目标的位置并对目标进行检测与跟踪。

超像素分割是一种图像分割方法，其具有运行速度快、能够很好的保持目标物体的边缘和分割外形复杂的目标的优点，能够将图像分割为若干像素块，提高图像分割的效果。简单线性迭代聚类(SLIC)是一种超像素分割算法，它可以将彩色图像转换为CIELAB彩色空间，对图像像素进行局部聚类，SLIC算法能生成近似均匀的超像素，具有运算速度快、良好的目标物体轮廓保持能力和良好的超像素形状构建等优点，是一种被大家普遍接受的图像分割算法。

真实世界里的三维运动可以通过运动场来反映，光流场是运动场在二维上的投影，光流就是在灰度图下，像素点的运动矢量。基于光流的检测和跟踪方法是根据运动目标的光流随时间变化而变化的特性，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性，得到相邻帧之间物体的运动信息，从而有效地检测和跟踪目标。

专利文献CN109947954A(申请号：201910312615.0)一种多任务协同识别方法和系统，属于人工智能的任务识别技术领域，该系统包括通用特征提取模块、协同特征学习模块、适境反馈评估识别模块；基于时间同步匹配机制，提取多源异构数据的通用特征，实现所述多源异构数据的通用特征描述；结合基于外部依赖的协同注意机制，将所述通用特征作为先验知识进行训练，生成通用特征间的关联记忆关系；提取多源异构数据的环境感知参数，结合所述关联记忆关系，实现多任务识别。本发明结合环境感知的适境计算理论，通过深度增强反馈判断出待识别任务的权重，自适应地根据环境变化调整待识别任务的优先级，实现多个视听觉感知识别结果同时输出的效果

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种防疫机器人视听觉协同感知模型、方法及介质。

根据本发明提供的一种防疫机器人视听觉协同感知模型，包括：

听觉通路处理模型：获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置；

视觉通路处理模型：输入从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息；

协同感知处理模型：将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能。

优选地，通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路处理模型包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置。

优选地，所述听觉上行通路包括：进行听觉信息去噪预处理、时延估计和目标位置估计；

所述听觉下行通路包括：进行RBF神经网络和输出矫正后的位置输出。

优选地，在听觉通路处理模型的听觉上行通路部分，设计去噪预处理、时延估计和目标位置估计；

从目标信息中提炼出听觉信息输入到听觉上行通路中，经过去噪预处理后，获得较理想的目标听觉信息，然后进行时延估计，获得拟人耳定位机制的环境目标时延数值，最后初步估计目标所在的位置。

优选地，在听觉通路处理模型的听觉下行通路部分，设计利用RBF神经网络对听觉上行通路估计的位置进行误差矫正，从而获得较精确的目标位置。

优选地，所述视觉通路处理模型：进行图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪，视觉通路模块的输入信息为视觉信息。

优选地，所述视觉通路处理模型：输入从目标信息中获得的视觉信息，将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息。

优选地，所述协同感知处理模型：连接听觉通路处理模块和听觉通路处理模块的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。

根据本发明提供的一种防疫机器人视听觉协同感知方法，包括：

听觉通路处理步骤：获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置；

视觉通路处理步骤：输入从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息；

协同感知处理步骤：将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能；

所述听觉通路处理步骤：通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路处理模型包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置；

所述听觉上行通路包括：进行听觉信息去噪预处理、时延估计和目标位置估计；

所述听觉下行通路包括：进行RBF神经网络和输出矫正后的位置输出；

在听觉通路处理模型的听觉上行通路部分，设计去噪预处理、时延估计和目标位置估计；

从目标信息中提炼出听觉信息输入到听觉上行通路中，经过去噪预处理后，获得较理想的目标听觉信息，然后进行时延估计，获得拟人耳定位机制的环境目标时延数值，最后初步估计目标所在的位置；

在听觉通路处理模型的听觉下行通路部分，设计利用RBF神经网络对听觉上行通路估计的位置进行误差矫正，从而获得较精确的目标位置；

所述视觉通路处理步骤：进行图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪，视觉通路模块的输入信息为视觉信息；

所述视觉通路处理步骤：输入从目标信息中获得的视觉信息，将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息；

所述协同感知处理步骤：连接听觉通路处理模块和听觉通路处理模块的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的防疫机器人视听觉协同感知方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明基于人的听觉上行通路用于声音信息的采集、去噪、传导和初步定位的机理，在该模型中模拟设计了去噪预处理和基于时延估计的定位，可以很好的用来获取目标的位置。

2、本发明基于人的听觉下行通路的机理和大脑皮层对下丘声源定位的控制作用，引入了RBF神经网络算法用于对估计的目标位置进行非线性矫正，从而提高了目标定位的精度。

3、本发明在研究了人的听觉通路的基础上，将该模型中的模拟听觉上行通路和模拟听觉下行通路的功能结合起来，从而完整地模拟了人的双耳定位功能，可以很好地实现目标定位并矫正位置的效果。

4、本发明通过模拟人的视觉通路，搭建了基于超像素分割和光流法的目标检测和目标跟踪视觉通路模型，用于将输入的目标视觉信息经过去噪预处理之后，进行目标检测和目标跟踪。

5、本发明通过将听觉通路模型输出的目标位置信息和视觉通路模型输出的目标跟踪信息进行视听信息融合，可以完成跟踪目标并获得位置的效果，从而完成了协同感知的功能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的整体模型示意图。

图2为本发明提供的人的听觉传导通路示意图。

图3为本发明提供的人的视觉传导通路示意图。

图4为本发明提供的听觉上行通路模型示意图。

图5为本发明提供的听觉下行通路模型示意图。

图6为本发明提供的视觉通路模型示意图。

图7为本发明提供的协同感知局部模型示意图。

图8为本发明提供的拟人耳时延估计定位模型示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种防疫机器人视听觉协同感知模型，包括：

听觉通路处理模型：获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置；

视觉通路处理模型：输入从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息；

协同感知处理模型：将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能。

具体地，通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路处理模型包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置。

具体地，所述听觉上行通路包括：进行听觉信息去噪预处理、时延估计和目标位置估计；

所述听觉下行通路包括：进行RBF神经网络和输出矫正后的位置输出。

具体地，在听觉通路处理模型的听觉上行通路部分，设计去噪预处理、时延估计和目标位置估计；

从目标信息中提炼出听觉信息输入到听觉上行通路中，经过去噪预处理后，获得较理想的目标听觉信息，然后进行时延估计，获得拟人耳定位机制的环境目标时延数值，最后初步估计目标所在的位置。

具体地，在听觉通路处理模型的听觉下行通路部分，设计利用RBF神经网络对听觉上行通路估计的位置进行误差矫正，从而获得较精确的目标位置。

具体地，所述视觉通路处理模型：进行图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪，视觉通路模块的输入信息为视觉信息。

具体地，所述视觉通路处理模型：输入从目标信息中获得的视觉信息，将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息。

具体地，所述协同感知处理模型：连接听觉通路处理模块和听觉通路处理模块的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。

本发明提供的防疫机器人视听觉协同感知系统，可以通过本发明给的防疫机器人视听觉协同感知方法的步骤流程实现。本领域技术人员可以将所述防疫机器人视听觉协同感知方法，理解为所述防疫机器人视听觉协同感知系统的一个优选例。

根据本发明提供的一种防疫机器人视听觉协同感知方法，包括：

听觉通路处理步骤：获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置；

视觉通路处理步骤：输入从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息；

协同感知处理步骤：将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能；

所述听觉通路处理步骤：通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路处理模型包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置；

所述听觉上行通路包括：进行听觉信息去噪预处理、时延估计和目标位置估计；

所述听觉下行通路包括：进行RBF神经网络和输出矫正后的位置输出；

在听觉通路处理模型的听觉上行通路部分，设计去噪预处理、时延估计和目标位置估计；

从目标信息中提炼出听觉信息输入到听觉上行通路中，经过去噪预处理后，获得较理想的目标听觉信息，然后进行时延估计，获得拟人耳定位机制的环境目标时延数值，最后初步估计目标所在的位置；

在听觉通路处理模型的听觉下行通路部分，设计利用RBF神经网络对听觉上行通路估计的位置进行误差矫正，从而获得较精确的目标位置；

所述视觉通路处理步骤：进行图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪，视觉通路模块的输入信息为视觉信息；

所述视觉通路处理步骤：输入从目标信息中获得的视觉信息，将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息；

所述协同感知处理步骤：连接听觉通路处理模块和听觉通路处理模块的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的防疫机器人视听觉协同感知方法的步骤。

下面通过优选例，对本发明进行更为具体地说明。

优选例1：

本发明涉及防疫机器人领域，具体地说是一种防疫机器人视听觉协同感知模型。防疫机器人的工作环境一般比较危险且复杂，所以在应用时，为了让机器人能够顺利且出色的完成任务，对环境目标的感知功能非常重要。本文提出的防疫机器人视听觉协同感知模型的基本原理为：模仿人的视听觉协同感知机理，模拟利用听觉的声源定位、视觉的目标检测和目标追踪等原理，实现该防疫机器人视听觉协同感知模型。该模型设计通过构造视觉通路和听觉通路，这两个通路分别用来模拟人的听觉的声源定位和视觉的目标检测和目标追踪，从而获得目标的位置和实现目标检测和目标追踪的功能；设计利用通过结合听觉通路和视觉通路的视听信息，从而跟踪目标并获得位置；设计利用人的听觉上行通路用于声音信息的采集、去噪、传导、定位和下行通路用于纠正定位偏差的机理，在听觉上行通路设计去噪预处理，然后采用时延估计定位算法用于模拟人耳的双耳定位，在听觉下行通路中，利用RBF神经网络强大的非线性拟合能力、学习泛化能力和快的收敛速度，基于RBF神经网络算法将上行通路中估计的目标位置进行非线性误差矫正，从而获得较精确的目标位置；设计利用人的视觉感受器会捕获环境中的目标图像，然后对捕获的目标图像进行去噪等预处理，接着会对捕获的目标图像进行检测并跟踪的机理，在该模型视觉通路中设计对捕获的视觉信息进行预处理，然后基于超像素分割和光流法对图像目标进行检测，最后基于光流法对检测的目标进行跟踪，获得跟踪信息。本发明模型能够很好的应用到防疫机器人上，利用视听觉协同感知，可以方便地获得环境目标位置并进行跟踪，具有极大的应用价值。

本发明的目的是通过以下技术方案来实现的：

一种防疫机器人视听觉协同感知模型，其特征在于：根据处理的目标信息的种类不同，处理模型分为视觉通路、听觉通路、协同感知三部分，这三部分具体包括听觉信息去噪预处理、时延估计、目标位置估计、RBF神经网络、矫正后的位置、图形预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标追踪、视听信息融合。对于听觉通路部分，又分为听觉上行通路和听觉下行通路部分，听觉上行通路由听觉信息去噪预处理、时延估计和目标位置估计组成；听觉下行通路由RBF神经网络和输出矫正后的位置输出组成；对于视觉通路部分，由图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪组成，输入信息为视觉信息；对于协同感知部分，连接听觉通路和视觉通路的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。这三部分如摘要附图那样结合到一块，组成该防疫机器人视听觉协同感知模型。

一种防疫机器人视听觉协同感知模型，其特征在于：通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置。

一种防疫机器人视听觉协同感知模型，其特征在于：通过模仿人的听觉上行通路用于声音信息的采集、去噪、传导和定位的功能，在该模型的听觉上行通路部分，设计去噪预处理、时延估计和目标位置估计，从目标信息中提炼出听觉信息输入到听觉上行通路中，经过去噪预处理后，获得较理想的目标听觉信息，然后进行时延估计，获得拟人耳定位机制的环境目标时延数值，最后初步估计目标所在的位置。

一种防疫机器人视听觉协同感知模型，其特征在于：通过模仿人的听觉下行通路用于纠正定位偏差的机理，在该模型的听觉下行通路部分，设计利用RBF神经网络对听觉上行通路估计的位置进行误差矫正，从而获得较精确的目标位置。

一种防疫机器人视听觉协同感知模型，其特征在于：通过模仿人的视觉通路用于目标检测和目标追踪机理，构造视觉通路处理模型，输入为从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息。

一种防疫机器人视听觉协同感知模型，其特征在于：构建了协同感知部分，将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能。

优选例2：

下面结合附图对本发明作进一步详述。

如图1，一种防疫机器人视听觉协同感知模型，其特征在于：根据处理的目标信息的种类不同，处理模型分为视觉通路、听觉通路、协同感知三部分，这三部分具体包括听觉信息去噪预处理、时延估计、目标位置估计、RBF神经网络、矫正后的位置、图形预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标追踪、视听信息融合。对于听觉通路部分，又分为听觉上行通路和听觉下行通路部分，听觉上行通路由听觉信息去噪预处理、时延估计和目标位置估计组成；听觉下行通路由RBF神经网络和输出矫正后的位置输出组成；对于视觉通路部分，由图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪组成，输入信息为视觉信息；对于协同感知部分，连接听觉通路和视觉通路的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。这三部分如摘要附图那样结合到一块，组成该防疫机器人视听觉协同感知模型。

如图1、2、4、5，一种防疫机器人视听觉协同感知模型，其特征在于：通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置。

如图1，一种防疫机器人视听觉协同感知模型，其特征在于：根据处理的目标信息的种类不同，处理模型分为视觉通路、听觉通路、协同感知三部分，这三部分具体包括听觉信息去噪预处理、时延估计、目标位置估计、RBF神经网络、矫正后的位置、图形预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标追踪、视听信息融合。对于听觉通路部分，又分为听觉上行通路和听觉下行通路部分，听觉上行通路由听觉信息去噪预处理、时延估计和目标位置估计组成；听觉下行通路由RBF神经网络和输出矫正后的位置输出组成；对于视觉通路部分，由图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪组成，输入信息为视觉信息；对于协同感知部分，连接听觉通路和视觉通路的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。这三部分如摘要附图那样结合到一块，组成该防疫机器人视听觉协同感知模型。

如图1、2、4、5，一种防疫机器人视听觉协同感知模型，其特征在于：通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置。

如图1、2、4，一种防疫机器人视听觉协同感知模型，其特征在于：通过模仿人的听觉上行通路用于声音信息的采集、去噪、传导和定位的功能，在该模型的听觉上行通路部分，设计去噪预处理、时延估计和目标位置估计，从目标信息中提炼出听觉信息输入到听觉上行通路中，经过去噪预处理后，获得较理想的目标听觉信息，然后进行时延估计，获得拟人耳定位机制的环境目标时延数值，最后初步估计目标所在的位置。

听觉是我们感受外界环境目标信息的重要方式，利用双耳我们可以判断环境目标的具体空间方位，在这个过程中，双耳时间差起着不可缺少的作用。由于双耳与声源的距离不同，而声波通过介质传到人耳需要时间，所以距离目标比较近的耳朵比另一只耳朵更早的接收到声波信息，从而产生了时间差，然后根据时间差求解出空间方程，即可知道环境目标的位置。

如图8所示的拟人耳时延估计定位模型示意图，我们用麦克风阵列模拟人的耳朵，用来捕获声音信息，然后用互相关算法来计算时延估计。现以麦克风阵列中的任意两个麦克风a

x

x

其中s(n)为声源发出的信号，x

R

将x

R

由上式可知当τ＝τ

其中，|oa

如图1、2、5，一种防疫机器人视听觉协同感知模型，其特征在于：通过模仿人的听觉下行通路用于纠正定位偏差的机理，在该模型的听觉下行通路部分，设计利用RBF神经网络对听觉上行通路估计的位置进行误差矫正，从而获得较精确的目标位置。

在初步估计目标位置的过程中，时延是估计而来，然后利用麦克风阵列模型来计算目标位置，这两步都会产生误差，导致对目标位置的计算出现偏差。在人的听觉通路里，大脑听觉皮层会对下丘有控制作用，从而对声源位置进行矫正。在本发明中通过RBF神经网络对位置初步估计的误差进行矫正。

径向基函数(RBF)神经网络是一种包括输入层、隐藏层和输出层的三层神经网络，并且从输入层到隐藏层的变换是非线性的，从隐藏层到输出层的变换是线性的，除此之外，RBF神经网络的中心参数根据具体样本的数据来确定。在具体实现对目标位置进行误差矫正时，采用基于高斯核的RBF神经网络，由于神经网络的输入为估计声源位置的三维坐标，输出为矫正后的空间三维坐标，所以设置隐藏层的中心个数为3。在初始化神经元之间的连接权值和隐藏层神经元的中心参数后，我们选取训练样本进行RBF神经网络的训练，最后利用训练好的模型进行误差矫正。

如图1、3、6，一种防疫机器人视听觉协同感知模型，其特征在于：通过模仿人的视觉通路用于目标检测和目标追踪机理，构造视觉通路处理模型，输入为从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息。

在本发明中，我们采用Horn-Schunck光流法。对于光流失量，运动区域的光流比较大，光流能够反映运动目标的运动状态，所以我们根据光流可以进行目标检测与跟踪。

设光流w＝(u,v),并设在时刻t图像上的灰度值为I(x,y,t)，则对于光流有：

经过间隔dt后对应为I(x+dx,y+dy,t+dt)，因为dt→0，所以假设灰度值不变，可以得到I(x,y,t)＝I(x+dx,y+dy,t+dt)，将此式进行泰勒展开，并忽略二阶无穷小量可以得到：

根据Horn-Schunck算法中的全局平滑性约束，假设光流连续并且光滑：

将上面两式结合，得到光流应满足：

根据上面的原理可以对目标进行初步检测和跟踪，为了使得目标的检测与跟踪更加精确，所以采用基于超像素分割和光流法进行目标检测，具体做法是：将经过预处理后的待检测图像利用简单线性迭代聚类进行分割，获得超像素集合，其中每个超像素具有相同的颜色和空间特征，可以有效地保留目标边缘，接着利用Horn-Schunck光流法进行目标检测，最后进行目标跟踪，获得目标跟踪的信息。

如图1、7，一种防疫机器人视听觉协同感知模型，其特征在于：构建了协同感知部分，将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能。其中目标位置信息由上述听觉通路中拟人耳时延估计定位模型和基于RBF进行位置估计误差矫正得到，目标跟踪信息由上述视觉通路中基于光流法和超像素分割的目标检测和基于光流法的目标跟踪得到。

优选例3:

一种防疫机器人视听觉协同感知模型，其特征在于：根据处理的目标信息的种类不同，处理模型分为视觉通路、听觉通路、协同感知三部分，这三部分具体包括听觉信息去噪预处理、时延估计、目标位置估计、RBF神经网络、矫正后的位置、图形预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标追踪、视听信息融合。对于听觉通路部分，又分为听觉上行通路和听觉下行通路部分，听觉上行通路由听觉信息去噪预处理、时延估计和目标位置估计组成；听觉下行通路由RBF神经网络和输出矫正后的位置输出组成；对于视觉通路部分，由图像预处理、预处理后的待检测图像、基于超像素分割和光流法的目标检测、基于光流法的目标跟踪组成，输入信息为视觉信息；对于协同感知部分，连接听觉通路和视觉通路的输出信息，将视听信息进行融合，从而跟踪目标并获得位置。这三部分如摘要附图那样结合到一块，组成该防疫机器人视听觉协同感知模型。

通过模拟人的听觉的声源定位机理，构造听觉通路处理模型，输入为听觉信息，该听觉通路包括听觉上行通路和听觉下行通路两部分，用于获得目标的位置并对获得的目标位置进行非线性误差矫正，从而获得精确的目标位置。

通过模仿人的听觉上行通路用于声音信息的采集、去噪、传导和定位的功能，在该模型的听觉上行通路部分，设计去噪预处理、时延估计和目标位置估计，从目标信息中提炼出听觉信息输入到听觉上行通路中，经过去噪预处理后，获得较理想的目标听觉信息，然后进行时延估计，获得拟人耳定位机制的环境目标时延数值，最后初步估计目标所在的位置。

通过模仿人的听觉下行通路用于纠正定位偏差的机理，在该模型的听觉下行通路部分，设计利用RBF神经网络对听觉上行通路估计的位置进行误差矫正，从而获得较精确的目标位置。

通过模仿人的视觉通路用于目标检测和目标追踪机理，构造视觉通路处理模型，输入为从目标信息中获得的视觉信息，然后将视觉信息进行图像预处理，去除噪声后获得待检测图像，然后将待检测图像利用基于超像素分割和光流法的方法进行目标检测，接着基于光流法进行目标跟踪，获得目标跟踪的信息。

构建了协同感知部分，将视觉通路获得的目标跟踪信息和听觉通路获得的目标位置信息进行融合，从而实现跟踪目标并获得位置的功能。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。