基于蝗虫视觉神经的运动模式识别研究及应用

摘要

运动模式识别是借鉴或利用计算机视觉、计算几何、视觉神经网络等理论与方法构建计算模型并识别视野域中运动目标行为特征的研究分支，也是计算机视觉中极具挑战性的研究课题。如何构建恰当的计算模型，探究合适的算法来高效、准确识别运动模式，对人工智能自身发展具有重要的促进作用。传统计算模型虽能识别运动目标的少许行为特征，但运动模式识别难、环境适应能力弱。然而，作为能高效、准确识别运动模式的生物视觉系统在视觉神经生理学研究中已取得初步进展，为从计算机视觉角度探讨运动模式识别、目标跟踪、碰撞检测等视觉感知问题的计算模型提供了新启迪。就此，运动模式感知神经元的视觉响应机理已初步应用于构建适合于平移、径向等基本运动模式识别的人工视觉计算模型，但识别旋转、深度旋转、螺旋运动等基本运动模式的研究仍是亟待解决的基础性难题。由此，依据生物视觉系统中神经元的层次结构关系及视觉响应机理，提出既能简单模拟生物的视觉响应特性又能解决运动模式识别问题的人工视觉神经网络模型具有重要的科学意义和潜在的应用价值。 本文基于蝗虫与猕猴的视觉神经生理学理论，以视觉系统感知与运动模式识别的生物理论为支撑，以旋转、深度旋转、螺旋运动为研究对象，以探讨适用于相应运动模式识别的人工视觉神经网络模型与算法为目标，以模型的工程应用为目的，展开计算模型与算法的设计、性能测试及初步应用等研究。主要工作和取得的成果概括如下： （1）针对视觉场景中旋转运动模式的识别问题，基于蝗虫视觉神经系统的结构特性，借助猕猴大脑中旋转敏感神经元的视觉响应机理，构建由突触前、突触后两个子神经网络构成的旋转运动识别视觉神经网络模型，并提出相应的神经网络算法。基于方向柱的结构特性，突触前神经网络由十六个结构相似、功能各异、环形排列的方向选择神经网络构成，提取运动目标在视野域中的平移方向变化量；突触后神经网络经由方向柱获取各方向选择神经网络的输出量，并通过信息合成获得运动目标旋转的行为输出量。算法设计中，借助视觉运动方向感知的不对称侧抑制机理，设计提取运动目标的平移方向变化量计算模型；利用旋转敏感神经元的视觉响应机理和Reichardt运动检测器的原理，提出识别旋转运动模式的计算模型。理论分析表明，该算法的计算复杂度由输入视频图像的分辨率确定。基于不同场景下旋转、非旋转运动视频序列的比较性实验结果显示，此神经网络不仅能有效揭示旋转敏感神经元的特定视觉感知特性，而且能有效识别旋转运动模式。 （2）针对视觉场景中深度旋转运动的模式识别问题，基于蝗虫视觉神经系统的结构特性，借助猕猴大脑中深度旋转敏感神经元的视觉响应机理，构建由突触前、突触后神经网络构成的深度旋转运动识别视觉神经网络模型，并提出相应的神经网络算法。突触前神经网络由结构类似但功能各异的八个方向选择神经网络和一个深度感知神经网络构成，提取视野域中平移方向与深度运动的视觉变化量；突触后神经网络利用方向柱的神经结构特性合成突触前神经网络的输出量，输出视野域中深度旋转运动产生的时空能量变化量。算法设计中，借助方向选择神经元的视觉特性，建立识别不同平移方向视觉信息的计算模型，并依据对称侧抑制机理设计刻画包括膨胀、收缩在内的深度运动感知计算模型；进而，融合获取的深度与平移运动变化量，利用方向柱的神经结构特性并依据深度旋转敏感神经元的视觉响应机理建立计算模型，识别视野域内深度旋转运动的时空能量。理论分析表明，输入视频图像的分辨率、方向选择神经元的抑制半径确定该算法的计算复杂度。基于不同场景视频序列的比较性数值实验显示，该神经网络不仅能在一定程度上解释深度旋转敏感神经元的视觉响应特性和能识别深度旋转运动目标在视野域中引起的时空能量变化，而且输出的膜电位呈现近似的正弦波曲线，此与从几何学角度对深度旋转研究获得的结论类同。 （3）针对视觉场景中螺旋运动的识别问题，基于蝗虫视觉神经系统的结构特性，借助猕猴大脑中螺旋运动选择神经元的视觉响应机理，构建由突触前、突触后神经网络构成且能识别螺旋运动模式的螺旋运动识别视觉神经网络模型，并设计相应的神经网络算法。突触前神经网络由提取视野域中运动目标的平移方向变化量的十六个方向选择神经网络和一个提取径向运动行为量的前馈神经网络构成；突触后神经网络经由方向柱融合获取的运动行为量，进而经由特定处理后输出螺旋运动的行为量。算法设计中，借助对称侧抑制机理，建立能感知径向运动行为量的计算模型；基于不对称侧抑制机理，建立平移方向抑制的行为量计算模型；借助方向柱的神经结构特性，设计能提取螺旋运动中旋转和径向运动的变化量计算模型，进而依据螺旋运动选择神经元的视觉响应机理设计检测螺旋运动模式的计算模型。理论分析表明，输入视频图像的分辨率以及方向选择抑制半径确定该算法的计算复杂度。基于不同场景下螺旋、非螺旋运动视频序列的比较性数值实验显示，该神经网络既能对螺旋运动选择神经元的视觉响应特性作特定解释，也能有效识别螺旋运动模式。 （4）针对视觉场景下人群逃逸行为的异常活动识别问题，基于蝗虫的小叶巨型运动检测神经元的视觉响应机理，建立能刻画视野域中人群行为特性的改进型蝗虫视觉神经网络，并借助动态阈值响应机制设计能检测人群异常行为的预警方案，获得人群异常行为检测与预警视觉神经网络。理论分析表明，经由此神经网络获得的算法的计算复杂度由输入视频的分辨率确定。基于UMN公共视频集的数值实验显示，此神经网络能有效刻画人群活动的行为特征且能预测即将发生的逃逸行为。

目录

第一章 绪论

1.1 研究背景

1.2 研究目的及意义

1.3 运动模式识别的研究进展

1.3.1 平移运动

1.3.2 径向运动

1.3.3 旋转运动

1.3.4 螺旋运动

1.4 论文结构安排

第二章 预备知识

2.1 蝗虫视觉神经系统

2.1.1 复眼的结构与功能

2.1.2 视叶的结构和功能

2.1.3 蝗虫的运动感知视觉通路

2.2 人工蝗虫视觉神经网络模型

2.3 基于LGMD的视觉运动感知神经网络

2.3.1 碰撞检测神经网络

2.3.2 方向选择神经网络

2.4 本章小结

第三章 旋转运动感知神经网络

3.1 旋转敏感神经元的视觉响应机理

3.2 旋转运动感知神经网络模型

3.2.1 突触前神经网络

3.2.2 方向柱

3.2.3 突触后神经网络

3.2.4 ccwRMPNN的算法描述

3.2.5 cw旋转运动感知神经网络

3.2.6 计算复杂度分析

3.3 数值实验与分析

3.3.1 实验环境与参数设置

3.3.2 旋转运动感知测试

3.3.3 神经网络的性能分析

3.3.4 灵敏度分析

3.3.5 神经网络比较分析

3.4 本章小结

第四章 深度旋转运动感知神经网络

4.1 深度旋转敏感神经元的视觉响应机理

4.2 深度旋转运动感知神经网络模型

4.2.1 突触前神经网络

4.2.2 突触后神经网络

4.2.3 DRPNN神经网络的模型结构与算法描述

4.2.4 计算复杂度分析

4.3 数值实验与分析

4.3.1 实验环境与参数设置

4.3.2 深度旋转感知测试

4.3.3 DRPNN的特性测试与分析

4.3.4 灵敏度分析

4.3.5 神经网络模型的比较分析

4.4 本章小结

第五章 螺旋运动感知神经网络

5.1 旋转运动选择神经元的视觉响应机理

5.2 螺旋运动感知神经网络模型

5.2.1 突触前神经网络

5.2.2 突触后神经网络

5.2.3 e-ccwSMPNN的模型结构与算法描述

5.2.4 其它类型螺旋运动感知神经网络

5.2.5 计算复杂度分析

5.3 数值实验与分析

5.3.1 实验环境与参数设置

5.3.2 螺旋运动感知测试

5.3.3 神经网络的特性测试与分析

5.3.4 灵敏度分析

5.3.5 神经网络模型的比较分析

5.4 本章小结

第六章 复杂场景下人群逃逸行为检测与预警

6.1 人群逃逸行为检测概述

6.2 LGMD神经元的视觉响应机理

6.3 人群逃逸行为检测神经网络模型

6.3.1 模型结构设计

6.3.2 人群逃逸行为预警方案

6.3.3 CEBDNN算法描述

6.3.4 计算复杂度分析

6.4 数值实验与分析

6.4.1 实验环境设置

6.4.2 CEBDNN的特性测试与分析

6.4.3 灵敏度分析

6.4.4 模型比较分析

6.5 本章小结

第七章 总结和展望

7.1 总结

7.2 工作展望

参考文献

附录一 攻读博士期间的科研成果

致谢

声明