基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法

摘要

本发明公开了基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法，其中涉及的基于减背景、帧差的果蝇攀爬检测方法，包括步骤：S1.获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型；S2.在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像；S3.分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果；S4.将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域；S5.对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。本发明基于减背景、帧差和Meanshift向量的果蝇攀爬检测、跟踪方法可以科学、准确、高效的解决果蝇攀爬实验的分析。

说明书

技术领域

本发明涉及果蝇检测技术领域，尤其涉及基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法。

背景技术

衰老是机体各组织、器官功能随着年龄增长而发生衰退变化的过程，是大自然所有生物体都面临的一个问题，同时伴随着各种疾病的发生各种生理指标的变化。果蝇生物生活习性简单易于饲养、生命周期短，成年果蝇具有功能相似于哺乳动物心脏、肺、肾、肠和生殖道等生物器官，也具有唤醒、睡眠、昼夜节律、学习记忆、喂养攻击、求偶繁衍、攀爬等复杂生物行为，因此成为许多科研工作者在研究衰老科学的首选模式生物。影响果蝇衰老的因素有很多，主要包括环境、神经、免疫炎症、营养发育、生物节律、内分泌等。科研人员则主要通过果蝇寿命长短、进食量、攀爬能力、生殖能力、抗应激实验、睡眠节律等指标观察记录和反映衰老信息。其中果蝇攀爬能力测试是常用的生物学研究方法。果蝇攀爬能力常常能够反映果蝇的生理指标，在细胞衰老、生物节律、新陈代谢等方面都有着重要的参考意义。

所谓果蝇攀爬能力实验：果蝇在一个垂直的空间内会自发向上运动，即具有反趋地性行为，果蝇攀爬能力实验就是利用果蝇这种特性，测试果蝇的运动能力。现阶段科研人员研究果蝇攀爬能力的方法源于Fang MB.Bender WW教授提出。开始的时候将果蝇轻轻摇到培养试管底部.一旦落到瓶底，果蝇开始沿壁上爬。攀爬特定时间间隔记录爬过标志线的果蝇数目，以多次测定爬过标志线的平均果蝇数目作为攀爬能力指标。

随着计算机技术理论和软硬件的迅速发展，计算机图像处理技术已经渗透到人类日常生活中和科学研究中。自信息时代以来，图像处理技术在生物医学工程方面的发展同样迅速，这对科研工作者研究和探索自然生物有着极其重要的影响和促进作用。目前，科研工作者主要通过显微镜等光学仪器采集和存储大量的生物医学工程观察图像，如细胞图像、CT图像、菌落图像、果蝇图像等。如果通过人工目测传统方法对这些图像数据进行定性定量分析得出科研结论，则会耗费大量的人工时间和相应的其他成本，是现阶段科研工作者研究生物图像的困难之一。

因此，本申请所要解决的技术问题是传统果蝇攀爬实验主要采用“直接观察法”，并不涉及数字图像处理技术，存在人眼疲脑和大量人工成本等问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法。

为了实现以上目的，本发明采用以下技术方案：

基于减背景、帧差的果蝇攀爬检测方法，包括步骤：

S1.获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型；

S2.在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像；

S3.分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果；

S4.将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域；

S5.对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。

进一步的，所述步骤S1中进行背景建模是利用统计平均法进行建模的。

进一步的，所述步骤S1中进行背景建模后还包括选取多帧图像，并计算选取的多帧图像的像素平均值。

进一步的，所述步骤S5中还包括对校正处理后的目标区域用形态学方法进行空洞填充和去噪处理，得到完整的目标区域。

进一步的，所述步骤S5中对得到的目标区域进行选择和校正处理具体为：

S51.确定到的目标区域，将所述目标区域全部作为待校正区域；

S52.计算每个待校正区域的外接矩形大小，并对每个待校正区域的外接矩形进行筛选处理，得到校正后的目标区域。

进一步的，所述步骤S52具体为：

S521.若某个待校正区域被另一个待校正区域的外接矩形完全互相包含、或两矩形框中心相交距离小于阈值T

S522.将剩余的待校正区域中外接矩形面积小于阈值T

S523.将经过步骤S231-S232处理后剩下的外接矩形作为校正后的目标区域。

进一步的，所述T

还提供基于Meanshift算法的果蝇攀爬跟踪方法，包括：

S1.获取果蝇攀爬的视频序列图像，并利用基于减背景、帧差的果蝇攀爬检测方法提取果蝇攀爬的目标区域，记录初始帧果蝇攀爬的目标模型概率密度q

S2.在当前帧建立搜索框，寻找当前果蝇攀爬的目标中心位置f

S3.计算当前目标模型直方图M

S4.基于Meanshift算法进行迭代，重复执行步骤S2，得到新一帧中果蝇攀爬的目标中心位置f

S5.计算新一帧目标模型直方图M

S6.判断|f

S7.判断相似度ρ

S8.进入下一帧，重复执行步骤S2-S7，依次检测每帧中图像的目标位置并跟踪。

进一步的，所述步骤S6中T

与现有技术相比，本发明基于减背景、帧差和Meanshift向量的果蝇攀爬检测、跟踪方法可以科学、准确、高效的解决果蝇攀爬实验的分析。

附图说明

图1是实施例一提供的一种基于减背景、帧差的果蝇攀爬检测方法流程图；

图2是实施例二提供的一种基于Meanshift算法的果蝇攀爬跟踪方法流程图；

图3是实施例二提供的Meanshift向量定义示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供了基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法。

实施例一

本实施例提供一种基于减背景、帧差的果蝇攀爬检测方法，如图1所示，包括步骤：

S1.获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型；

S2.在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像；

S3.分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果；

S4.将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域；

S5.对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。

在本实施例中，采用从中国科学院生物化学与细胞生物学研究所果蝇资源与技术平台购买的黑腹果蝇进行实验研究，黑腹果蝇基因型为W1118。该购买的黑腹果蝇饲养在杭州电子科技大学自动化学院生物医学工程实验室。

黑腹果蝇的培养与图像获取如下：

食物配方：玉米粉培养基(1000ml/L纯净水、10g/L琼脂、32.19g/L酵母、31.62g/L白砂糖、0.726g/L氯化钙、葡萄糖63.2g/L、77.7g/L玉米粉、15ml/L95％乙醇、4.5g/L对羟基苯甲酸乙酯)。

培养环境：智能人工气候箱(宁波莱福科技有限公司，中国)培养条件为25℃、60％湿度、白色灯光(12小时亮12小时暗)、光强500勒克斯。

培养过程：果蝇瓶中父母代：雌性15只，雄性10只；6-7天清空果蝇瓶；48小时收集实验果蝇；48小时充分交配；试管培养8-12天，每两天更换食物。

图像获取：将实验果蝇置于垂直的空指管内，适应5min，然后轻晃果蝇至指管底部，果蝇习惯性向上爬，同时利用图像采集设备采集果蝇攀爬图像。

在步骤S1中，获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型。

在本实施例中，获取视频序列，利用统计平均法进行背景建模，选取数帧图像(本实施例选取前5帧图像)，计算其像素平均值，作为背景模型，记为D(x，y)。

在步骤S2中，在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像。

在本实施例中，从视频序列中，随机选取连续两帧图像，记第i帧为F

在步骤S3中，分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果。

计算第i帧图像与背景帧的帧差F

在步骤S4中，将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域。

在本实施例中，将连续两帧的帧差结果做与运算，得到完整的运动目标区域。

在步骤S5中，对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。

在本实施例中，对步骤S4中提取出的目标前景图像进行校正和选择，包括步骤：

S51.确定已检测出的目标位置，全部作为待校正区域；

S52.计算每个待校正区域的外接矩形的大小，并对每个待校正区域的外接矩形进行筛选处理，得到校正后的目标区域。

设外界矩形框宽记为w，高为h，步骤S52具体包括：

S51.若某个待校正区域被另一个待校正区域的外接矩形完全互相包含、或两矩形框中心相交距离小于阈值T

S52.将剩余的待校正区域中外接矩形面积小于阈值T

S53.将经过以上步骤后剩下的外接矩形作为运动目标区域；

在本实施例中，步骤S5还包括对校正后的目标区域，用形态学方法进行空洞填充和去噪处理，得到完整目标区域。

在本实施例中，减背景法指预先建立一个背景模型，选取当前图像帧与背景模型逐一进行差分运算，利用差分结果提取运动目标区域的一种检测方法。其基本步骤是：首先，进行背景建模，即预先选定背景图像，或选取当前图像序列中的一帧，统计所有像素进行建模，即可得到背景模型F

其中，F

帧差分法是通过相邻帧或者相邻若干帧图像之间的像素灰度的差值来识别运动物体的。假设相邻两帧图像分别为I

选取某一帧图像，将当前帧图像分别与其前一帧图像、后一帧图像，做差分运算：

D

D

D

F(x,y)＝D

预先设定阈值T

二值化处理后就可以将目标和背景区分开来：1表示该像素点在不同帧或不同时刻的灰度值发生了较大变化，说明存在于运动物体中；0表示该像素点的灰度值没有变化或变化很小，说明该像素点没有存在于运动物体中，即存在于背景中。T

背景差分法的优点是：算法容易实现，其检测结果能直观反映运动目标位置，大小，数量。但在实际过程中，通常需要考虑实际情况，确定阈值。该算法不适用于高速、变化的背景的情况，易受到光线、噪声的影响。帧差分法的优势是能很好地适应动态背景下的目标检测，算法灵敏度较高，且算法原理简单，易实现。缺点是检测效果依赖所选取的帧间隔与阈值，若选取的帧间隔或阈值过大，易出现丢失目标的情况；若帧间隔过小，阈值过小，容易出现空洞问题。

对于目标跟踪领域，跟踪速度和精度是研究人员都必须考虑的性能问题。近些年深度学习开始应用于视觉目标跟踪领域，该类算法能够利用深度卷积网络更好的对目标特征进行提取，获得了较好的跟踪精度，但是由于网络的大量数据训练和算法复杂度，使得无法满足实时性能的要求，而且对硬件设备的要求较高，因此果蝇攀爬目标跟踪算法模块基于工程性能方面的考虑，不采用具有卷积网络的目标跟踪算法。本实施例选择对Meanshift目标跟踪算法进行研究和改进，使之应用到本文的视频目标实时跟踪系统。算法是基于核密度估计的爬山算法，可用于聚类、图像分割、跟踪等。Meanshift目标跟踪算法因其计算量低、实现容易、实时性好、稳定性高等优点，近年来得到了国内外诸多研究人员和学者的广泛青睐。因此，Meanshift目标跟踪算法得到了很大的改进，适用范围也越来越广，尤其是现在发展迅猛的人工智能领域。基于Meanshift的目标跟踪算法的实质是一种梯度下降算法，算法通过进行迭代直到收敛到相似性函数的局部极大值点。

核函数和Meanshift向量是Meanshfit目标跟踪预备知识。核函数定义：假设存在一个高维的欧式空间X，空间内点x，其模为||x||2＝xTx，R为实数域。若对于函数K:X→R，存在剖面函数k∈[0,∞]→R，使得：

K(x)＝k(||x||

若K(x)满足：(1)k是非负函数；(2)k是非增函数；(3)k是分段连续函数，满足∫k(r)dr<∞，则K(x)为核函数。在核密度估计理论中，核函数一般起到平滑作用。

本实施例基于减背景、帧差法的果蝇攀爬检测方法可以科学、准确、高效的解决果蝇攀爬实验的分析。

实施例二

本实施例提供一种基于Meanshift算法的果蝇攀爬跟踪方法，如图2所示，包括：

S1.获取果蝇攀爬的视频序列图像，并利用实施例一的基于减背景、帧差的果蝇攀爬检测方法提取果蝇攀爬的目标区域，记录初始帧果蝇攀爬的目标模型概率密度q

S2.在当前帧建立搜索框，寻找当前果蝇攀爬的目标中心位置f

S3.计算当前目标模型直方图M

S4.基于Meanshift算法进行迭代，重复执行步骤S2，得到新一帧中果蝇攀爬的目标中心位置f

S5.计算新一帧目标模型直方图M

S6.判断|f

S7.判断相似度ρ

S8.进入下一帧，重复执行步骤S2-S7，依次检测每帧中图像的目标位置并跟踪。

在本实施例中，采用的Meanshift算法具体为，Meanshift向量：假设存在一个d维空间R

Meanshift向量的基本形式定义为：

其中，S

S

其中，h为半径；k表示落在S

Meanshift向量定义理解为：如图3所示，假设大圆区域为高维球面，用S

基于Meanshift的目标跟踪算法，首先建立目标模型，利用检测算法获得目标区域后，提取目标区域的灰度直方图作为统计模型。然后在后续帧中进行搜索，利用目标模型中的相关信息获取候选模型。测量目标模型和候选模型的相似性，获得最可靠的目标位置。最后根据目标位置获得Meanshift向量，开始迭代，搜索下一帧候选模型位置，实现跟踪目的。

目标模型的描述：利用果蝇目标检测算法进行前景分割来提取初始帧中的运动目标区域。假设已提取运动目标区域中，像素个数为n，像素位置为{z

其中：z

候选模型描述：在第t帧图像中，以上一帧目标中心位置f0为搜索框中心，h为半径。建立搜索框，在候选区域进行搜索，得到当前帧目标中心位置f。计算候选区直方图，其概率密度pu(f)为：

其中：h表示核函数窗口半径，它对p

相似函数度量：相似性函数的作用是度量目标模型与候选模型的相似度。通常相似性函数为巴氏距离，用ρ表示，当目标模型的概率密度q

相似性系数值ρ(p，q)越大，表示两个模型具有较高的相似度。可以认为，以前一帧目标中心位置f

Meanshift迭代：Meanshift迭代过程，也是目标中心位置搜索过程，将上述ρ(p，q)式进行泰勒展开，得到：

其中权重系数ω

g(x)＝-K’(x)

Meanshift即从某一点fk起在两帧图片中遍历和匹配的过程，通过寻找两个灰度或颜色概率密度变化最大的目标模型，当得到中心点距离小于一定的阈值的两个模型，即认为找到了当前帧的目标区域，以目标区域中心作为搜索窗中心，重复以上步骤，寻找下一帧的目标位置。这个过程每两帧之间都会产生一个Meanshift向量，整个过程的Meanshift向量连起来就是目标的运动路径。

本实施例基于减背景、帧差和Meanshift向量的果蝇攀爬检测、跟踪方法可以科学、准确、高效的解决果蝇攀爬实验的分析。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。