分布式移动农业病虫害信息采集与诊断系统及嵌入式相机

摘要

本发明公开了一种分布式移动农业病虫害信息采集与诊断系统及嵌入式相机。系统包括便携式图像采集终端和图像处理服务器，图像采集终端和服务器进行分布式运算，协同完成农业病虫害图像诊断任务；移动掌上设备通过局域网同步浏览嵌入式相机所拍摄的场景，并控制嵌入式相机的拍摄；所述的嵌入式相机包括图像采集模块、JPEG编码模块、无线网卡控制模块、相机控制模块、H.264编码模块、RTSP/RTP视频传输模块、环境信息采集及写入模块、图像预处理模块和特征提取模块；所述的图像处理服务器包括农业病虫害诊断模块、农业病虫害信息记录模块和信息反馈模块。本系统减少了通信，减轻了服务器运算负担，同时保证了农业田间病虫害信息的实时采集、分析和诊断。

说明书

技术领域

本发明属于数字图像处理的应用领域，具体涉及一种分布式环境下的农业病虫害信息采集与诊断系统及嵌入式相机。

背景技术

农业病虫害信息采集是测报的第一步，其实时性、准确性和智能化程度影响着病虫害测报的时效性、准确性和植保队伍的稳定。目前，全国农业重大病虫害测报信息的调查采集主要采取虫情测报灯观测、病虫观测场系统调查和农业现场普查相结合的方式获得，大部分数据都要通过测报技术人员深入农业现场调查计数，回到办公室整理后才能形成可上报的数据。由于农业病虫害测报的项目多、内容全、取样多，任务重、时间长，且工作待遇偏低，导致测报队伍不稳，测报数据不精确、不及时、不全面，具有很大的主观性，阻碍了重大病虫害监测预警能力的提高。现有的测报调查技术的研究和农业病虫害信息采集仪器的研制严重滞后，已成为阻碍测报工作发展的突出问题。由于农业病虫害图像能够客观的提供病虫害信息，许多研究人员致力于研究基于图像的农业病虫害智能识别和诊断技术在农业病虫害测报中的应用。但由于研究目的和研究对象的不同，其农业病虫害图像采集的手段和工具也不尽相同。①用数码相机或工业相机在田间或实验室来获取农业病虫害图像，目的是为了研究农业病虫害自动识别或诊断的算法，一般能获得较好的识别结果；数码相机仅仅是辅助拍摄病虫害图像的工具，作为农业现场病虫的测报工具仍有很多不便之处。②把网络摄像头架设在农业现场，通过有线或无线传输视频或图像到后台服务器，以便实时监测农业现场病虫害的发生情况。由于受通信成本、传输速率的影响，一般图像的分辨率不高，且整套系统价格较贵。另外，由于农业现场环境比较复杂，农业病虫害的识别、诊断和监测预警仍需要人工参与。③使用专用的便携式农业图像采集仪到农业现场进行病虫害图像的采集，但大部分图像传感器的分辨率较低，一般在500万像素以下，在复杂的农业环境背景下，用较低像素的图像来识别和诊断相似的病虫害和较小的害虫和病斑效果较差；这些便携式图像采集仪通过无线传输图像数据需要花费较多的通信资费，同时在服务器端处理来自多个采集仪的图像，加重了服务器运算负担，影响农业病虫害诊断的实时性。

在农业病虫害测报时，测报技术人员经常需要低头弯腰来调查发生在农作物茎基部的病虫害或踮脚抬头来调查果树病虫害，从而使测报技术人员容易感觉疲劳，工作效率低下，调查的数据容易出错和不准确，影响测报的实时性和准确性，大大降低了测报技术人员的积极性。但上述的这些图像采集设备无法使测报人员便捷地采集到人手和视线难以企及部位的病虫害图像。

发明内容

为实现上述目的，本发明提供一种分布式移动农业病虫害信息采集与诊断系统及嵌入式相机，所采用的技术方案是：

一种分布式移动农业病虫害信息采集与诊断系统，包括便携式图像采集终端和图像处理服务器，图像采集终端和服务器进行分布式运算，协同完成农业病虫害图像诊断任务；

其中，所述的图像采集终端包括嵌入式相机、移动掌上设备和手持杆，嵌入式相机置于手持杆前段，嵌入式相机和移动掌上设备组建成局域网，移动掌上设备通过局域网同步浏览嵌入式相机所拍摄的场景，并控制嵌入式相机的拍摄；所述的嵌入式相机包括图像采集模块、JPEG编码模块、无线网卡控制模块、相机控制模块、H.264编码模块、RTSP/RTP视频传输模块、环境信息采集及写入模块、图像预处理模块和特征提取模块；所述的图像处理服务器包括农业病虫害诊断模块、农业病虫害信息记录模块和信息反馈模块。

所述的嵌入式相机内置GPU和CPU，所述的GPU运行所述的图像预处理和特征提取模块，(其余模块可以交由相机的CPU处理或者由GPU处理更多的模块)；服务器端通过无线网络接收来自嵌入式相机的数据包，服务器CPU根据数据包运行农业病虫害诊断模块、环境信息记录模块和信息反馈模块。

所述的图像采集模块通过调用Linux的V4l2图像编程接口及其扩展接口，依次完成图像采集设备的选择、图像采集设备的分辨率设定、嵌入式芯片ISP设备的输入分辨率、V4L2图像帧大小及缓冲帧队列的长度、采集图像的YUV格式、获取图像帧的地址映射模式步骤；在此基础上，打开V4L2图像流采集开关，并从图像帧缓冲队列内取出特定YUV格式图像帧数据，从而完成农业病虫害原始图像的采集；

所述的JPEG编码模块将开放源代码jpeglib编码库移植到嵌入式相机中，JPEG编码模块依次调用该编码库的初始化、参数设置、编码等函数完成对YUV图像的编码，完成对原始图像的JPEG编码；

所述的无线网卡控制模块实现WiFi网卡slave到master模式的切换、设置软App接入点名称及密码并启动App认证服务器、启动DHCP服务器、为接入移动掌上设备分配IP地址和设置本软App的路由转发规则功能。

所述的相机控制模块将在固定socket端口监听移动掌上设备App控制命令的到来，一旦收到移动掌上设备App的连接请求即建立专用于控制命令传输的TCP长连接，接收移动掌上设备发来的各种控制命令，并根据命令内容控制相机并发地执行相关操作；相机控制命令包括相机状态查询（包括SD卡余量、电池余量、GPS信息）、SD卡格式化、原始图像传输至移动掌上设备、拍照、时间设定和获得SD卡照片文件名列表。

所述的嵌入式相机中的H.264编码模块首先设定编码器的各项参数，包括输入图像的YUV格式、视频的分辨率、视频的帧率、关键帧出现的频率、编码器的比特率，再以这些配置好的参数打开编码器，然后将内存对齐的YUV图像数据输入编码器，最后执行编码器编码函数，完成对YUV图像的H.264编码，并在固定的地址空间上获得编码后的H.264视频帧数据；

所述的嵌入式相机中的RTSP/RTP视频传输模块构建一个符合标准RTSP/RTP实时流媒体传输协议的服务器来浏览嵌入式相机的拍摄场景，场景图像信息在经过H.264硬件编码器压缩后，即刻被与之共享内存的RTP发送模块获得，并根据该视频的长度及大小打包后发送给移动掌上设备APP播放。

所述的嵌入式相机中的环境信息采集及写入模块完成农业地理环境信息采集，包括GPS地理位置信息、农业环境的温湿度信息；GPS信息采集由定时器驱动完成，系统将定时的更新当前GPS的经度、纬度、速度、高度及GPS时钟信息，当系统完成了图像的JPEG编码后，GPS信息采集及写入模块将把当前的GPS信息遵照EXIF格式连同编码后的JPEG数据写入JPEG文件内。

所述的图像预处理模块根据不同的农业病虫害图像选择不同的预处理方法；所述的图像特征提取模块根据不同的农业病虫害图像提取不同的全局特征和局部特征，减小了通信信息量，减小了服务器端的负载，提高了农业病虫害信息的实时处理能力。

所述的移动掌上设备实现的功能模块主要包括播放器模块、视频和图片浏览器模块、网络模块和相机控制模块。

所述的服务器端的农业病虫害诊断模块包括农业病虫害的诊断模型和专家系统，当服务器通过无线网络接收来自每个图像采集端的嵌入式相机的数据包，提取数据包中的农业病虫害图像特征信息和农业地理环境信息，通过农业病虫害诊断模块实现农业病虫害的分析和诊断。

所述的服务器端的农业病虫害信息记录模块实现历史记录的存储与保持，将农业病虫害诊断模块的诊断结果与地理信息进行保存，主要记录的数据包括拍照时间、GPS地理信息、病虫类别以及数量、农业环境信息，实现历史信息的记录。

所述的服务器端的信息反馈模块将农业病虫害诊断结果和防治信息反馈到对应的移动掌上设备上。

一种分布式移动农业病虫害信息采集与诊断嵌入式相机，

所述的嵌入式相机包括图像采集模块、JPEG编码模块、无线网卡控制模块、相机控制模块、H.264编码模块、RTSP/RTP视频传输模块、环境信息采集及写入模块、图像预处理模块和特征提取模块；

所述的嵌入式相机内置GPU和CPU，所述GPU和CPU处理输出数据包，所述的GPU运行所述的图像预处理和特征提取模块;

所述的图像预处理模块根据不同的农业病虫害图像选择不同的预处理方法；所述的图像特征提取模块根据不同的农业病虫害图像提取不同的全局特征和局部特征；

所述的环境信息采集及写入模块完成农业地理环境信息采集，包括GPS地理位置信息、农业环境的温湿度信息；GPS信息采集由定时器驱动完成，系统将定时的更新当前GPS的经度、纬度、速度、高度及GPS时钟信息，当系统完成了图像的JPEG编码后，GPS信息采集及写入模块将把当前的GPS信息遵照EXIF格式连同编码后的JPEG数据写入JPEG文件内。

本发明的上述技术方案相比现有技术具有以下特点：

所述的一种分布式移动农业病虫害信息采集与诊断系统，它包括便携式图像采集终端和图像处理服务器组成的分布式系统。其中，图像采集终端包括嵌入式相机、配置控制App的移动掌上设备和手持杆；系统通过混合异构方式利用嵌入式相机中的GPU、CPU和服务器CPU分布式运算，协同完成农业病虫害图像诊断任务，减少了通信资费和减轻了服务器运算负担，保证农业病虫害图像数据的快速实时处理。农技人员通过移动掌上设备浏览手持杆前端的嵌入式相机图像，并控制相机的拍摄，可以在农业现场便捷地采集到人手和视线难以企及部位的农业病虫害图像。

附图说明

图1是分布式移动农业病虫害信息采集与诊断系统结构示意图；

图2是系统原理图；

图3是嵌入式相机采集信息处理流程图；

图4是农业病虫害图像背景分割前和分割后示例图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，一种分布式移动农业病虫害信息采集与诊断系统包括多个便携式图像采集终端和一个图像处理服务器组成，其中每个图像采集终端包括嵌入式相机、手持杆和配置控制APP的移动掌上设备。移动掌上设备采用Pad、手机或微型笔记本等；手持杆可根据农业病虫害采集位置进行伸缩；嵌入式相机一般置于手持杆前段。

如图2所示，嵌入式相机CPU运行图像采集模块、JPEG编码模块、无线网卡控制模块、相机控制模块、H.264编码模块、RTSP/RTP视频传输模块和环境信息采集及写入模块；嵌入式相机GUP运行图像预处理模块和特征提取模块；服务器CPU运行农业病虫害诊断模块、农业病虫害信息记录模块和信息反馈模块。本系统以混合异构的方式将相机GPU、CPU和服务器CPU协调处理各种算法，实现相机和服务器分布式运算。

如图3所示，嵌入式相机工作流程。首先，打开视频设备文件，进行视频采集的参数初始化，通过V4L2接口设置视频图像的采集窗口、采集的点阵大小和格式；然后，申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取/处理视频数据；其次，将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集；这时，驱动开始视频数据的采集，应用程序从视频采集输出队列取出帧缓冲区，处理完后，将帧缓冲区重新放入视频采集输入队列。在拍照过程的同时获取GPS信息，通过libexif以及libjpeg获得生成JPEG图像，然后，对JPEG图片进行图像处理，包括背景分割和特征提取；最后，生成农业病虫害数据包，即农业病虫害特征数据和农业环境数据。

所述的嵌入式相机如果不成为分布式移动农业病虫害信息采集与诊断系统的一部分，也可以单独工作，此种用途对于本领域技术人员来说是显而易见的。

实施例

本发明的分布式移动农业病虫害信息采集与诊断系统一般步骤如下：

（1）农技人员在农业现场，一手手持图像采集终端的手持杆，一手手持移动掌上电脑，在这个实施例中我们采用手机；根据农业病虫害采集目标的位置调节手持杆的长度，并将手持杆前端的嵌入式相机靠近要采集的农业病虫害位置。利用本专利的便携式图像采集终端，农技人员无需低头弯腰来调查发生在农作物茎基部的病虫害或爬梯来调查果树病虫害，只需在自然站立情况下通过手持杆的伸缩，就可以通过手机预览和采集到手和视线较难到达的农业病虫害部位的图像。该专利提高了农技人员的工作效率，减轻身体疲劳和不适，提高调查数据的准确性和测报的实时性，调动了农技技术人员的积极性。

（2）嵌入式相机和手机通过软App或Wi-FiDirect技术建立无线连接。嵌入式相机启动后将采集SD卡余量、电池余量、GPS位置等状态信息，并在收到显示端App发出的“上报”命令后将上述状态上报至手机。

（3）用户打开手机App后，手机将开启一个RTSP客户端和一个RTP服务器，并向相机下发RTSP视频预览命令，相机收到命令后将初始化CMOS图像传感器并设定硬件视频编码器参数，然后控制CMOS图像传感器采集图像信息，并将图像信息送入硬件编码器编码成H.264视频帧，最后将视频帧封装到RTP数据包内发送到手机端RTP服务器。手机端App在收到RTP数据包后，从RTP数据包内提取出H.264视频帧并送入H.264解码器，最后将解码后的视频显示到手机播放界面上。用户根据预览视频选定要拍摄的场景后，在手机端App按下拍照按钮，手机端App将向相机发出拍照命令，相机收到拍照命令后重新将CMOS图像传感器设定到高清分辨率，中断视频预览功能，然后将采集到的图像进行JPEG压缩；系统将定时的更新当前GPS的经度、纬度、速度、高度及GPS时钟信息，当系统完成了图像的JPEG编码后，GPS信息采集及写入模块将把当前的GPS信息遵照EXIF格式连同编码后的JPEG数据写入JPEG文件内。该部分程序运行于相机的CPU。

（4）嵌入式相机的图像预处理模块将采集到的农业病虫害图像进行图像预处理，实现病虫害区域的提取；不同的病虫害对应不同的预处理算法，主要包括基于颜色特征的背景去除、基于显著性检测的背景分割方法、基于图割的背景分割方法和基于OSTU的图像分割方法等；该部分算法运行于相机的GPU。本实施例对水稻田间采集到的病斑、水稻害虫为害状和水稻害虫进行了背景分割，分割效果如图4所示。

（5）嵌入式相机的图像特征提取模块将分割后得到的农业病虫害区域提取病虫害的图像特征；图像特征包括全局特征和局部特征的提取；全局特征包括颜色特征、纹理特征和形态特征，局部特征包括HOG特征，LBP特征，Haar-like特征等；不同的病虫害对应不同的图像特征提取算法，根据采集到的农业病虫害图像具体类型，选择相对应的图像特征提取算法；该部分算法运行于相机的GPU。

（6）嵌入式相机通过无线网络发送农业病虫害图像特征信息和农业地理环境信息的数据包，服务器接收到数据包后，通过不同种类的农业病虫害诊断模块和专家系统实现该病虫害的分析和诊断。

（7）服务器端的农业病虫害信息记录模块记录拍照时间、GPS地理信息、病虫害诊断结果、农业环境（温湿度）等信息，实现历史信息的记录。

（8）服务器端的信息反馈模块将农业病虫害诊断结果和防治信息反馈到对应的移动掌上设备上。

（9）本系统将农业病虫害图像预处理和特征提取算法从服务器迁移到嵌入式相机内，嵌入式相机只需将图像特征数据发送至服务器，服务器对数据包进行处理，反馈农业病虫害诊断结果和防治信息。目前用于农业现场病虫害监测的网络摄像头，通过有线或无线传输农业现成的视频或图像到后台服务器，仍需要通过人工参与识别和诊断农业病虫害图像；此外，固定的摄像头采集到的图像一般是农作物冠层的病虫害信息，无法采集到农作物下部的病虫害。专用的便携式农业图像采集仪，存在分辨率较低的问题，一般在500万像素左右；同时，采集到的图像需要人工诊断或上传到服务器进行图像处理和专家系统识别，加重了服务器运算的负担。本实施例中对水稻病虫害进行了全局特征和局部特征的提取，数据量从2M左右降低为5-100K左右。每个图像采集终端每天采集的图像可能多达几十张到上百张图片，让图像采集终端对图像进行预处理和特征提取，只发送图像的特征数据，大大减少了移动资费，减轻了图像服务器的功耗及运算负担。