基于DaVinci架构和嵌入式图像检测技术的在线型号识别仪

摘要

本发明提出一种基于DaVinci架构和嵌入式图像检测技术的在线型号识别仪，包括双目识别结构的主设备和从设备、图像采集设备、自适应光源、声光报警器及用户操作设备，主设备和从设备各连接有一个图像采集设备，主设备还连接有自适应光源和声光报警器，从设备还连接有用户操作设备；图像采集设备用于采集当前生产线上待识别物体的图像，生成复合视频，主设备和从设备对各自所连接的图像采集设备所采集的复合视频信号进行图像识别，本发明识别仪适应工业现场环境，可在任何外界光线条件下采集到优质图像，具有很高的字符识别率，硬件高度集成，资源充分利用，具有很好的灵活性。

说明书

技术领域

本发明属于自动化检测领域，涉及嵌入式图像特征提取的检测领域，具体涉及一种基于 DaVinci架构和图像检测技术的嵌入式在线型号识别仪。

背景技术

现如今，利用图像识别完成检测功能的产品或技术已很普遍。其中，一部分图像识别系 统，例如车牌识别，对图像的清晰度、分辨率和图像畸变度等质量要求很高，并且要求图像 采集速度快，图像需压缩并保存，其前端一般使用高速数字摄像机，处理终端一般使用高性 能计算机，可以看出此类系统对设备性能要求较高，但实际工作环境一般较恶劣，不易做到 高识别率、低成本和集成化；另一部分图像识别系统，例如设备图像探伤，一般用嵌入式系 统实现，但普通的嵌入式设备受工作主频限制，数据处理速度较低，虽可实现集成化和小型 化，但系统的实时性难以保证。因此传统的图像检测系统都存在缺乏灵活性、集成性，成本 较高，资源浪费，或者缺乏实时性，数据吞吐量较小的问题。

一旦系统任务既对图像质量、数据吞吐量和系统实时性提出较高要求，同时也要求系统 具有灵活性和集成性，传统的图像检测系统则不能满足需求。基于DaVinci架构的 ARM+DSP双核协处理器具有工作主频高，数据处理速度快等优势，成为解决此问题的首选 硬件。DaVinci架构主要用于解决ARM(Advanced RISC Machines)与DSP(Digital  Signal Processor，数字信号处理器)或协处理器之间的通讯、内存管理及任务调度等问题。 在DaVinci结构体系下，ARM处理器负责图像采集、内存管理等，DSP负责图像识别算法 的集成。

工业生产过程中伴随着各种生产线工艺，对于某些产品来说，特定生产线只能生产特定 型号的产品，因此，产品型号必须经过严格的检查，方可进入生产线。目前生产线上的型号 检测工作大多由人工目测完成的，在大量重复的劳动下出现判断失误在所难免，因此，利用 集成化的高质量图像检测系统代替人工快速、准确的进行产品型号的检测，对控制产品质量 有重大意义。目前，针对此类问题的图像检测系统涉及到的技术主要包括基于单核处理器的 嵌入式技术、图像采集技术及图像处理技术。其中，图像处理技术中包括图像识别算法，成 熟的图像识别算法有很多，如模板匹配、神经网络、支持向量机等，但优秀算法计算量普遍 较大，不适用于嵌入式等低速设备，因此嵌入式图像检测系统一般都根据系统任务的不同自 主开发算法，以适应任务的需要。

发明内容

本发明为解决生产线上产品型号在线识别问题，提出一种基于DaVinci架构和嵌入式图 像检测技术的在线型号识别仪，集成了用户操作接口、自适应光源、图像采集、视频触发、 图像识别、双目数据融合、日志记录及声光报警等功能。

本发明的基于DaVinci架构和嵌入式图像检测技术的在线型号识别仪，包括双目识别结 构的主设备和从设备、图像采集设备、自适应光源、声光报警器及用户操作设备，主设备和从 设备各连接有一个图像采集设备，主设备还连接有自适应光源和声光报警器，从设备还连接有 用户操作设备；图像采集设备用于采集当前生产线上待识别物体的图像，生成复合视频信号， 两个图像采集设备采集图像的角度不同。

主设备和从设备都包含有一个底板和一个OMAP3530核心板，OMAP3530核心板通过 B2B接口安装在对应的底板上；主设备和从设备的底板都包括视频解码电路和视频数据总线， 主设备的底板还包括声光报警驱动电路和自适应光源控制器，从设备的底板还包括用于连接用 户操作设备的接口电路；主设备和从设备的OMAP3530核心板上所加载的功能模块相同，都 包括：ARM端图像采集驱动程序模块、ARM端应用程序模块、双核通讯服务器模块和DSP 端图像识别模块。

主设备和从设备对各自所连接的图像采集设备所采集的复合视频信号进行图像识别的过 程相同，具体是：视频解码电路中的专用视频解码器通过BNC接口接收所连接的图像采集设 备发送来的复合视频信号，经A/D转换后获得数字图像，ARM端图像采集驱动程序模块通过 视频数据总线采集所获得的数字图像并传送给ARM端应用程序模块，ARM端应用程序模块 将数字图像和设置的系统参数封装成符合DaVinci结构的标准接口，通过双核通讯服务器交 给DSP核加载的DSP端图像识别模块进行图像识别；所述的系统参数，包括当前生产线上的 产品型号及DSP端图像识别模块中的图像识别算法的光学参数，由用户通过用户操作设备设 置。

从设备的DSP端图像识别模块将图像识别结果发送给主设备的DSP端图像识别模块，主 设备的DSP端图像识别模块结合从设备的图像识别结果，综合出最终的图像识别结果，并根 据最终的图像识别结果，判断当前待识别物体的产品型号是否为当前生产线上的产品型号，若 是，则不作处理，若不是，则通过声光报警驱动电路控制声光报警器报警。

主设备还根据工作环境的光线条件，通过自适应光源控制器自动调节自适应光源的强弱。

本发明的优点和积极效果在于：

(1)硬件高度集成，资源充分利用，本发明识别仪具有很好的灵活性；

(2)本发明识别仪基于DaVinci框架设计，具有很好的可移植性和扩展性；

(3)适应工业现场环境，可在任何外界光线条件下采集到优质图像，具有很高的字符识 别率；

(4)兼顾系统集成性和处理能力，通过硬件的选型和软件的优化，本发明提出了一个合 理的优化解决方案，有效缓解了二者的矛盾。

附图说明

图1为本发明的嵌入式在线型号识别仪的总体结构框图；

图2为本发明在生产线上的安装示意图；

图3为本发明的嵌入式在线型号识别仪的主、从设备的结构示意图；

图4为本发明的DSP端图像识别模块中图像识别方法的过程图；

图中：

1-主设备            2-从设备              3-第一图像采集设备

4-自适应光源        5-声光报警器          6-矩阵键盘

7-第二图像采集设备  101-主设备的底板  102-主设备的OMAP3530核心板

103-第一图像采集驱动程序模块  104-第一ARM端应用程序模块

105-第一双核通讯服务器模块  106-第一DSP端图像识别模块  107-第一视频解码电路

108-第一视频数据总线  109-声光报警驱动电路  110-自适应光源控制器

201-从设备的底板  202-从设备的OMAP3530核心板  203-第二图像采集驱动程序模块

204-第ARM端应用程序模块  205-第二双核通讯服务器模块

206-第DSP端图像识别模块    207-第二视频解码电路  208-第二视频数据总线

209-矩阵键盘接口电路

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于DaVinci架构和嵌入式图像检测技术的在线型号识别仪器，如图1所 示，包括主设备1和从设备2。本发明实施例中的用户操作设备采用矩阵键盘来实现。如图1 所示，主设备1连接第一图像采集设备3、自适应外补光源4及声光报警器5，从设备2连接 有矩阵键盘6和第二图像采集设备7。主设备1和从设备2都包含有一个底板和一个 OMAP3530核心板。主设备的OMAP3530核心板102和从设备的OMAP3530核心板202 的结构相同，OMAP3530核心板102、202都通过B2B接口安装在对应的主、从设备的底 板101、201上。OMAP3530核心板具有OMAP3530嵌入式处理器，由ARM和DSP 核构成，并加载有系统软件。用户操作设备可是矩阵键盘、拨码开关、或者触摸屏等，本发明 实施例中采用矩阵键盘。

进行双目识别的两套设备分别定义为主设备1和从设备2，是根据主、从设备的底板完成 的任务不同定义的。主设备的底板101和从设备的底板201为本发明的主要硬件部件，两套 底板101、102共同堆叠安装在集成仪器箱中。主设备的底板101主要负责主设备的图像采 集、声光报警的控制及外补光源的自适应调节，从设备的底板201主要负责从设备的图像采 集和接受用户设定系统参数。主设备的OMAP3530核心板102和从设备的OMAP3530核 心板202各自包含OMAP3530双核处理器，由ARM和DSP双核组成，其上运行的程序模 块为本发明的主要软件部件。

如图2所示，本仪器需识别的产品随生产线运动，具有圆柱形、快速运动、无规律旋转和 处于复杂背景中等特点，若旋转角度过大，则可能导致产品型号字符离开视场而无法识别，为 解决该问题，本发明的识别仪采用具有20°～40°夹角的两套设备进行双目识别的结构，并 采用特殊算法滤除复杂背景，将双目识别结果进行数据融合，提高极端情况下的产品型号的识 别率。图2中，主设备1的第一图像采集设备3采集图像的方位与从设备2的第二图像采集 设备7采集图像的方位具有30度夹角。

如图3所示，从设备OMAP3530核心板202上加载的软件模块主要包括：第二ARM端 图像采集驱动程序模块203，第二ARM端应用程序模块204，第二双核通讯服务器模块205， 第二DSP端图像识别模块206。从设备底板201主要包括的模块包括：第二视频解码电路 207，第二视频数据总线208和矩阵键盘接口电路209。矩阵键盘接口电路209外接矩阵键 盘6，用户可通过矩阵键盘6设置系统参数，包括当前生产线上待识别产品的型号及图像识别 算法的光学参数等。第二视频解码电路207中的专用视频解码器通过BNC接口(Bayonet Nut  Connector，同轴电缆接插头)接收第二图像采集设备7发送来的复合视频信号，经A/D转 换后获得特定格式的数字图像，然后通过第二视频数据总线208被ARM核加载的第二图像采 集驱动程序模块203采集，第二ARM端应用程序模块204将采集的数字图像和设置的系统 参数封装成符合DaVinci结构的标准接口，通过第二双核通讯服务器205交给DSP核加载的 第二算法程序模块206进行图像识别，并将识别结果发送给主设备1。

主设备OMAP3530核心板102加载的软件模块主要包括：ARM端的第一图像采集驱动 程序模块103，第一ARM端应用程序模块104，第一双核通讯服务器模块105，第一DSP 端图像识别模块106。主设备底板101主要包括的模块有：第一视频解码电路107，第一视 频数据总线108，声光报警驱动电路109和自适应光源控制器110。第一视频解码电路107 中的专用视频解码器通过BNC接口接收第一图像采集设备3发送来的复合视频信号，经A/D 转换后获得特定格式的数字图像，然后通过第一视频数据总线108被ARM核加载的第一图像 采集驱动程序模块103采集，第一ARM端应用程序模块104将得到的数字图像封装成符合 DaVinci结构的标准接口，通过第一双核通讯服务器105交给DSP核加载的第一DSP端图 像识别模块106进行图像识别，结合从设备2的识别结果，综合出最终的处理结果，第一ARM 端应用程序104根据处理结果产生相应的操作指令，通过声光报警驱动电路109控制声光报 警器5是否报警。声光报警驱动电路109由OMAP3530的GPIO(General Purpose  Input/Output，通用输入输出)口、三极管及继电器组成。在仪器工作环境恶劣，环境光源 随时间、天气和季节变化较大的情况下，通过设置自适应光源控制器110，根据环境光源自动 调节外置自适应光源4的强弱，以使得本仪器能够正常工作。

本发明解决了工业生产线上产品型号的在线识别，为保证在线识别方法通用性，将待识别 的产品型号作为系统参数，由用户设定，系统可通过矩阵键盘6在应用程序开始阶段接受用户 输入的产品型号，程序确认型号后进行后续操作。

本发明应用在工业现场环境，工作环境较为恶劣，图像采集所需的光线条件不稳定，仪器 需根据环境光线条件通过自适应光源控制器110自动调节自适应光源4的强弱。实施方法如 下：采用高精度光敏电阻感光，通过ARM的A/D功能定时采集光敏电阻阻值，根据不同光 强条件下实验所得的分段线性化光强系数，动态调节数字电位计的阻值，控制自适应光源4的 强弱，从而使光线实时满足图像采集的需求。

本发明在某生产线上出现错误型号的产品时，必须进行报警。声光报警驱动电路109实 施方式如下：GPIO口经电阻接三极管的基极，三极管射集接地，集电极与电源之间串接继电 器的输入端，继电器的输出端接声光报警器；OMAP3530根据报警指令产生GPIO控制信号， 经三极管作一级放大驱动继电器闭合，使声光报警器接通报警；三极管电流放大系数β＝40， 饱和状态时的电流大约为40mA，继电器输入端线圈内阻为320Ω，GPIO电平为1.8V，电 源为12V；以上参数组合，随着控制信号的变化，三极管可稳定工作在开关状态。

主设备的OMAP3530核心板102与从设备的OMAP3530核心板202上运行的功能模 块相同，都包括图像采集驱动程序模块、ARM端应用程序模块、双核通讯服务器模块、以及 DSP端图像识别模块，其中图像采集驱动程序模块和ARM端应用程序模块是运行在嵌入式 Linux操作系统之上的。图像采集驱动程序模块主要完成对数字视频信号的采集，ARM端应 用程序模块主要实现图像数据传输、双目数据融合、系统日志记录及报警指令产生。双核通讯 服务器模块，主要实现DSP端的内存分配、算法服务器的配置及双核之间的通讯。图像识别 算法程序运行在DSP端，主要完成图像的识别，生成并向ARM端应用程序模块返回识别结 果。如图4为本发明的仪器的第一DSP端图像识别模块106以及第二DSP端图像识别模块 206上运行的图像识别方法的流程示意图，包括图像格式转换、图像二值化、字符定位分割以 及字符识别。

从设备的OMAP3530核心板202的各功能模块具体工作过程如下：第二ARM端应用程 序模块204首先等待用户输入的待识别产品的型号，在接收到系统参数之后，利用GPIO信 号将该系统参数传递给主设备1，并通过调用第二图像采集驱动程序模块203获得数字图像数 据的内存指针，将该指针和系统参数封装成符合DaVinci标准的接口，通过第二双核通讯服 务器模块205打开DSP引擎，DSP调用图像识别模块206进入视频触发状态，触发成功之 后第二ARM端应用程序模块204从数字图像缓存中连续取出3帧图像，利用图像识别模块 206对所取出的3帧数字图像进行识别，并将识别结果通过带握手协议的GPIO信号发送给主 设备1。

主设备1的OMAP3530核心板102上的各功能模块具体运行如下：第一ARM端应用 程序模块104等待从设备2发送的系统参数，在进行与从设备2相同的图像处理过程的同时， 第一ARM端应用程序104定时采集环境光源的变化，并根据当前光线条件调整自适应光源的 光强，得到图像识别结果之后，等待从设备2的识别结果，进行数据融合，获得最终的处理结 果，将其写入系统日志，并根据该处理结果，由第一ARM端应用程序104产生相应的操作指 令，控制报警的发生与否。

DSP端图像识别模块106、206主要完成两个功能：自触发和图像识别处理。自触发采 用虚拟线圈方式，即在视场内设置一个或几个固定区域，通过计算该区域内的特征变化来判断 是否有待识别油桶进入视场。具体本发明针对油桶识别的实施方式如下：视场的图像宽度为 720像素，高度为192像素，分别在横坐标为240和700的位置设置一个宽度为6、高度为 192的矩形窗，矩形窗即所设置的固定区域，仪器处于触发状态时，对获得的每一帧图像计算 两个固定区域内的特征。本发明实施例待识别物体为油桶，油桶的编号采用蓝色绘制，因此计 算中当满足两个固定区域内的蓝色比例均大于某阈值时，仪器脱离触发状态，对后续3帧图像 进入字符识别状态，即开始拍摄图片进行图像识别处理，在识别过程结束后再次返回触发状态。

DSP端图像识别模块106、206进行图像识别处理的过程是：

(1)图像格式转换。DSP端图像识别模块106接收的是UYVY格式的图像，为方便DSP 进行图像处理，需要进行图像格式转换，具体是利用以下公式将UYVY图像转换成RGB888 格式的图像：

R＝(1164＊(Y-16)-1596＊(V-128))/1000              (1)

G＝(1164＊(Y-16)-813＊(V-128)-391＊(U-128))/1000  (2)

B＝(1164＊(Y-16)+2018＊(U-128))/1000              (3)

R、G、B分别表示红(Red)、绿(Green)、蓝(Blue)，是RGB色彩空间用来表示像 素点的三个分量。Y表示亮度信号，U和V为色差信号，是用UYVY格式表示像素点的三个 分量。

(2)图像二值化。待识别油桶处于复杂背景中，本发明通过基于RGB色彩空间夹角的 矢量二值化方法和闭运算来滤除字符所在的复杂背景。R(红色)通道对蓝色和白色的区分度 最大，利用R通道对图像进行二值化处理，对图像中的各像素点(x，y)进行二值化处理如下：

x＝R＊R/(R＊R+G＊G+B＊B)                (4)

y＝R＊R+G＊G+B＊B                       (5)

当x大于阈值X₀或者y小于阈值Y₀时，将该像素点二值化为白色，否则将其二值化为黑 色。

经二值化处理后，原蓝色部分应为黑色，其余部分为白色，并利用先膨胀后腐蚀的闭运算 进一步消除细小空洞，滤除噪点。

(3)字符定位分割。根据二值化的待识字符所处背景的特征搜索其上下边界及左右边界， 将图像左上角顶点定义为坐标原点，高度定义为纵坐标，宽度定义为横坐标。

字符位置参数的确定方法如下：纵坐标从下到上依次计算每一条横线上黑色像素点的比 例，当该比例经过一次由小到大和一次由大到小的突变后，该横线位置为字符下边界，继续向 上搜索，当该比例再一次由小到大突变时，该横线位置为字符上边界；在上下边界之间横坐标 从右向左搜索，当出现一次黑色到白色的边缘跳变，该竖线位置为字符右边界；在由上下边界、 右边界和左边界估计值(该位置到右边界的宽度总大于待识字符宽度)组成的矩形窗内，从右 至左依次计算每条竖线上白色像素的比例，该比例出现第一个局部极小值的位置为两个待识字 符的中间位置，第二个局部极小值的位置为字符的左边界。当字符定位分割结束后，每个字符 将被限制在与其等宽等高的矩形框内。

(4)字符识别。该过程通过提取字符的粗网格特征，构造字符的特征向量，并利用支持 向量机方法识别出字符。

本发明实施例中待识别物体为油桶，油桶具有4种型号：分别为40，50，46和68。针对 某个生产线，该生产线上当前需要型号为40的油桶，则型号40作为系统参数需要输入仪器 中，采用本发明的识别仪器识别该生产线上的油桶型号，当对某个油桶型号的识别结果与设定 的型号40相同时，则识别正确，否则识别错误。在实际识别中，会存在识别正确、识别错误 以及未识别出来的情况。

为提高识别率，减小拒识率和错识率，本发明对每个待识别油桶均识别3帧图像，且每帧 图像分奇偶场处理。因此每个待识别油桶共有6次识别结果，将6次处理结果作如下综合：

a)当6次处理都为拒识时，则该油桶拒识；

b)当识别正确次数大于识别错误次数时，则该油桶识别正确，反之，该油桶识别错误。

将结论最终返回至主设备的第一ARM端应用程序模块104，并由其产生相应的操作指令， 确定是否报警。