视觉传感器、图像处理方法和装置、视觉交互设备

摘要

本发明提供一种视觉传感器、图像处理方法和装置、视觉交互设备，其中，视觉传感器包括：光学镜头、分辨率不高于第一阈值的图像采集芯片、微控制器；上述图像采集芯片采集物体经过上述光学镜头的光学成像，输出分辨率不高于上述第一阈值的低分辨率图像，并将上述低分辨率图像发送给上述微控制器；上述微控制器对上述低分辨率图像进行分析，获得识别信息，并将上述识别信息发送给外部元件，以使得外部元件触发对外响应。采用本发明提供的视觉传感器，通过采集低分辨率图像即可实现图像识别，由于低分辨率图像所需存储资源和计算资源很少，有效降低了视觉传感器的生产成本。

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种视觉传感器、图像处理 方法和装置、视觉交互设备。

背景技术

视觉信息对于智能行为的产生十分重要，人类大约有70％的信息是通过 视觉方式获取的。计算机视觉技术能够让机器通过摄像头如人眼般获取外界 信息，从而使机器具有像人类视觉一样的智能行为，具有广大的应用前景。 但在现有的小型交互设备，如电动玩具中，实现计算机视觉技术的视觉传感 器的应用并不多，原因在于：视觉信息的处理通常需要较大的计算资源，如 需要占用较大内存、较高的处理器速度；另外，较大的计算资源同时导致小 型交互设备的功耗较大，从而导致小型交互设备的生产成本和使用成本过高。

发明内容

有鉴于此，一方面本发明提供一种视觉传感器，包括：光学镜头、分辨 率不高于第一阈值的图像采集芯片、微控制器；上述图像采集芯片采集物体 经过上述光学镜头的光学成像，输出分辨率不高于上述第一阈值的低分辨率 图像，并将上述低分辨率图像发送给上述微控制器；上述微控制器对上述低 分辨率图像进行分析，获得识别信息，并将上述识别信息发送给外部元件， 以使得外部元件触发对外响应。

可选的，上述第一阈值为96×96；并且，上述图像采集芯片输出的图像 的分辨率不低于第二阈值，上述第二阈值小于上述第一阈值。

可选的，上述微控制器包括用于存储上述低分辨图像的内存和闪存；上 述内存不大于32KB，上述闪存不大于256KB。

可选的，本发明提供的视觉传感器还包括：为上述图像采集芯片和微控 制器供电的供电电路；上述供电电路至少为一个下述供电电路：锂电池供电 电路、干电池供电电路、钮扣电池供电电路、太阳能供电电路；上述太阳能 供电电路具体包括：太阳能电池板、太阳能控制器和蓄电池。

另一方面，本发明提供了一种图像处理方法，应用于上述任一上述的视 觉传感器，上述方法包括：获取分辨率不高于第一阈值的低分辨率图像；采 用预设算法对上述低分辨率图像进行多尺度图像分析，获得识别信息；将上 述识别信息传送给外部元件，使得外部元件根据上述识别信息触发对外响应。

可选的，上述采用预设算法对上述低分辨率图像进行多尺度图像分析， 获得识别信息，包括：将图像采集芯片获取的原始低分辨率图像进行预处理； 将预处理后的原始尺寸图像缩小为预设尺度级别的图像；利用预置尺寸的检 测窗口逐步扫描上述预设尺度级别的图像，逐步缓存当前检测窗口所覆盖的 图像行；从逐步缓存的图像行中利用预设算法识别目标信息。

可选的，上述获得的识别信息至少包括一个下述识别信息：人脸检测识 别信息、人脸识别信息、表情识别信息、物体跟踪识别信息、环境识别信息； 其中，上述人脸检测识别信息，用于从上述低分辨率图像中检测出人脸信息； 上述人脸识别信息，用于从上述低分辨率图像中检测出人脸后进一步识别目 标人脸；上述表情识别信息，用于从上述低分辨率图像中检测出人脸后进一 步识别人脸的表情信息；上述物体跟踪识别信息，用于从上述低分辨率图像 中识别物体的方位信息；上述环境识别信息，用于从上述低分辨率图像中识 别环境信息。

对应上述图像处理方法，本发明还提供了一种图像处理装置，应用于上 述任一上述的视觉传感器中，包括：接收模块，用于接收分辨率不高于第一 阈值的低分辨率图像；图像处理模块，用于采用预设算法对上述低分辨率图 像进行多尺度图像分析，获得识别信息；发送模块，用于将识别信息发送给 外部元件，使得外部元件根据上述识别信息触发对外响应。

可选的，上述图像处理模块具体包括：预处理单元，用于将图像采集芯 片获取的原始低分辨率图像进行预处理；缩图单元，用于将预处理后的原始 尺寸图像缩小为预设尺度级别的图像；扫描单元，用于利用预置尺寸的检测 窗口逐步扫描上述预设尺度级别的图像，逐步缓存当前检测窗口所覆盖的图 像行；识别单元，用于从逐步缓存的图像行中利用预设算法识别目标信息。

此外，本发明还提供了一种视觉交互设备，包括：存储装置、上述任一 上述的视觉传感器、驱动装置、至少一个下述受控设备：机械运动装置、显 示设备、声音播放器；上述存储装置中存储有控制参数库，上述控制参数库 中存储有各种识别信息对应的控制参数；上述驱动装置用于根据所述视觉传 感器输出的识别信息从所述控制参数库中找到与所述识别信息对应的控制参 数，并根据所述控制参数驱动所述受控设备执行相应操作。

本发明提供的视觉传感器、图像处理方法和装置、视觉交互设备，通过 采用低分辨光学镜头实现物体成像，并采用低分辨率图像采集卡采集物体的 光学成像，输出低分辨率数字图像，然后由微控制器采用预设算法进行图像 识别。本发明实施例中采用低分辨率的光学镜头进行物体成像，图像采集芯 片采集的数字图像的分辨率也不高，因此低分辨率图像所需存储空间很小， 可以直接放置在微控制器的片内SRAM里，而不需要额外的片外存储芯片， 因而减少了视觉传感器的存储空间需求和计算资源需求，进而降低了视觉传 感器的电路复杂度和耗电量；另外，由于本发明对产生物体成像的光学镜头 的分辨率要求很低，对采集物体成像的图像采集卡的分辨率要求也不高，因 而有效降低了视觉传感器的生产成本。

附图说明

图1是本发明视觉传感器实施例的结构框图；

图2-1是现有技术采集的高分辨率图像；

图2-2是本发明采集的低分辨率图像；

图2-3是本发明采集的用于人脸识别的原始图像；

图3是本发明图像处理方法实施例的流程图；

图4是图3中步骤32具体实施方式的流程图；

图5是本发明采用逐步缓存方法的示意图；

图6是本发明图像处理装置所在微控制器的一种硬件结构图；

图7是本发明图像处理装置实施例的结构框图；

图8是本发明视觉交互设备实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本申请作进一步详细的说明。

本发明提供一种视觉传感器，应用于小型智能交互设备如智能交互玩具 中，能够让智能交互设备通过摄像头如人眼般获取外界信息，从而使设备具 有像人类视觉一样的智能行为。

参见图1，示出了本发明视觉传感器实施例的结构框图，包括：光学镜 头11、图像采集芯片12、微控制器13。

其中，光学镜头11采用低分辨率光学镜头。经过该低分辨率光学镜头 的物体成像直接转换为数字图像后分辨率不高于第一阈值。

图像采集芯片12输出数字图像的分辨率不高于上述第一阈值。上述第 一阈值依据微控制器采用的图像识别算法而定，若以CMOS(Complementary  Metal-Oxide-Semiconductor，互补金属氧化物半导体)或CCD(Charge Coupled  Device，电荷藕合器件)像元特征表示上述数字图像的分辨率，则上述第一 阈值可以是96×96。即图像采集芯片12输出的数字图像的分辨率为不高于 96×96的低分辨率图像。

进一步地，上述图像采集芯片12输出图像的分辨率不低于第二阈值， 上述第二阈值依据视觉传感器不同功能实现所采用的预设算法而定，例如上 述第二阈值可以是32×32、12×12等。

微控制器13包含内存和闪存。上述内存和闪存用于存储图像采集芯片 12输出的低分辨率图像以及图像处理过程中产生的数据。具体地，内存也被 称为内存储器，用于在图像处理过程中暂时存放CPU中的运算数据。闪存是 一种长寿命的非易失性的存储器即在断电情况下仍能保持所存储的数据信息， 通常用于保存预置特征库、设置信息等数据。

由于图像采集芯片12输出数字图像的分辨率很低，一般不高于96×96， 对于一幅分辨率为96×96的图像，经过处理后的灰度图片所需存储空间不大 于9KB，对于分辨率为32×32的灰度图片，仅需要1KB的存储空间，使得 经过预处理的低分辨图像可以直接放置在微控制器的片内内存SRAM(Static  Random Access Memory，静态随机存储器)里，而不需要额外的片外存储芯 片。因此，在本发明提供的视觉传感器中，微控制器自带内存芯片的存储空 间可以不超过32KB，闪存芯片的可以不超过256KB。

本发明提供的视觉传感器实施例的工作过程为：光学镜头11视场内的 物体经光学镜头11成像。图像采集芯片12采集物体的低分辨率光学成像， 转换为低分辨数字图像，传输给微控制器13。微控制器13对上述低分辨率 图像进行分析，获得识别信息，并将识别信息发送给外部元件，使得外部元 件触发对外响应。

上述外部元件可以是显示设备、语音设备、运动设备的驱动装置，也可 以是上层控制器等。即，上述视觉传感器可以直接控制其它伺服机、显示设 备、语音设备等，形成一个独立完整的交互式系统，也可以作为一个子系统 将处理信息传送给其它上层的控制器。

参见图2-1所示现有技术采集的高分辨率图像、图2-2所示的本发明采 集的低分辨率图像，以及图2-3所示的本发明采集的用于人脸识别的原始图 像，可知，本发明提供的视觉传感器克服了人们认为光学成像的分辨率越高 越好的偏见，相反采用低分辨光学镜头实现物体成像，并采用低分辨率图像 采集卡采集物体的光学成像，输出低分辨率数字图像，然后由微控制器采用 预设算法进行图像识别。由于图像采集芯片采集的图像的分辨率很低，经过 预处理的图片如灰度图片所需存储空间很小，可以直接放置在微控制器的片 内SRAM里，而不需要额外的片外存储芯片，因而减少了视觉传感器的存储 空间需求和计算资源需求，进而降低了视觉传感器的电路复杂度和耗电量， 从而有效降低了视觉传感器的生产成本。

另外，由于数字图像的分辨率低，对光学镜头的精度要求也不高，进一 步降低了视觉传感器的制造成本。

此外，由于本发明提供的视觉传感器采集的数字图像的分辨率不高，如 图2-2、2-3所示，即使存储于微控制器中的图像不慎泄露，人眼也很难从上 述低分辨率图像中识别细节信息，从而有效保护了用户隐私，保证了用户的 信息安全。

本发明还提供了另外一个视觉传感器实施例，在上述实施例一的基础上 还包括供电电路，用于为上述图像采集芯片和微控制器独立供电。上述供电 电路可以是锂电池供电电路、干电池供电电路或钮扣电池供电电路，能为视 觉传感器长时间提供所需低电压，如3.3伏的供电电压。

由于本发明提供的视觉传感器采用超低分辨率图像进行信息识别，占用 内存很小，对应的，微控制器对低分辨率图像进行处理时所需计算资源也较 小，因此视觉传感器的整体功耗很小，一般不大于100毫瓦，采用普通干电 池即可长时间满足视觉传感器的用电需求，进一步节约了传感器的制造成本。

进一步地，本发明实施例增加的供电电路还可以是简单的太阳能供电电 路，具体包括：太阳能电池板、太阳能控制器和蓄电池。采用太阳能供电的 视觉传感器更加节能环保。

表1示出了本发明提供的视觉传感器一实施例的主要规格：

其中，表1中所示微控制器AVR系列ATmega1284P，主频16MHz，带 有16KB SRAM内存，128KB闪存；STM32系列STM32F 103CBT6，主频 72MHz，带有20KB SRAM内存，128KB闪存。

另外，本发明还提供了一种图像处理方法，应用于上述任一视觉传感器 实施例中，具体由上述视觉传感器的微控制器执行。如图3所示，上述方法 包括：

步骤31、获取分辨率不高于第一阈值的低分辨率图像；上述第一阈值可 以为96×96。

步骤32、采用预设算法对上述低分辨率图像进行多尺度图像分析，获得 识别信息；

上述预设算法包括：基于Boosting算法的低分辨率人脸检测算法，基于 LBP(Local Binary Patterns，局部二值模式)特征的人脸识别算法，以及其 他的图像分类算法等等。利用预设算法获得的上述识别信息至少包括一个下 述识别信息：人脸检测识别信息、人脸识别信息、表情识别信息、物体跟踪 识别信息、环境识别信息。其中，人脸检测识别信息用于从上述低分辨率图 像中检测出人脸信息；人脸识别信息用于从低分辨率图像中检测出人脸后进 一步识别目标人脸；表情识别信息，用于从低分辨率图像中检测出人脸后进 一步识别人脸的表情信息；物体跟踪识别信息用于从低分辨率图像中识别物 体的方位信息；环境识别信息用于从上述低分辨率图像中识别环境信息。

其中，人脸检测识别信息的获取可以采用基于Boosting算法的人脸检测 算法对低分辨率图像进行多尺度图像分析，获得识别信息。对于此算法需要 计算积分图像(Integral Image)，而积分图像的计算可以采用图5所示的逐 步缓存图像行的方式实现。在人脸检测模型训练时，为适应低分辨率图像， 将所有训练图像的分辨率缩小至12×12，并且通过增加多级分类器的级数的 方式来保持同样的检测精度，从而生成大小为12×12的模型窗口，即模型窗 口的尺寸为：高度方向占12个像素、长度方向占12个像素。利用上述检测 模型，相应的滑动检测窗口的高度也降低到12个图像行，有效节省了内存。

人脸识别信息的获取过程如下：人脸识别是建立在人脸检测的基础上， 在人脸检测完成之后，框取特征图片区域，然后进行特征提取如LBP特征， 并将提取的特征与预先保存的特征库进行比对，找出最接近的人脸特征。由 于图片的分辨率较低，在大规模的人脸库中采用上述方法人脸可能有混淆， 但是在一般的电动玩具中，只需要对小规模的人脸做出区分，所以采用上述 方法足以实现人脸识别。

表情识别信息的获取过程为：人脸表情识别同样在人脸检测的基础上， 在人脸位置提取特征，然后使用SVM(Support Vector Machine，支持向量机) 分类器将上述特征分成各种表情类别。

物体跟踪识别信息的获取过程为：对于一般的几何物体，比如圆形，球 形和方形，都可采用扩展的哈夫变换算法来实现，具体步骤是在某个尺度下 自上而下逐行扫描输入图像的边缘图，将统计数据积累到缓存中，最后从缓 存中找出具有最高累计数据的位置，然后输出，从而实现几何物体的检测与 跟踪。上述逐行扫描的方法也可以采用图5所示的逐步缓存图像行的方法来 实现。

环境识别信息的获取过程为：环境识别可以通过从图片整体中提取特征， 然后利用SVM分类器将提取的特征分成预定的几个类别，比如室内、室外、 海滩、公园等。

步骤33、将上述识别信息传送给外部元件，使得外部元件根据所述识别 信息触发对外响应。

上述外部元件可以是显示设备、语音设备、运动设备的驱动装置，也可 以是其它上层控制器等。

进一步地，参照图4所示的步骤32实施方式的流程图，具体包括：

步骤321、将图像采集芯片获取的原始低分辨率图像进行预处理；

结合图5所示的图像处理示意图，在实际获取识别信息的过程中，首先 将原始图像处理为原始尺寸的预处理图像，将预处理图像存储于SRAM中。 上述预处理图像可以是原始尺寸的灰度图像或是进行去噪处理后的彩色图像 等。

步骤322、将预处理后的原始尺寸图像缩小为预设尺度级别的图像；

将上述预处理后的原始尺寸图像缩小为预设尺度级别的图像，例如可以 将图像尺寸分为四个级别，初始图像尺寸为第一尺寸级别；原始尺寸的75％ 为第二尺寸级别；原始图像尺寸的50％为第三尺寸级别；原始图像尺寸的25％ 为第四尺寸级别。此处需要说明的是，对图像尺度级别的划分标准不做限制。

步骤323、利用预置尺寸的检测窗口逐步扫描上述预设尺度级别的图像， 逐步缓存当前检测窗口所覆盖的图像行；

在对图像的多尺度分析中，每次都要将原始尺寸图像缩小到一个固定尺 寸的图像即预设尺度级别的图像，由于本发明实施例中微控制器的内存一般 都比较小，无法存储多张图片。为了解决此问题，本发明实施例采用逐步缓 存的方法，如图5所示，采用预置尺寸的检测窗口逐步扫描预设尺度级别的 图像，在此过程中只需存储当前检测窗口所覆盖的图像行，当检测窗口移动 到下一行图像时，释放移动前最顶端图像所占内存，用以重复使用释放的内 存存储下一行图像，从而节省了存储空间。

步骤324、从逐步缓存的图像行中利用预设算法识别目标信息。

采用预设算法首先对第一尺寸级别的图像进行图像分析，判断是否获得 目标识别信息；如果没有获取到，则将上述图像缩小为第二尺寸级别图像， 重新采用预设算法对上述第二尺寸级别图像进行分析，如此循环直至获取到 识别信息。

上述识别信息至少包括一个下述识别信息：人脸检测识别信息、人脸识 别信息、表情识别信息、物体跟踪识别信息、环境识别信息；其中，上述人 脸检测识别信息，用于从上述低分辨率图像中检测出人脸信息；上述人脸识 别信息，用于从上述低分辨率图像中检测出人脸后进一步识别目标人脸；上 述表情识别信息，用于从上述低分辨率图像中检测出人脸后进一步识别人脸 的表情信息；上述物体跟踪识别信息，用于从上述低分辨率图像中识别物体 的方位信息；上述环境识别信息，用于从上述低分辨率图像中识别环境信息。

与前述图像处理方法实施例相对应，本发明还提供了图像处理装置的实 施例。

本发明图像处理装置的实施例可以应用在上述任一视觉传感器实施例中。 上述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式 实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的 处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。 从硬件层面而言，如图6所示，为本发明图像处理装置所在微控制器的一种 硬件结构图，除了图6所示的处理器、通信接口、内存以及非易失性存储器 之外，实施例中装置所在的微控制器通常还可以包括其他硬件，如负责处理 消息的转发芯片等等，对此图6中不再详细示出。

图7示出了本发明图像处理装置实施例的结构框图，包括：

接收模块71，用于接收分辨率不高于第一阈值的低分辨率图像；

图像处理模块72，用于采用预设算法对上述低分辨率图像进行多尺度图 像分析，获得识别信息；

发送模块73，用于将识别信息发送给外部元件，使得外部元件根据上述 识别信息触发对外响应。

进一步地，上述图像处理模块72具体包括：

预处理单元，用于将图像采集芯片获取的原始低分辨率图像进行预处理；

缩图单元，用于将预处理后的原始尺寸图像缩小为预设尺度级别的图像；

扫描单元，用于利用预置尺寸的检测窗口逐步扫描上述预设尺度级别的 图像，逐步缓存当前检测窗口所覆盖的图像行；

识别单元，用于从逐步缓存的图像行中利用预设算法识别目标信息。

此外，本发明提供了一种视觉交互设备，如图8所示的视觉交互设备实 施例的结构框图，包括：存储装置、上述任一视觉传感器实施例、驱动装置、 至少一个受控设备。其中，上述受控设备可以为：机械运动装置、显示设备、 声音播放器等设备。

上述存储装置中存储有控制参数库，该控制参数库中包含有各种识别信 息对应的控制参数；上述驱动装置用于根据上述视觉传感器输出的识别信息 从上述控制参数库中找到与上述识别信息对应的控制参数，并根据该控制参 数驱动上述受控设备执行相应操作。

上述视觉交互设备可以具体为一个具有视觉交互功能的电动玩具。以此 为例，视觉传感器可以设置在玩具中的一个合理位置，比如将视觉传感器整 体或者将视觉传感器中由光学镜头、图像采芯片组成的摄像头内嵌在玩具的 眼睛、嘴巴、鼻子等前方相对隐蔽的位置，确保视觉传感器有最大拍摄范围， 能采集到设备前方的事物、场景的图像并做出反应。具体地，设置视觉传感 器整体或视觉传感器的摄像头的位置时，保证光学镜头的光轴与水平面平行 或近似平行，以确保视觉传感器具有最大视场角即最大拍摄范围。

上述受控设备在视觉传感器检测到外界信号，获取到目标识别信息时， 在驱动装置的驱动下会执行相应操作，如视觉传感器检测到人脸信息时，相 应驱动声音播放器发出“你好”声音；或检测到人的笑脸时，驱动显示设备 显示出笑脸的形状；或者检测到外界场景是游乐园时，驱动声音播放器发出 欢呼的声音、同时驱动机械运动装置做出拍手动作等。

以上上述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明保护的范围之内。