基于可见光图像与红外图像融合的行人检测方法、模型、电子设备和计算机可读介质

摘要

本发明公开了基于可见光图像与红外图像融合的行人检测方法、模型、电子设备和计算机可读介质，方法包括：对同步获取的包含有行人的红外图像与可见光图像进行标定、配准、构成公共标签文件；对公共标签文件中的图像分别进行特征提取，并获取红外图像的ROI信息；将红外图像的ROI信息映射到对应的可见光图像的特征图上，得到融合后的特征图；对于融合后的特征图，经分类、调整位置，提取出目标类别和识别框，从而实现行人检测。本发明融合红外和光学特征，并将红外图像生成ROI信息映射到可见光图像提取的特征图中，结合了可见光图像纹理清晰、红外图像行人特征显著的优势，有效地克服了光照条件对行人检测的影响。

说明书

技术领域

本发明属于目标检测技术领域，特别是涉及基于可见光图像与红外图像融合的行人检测方法、模型、电子设备和计算机可读介质。

背景技术

随着无人驾驶技术的不断发展，汽车驾驶系统对行人检测能力提出了更高要求。传统的行人检测方法基于可见光图像特征完成行人识别任务，但可见光图像在曝光失调或者行人外观纹理特征和背景极其相似的条件下，检测准确率会显著下降，甚至造成漏检、误检，从而引发严重的交通事故。可见光图像通过反射光获取行人的颜色和纹理特征，而红外图像通过目标自身的辐射热信息获取行人特征，因而红外图像不受光照条件、曝光条件等环境信息的干扰。但红外图像成像分辨率低，无法对检测目标的细节纹理特征进行捕捉。

中国专利CN202110971334.3提出了一种基于可见光图像和红外图像融合的行人检测方法，该方法中首先将红外图像和可见光图像采用Dense fuse网络进行图像融合，并生成融合图像，然后基于改进的YOLOv5算法以融合图像为输入进行行人检测。但该方法没有考虑融合图像的真实标签，且在通过可见光图像和红外图像融合生成新图像的过程中，由于算法的局限性，并不能完全保留二者的相关特征(出现图像失真、遗漏特征点等)，导致融合图像不能真实的反映现实环境，从而无法直接利用可见光图像的标签或红外图像的标签作为融合图像的标签进行监督学习。部分文献针对此类问题，尝试加入人工标签，但人工标签是否合理没有统一的评判标准，较难实现。

中国专利CN201510473667.8提出了一种基于滤波算法的方式，提取图像信息中的高低频信息，然后进行组合叠加实现图像融合，该方法虽然较为简便，但对所有红外图像和可见光图像进行了无差别融合，不能根据图像特点实现“学习式”融合，融合方案的适用性差。

中国专利CN201810722036.9提出了一种基于通道叠加的方式完成图像融合的方法，一般情况下，可见光图像中的纹理特征和红外图像中的梯度信息是各自比较优的信息，该方法直接叠加了可见光图像和红外图像的信息，未对信息进行筛选，无法充分融合可见光图像和红外图像的优势。

为了解决上述问题，本申请提出了一种基于可见光图像与红外图像融合的行人检测方法。

发明内容

本发明的目的在于提供一种基于可见光图像与红外图像融合的行人检测方法，设计了红外相机和光学相机标定方案，可以更好的融合红外和光学特征，并且将红外图像生成ROI信息映射到可见光图像提取的特征图中，结合了可见光图像纹理清晰、红外图像行人特征显著的优势，可以有效的克服光照条件对行人检测的影响，解决了现有技术中行人检测方法存在的问题。

本发明所采用的技术方案是，基于可见光图像与红外图像融合的行人检测方法，包括：

同步获取包含有行人的红外图像与可见光图像；

对获取的红外图像与可见光图像进行标定、配准；

配准的红外图像与对应的可见光图像组成数据对，各数据对构成公共标签文件；

对公共标签文件中的红外图像和可见光图像分别进行特征提取，获得各自的特征图，并获取其中红外图像的ROI信息；

将红外图像的ROI信息映射到对应的可见光图像的特征图上，得到融合后的特征图；

对于融合后的特征图，采用softmax方法分类，并用目标框回归方法调整位置，最终提取出目标类别和识别框，从而实现行人检测。

进一步地，对红外图像与可见光图像进行标定、配准，具体包括以下步骤：

分别定义红外相机和光学相机在世界坐标系下的坐标，在对应坐标系下对标定板上不同位姿和距离的角点拍摄红外图像和可见光图像；

根据红外相机或光学相机的尺寸因子、角点在像素坐标系和世界坐标系的坐标，得到红外相机或光学相机的单应性矩阵，再根据多组角点坐标和约束性条件，得到红外相机或光学相机的内参矩阵和外参矩阵；红外相机或光学相机的外参矩阵包括角点相对于红外相机或光学相机主点的旋转矩阵和平移矩阵；

根据角点相对于红外相机和光学相机的外参矩阵，得到红外相机相对于光学相机的旋转矩阵和平移矩阵，确定红外相机和光学相机之间的坐标系转变关系，完成标定；

对于获取的包含有行人的红外图像与可见光图像，根据确定的红外相机和光学相机之间的坐标系转变关系，进行配准。

进一步地，在确定红外相机和光学相机之间的坐标系转变关系的过程中，还包括：输入红外相机和光学相机的畸变矩阵。

进一步地，各数据对构成公共标签文件的过程，包括以下步骤：

对配准后的红外图像与对应的可见光图像分别进行标注，形成各自的标注项；由红外图像与可见光图像的标注项，分别构成红外图像与可见光图像的标签文件；

遍历红外图像与可见光图像的标注项，计算两个标签文件中各个标注项之间的交并比；对于一个标签文件中的标注项，在另外一个标签文件中仅有一个对应标注项与之的交并比大于设定阈值时，将该标注项与对应标注项存入共用标签文件中；

当标注项未检索到与之交并比大于设定阈值的对应标注项时，则舍弃该标注项；当标注项检索到多项与之交并比大于设定阈值的对应标注项时，对设定阈值进行更新，再次进入标注过程，直到标签文件所有标注项完成标注过程，结束循环。

进一步地，对于公共标签文件中的红外图像，经过改进的Darknet主干网络进行多次特征提取，得到红外图像的特征图；其中，每次特征提取均由上一层特征图为输入，经过卷积层、残差网络、稠密块处理，分别进行特征提取、跳跃连接、特征重用，得到下一层特征图，最后一层特征提取模块获得的特征图作为红外图像的特征图。

进一步地，获取红外图像的ROI信息的过程，包括以下步骤：

在红外图像的特征图中生成先验框，并设计三个先验框与红外图像的特征图的面积比，以及三个先验框与红外图像的特征图的高宽比；对于红外图像的特征图的每个特征点生成9个先验框；

以红外图像的特征图为输入，通过一个卷积层处理，融合不同通道之间的特征，得到红外图像的融合特征图；

将红外图像的融合特征图分别进行1×1×36和1×1×18卷积；

将经1×1×36卷积输出的特征图进行目标框回归，获得初步的目标框信息；

将经1×1×18卷积输出的特征图利用softmax函数区分前景图像和背景图像，获得特征图中每个先验框的二分类结果，识别为前景的先验框作为候选，识别为背景的先验框视为负样本丢弃；

利用Proposal层综合前景图像和初步的目标框信息生成包含ROI信息的特征图，即获取红外图像的ROI信息。

进一步地，对于公共标签文件中的可见光图像，其特征提取过程，包括以下步骤：

通过随机缩放、裁剪以及排布进行数据增强，得到数据增强的可见光图像特征图；

对数据增强的可见光图像特征图进行切片，获得可见光图像的小块特征图；

以可见光图像的小块特征图为输入，依次输入至CBL模块、CSP1_1模块中，进行特征提取，得到可见光图像的第一特征图；

以可见光图像的第一特征图为输入，通过三个并行的空洞卷积模块，得到三个并行的特征图，合并三个并行的特征图，得到可见光图像的第二特征图；

将可见光图像的第二特征图压缩处理，再依次输入至CBL模块、CSP1_3模块、CBL模块、CSP2_3模块和SPP模块，进一步提取特征，得到可见光图像的特征图。

本发明的另一发明目的，在于提供一种基于可见光图像与红外图像融合的行人检测模型，包括：

获取单元，用于获取包含有行人的红外图像与可见光图像，红外图像与可见光图像用于进行标定、配准、特征提取以及特征融合；

提取单元，用于提取红外图像和可见光图像的特征并进行特征融合；

检测单元，用于对融合的特征图进行分类、调整，实现行人检测。

本发明的又一发明目的，在于提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述方法步骤。

本发明的再一发明目的，在于提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述方法步骤。

本发明的有益效果：

(1)本发明实施例提出了一种红外图像和可见光图像融合方法，设计了红外相机和光学相机标定方案，可以更好的融合红外和光学特征，并且将红外图像生成ROI信息映射到可见光图像提取的特征图中，结合了可见光图像纹理清晰、红外图像行人特征显著的优势，可以有效的克服光照条件对行人检测的影响。

(2)本发明实施例在ROI信息提取阶段，在Darknet网络中同时融合了残差块(Residual Block)和稠密块(Dense Block)实现了图像特征在不同层次之间的共享，并利用RPN网络，提取出更加精准的行人特征ROI区域。

(3)本发明实施例提出了红外图像和可见光图像共用标签文件的制作方法和规范，有效的避免了单一图像源标签的误标注或漏标注问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明实施例的流程图。

图2本发明实施例的光学相机和红外相机布置形式图。

图3本发明实施例的红外相机和光学相机联合标定示意图。

图4本发明实施例的红外图像和可见光图像统一标签文件制作流程图。

图5本发明实施例的基于红外图像的ROI提取网络结构示意图。

图6本发明实施例行人检测效果图。

图7采用现有技术进行的行人检测效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于行人的红外特征非常显著，本发明采用红外图像生成感兴趣区域(ROI)，然后将上述ROI区域映射到可见光图像的特征图上，随后进行行人检测，流程如图1所示。

基于可见光图像与红外图像融合的行人检测方法，按照以下步骤进行：

步骤1：制作红外图像和可见光图像的行人数据集。

步骤1.1：在试验车上布置红外相机和光学相机。

在一些具体的实施例中，红外相机选用FOTRIC 721C型号相机，相机分辨率为640×480；光学相机选用LOGI 1080P网络相机，红外相机和光学相机布置在试验车的中心纵轴线上，如图2所示。

步骤1.2：分别对红外相机和光学相机进行内外参数联合标定和配准，其中，标定的目的是确定世界坐标系和像素坐标系之间的转换的内外参矩阵，其具体过程包括以下步骤：

1.2.1：制作标定板，红外相机基于热辐射捕捉图像，因此需要制定特定的标定板，才能识别到相应的标记信息。

具体地，标定板基板采用70℃恒温加热板，采用立方体积木块作为标定板的隔热块，制作完成(6×9)～(25×25)mm规格相机标定板。其中标定板基板采用白色外观，隔热块采用黑色外观，从而保证热成像和光学成像产生一致的角点信息。

1.2.2：分别打开红外相机和光学相机，对标定板不同位姿和距离的点位拍摄图像，在一些具体的实施例中，采集20张红外图像和可见光图像对，然后进行标定。

在一些具体的实施例中，为降低环境对红外图像采集的干扰，标定环境选择温度恒定、无强光的室内环境完成。

在一些具体的实施例中，为保证图像中包含丰富的有效角点信息，在相机的有效视觉范围内，选择左、中、右三个相对位置，在不同距离上，记录不同姿态的图像。图像姿态包括竖直、右倾、左倾、上仰、下俯，倾斜角度15°左右即可。

设P

步骤1.2.2(1)：对红外相机进行内参标定：

首先，基于opencv的findChessboardCorners函数提取红外图像中的角点信息。

由相机模型可知，

上式中，s表示尺寸因子；

为便于计算，将世界坐标系构造在Z＝0的平面上，可得

上式中，H为红外相机3×3的单应性矩阵。

在获取到的角点坐标中，任选4个代入上式，建立方程组求解，可获得H。

H矩阵包含了红外相机的内参和外参矩阵，利用单应性矩阵和约束条件，求出内参矩阵和外参矩阵。

在一些具体的实施例中，为了消除相机的径向畸变和切向畸变，标定红外相机畸变参数(k

对图像进行重投影，计算图像角点的投影坐标，计算投影坐标和角点坐标之间的偏差，当偏差满足预期要求时，采用该标定结果。

步骤1.2.2(2)：对光学相机进行内参标定：

首先，基于opencv的findChessboardCorners函数提取可见光图像中的角点信息。

由相机模型可知，

式中，s表示尺寸因子；

为便于计算，将世界坐标系构造在Z＝0的平面上，可得

上式中，H'表示光学相机3×3的单应性矩阵。

一些具体的实施例中，在获取到的角点坐标中，任选4个代入上式，建立方程组求解，可获得H'。H'矩阵包含了光学相机的内参和外参矩阵，利用单硬性矩阵和约束条件，求出内参矩阵和外参矩阵。

在一些具体的实施例中，为了消除相机的径向畸变和切向畸变，标定畸变参数(k'

步骤1.2.3：通过采集的图像对，对光学相机和红外相机进行联合标定，如图3所示。将该角点坐标分别投影到红外相机和光学相机坐标系可得：

P

P

由红外相机主点相对于光学相机主点关系，可知

P

联立上述三式可得，

T＝T

求得R，T后就可以确定红外相机和光学相机之间的坐标系转换关系，完成标定。

步骤1.3：为尽可能多的采集交通环境中的行人图像，将步骤1.1实验车停滞在交通路口处附近，同步采集红外图像和可见光图像。需采集晴天、雾天、夜间等不同光照条件下的数据，以保证数据集的丰富性，并基于步骤1.2中获得的参数(R，T)进行图像配准。

在一些具体的实施例中，为保证数据具有足够的代表性，数据采集分多个时段进行。

步骤1.4：使用labelImg对配准后的红外图像和可见光图像进行图像标注，标注类别为行人，制作图像标签，如图4所示。

具体地，图像标签必须能够真实的反映图像目标。可见光图像在低光照条件下容易遗漏标注目标，而红外图像中也存在由壁面反射造成的热辐射伪影，单独的标注可见光图像或者红外图像无法真实的反映低光照条件下的真实标签。

因此，提出了一种可见光图像和红外图像联合标注方法，具体步骤如下。

步骤1.4.1：分别对可见光图像和红外图像进行标注，标签以字典形式储存，格式为{frame:Number,imgHeight:H,imgWidth:W,object:[{boundingbox:x

步骤1.4.2：分别读取红外图像标签和对应的可见光图像标签文件。遍历文件中的标注项，计算两个文件中各个标注项的标签之间的交并比J

上式中，area(A)表示标注项A对应标注框的区域，area(B)表示标注项B对应标注框的区域；

步骤1.4.3：对各个标注项标签之间的交并比进行比较，当标注项检索到有且仅存在一个与之交并比大于J

当标注项未检索到与之交并比大于J

当发现有多个标注项与之交并比大于J

步骤1.4.4：更新J

优选地，为了保证样本的丰富性，通过数据增强方法，对已有图像进行剪切、旋转等操作扩充数据集。

步骤1.5：在数据集中，配准后的红外图像及可见光图像组成数据对，按8:2的数量比随机选择数据对组成训练集和测试集。

步骤2：基于红外图像的ROI信息图获取，如图5所示。

步骤2.1采用改进的Darknet网络提取红外图像的特征图。

将红外图像信息送入改进的Darknet主干网络中，在Darknet网络的基础上引入了稠密块结构获取特征图。首先将输入图像归一化为416×416×3的尺寸，然后逐层卷积提取最终的图像特征图。Darknet网络中引入了残差块。通过残差网络，在保持加深网络的同时，又解决了梯度消失的问题。在每次卷积过程中采用L2正则化，选用Leaky relu激活函数，并进行BatchNormalization标准化。

具体地：

2.1.1：首先将输入图像归一化为416×416×3的尺寸大小，通过卷积核大小为3×3×32的卷积层对图像进行特征提取，得到416×416×32的输出；

2.1.2：采用3×3×64的卷积核对特征层进行降采样得到208×208×64的输出。将208×208×64特征图加入一个残差块(Residual Block)，通过跳跃连接，实现特征信息共享，最后得到208×208×64的输出。残差块通过残差网络，在保持加深网络的同时，又解决了梯度消失的问题。

步骤2.1.3：采用稠密块(Dense Block)结构，稠密块中采用四组特征提取单元进行特征提取，每个特征提取单元由6个1×1和6个3×3卷积核组成。稠密块可以降低梯度消失，同时加强整个网络的特征共享和传递。稠密块通过将模块内部所有输入连接到输出层，实现特征重用，最后得到208×208×64的输出。

步骤2.1.4：采用3×3×128的卷积核对特征层进行降采样得到104×104×128的输出。将104×104×128特征图通过1×1×32卷积核调整通道数，然后通过3×3×64卷积核提取特征，而后加入8个残差块，通过跳跃连接，实现特征信息共享，最后得到104×104×128的输出。

步骤2.1.5：采用稠密块结构，稠密块中采用四组特征提取单元进行特征提取，每个特征提取单元由12个1×1和12个3×3卷积核组成。稠密块可以降低梯度消失，同时加强整个网络的特征共享和传递。稠密块通过将模块内部所有输入连接到输出层，实现了特征重用，最后得到104×104×128的输出。

步骤2.1.6：采用3×3×256的卷积核对特征层进行降采样得到52×52×256的输出。将52×52×256特征图加入4个残差块，通过跳跃连接，实现特征信息共享，最后得到52×52×256的输出。

步骤2.1.7：采用稠密块结构，稠密块中采用四组特征提取单元进行特征提取，每个特征提取单元由6个1×1和6个3×3卷积核组成。稠密块可以降低梯度消失，同时加强整个网络的特征共享和传递。稠密块通过将模块内部所有输入连接到输出层，实现了特征重用，最后得到52×52×256的输出。

步骤2.1.8：采用3×3×256的卷积核对特征层进行降采样得到26×26×512的输出。将26×26×512特征图加入8个残差块，通过跳跃连接，实现特征信息共享，最后得到26×26×512的输出。

总体提取网络结构如下表1所示。

表1总体提取网络结构表

在一些具体的实施例中，在每个稠密块之后，对输出进行一次1×1卷积，用以融合通道特征，降低计算量。

在一些具体的实施例中，在每次卷积过程中采用L2正则化，选用Leaky relu激活函数，并进行BatchNormalization标准化。

步骤2.2利用RPN网络在特征图中生成先验框：

步骤2.2.1：通过设计三种不同的尺度比例，先验框面积与特征图面积比[0.3，0.5，0.8]和高宽比[1:1，1:2，2:1]，在特征图的每个特征点生成9个先验框。

步骤2.2.2：将步骤2.1最后输出的特征图通过一个3×3卷积进一步融合不同通道之间的特征。

步骤2.2.3：将步骤2.2.2的输出分别选取1×1×36、1×1×18进行卷积。

步骤2.2.4：将1×1×36卷积结果进行目标框回归，获得初步的目标框信息。

步骤2.2.5：将1×1×18卷积结果利用softmax函数区分前景和背景图像，获得最终每个先验框的二分类结果，识别为前景的先验框作为候选，识别为背景先验框视为负样本直接丢弃。

步骤2.2.6：最后利用Proposal层综合前景图像和目标框回归结果生成最终的包含ROI信息的特征图，即获取到红外图像的ROI信息。

步骤3：基于改进的CSPDarknet53网络获取可见光图像的特征图，具体步骤如下：

步骤3.1：将可见光图像通过随机缩放、裁剪以及排布进行数据增强。

步骤3.2：将处理后的特征图送入改进的CSPDarknet53主干网络中提取特征。

具体地，步骤3.2.1，利用Focus结构对图像进行切片，对切片后获得的小块特征图进行特征提取。

步骤3.2.2：将特征图送入CBL模块进行特征提取，然后再送入CSP1_1模块中，CBL模块中采用Leaky relu激活函数，对特征图进行特征提取。其中，CBL模块是现有技术中已有的网络模块，由卷积层、Batch normalize层和LeakyRelu激活函数层构成。CSP1_1中包含了残差结构，可以有效地避免因网络加深导致的梯度消失问题。

步骤3.2.3：在CSP1_1模块之后加入三个并行的空洞卷积模块，三个空洞卷积模块都采用3×3卷积核，rate分别选用6、12、18，最后进行合并，合并后的输出通过1×1卷积压缩特征。

步骤3.2.4：在1×1卷积之后，依次输入到CBL模块、CSP1_3模块、CBL模块、CSP2_3模块、SPP模块，进一步提取特征，将最后获得的特征图作为可见光图像特征的提取结果。

其中，CSP1_1模块采用残差单元和卷积并行结构，且残差单元数量为1；CSP1_3采用残差单元和卷积并行结构，且残差单元数量为3；CSP2_3采用两个卷积单元并行结构对图像特征进行提取。

SPP模块是现有技术中已有的网络模块，该模块采用四个并行结构，包括三个并行的最大值池化层和一个跳跃连接结构，能够有效的避免对图像区域裁剪、缩放等操作引起的图像失真问题，同时减少了网络参数，提高计算速度。

步骤4：行人检测流程

步骤4.1通过ROI Pooling层将步骤2.2.6获得的包含ROI的特征图映射到步骤3.2.4可见光图像的特征图上，生成ROI区域特征图。

步骤4.2在ROI区域特征图中，采用softmax方法分类，并用目标框回归方法精细调整位置。最终，提取出目标类别和识别框。

其中，采用现有的目标框回归方法即可实现，具体来说，现有的目标框回归方法通过比较网络输出的预测框和真实标注框相关参数，获取一种映射关系，使得预测框尽可能的接近真实标注框。

采用上述基于可见光与红外图像融合的行人检测方法，实现的检测效果图如图6所示。以现有最新的YOLOv5算法为对比，其检测效果图如图7所示。和本申请方案结果比较，可以发现YOLOV5结果检测准确度低，且存在漏检测情况，说明本申请基于可见光与红外图像融合的行人检测方法相对于现有技术，结合了可见光图像纹理清晰、红外图像行人特征显著的优势，可以有效的克服光照条件对行人检测的影响，具有检测精准的显著优势。

基于可见光图像与红外图像融合的行人检测模型，包括以下单元：

获取单元，用于获取包含有行人的红外图像与可见光图像，红外图像与可见光图像用于进行标定、配准、特征提取以及特征融合；

提取单元，用于提取红外图像和可见光图像的特征并进行特征融合；

检测单元，用于对融合的特征图进行分类、调整，实现行人检测。

上述的基于可见光图像与红外图像融合的行人检测方法可以实施为计算机程序，保存在硬盘中，并可记载到处理器中执行，以实施本发明实施例的方法。

本发明实施例还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的基于可见光图像与红外图像融合的行人检测方法。

基于可见光图像与红外图像融合的行人检测方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本发明实施例描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。

应该理解，上述的实施例仅是示意。本发明描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理单元可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本发明所述功能的其它电子单元或者其结合内实现。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。