影像歪曲校正装置及方法

摘要

本发明涉及一种影像歪曲校正装置及方法，对具有多个影像区分单位的影像的歪曲进行校正，其特征在于，所述影像歪曲校正装置包括：影像中心设定部，在所述多个影像区分单位中设定中心影像区分单位；校正率设定部，设定可变歪曲校正率，以使得以中心影像区分单位为基准，所述多个影像区分单位分别以互不相同的比率得到校正；以及校正部，根据所述校正率设定部所设定的所述可变歪曲校正率对所述多个影像区分单位进行校正。

说明书

本申请是申请号为201710465975.5、申请日为2017年6月19日、发明名称为“影像歪曲校正装置及方法”的中国发明专利申请的分案申请，其全部内容结合于此作为参考。

技术领域

本发明涉及影像歪曲校正技术，更为具体地涉及通过对每个像素(pixel)适用可变的歪曲校正率，对影像歪曲进行校正的技术。

背景技术

影像镜头(lens)歪曲校正技术是对具有大视角的镜头的歪曲影像进行校正的技术，并且常用于内窥镜或汽车领域。

尤其，就汽车领域而言，对汽车的周围进行确认的方法有通过肉眼进行确认的方法和通过侧镜(side mirror)进行确认的方法。但是，根据车型的不同，如果说有通过肉眼或侧镜能够轻易对周围进行确认的车辆，那么也有不能轻易对周围进行确认的车辆。尤其，就大型车辆而言，仅通过肉眼或侧镜无法确认的区域相比小型车辆较多。

因此，近来开发有如下技术，利用安装于车辆的后视摄像头(camera)或通过分别安装于车辆的前后左右方向的摄像头来对周围环境进行拍摄，并对所拍摄的影像进行组合，从而输出车辆的周围影像。如此，设置于车辆的前后左右方向的摄像头主要使用具有大视角的广角镜头，并且还使用视角大于180°的超广角镜头的鱼眼镜头(fish-eye lens)。但是，如广角镜头及鱼眼镜头一样，利用视角大的镜头所拍摄的影像在提供广视角的同时，越靠近影像的边缘位置区域折射率越大，从而显示歪曲严重的影像。因此，如广角镜头及鱼眼镜头一样，利用视角大的镜头所拍摄的影像的歪曲需要对其进行校正的方法。

图1是示出现有的影像歪曲校正装置利用数学模型对影像进行校正的过程的图。

参照图1，现有的影像歪曲校正装置在获得将歪曲的影像110的像素坐标分别代入已设定的数学式而得到校正的像素坐标后，获得对其进行排列而得到校正的影像120。

这种方法需要对全部像素进行计算，因此问题在于，实现复杂度较高，并且需要大容量的存储器(memory)。此外，问题还在于，由于适用固定歪曲校正率进行校正而导致歪曲的影像110中所存在的行人111在校正的影像120中消失，从而产生死角区域，并且校正的影像产生与实际距离相比看上去近的远近感误差。

图2是示出现有的影像歪曲校正装置利用锁定表(look-up table)来对影像进行校正的过程的图。

参照图2，现有的影像歪曲校正装置首先对输入影像适用校正算法(CalibrationAlgorithm)，从而获得输入影像的变化的像素坐标，并生成输入表格(table)210。之后，获取对全部像素进行再构成时移动的结果坐标值。此后，通过所述结果坐标值生成校正表格230并存储。之后，将输入表格210对应于校正表格230，从而生成再构成的输出表格220。之后，通过输出表格220对影像歪曲进行校正。

因为这种方法也需要对校正前后的像素值全部进行存储，所以问题在于，需要大容量的存储器。此外，为了按照歪曲的程度进行校正，放大成大于现有影像大小，因此，问题还在于，产生死角区域，并且校正的影像产生与实际距离相比看上去近的远近感误差。

【现有技术文献】

【专利文献】

(专利文献1)韩国公开专利公报10-2004-0022348

发明内容

所要解决的技术问题

本发明目的在于，适用可变歪曲校正率来对歪曲的影像进行校正，由此使得校正歪曲影像时产生的死角区域最小化。

此外，本发明目的在于，适用可变歪曲校正率来对歪曲的影像进行校正，由此使得校正歪曲影像时产生的远近感误差最小化。

解决技术问题的手段

本发明提供一种影像歪曲校正装置，对具有多个影像区分单位的影像的歪曲进行校正，其特征在于，所述影像歪曲校正装置包括：影像中心设定部，在所述多个影像区分单位中设定中心影像区分单位；校正率设定部，设定可变歪曲校正率，以使得以所述中心影像区分单位为基准，所述多个影像区分单位分别以互不相同的比率得到校正；以及校正部，根据所述校正率设定部所设定的所述可变歪曲校正率对所述多个影像区分单位进行校正。

此外，也可以是，与所述多个影像区分单位相对应的可变歪曲校正率表示为针对如下距离的多项式函数，该距离是从所述中心影像区分单位至对应影像区分单位的距离，为了设定所述可变歪曲校正率，所述校正率设定部设定所述多项式函数的校正率函数系数。

此外，也可以是，所述校正部根据所述可变歪曲校正率对所述多个影像区分单位进行校正，从而所述多个影像区分单位分别移动可变比率量并具有基于所述移动变换的影像校正值。

此外，也可以是，所述影像歪曲校正装置还包括插补部，所述插补部在所述校正部根据所述可变歪曲校正率对所述多个影像区分单位进行校正所生成的空间中插入插补影像区分单位。

此外，也可以是，所述插补部以所述中心影像区分单位为基准在水平方向和竖直方向进行划分，从而插入所述插补影像区分单位。

此外，也可以是，所述插补影像区分单位的影像校正值根据相邻的影像区分单位的影像校正值而设定。

此外，也可以是，所述影像歪曲校正装置还包括影像输入部，所述影像输入部被输入具有所述多个影像区分单位的影像。

此外，也可以是，所述影像歪曲校正装置还包括影像输出部，所述影像输出部输出所述插补部所插补的影像。

本发明提供一种影像歪曲校正方法，对具有多个影像区分单位的影像的歪曲进行校正，其特征在于，所述影像歪曲校正方法包括：影像中心设定步骤，在所述多个影像区分单位中设定中心影像区分单位；校正率设定步骤，设定可变歪曲校正率，以使得以所述中心影像区分单位为基准，所述多个影像区分单位分别以互不相同的比率得到校正；以及校正步骤，根据所述校正率设定步骤中所设定的所述可变歪曲校正率对所述多个影像区分单位进行校正。

此外，也可以是，与所述多个影像区分单位相对应的可变歪曲校正率表示为针对如下距离的多项式函数，该距离是从所述中心影像区分单位至对应影像区分单位的距离，校正率设定步骤包括如下步骤：为了设定所述可变歪曲校正率，设定所述多项式函数的校正率函数系数。

此外，也可以是，在所述校正步骤中，根据所述可变歪曲校正率对所述多个影像区分单位进行校正，从而所述多个影像区分单位分别移动可变比率量并具有基于所述移动变换的影像校正值。

此外，也可以是，所述影像歪曲校正方法还包括插补步骤，所述插补步骤在所述校正步骤根据所述可变歪曲校正率对所述多个影像区分单位进行校正所生成的空间中插入插补影像区分单位。

此外，也可以是，所述插补步骤以所述中心影像区分单位为基准在水平方向和竖直方向进行划分，从而插入所述插补影像区分单位。

此外，也可以是，所述插补影像区分单位的影像校正值根据相邻的影像区分单位的影像校正值而设定。

发明的效果

本发明通过适用可变歪曲校正率来对歪曲的影像进行校正，效果在于，使得校正歪曲影像时产生的死角区域最小化。

此外，本发明通过适用可变歪曲校正率来对歪曲的影像进行校正，效果在于，使得校正歪曲影像时产生的远近感误差最小化。

附图说明

图1是示出普通的影像歪曲校正装置利用数学模型对影像进行校正的过程的图。

图2是示出普通的影像歪曲校正装置利用锁定表(look-up table)来对影像进行校正的过程的图。

图3是示出本发明的一个实施例的影像歪曲校正装置的框图。

图4是示出在本发明的一个实施例的影像歪曲校正装置中适用可变歪曲校正率的过程的说明图。

图5是示意性示出输入影像的多个影像区分单位的说明图。

图6是示出在本发明的一个实施例的影像歪曲校正装置中对影像区分单位在水平方向上校正及插补的过程的说明图。

图7是示出在本发明的一个实施例的影像歪曲校正装置中对影像区分单位在竖直方向上校正及插补的过程的说明图。

图8是示出通过本发明的一个实施例的影像歪曲校正装置对歪曲影像进行校正的说明图。

图9是依次示出本发明的一个实施例的影像歪曲校正装置的影像歪曲校正方法的流程图。

附图标记说明

300：影像歪曲校正装置；310：影像输入部；320：影像中心设定部；330：校正率设定部；340：校正部；350：插补部；360：影像输出部。

具体实施方式

以下，参照附图对本发明的优选实施例进行详细说明。首先，对各个附图的构成要素赋予附图标记时，应注意就相同的构成要素而言，即使出现在不同的附图中，但是也尽可能地标注相同的附图标记。此外，对本发明进行说明时，如果判断为针对相关的公知构成或功能的具体说明可能会模糊本发明的要旨的情况下，省略对其的详细说明。此外，以下虽然对本发明的优选实施例进行了详细说明，但是本发明的技术构思并非限定于此或限制与此，可被本领域技术人员变形而进行多种实施。

以下，参照图3至图8，对本发明的一个实施例的影像歪曲校正装置进行说明。

图3是示出本发明的一个实施例的影像歪曲校正装置的框图。

参照图3，本发明的一个实施例的影像歪曲校正装置300包括：影像输入部310、影像中心设定部320、校正率设定部330、校正部340、插补部350及影像输出部360。

影像输入部310可实现为获得从拍摄装备所拍摄的影像。影像中心设定部320可实现为设定多个影像区分单位中的中心影像区分单位。校正率设定部330可实现为以使得所述多个影像区分单位分别以互不相同的比率得到校正的方式设定可变歪曲校正率。校正部340可实现为根据校正率设定部330所设定的所述可变歪曲校正率对所述多个影像区分单位进行校正。插补部350可实现为，在校正部340根据所述可变歪曲校正率对所述多个影像区分单位进行校正，由此向所生成的空间插入插补影像区分单位。影像输出部360可实现为输出在插补部350所插补的影像。

影像输入部310获得从拍摄装备所拍摄的影像的输入。所述拍摄装备包括类似于图像采集装置、CCTV等能够对影像进行拍摄的所有装置。尤其，所述拍摄装备可包括安装于车辆前后左右的摄像头。此时，从所述拍摄装备输入至影像输入部310的影像可包括照片或视频。此外，通过影像输入部310所输入的影像包括多个影像区分单位。所述影像区分单位意指使得所述影像能够按照一定大小进行区分的单位。例如，所述影像区分单位可以意指像素。

影像中心设定部320设定多个影像区分单位中的中心影像区分单位。影像中心设定部320能够将位于所述影像的相对水平方向及竖直方向最中央的影像区分单位设定为所述中心影像区分单位。此外，影像中心设定部320能够将位于所述影像中歪曲最严重的部分的影像区分单位设定为所述中心影像区分单位。除此之外，影像中心设定部320能够以多种方法设定所述中心影像区分单位。

校正率设定部330能够以使得所述多个影像区分单位分别以互不相同的比率得到校正的方式设定可变歪曲校正率。此时，校正率设定部330可以如下设定所述可变歪曲校正率，以便以影像中心设定部320所设定的所述中心影像区分单位为基准，使得所述多个影像区分单位分别以互不相同的比率得到校正。例如，所述可变歪曲校正率能够设定为以下的数学式。

【数学式1】

1+k

此时，r是意指当假设影像不存在歪曲时从所述中心影像区分单位至所校正的影像区分单位的距离，k1、k2、k3、k4分别意指歪曲率函数的系数，即歪曲系数。校正率设定部330可根据镜头特性、摄像头安装误差、摄像头监视区域等来设定所述歪曲系数。数学式1表示的可变歪曲校正率只是示例性的，校正率设定部330能够以不同于数学式1的方式设定所述可变歪曲校正率。以下，参照图4，概略性说明对影像适用可变歪曲校正率的过程。

图4是示出在本发明的一个实施例的影像歪曲校正装置中适用可变歪曲校正率的过程的说明图。此时，图4的(a)及(b)表示对以下影像适用歪曲校正率的影像：位于最左侧的部分校正前的影像、位于中间的部分校正后的影像、位于最右侧的部分校正前的影像。

图4的(a)表示对影像适用固定歪曲校正率的过程。在图4的(a)中，参照位于最右侧的部分，可以确认到，随着从中心影像区分单位靠近外围侧，影像持续越来越放大。因此，问题在于，在校正后影像中，位于校正前影像的外围部分的影像被去除。

图4的(b)表示适用可变歪曲校正率的过程。在图4(的b)中，参照位于最右侧的部分，可以确认到，随着从中心影像区分单位靠近外围侧，影像反复放大和缩小。因此，问题在于，在校正后影像中，位于校正前影像的外围部分的影像被保留。

校正部340根据校正率设定部330所设定的所述可变歪曲校正率来校正所述多个影像区分单位。此时，校正部340以所述中心影像区分单位为基准，按照水平方向和竖直方向进行划分，从而能够对所述多个影像区分单位进行校正。校正部340根据所述可变歪曲校正率对所述多个影像区分单位进行校正，从而所述多个影像区分单位分别移动可变比率的量，并根据这种移动，每个影像区分单位的影像校正值发生变化。此时，就所述影像校正值而言，当所述影像区分单位为像素时，意指像素值。对此，参照图5至图7，在下文进行说明。

插补部350通过在校正部340根据所述可变歪曲校正率对所述多个影像区分单位进行校正，向所生成的空间插入插补影像区分单位。插补部350能够以所述中心影像区分单位为基准，按照水平方向和竖直方向划分，从而插入所述插补影像区分单位。此时，所述插补影像区分单位的影像校正值根据相邻的影像区分单位的影像校正值来设定。此时，如上所述，就所述影像校正值而言，当所述影像区分单位为像素时，意指像素值。以下，参照图5至图7，对校正及插补所述多个影像区分单位的过程进行说明。

以下，在说明中以所述影像区分单位是像素为前提进行说明。

图5是示意性示出输入影像的多个影像区分单位的说明图。

参照图5，可以确认到，通过影像输入部310所输入的影像501包括多个影像区分单位。此时，为了说明的便利，前提是以位于通过影像输入部310所输入的影像501的最中间的影像区分单位为中心影像区分单位502。此外，前提是中心影像区分单位502所表示的数值502是指影像区分单位的位置，数值50是指中心影像区分单位502的像素值，其他影像区分单位也相同。

图6是示出在本发明的一个实施例的影像歪曲校正装置中对影像区分单位在水平方向上校正及插补的过程的说明图。

校正部340以中心影像区分单位502为基准，根据所述可变歪曲校正率对位于左侧及右侧的影像区分单位进行校正，由此，以中心影像区分单位502为基准，位于左侧及右侧的影像区分单位分别移动可变比率量并变换与其相应的像素值。

参照图6，位于校正前中心影像区分单位502右侧第一个的影像区分单位515向右侧移动可变比率610量，从而向位于校正前中心影像区分单位502右侧第二个的影像区分单位516的位置移动。此时，位于校正前中心影像区分单位502右侧第一个的影像区分单位515像素值从60向70变换。换句话说，位于校正前中心影像区分单位502右侧第一个的影像区分单位515移动可变比率610量移动并相应变换像素值，从而不具有校正前的值，因此实际结果是影像区分单位再生成。

此外，位于校正前中心影像区分单位502右侧第二个的影像区分单位51 6向右侧移动可变比率620量，从而向位于校正前中心影像区分单位502右侧第五个的影像区分单位519的位置移动。此时，位于校正前中心影像区分单位502右侧第二个的影像区分单位516像素值从70向100变换。换句话说，位于校正前中心影像区分单位502右侧第二个的影像区分单位516移动可变比率620量，并与其相应像素值不具有校正前的值，因此实际结果是影像区分单位再生成。

另外，上述例子中，虽然仅对如下过程进行了说明：以中心影像区分单位502为基准，位于左侧及右侧的影像区分单位分别根据增加的比率移动并变换与其相应的像素值，但是不说自明的是，因为是移动可变比率量并变换分辨率，所以可以是，以中心影像区分单位502为基准，位于左侧及右侧的影像区分单位分别按照缩小的比率移动并变换与其相应的像素值。

此外，上述例子中，仅对位于校正前中心影像区分单位502右侧第一个的影像区分单位515和位于校正前中心影像区分单位502右侧第二个的影像区分单位516进行了说明，但是也可以同样适用于以中心影像区分单位502为基准位于左侧及右侧的其余影像区分单位。

之后，由于以中心影像区分单位502为基准，位于左侧及右侧的影像区分单位分别移动可变比率量，插补部350能够向所生成的空间插入插补影像区分单位531、532、533。此时，所述插补影像区分单位的像素值根据相邻的影像区分单位的像素值而设定。其意味着，所述插补影像区分单位的像素值是考虑相邻的影像区分单位的像素值而设定为具有最小化影像歪曲的值。具体而言，所述插补影像区分单位的像素值可设定为具有受到与所述插补影像区分单位最相邻的影像区分单位的像素值最大影响的任意值。

例如，中心影像区分单位502与位于校正后中心影像区分单位502右侧第一个的影像区分单位515之间所插入的插补影像区分单位531受到如下像素值较大影响，从而具有任意值62：中心影像区分单位502的像素值50和位于校正后中心影像区分单位502右侧第一个的影像区分单位515的像素值70。

此外，位于校正后中心影像区分单位502右侧第一个的影像区分单位515和位于校正后中心影像区分单位502右侧第二个的影像区分单位516之间所插入的插补影像区分单位532、533受到如下像素值最大影响，从而分别具有任意值83和94：位于校正后中心影像区分单位502右侧第一个的影像区分单位515的像素值70和位于校正后中心影像区分单位502右侧第二个的影像区分单位516的像素值100。

此时，上述示例中，虽然仅仅示例了插补影像区分单位531、532、533所具有的像素值具有相邻的影像区分单位像素值之间的值，但是由于具有用于使得影像的歪曲最小化的任意值，因此可具有相邻影像区分单位像素值之间的值以外的值。

图7是示出在本发明的一个实施例的影像歪曲校正装置中对影像区分单位在竖直方向上校正及插补的过程的说明图。

校正部340根据所述可变歪曲校正率，对以中心影像区分单位502为基准位于上侧及下侧的影像区分单位进行校正，从而以中心影像区分单位502为基准，位于上侧及下侧的影像区分单位分别移动可变比率量，并变换与其相应的像素值。对此的具体说明已参照图6进行，从而省略。

之后，以中心影像区分单位502为基准位于上侧及下侧的影像区分单位分别移动可变比率量，从而插补部350能够向所生成的空间插入插补影像区分单位531、532、533。此时，所述插补影像区分单位的像素值可根据相邻的影像区分单位的像素值而设定。对此的具体说明已参照图6进行，从而省略。

以下，参照图8，说明通过本发明的一个实施例的影像歪曲校正装置对歪曲影像进行校正所产生的优点。

图8是示出通过本发明的一个实施例的影像歪曲校正装置对歪曲影像进行校正的说明图。此时，图8的(a)是表示校正前影像的图，图8的(b)是表示通过现有的影像歪曲校正装置所校正的影像的图，图8的(c)是通过本发明的一个实施例的影像歪曲校正装置所校正的影像的图。

参照图8的(b)，现有的影像歪曲校正装置根据固定歪曲校正率对影像进行校正，从而能够确认到，去除了校正前影像中歪曲部分。此外，能够确认到，被校正为相比实际距离看上去更近，从而也产生远距离感误差。

但是，参照图8的(c)，本发明的影像歪曲校正装置根据可变歪曲校正率对影像进行校正，从而能够确认到保留了校正前影像中歪曲部分。此外，能够确认到，被校正为看上去与实际距离相似，从而使得远近感误差最小化。换句话说，如果通过本发明的影像歪曲校正装置对影像进行校正，则效果在于死角区域最小化及远近感误差最小化。

以下，参照图9，对本发明的一个实施例的影像歪曲校正方法进行说明。此时，省略说明与参照图3至图8进行说明的部分重复的部分。

图9是依次示出本发明的一个实施例的影像歪曲校正装置的影像歪曲校正方法的流程图。

参照图9，首先，影像输入部310接收具有多个影像区分单位的影像的输入(S101)。

之后，影像中心设定部320设定所述多个影像区分单位中中心影像区分单位(S103)。

之后，校正率设定部330设定可变歪曲校正率，使得以所述中心影像区分单位为基准，所述多个影像区分单位分别以互不相同的比率得到校正(S105)。

之后，校正部340根据所述可变歪曲校正率对所述多个影像区分单位进行校正(S107)。

之后，插补部350根据所述可变歪曲校正率对所述多个影像区分单位进行校正，从而向所生成的空间插入插补影像区分单位(S109)。

之后，从影像输出部360输出在S109步骤所插补的影像(S111)。

以上的说明仅仅是对本发明的技术构思进行示例性的说明，本发明所属技术领域中具有通常知识的人员能够在不脱离本发明的本质特性的范围内进行多种修改、变更及置换。由此，在本发明所公开的实施例及附图并非用于限定本发明的技术构思，而是用于说明，并非通过这些实施例及附图来限定本发明的技术构思范围。本发明的保护范围应通过权利要求书来解释，与其等同的范围内的全部技术构思应解释为包含于本发明的权利范围内。