基于边缘方向的图像插值采样方法及装置

摘要

本发明公开了一种基于边缘方向的图像插值采样方法及装置，该方法包括：原图像中确定目标插值点坐标对应的原点坐标，确定出所述原点坐标的基准部分坐标；对所述基准部分坐标所对应的原图像素点进行方向检测，得到所述基准部分坐标对应的边缘方向；根据所述基准部分坐标对应的边缘方向，确定所述目标插值点的采样窗口；根据所述目标插值点的采样窗口，从所述原图像中确定所述目标插值点的采样点集合。可见，本发明能够充分考虑到目标插值位置的边缘方向属性，并基于该边缘方向属性对采样窗口进行调整，从而使得最终得到的采样点集合能够充分考虑到目标插值位置的方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于边缘方向的图像插值采样方法及装置。

背景技术

随着显示技术的发展，电视机等终端显示设备的分辨率越来越精细，但对于一些历史的老旧的视频文件，其分辨率较小，要把这些视频文件在精细度更高的大屏幕中显示，就需要对图像进行放大，以适配终端设备分辨率。在图像放大中，插值算法的优劣对放大效果至关重要。

一般图像插值的原理为，获取目标插值点根据放大倍数映射到原图像的原图坐标(coor_x,coor_y)，根据坐标的整数部分坐标(x_intg,y_intg)，也即基准部分坐标，根据滤波窗口(典型有4x4，2x2等)获取到采样点集合，然后根据坐标的小数部分(x_phase,y_phase)，也即相位部分坐标，基于插值算法算出滤波窗口对应的采样点集合中各采样像素点的权重，最后根据权重插值得到目标像素。但现有的图像插值方法，一般仅采用标准的矩形采样滤波窗口进行采样，没有考虑到像素的方向属性，从而基于此实现的图像插值，基本对所有图像像素都进行同样的插值操作，得到的插值图像，没有对边缘进行自适应，容易出现锯齿等现象，画面质量不高，用户体验较差。

发明内容

本发明所要解决的技术问题在于，提供一种基于边缘方向的图像插值采样方法及装置，能够充分考虑到目标插值位置的边缘方向属性，并基于该边缘方向属性对插值的采样窗口进行调整，从而使得最终得到的用于插值计算的采样点集合能够充分考虑到目标插值位置的方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。

为了解决上述技术问题，本发明实施例第一方面公开了一种基于边缘方向的图像插值采样方法，所述方法包括：

从原图像中确定目标插值点坐标对应的原点坐标，确定出所述原点坐标的基准部分坐标；

对所述基准部分坐标所对应的原图像素点进行方向检测，得到所述基准部分坐标对应的边缘方向；

根据所述基准部分坐标对应的边缘方向，确定所述目标插值点的采样窗口；所述采样窗口为所述原图像中离所述原点坐标最近的多个像素点；所述采样窗口的形状被设置为至少有一个延伸方向与所述边缘方向平行；

根据所述目标插值点的采样窗口，从所述原图像中确定所述目标插值点的采样点集合；所述目标插值点的采样点集合用于根据插值算法实现所述目标插值点的插值计算。

本发明实施例第二方面公开了一种基于边缘方向的图像插值采样装置，所述装置包括：

坐标确定模块，用于从原图像中确定目标插值点坐标对应的原点坐标，确定出所述原点坐标的基准部分坐标；

方向检测模块，用于对所述基准部分坐标所对应的原图像素点进行方向检测，得到所述基准部分坐标对应的边缘方向；

窗口确定模块，用于根据所述基准部分坐标对应的边缘方向，确定所述目标插值点的采样窗口；所述采样窗口为所述原图像中离所述原点坐标最近的多个像素点；所述采样窗口的形状被设置为至少有一个延伸方向与所述边缘方向平行；

采样确定模块，用于根据所述目标插值点的采样窗口，从所述原图像中确定所述目标插值点的采样点集合；所述目标插值点的采样点集合用于根据插值算法实现所述目标插值点的插值计算。

本发明第三方面公开了另一种基于边缘方向的图像插值采样装置，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于边缘方向的图像插值采样方法中的部分或全部步骤。

本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于边缘方向的图像插值采样方法中的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，公开了一种基于边缘方向的图像插值采样方法及装置，该方法包括：原图像中确定目标插值点坐标对应的原点坐标，确定出所述原点坐标的基准部分坐标；对所述基准部分坐标所对应的原图像素点进行方向检测，得到所述基准部分坐标对应的边缘方向；根据所述基准部分坐标对应的边缘方向，确定所述目标插值点的采样窗口；根据所述目标插值点的采样窗口，从所述原图像中确定所述目标插值点的采样点集合。可见，本发明实施例能够充分考虑到目标插值位置的边缘方向属性，并基于该边缘方向属性对插值的采样窗口进行调整，从而使得最终得到的用于插值计算的采样点集合能够充分考虑到目标插值位置的方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于边缘方向的图像插值采样方法的流程示意图。

图2是本发明实施例公开的另一种基于边缘方向的图像插值采样方法的流程示意图。

图3是本发明实施例公开的一种基于边缘方向的图像插值采样装置的结构示意图。

图4是本发明实施例公开的另一种基于边缘方向的图像插值采样装置的结构示意图。

图5是本发明实施例公开的又一种基于边缘方向的图像插值采样装置的结构示意图。

图6是本发明实施例公开的一种预设边缘方向的划分示意图。

图7是本发明实施例公开的一种基于0度与90度边缘方向的图像插值方案的采样示意图。

图8是本发明实施例公开的一种基于45度边缘方向的图像插值方案的采样示意图。

图9是本发明实施例公开的一种基于135度边缘方向的图像插值方案的采样示意图。

图10是本发明实施例公开的一种基于30度边缘方向的图像插值方案的采样示意图。

图11是本发明实施例公开的一种基于60度边缘方向的图像插值方案的采样示意图。

图12是本发明实施例公开的一种基于120度边缘方向的图像插值方案的采样示意图。

图13是本发明实施例公开的一种基于150度边缘方向的图像插值方案的采样示意图。

图14是本发明实施例公开的一种插值算法的插值计算示意图。

图15是本发明实施例公开的图像插值方法与传统的bicubic插值算法的插值图像结果的效果比对示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明公开了一种基于边缘方向的图像插值采样方法及装置，能够充分考虑到目标插值位置的边缘方向属性，并基于该边缘方向属性对插值的采样窗口进行调整，从而使得最终得到的用于插值计算的采样点集合能够充分考虑到目标插值位置的方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于边缘方向的图像插值采样方法的流程示意图。其中，图1所描述的基于边缘方向的图像插值采样方法应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中，也可以适用于在包含图像缩放的场景下使用，包含但不限于实现为数字电视、OTT盒子、车载中控设备或方案的图像缩放电路，图像浏览、编辑软件的缩放功能等场景。如图1所示，该基于边缘方向的图像插值采样方法可以包括以下操作：

101、从原图像中确定目标插值点坐标对应的原点坐标，确定出原点坐标的基准部分坐标。

本发明实施例中，确定原点坐标的具体方式，可以为根据图像插值的倍数，例如放大5倍，来将目标插值点坐标转化为原点坐标，具体的，可以将目标插值点坐标的横坐标和纵坐标分别除以该倍数，以分别得到对应的原点坐标。

本发明实施例中，由于目标插值点坐标为整数坐标，在将其通过除以倍数的方式转化成原点坐标后，原点坐标的横坐标和纵坐标会包括整数部分和小数部分，其中，原点坐标的横坐标和纵坐标的整数部分组成本发明实施例中所述的基准部分坐标，用于指示该原点坐标所对应的基准像素点。而原点坐标的横坐标和纵坐标的小数部分组成本发明实施例中所述的相位部分坐标，用于指示该原点坐标所对应的相位像素点。

102、对基准部分坐标所对应的原图像素点进行方向检测，得到基准部分坐标对应的边缘方向。

本发明实施例中，基准部分坐标所对应的原图像素点，即邻近目标插值点左上角的像素点，对其进行边缘方向检测后，可以得到其对应的边缘方向。一般而言，边缘检测的目的是找到图像中亮度变化剧烈的像素点构成的集合，本发明实施例中，可以利用边缘检测算子来检测原图像素点是否处于特定边缘上，并确定出该边缘的方向。可选的，可以事先将预设的方向划分为多个方向，如图6所示，在本发明实施例的一种具体的实施方案中，预设的方向被划分为0°，30°，45°，60°，90°，120°，135°，150°一共七个边缘方向，对应标记为0-7。

本发明实施例中，步骤102中所述的对基准部分坐标所对应的原图像素点进行方向检测，可以为基于Sobel算子、一阶微分算子、prewitt算子或Laplacian算子对基准部分坐标所对应的原图像素点进行方向检测。

103、根据基准部分坐标对应的边缘方向，确定目标插值点的采样窗口。

本发明实施例中，采样窗口可以为原图像中离原点坐标最近的多个像素点。可选的，采样窗口可以为离原点坐标最近的4*4像素窗口、8*4像素窗口、2*2像素窗口或其他可选的窗口样式。

本发明实施例中，采样窗口的形状被设置为至少有一个延伸方向与边缘方向平行，例如采样窗口的形状可以被设置为不规则或规则的长条状，例如一对侧边的长度大于另一对侧边的长度的平行四边形，且该长条状的延伸方向，在平行四边形的例子中即长侧边的延伸方向，与上述确定出的边缘方向平行。通过这样设置，可以充分考虑到边缘方向的属性，以使得采样窗口所覆盖区域中的采样点所组成的集合具有更显著的方向属性，可以体现出边缘方向上的像素点的特征，有利于提高最终确定出的插值像素的精确性。

104、根据目标插值点的采样窗口，从原图像中确定目标插值点的采样点集合。

本发明实施例中，目标插值点的采样点集合用于根据插值算法实现目标插值点的插值计算。

可见，上述发明实施例能够充分考虑到目标插值位置的边缘方向属性，并基于该边缘方向属性对插值的采样窗口进行调整，从而使得最终得到的用于插值计算的采样点集合能够充分考虑到目标插值位置的方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。

作为一种可选的实施方式，采样窗口的形状被设置为有一对侧边与边缘方向平行的平行四边形。

本发明实施例中，该采样窗口的平行四边形形状，可以为但不限于菱形、矩形、长方形、正方形或沿不同方向延伸的平行四边形，具体的，可以参照图7-图13以及下述结合图7-图13进行阐述的实施例进行理解。

作为一种可选的实施方式，步骤104中的，根据目标插值点的采样窗口，从原图像中确定目标插值点的采样点集合，包括：

根据目标插值点的采样窗口，从原图像中确定出被采样窗口所覆盖的多个采样像素点；

将多个采样像素点确定为目标插值点的采样点集合。

本发明实施例中，如上所述，采样窗口可以为原图像中离原点坐标最近的多个像素点，因此被采样窗口所覆盖的多个采样像素点，也即采样窗口所指定的原图像中离原点坐标最近的多个像素点，此处的覆盖是为了直观表述采样窗口的工作原理，并不意在限制采样窗口确实执行了覆盖这一操作，本领域技术人员通晓这一表述的实际原理，在此不再赘述。

作为一种可选的实施方式，上述步骤中的，根据目标插值点的采样窗口，从原图像中确定出被采样窗口所覆盖的多个采样像素点，包括：

在原图像的所有原始像素点中任意两个沿边缘方向相邻的原始像素点沿边缘方向的间隙确定出一个亚像素点；

在原图像确定出被采样窗口所覆盖的区域；

将被采样窗口所覆盖的区域内的所有原始像素点和亚像素点确定为被采样窗口所覆盖的多个采样像素点。

上述可选的实施方式中，确定亚像素点的目的在于，在某些情况中，采样窗口由于边缘方向的限制并非标准的矩形窗口，因此其在覆盖或指定原图像的像素点时会存在部分位置的像素缺失的情况，因此在两个原始像素点沿边缘方向的间隙中确定亚像素点，可以有效解决像素缺失的问题，使得最终确定出的采样点集合更丰富，具有更多参考像素点。

接下来，以前述具体的实施方案为例，详细阐述本发明实施例中的从原图像中确定出被采样窗口所覆盖的多个采样像素点的具体实施场景：

在前述具体的实施方案中，预设的边缘方向被划分为七个方向，接下来分别对七个方向所对应的七个场景中，采样窗口的形状以及采样点的确定的具体方案进行描述，需要注意的是，下述七个场景均采用4*4的像素窗口作为采样窗口，其中的采样点的坐标，用坐标(yx)进行标注，如21表示第2行第1个样本：

参照图7，图7示出了水平0°与垂直90°的边缘方向的采样窗口形状以及原图像中的采样点，如图7所示，水平0°与垂直90°的采样只需要取与目标插值点最邻近的4x4像素点即可，其采样窗口形状为正方形。

参照图8，图8示出了在45°的边缘方向的采样窗口形状以及原图像中的采样点的多种情况，其采样窗口为菱形，其满足至少有一对侧边与45度的边缘方向平行的要求。由于在45°方向时，目标插值点所对应的原图坐标点与基准像素点之间的位置关系可能存在四种情况，因此，采样点的位置也包括四种情况。具体的，四种情况的判断，通过对相位部分坐标(x_phase，y_phase)的判断来实现，其判断公式为：

0：y_phase＞＝x_phase&y_phase＜(1-x_phase)

1：y_phase＞＝x_phase&y_phase＞＝(1-x_phase)

2：y_phase＜x_phase&y_phase＞＝(1-x_phase)

3：y_phase＜x_phase&y_phase＜(1-x_phase)

其中，0-3表示所述四种情况中相位部分坐标的横坐标和纵坐标需要满足的条件，而0-3四种情况的采样像素点的分布情况，可以分别参照图8的a至d四个图，图中的深色的带有数字标识的采样像素点，即上述亚像素点。

参照图9，图9示出了在135°的边缘方向的采样窗口形状以及原图像中的采样点的多种情况，其采样窗口为菱形，其满足至少有一对侧边与135度的边缘方向平行的要求。由于在135°方向时，目标插值点所对应的原图坐标点与基准像素点之间的位置关系可能存在四种情况，因此，采样点的位置也包括四种情况。具体的，四种情况的判断，通过对相位部分坐标(x_phase，y_phase)的判断来实现，其判断公式为：

0：y_phase＞＝x_phase&y_phase＜(1-x_phase)

1：y_phase＞＝x_phase&y_phase＞＝(1-x_phase)

2：y_phase＜x_phase&y_phase＞＝(1-x_phase)

3：y_phase＜x_phase&y_phase＜(1-x_phase)

其中，0-3表示所述四种情况中相位部分坐标的横坐标和纵坐标需要满足的条件，而0-3四种情况的采样像素点的分布情况，可以分别参照图9的a至d四个图，图中的深色的带有数字标识的采样像素点，即上述亚像素点。

参照图10，图10示出了在30°的边缘方向的采样窗口形状以及原图像中的采样点的多种情况，其采样窗口为平行四边形，其满足至少有一对侧边(即其长侧边)与30度的边缘方向平行的要求。由于在30°方向时，目标插值点所对应的原图坐标点与基准像素点之间的位置关系可能存在三种情况，因此，采样点的位置也包括三种情况。具体的，三种情况的判断，通过对相位部分坐标(x_phase，y_phase)的判断来实现，其判断公式为：

0：y_phase＞＝2*x_phase+0.5

1：y_phase＜2*x_phase+0.5&y_phase＞＝2*x_phase

2：y_phase＜2*x_phase

其中，0-2表示所述三种情况中相位部分坐标的横坐标和纵坐标需要满足的条件，而0-2三种情况的采样像素点的分布情况，可以分别参照图10的a至c四个图，图中的深色的带有数字标识的采样像素点，即上述亚像素点。

参照图11，图11示出了在60°的边缘方向的采样窗口形状以及原图像中的采样点的多种情况，其采样窗口为平行四边形，其满足至少有一对侧边(即其长侧边)与60度的边缘方向平行的要求。由于在60°方向时，目标插值点所对应的原图坐标点与基准像素点之间的位置关系可能存在三种情况，因此，采样点的位置也包括三种情况。具体的，三种情况的判断，通过对相位部分坐标(x_phase，y_phase)的判断来实现，其判断公式为：

0：y_phase＞＝2*x_phase

1：y_phase＜2*x_phase&y_phase＞＝2*x_phase-1

2：y_phase＜2*x_phase-1

其中，0-2表示所述三种情况中相位部分坐标的横坐标和纵坐标需要满足的条件，而0-2三种情况的采样像素点的分布情况，可以分别参照图11的a至c四个图，图中的深色的带有数字标识的采样像素点，即上述亚像素点。

参照图12，图12示出了在120°的边缘方向的采样窗口形状以及原图像中的采样点的多种情况，其采样窗口为平行四边形，其满足至少有一对侧边(即其长侧边)与120度的边缘方向平行的要求。由于在120°方向时，目标插值点所对应的原图坐标点与基准像素点之间的位置关系可能存在三种情况，因此，采样点的位置也包括三种情况。具体的，三种情况的判断，通过对相位部分坐标(x_phase，y_phase)的判断来实现，其判断公式为：

0：y_phase＜＝-2*x_phase+1

1：y_phase＞-2*x_phase+1&y_phase＜＝2-2*x_phase

2：y_phase＞2-2*x_phase

其中，0-2表示所述三种情况中相位部分坐标的横坐标和纵坐标需要满足的条件，而0-2三种情况的采样像素点的分布情况，可以分别参照图12的a至c四个图，图中的深色的带有数字标识的采样像素点，即上述亚像素点。

参照图13，图13示出了在150°的边缘方向的采样窗口形状以及原图像中的采样点的多种情况，其采样窗口为平行四边形，其满足至少有一对侧边(即其长侧边)与150度的边缘方向平行的要求。由于在150°方向时，目标插值点所对应的原图坐标点与基准像素点之间的位置关系可能存在三种情况，因此，采样点的位置也包括三种情况。具体的，三种情况的判断，通过对相位部分坐标(x_phase，y_phase)的判断来实现，其判断公式为：

0：y_phase＜＝-2*x_phase+0.5

1：y_phase＞-2*x_phase+0.5&y_phase＜＝-2*x_phase+1

2：y_phase＞-2*x_phase+1

其中，0-2表示所述三种情况中相位部分坐标的横坐标和纵坐标需要满足的条件，而0-2三种情况的采样像素点的分布情况，可以分别参照图13的a至c四个图，图中的深色的带有数字标识的采样像素点，即上述亚像素点。

在一个可选的实施方式中，上述步骤中的，在原图像的所有原始像素点中任意两个沿边缘方向相邻的原始像素点沿边缘方向的间隙确定出一个亚像素点，包括：

对于原图像的所有原始像素点中任意两个沿边缘方向相邻的原始像素点，计算两个原始像素点的像素平均值；

在两个原始像素点的沿边缘方向的连线的中点位置，设置一个像素值为像素平均值的亚像素点。

可见，通过该可选的实施方式，可以在两个原始像素点的沿边缘方向的连线的中点位置，设置一个像素值为两个原始像素点的像素平均值的亚像素点，从而使得确定出的亚像素点更能代表边缘方向上的像素点的特征，进而使得最终确定出采样点集合更加精确地反映出边缘方向的特性，提高最终的插值结果的图像质量。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于边缘方向的图像插值采样方法的流程示意图。其中，图2所描述的基于边缘方向的图像插值采样方法应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中，也可以适用于在包含图像缩放的场景下使用，包含但不限于实现为数字电视、OTT盒子、车载中控设备或方案的图像缩放电路，图像浏览、编辑软件的缩放功能等场景。如图2所示，该基于边缘方向的图像插值采样方法可以包括以下操作：

201、从原图像中确定目标插值点坐标对应的原点坐标，确定出原点坐标的基准部分坐标。

202、对基准部分坐标所对应的原图像素点进行方向检测，得到基准部分坐标对应的边缘方向。

203、根据基准部分坐标对应的边缘方向，确定目标插值点的采样窗口。

204、根据目标插值点的采样窗口，从原图像中确定目标插值点的采样点集合。

本发明实施例中，针对步骤201-204的相关描述请参照实施例一中针对步骤101-步骤104的详细描述，本发明实施例不再赘述。

205、确定出原点坐标的相位部分坐标。

本发明实施例，相位部分坐标即原点坐标的横坐标和纵坐标的小数部分所组成的坐标，在实施例一中已有详细论述，在此不再赘述。

206、根据目标插值点的采样点集合与基准采样点集合之间的差别，对原点坐标的相位部分坐标进行修正，得到原点修正坐标。

本发明实施例中，基准采样点集合为基于矩形采样窗口从原图像中确定的目标插值点的采样点集合。其中，矩形采样窗口的大小与采样窗口的大小相同。以实施一中的具体实施方案为例，基准采样点集合所基于的矩形采样窗口即边缘方向为0度和90度时所采用的采样窗口，这类采样窗口为常用的采样窗口，由于图像像素排列本身即为矩形的行列模式，这类采样窗口可以直接指定原图像中的原始像素点，而无需进行亚像素点的确定操作。

207、根据原点修正坐标和目标插值点的采样点集合，基于插值算法计算目标插值点对应的像素值。

上述设置的目的在于，原点坐标的相位部分坐标在插值算法中一般用于确定采样点集合中每一采样点的计算权重，该计算权重一般基于该采样点与原点坐标之间的距离，在本发明实施例中，由于采样窗口因边缘方向做出了调整，从而最终的采样点集合也因角度和位置的变化，与一般的基准采样点集合不同，因此通过调整原点坐标的相位部分坐标，可以使得最终的计算权重在确定时考虑到采样窗口的方向调整，以更合理地进行插值计算。

可见，上述发明实施例能够充分考虑到目标插值点的采样点集合与基准采样点集合之间的差别，并基于该差别对对原点坐标的相位部分坐标进行修正，从而使得最终得到的用于插值计算的原点坐标能够充分考虑到采样窗口的边缘方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。

在一个可选的实施方式中，上述步骤206中的，根据目标插值点的采样点集合与基准采样点集合之间的差别，对原点坐标的相位部分坐标进行修正，得到原点修正坐标，包括：

计算目标插值点的采样点集合与基准采样点集合之间的角度差值和移动距离差值；

根据角度差值和移动距离差值，对原点坐标的相位部分坐标进行修正，得到原点修正坐标。

本发明实施例中，原点修正坐标与采样点集合中任一采样点的距离，和原点修正坐标与基准采样点集合中任一对应位置的采样点的距离相同。

接下来，结合实施例一中的具体实施方案，对不同边缘方向对应的场景中，相位部分坐标的修正的具体实施细节进行阐述，需要注意的，以下的阐述中，调整后的相位部分坐标用(x_rot，y_rot)表示：

在图7所示的水平0°与垂直90°的边缘方向的场景中，由于采样窗口就是矩形采样窗口，因此其对应的采样点集合与基准采样点集合之间，不存在角度变化和位置变化，即：

x_rot＝x_phase

y_rot＝y_phase

在图8示出的45°的边缘方向的场景中，由于0-3四种情况的采样点集合的分布情况不同，其与基准采样点集合之间的角度变化和位置变化也存在不同，则0-3四种情况的相位部分坐标的调整方式如下述公式所示：

0：x_rot

＝cos45°*x_phase+sin45°*y_phase

y_rot

＝-sin45°*x_phase+cos45°*y_phase

1：x_rot

＝cos45°*(x_phase-0.5)+sin45°*(y_phase-0.5)

y_rot

＝-sin45°*(xphase-0.5)+cos45°*(y_phase-0.5)

2：x_rot

＝cos45°*(x_phase-1)+sin45°*y_phase

y_rot

＝-sin45°*(x_phase-1)+cos45°*y_phase

3：x_rot

＝cos45°*(x_phase-0.5)+sin45°*(y_phase+0.5)

y_rot

＝-sin45°*(x_phase-0.5)+cos45°*(y_phase+0.5)

在图9示出的135°的边缘方向的场景中，由于0-3四种情况的采样点集合的分布情况不同，其与基准采样点集合之间的角度变化和位置变化也存在不同，则0-3四种情况的相位部分坐标的调整方式如下述公式所示：

0：x_rot

＝cos135°*(x_phase+0.5)+sin135°*(y_phase-0.5)

y_rot

＝-sin135°*(x_phase+0.5)+cos135°*(y_phase-0.5)

1：x_rot

＝cos45°*x_phase+sin45°*(y_phase-1)

y_rot

＝-sin45°*x_phase+cos45°*(y_phase-1)

2：x_rot

＝cos45°*(x_phase-0.5)+sin45°*(y_phase-0.5)

y_rot

＝-sin45°*(x_phase-0.5)+cos45°*(y_phase-0.5)

3：x_rot

＝cos135°*x_phase+sin135°*y_phase

y_rot

＝-sin135°*x_phase+cos135°*y_phase

在图10示出的30°的边缘方向的场景中，由于0-2三种情况的采样点集合的分布情况不同，其与基准采样点集合之间的角度变化和位置变化也存在不同，则0-2三种情况的相位部分坐标的调整方式如下述公式所示：

0：x_rot

＝cos30°*x_phase+sin3°*(y_phase-0.5)

y_rot

＝-sin30°*x_phase+cos30°*(y_phase-0.5)

1：x_rot

＝cos30°*x_phase+sin30°*y_phase

y_rot

＝-sin30°*x_phase+cos30°*y_phase

2：x_rot

＝cos 30°*x_phase+sin30°*(y_phase+0.5)

y_rot

＝-sin30°*x_phase+cos30°*(y_phase+0.5)

在图11示出的60°的边缘万向的场景中，由于0-2三种情况的采样点集合的分布情况不同，其与基准采样点集合之间的角度变化和位置变化也存在不同，则0-2三种情况的相位部分坐标的调整方式如下述公式所示：

0：x_rot

＝cos60°*x_phase+sin60°*y_phase

y_rot

＝-sin60°*x_phase+cos60°*y_phase

1：x_rot

＝cos60°*(x_phase-0.5)+sin60°*y_phase

y_rot

＝-sin60°*(x_phase-0.5)+cos60°*y_phase

2：x_rot

＝cos60°*(x_phase-1)+sin60°*y_phase

y_rot

＝-sin60°*(x_phase-1)+cos60°*y_phase

在图12示出的120°的边缘方向的场景中，由于0-2三种情况的采样点集合的分布情况不同，其与基准采样点集合之间的角度变化和位置变化也存在不同，则0-2三种情况的相位部分坐标的调整方式如下述公式所示：

0：x_rot

＝cos120*(x_phase-0.5)+sin120*y_phase

y_rot

＝-sin120°*(x_phase-0.5)+cos120°*y_phase

1：x_rot

＝cos120°*(x_phase-1)+sin120°*y_phase

y_rot

＝-sin120°*(x_phase-1)+cos120°*y_phase

2：x_rot

＝cos120°*(x_phase-1.5)+sin120°*y_phase

y_rot

＝-sin120°*(x_phase-1.5)+cos120°*y_phase

在图13示出的150°的边缘方向的场景中，由于0-2三种情况的采样点集合的分布情况不同，其与基准采样点集合之间的角度变化和位置变化也存在不同，则0-2三种情况的相位部分坐标的调整方式如下述公式所示：

0：x_rot

＝cos150°*(x_phase-1)+sin150°*y_phase

y_rot

＝-sin150°*(x_phase-1)+cos150°*y_phase

1：x_rot

＝cos150°*(x_phase-1)+sin150°*(y_phase-0.5)

y_rot

＝-sin150°*(x_phase-1)+cos150°*(y_phase-0.5)

2：x_rot

＝cos150°*(x_phase-1)+sin150°*(y_phase-1)

y_rot

＝-sin150°*(x_phase-1)+cos150°*(y_phase-1)

在一个可选的实施方式中，插值算法包括bicubic插值算法、linear插值算法、lanczos插值算法、水平滤波算法和垂直滤波算法中的一种或多种。

例如，上述具体实施方案中的原点修正坐标和采样点集合，也即(x_rot，y_rot)和图中不同情况的4*4采样像素点集合，可以采用滤波算法和bicubic插值算法结合的方式，实现插值计算。具体的，插值计算的过程示意图可以参照图14，其中，首先通过将原点坐标的相位部分坐标使用bicubic插值算法计算出x方向上和y方向上的权重值，也即(Wx0，Wx1，Wx2，Wx3)和(Wy0，Wy1，Wy2，Wy3)，以x方向为例，四个采样像素点在x方向上与原点坐标之间的距离(x0，x1，x2，x3)分别为(-1-x_rot，-x_rot，1-x_rot，2-x_rot)，分别代入bicubic公式：

即可求得权重值(Wx0，Wx1，Wx2，Wx3)，上述公式中a可以取-0.5，同理可以求得权重值(Wy0，Wy1，Wy2，Wy3)。

接着，将求得的权重值与采样点集合，输入滤波算法进行插值计算，滤波算法可以分为水平滤波和垂直滤波两步，首先通过水平滤波得到4个水平滤波结果，用公式表达为：

其中，S

接着基于下述公式，垂直滤波得到结果：

其中，W

可选的，上述插值算法的步骤仅为一种范例，在一些场景中，也可以不分为水平和垂直滤波两步骤，直接根据相位计算各样本点权重。

可见，实施例一与实施例二中公开的图像插值方法，为不同方向设计了对应的插值方法，包括采样和相位调整等步骤，从而使插值图像更平滑自然，大大减少了锯齿的出现，同时该方法仅需要固定且较小的滤波窗口，占用的储存和带宽较小。具体的，可以参照图15，图15中的a为传统的bicubic插值算法对同一图像插值得到的图像，b为采用本发明实施例一和实施例二中的图像插值方法对同一图像插值得到的图像，可见，b中的结果显然更平滑自然，锯齿更少，效果更好。需要注意的是，上述具体实施方案中，具体的划分了七个预设的边缘方向，但在实际应用中，可根据实际需求增加或减小方向个数，以达到更适应场景的效果。

实施例三

请参阅图3，图3是本发明实施例公开的一种基于边缘方向的图像插值采样装置的结构示意图。其中，图3所描述的基于边缘方向的图像插值采样装置应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中，也可以适用于在包含图像缩放的场景下使用，包含但不限于实现为数字电视、OTT盒子、车载中控设备或方案的图像缩放电路，图像浏览、编辑软件的缩放功能等场景。

如图3所示，该基于边缘方向的图像插值采样装置可以包括：

坐标确定模块301，用于从原图像中确定目标插值点坐标对应的原点坐标，确定出原点坐标的基准部分坐标；

本发明实施例中，确定原点坐标的具体方式，可以为根据图像插值的倍数，例如放大5倍，来将目标插值点坐标转化为原点坐标，具体的，可以将目标插值点坐标的横坐标和纵坐标分别除以该倍数，以分别得到对应的原点坐标。

本发明实施例中，由于目标插值点坐标为整数坐标，在将其通过除以倍数的方式转化成原点坐标后，原点坐标的横坐标和纵坐标会包括整数部分和小数部分，其中，原点坐标的横坐标和纵坐标的整数部分组成本发明实施例中所述的基准部分坐标，用于指示该原点坐标所对应的基准像素点。而原点坐标的横坐标和纵坐标的小数部分组成本发明实施例中所述的相位部分坐标，用于指示该原点坐标所对应的相位像素点。

方向检测模块302，用于对基准部分坐标所对应的原图像素点进行方向检测，得到基准部分坐标对应的边缘方向；

本发明实施例中，基准部分坐标所对应的原图像素点，即邻近目标插值点左上角的像素点，对其进行边缘方向检测后，可以得到其对应的边缘方向。一般而言，边缘检测的目的是找到图像中亮度变化剧烈的像素点构成的集合，本发明实施例中，可以利用边缘检测算子来检测原图像素点是否处于特定边缘上，并确定出该边缘的方向。可选的，可以事先将预设的方向划分为多个方向，如图6所示，在本发明实施例的一种具体的实施方案中，预设的方向被划分为0°，30°，45°，60°，90°，120°，135°，150°一共七个边缘方向。

本发明实施例中，方向检测模块302对基准部分坐标所对应的原图像素点进行方向检测，可以为基于Sobel算子、一阶微分算子、prewitt算子或Laplacian算子对基准部分坐标所对应的原图像素点进行方向检测。

窗口确定模块303，用于根据基准部分坐标对应的边缘方向，确定目标插值点的采样窗口；

本发明实施例中，采样窗口可以为原图像中离原点坐标最近的多个像素点。可选的，采样窗口可以为离原点坐标最近的4*4像素窗口、8*4像素窗口、2*2像素窗口或其他可选的窗口样式。

本发明实施例中，采样窗口的形状被设置为至少有一个延伸方向与边缘方向平行，例如采样窗口的形状可以被设置为不规则或规则的长条状，例如一对侧边的长度大于另一对侧边的长度的平行四边形，且该长条状的延伸方向，在平行四边形的例子中即长侧边的延伸方向，与上述确定出的边缘方向平行。通过这样设置，可以充分考虑到边缘方向的属性，以使得采样窗口所覆盖区域中的采样点所组成的集合具有更显著的方向属性，可以体现出边缘方向上的像素点的特征，有利于提高最终确定出的插值像素的精确性。

采样确定模块304，用于根据目标插值点的采样窗口，从原图像中确定目标插值点的采样点集合；目标插值点的采样点集合用于根据插值算法实现目标插值点的插值计算。

可见，上述发明实施例能够充分考虑到目标插值位置的边缘方向属性，并基于该边缘方向属性对插值的采样窗口进行调整，从而使得最终得到的用于插值计算的采样点集合能够充分考虑到目标插值位置的方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。

作为一个可选的实施方式，在本发明实施例中，采样窗口的形状被设置为有一对侧边与边缘方向平行的平行四边形；本发明实施例中，该采样窗口的平行四边形形状，可以为但不限于菱形、矩形、长方形、正方形或沿不同方向延伸的平行四边形。

作为一个可选的实施方式，在本发明实施例中，采样确定模块304根据目标插值点的采样窗口，从原图像中确定目标插值点的采样点集合的具体方式，包括：

根据目标插值点的采样窗口，从原图像中确定出被采样窗口所覆盖的多个采样像素点；

将多个采样像素点确定为目标插值点的采样点集合。

作为一个可选的实施方式，在本发明实施例中，采样确定模块304根据目标插值点的采样窗口，从原图像中确定出被采样窗口所覆盖的多个采样像素点的具体方式，包括：

在原图像的所有原始像素点中任意两个沿边缘方向相邻的原始像素点沿边缘方向的间隙确定出一个亚像素点；

在原图像确定出被采样窗口所覆盖的区域；

将被采样窗口所覆盖的区域内的所有原始像素点和亚像素点确定为被采样窗口所覆盖的多个采样像素点。

作为一个可选的实施方式，在本发明实施例中，采样确定模块304在原图像的所有原始像素点中任意两个沿边缘方向相邻的原始像素点沿边缘方向的间隙确定出一个亚像素点的具体方式，包括：

对于原图像的所有原始像素点中任意两个沿边缘方向相邻的原始像素点，计算两个原始像素点的像素平均值；

在两个原始像素点的沿边缘方向的连线的中点位置，设置一个像素值为像素平均值的亚像素点。

可见，通过该可选的实施方式，可以在两个原始像素点的沿边缘方向的连线的中点位置，设置一个像素值为两个原始像素点的像素平均值的亚像素点，从而使得确定出的亚像素点更能代表边缘方向上的像素点的特征，进而使得最终确定出采样点集合更加精确地反映出边缘方向的特性，提高最终的插值结果的图像质量。

作为一个可选的实施方式，在本发明实施例中，如图4所示，该装置还包括：

相位确定模块305，用于确定出原点坐标的相位部分坐标；

坐标修正模块306，用于根据目标插值点的采样点集合与基准采样点集合之间的差别，对原点坐标的相位部分坐标进行修正，得到原点修正坐标；

本发明实施例中，基准采样点集合为基于矩形采样窗口从原图像中确定的目标插值点的采样点集合。其中，矩形采样窗口的大小与采样窗口的大小相同。以实施一中的具体实施方案为例，基准采样点集合所基于的矩形采样窗口即边缘方向为0度和90度时所采用的采样窗口，这类采样窗口为常用的采样窗口，由于图像像素排列本身即为矩形的行列模式，这类采样窗口可以直接指定原图像中的原始像素点，而无需进行亚像素点的确定操作。

插值计算模块307，用于根据原点修正坐标和目标插值点的采样点集合，基于插值算法计算目标插值点对应的像素值。

上述设置的目的在于，原点坐标的相位部分坐标在插值算法中一般用于确定采样点集合中每一采样点的计算权重，该计算权重一般基于该采样点与原点坐标之间的距离，在本发明实施例中，由于采样窗口因边缘方向做出了调整，从而最终的采样点集合也因角度和位置的变化，与一般的基准采样点集合不同，因此通过调整原点坐标的相位部分坐标，可以使得最终的计算权重在确定时考虑到采样窗口的方向调整，以更合理地进行插值计算。

可见，上述发明实施例能够充分考虑到目标插值点的采样点集合与基准采样点集合之间的差别，并基于该差别对对原点坐标的相位部分坐标进行修正，从而使得最终得到的用于插值计算的原点坐标能够充分考虑到采样窗口的边缘方向特性，进而使得最终的插值结果能够更加精确，得到的插值图像的锯齿现象减轻，图像质量得到提高。

作为一个可选的实施方式，在本发明实施例中，坐标修正模块306根据目标插值点的采样点集合与基准采样点集合之间的差别，对原点坐标的相位部分坐标进行修正，得到原点修正坐标的具体方式，包括：

计算目标插值点的采样点集合与基准采样点集合之间的角度差值和移动距离差值；

根据角度差值和移动距离差值，对原点坐标的相位部分坐标进行修正，得到原点修正坐标；原点修正坐标与采样点集合中任一采样点的距离，和原点修正坐标与基准采样点集合中任一对应位置的采样点的距离相同。

作为一个可选的实施方式，在本发明实施例中，插值算法包括bicubic插值算法、linear插值算法、lanczos插值算法、水平滤波算法和垂直滤波算法中的一种或多种。

需要注意的是，本发明实施例中公开的图像插值采样装置，其各功能模块的作用和具体的执行步骤，与实施例一和实施例二中公开的图像插值采样方法相对应，本发明实施例中的具体的实施方案，也可以参照实施例一和实施例二公开的该具体实施方案，在此不再赘述。

实施例四

请参阅图5，图5是本发明实施例公开的又一种基于边缘方向的图像插值采样装置。图5所描述的基于边缘方向的图像插值采样装置应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中，也可以适用于在包含图像缩放的场景下使用，包含但不限于实现为数字电视、OTT盒子、车载中控设备或方案的图像缩放电路，图像浏览、编辑软件的缩放功能等场景。如图5所示，该基于边缘方向的图像插值采样装置可以包括：

存储有可执行程序代码的存储器401；

与存储器401耦合的处理器402；

其中，处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的基于边缘方向的图像插值采样方法的步骤。

实施例五

本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的基于边缘方向的图像插值采样方法的步骤。

实施例六

本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的基于边缘方向的图像插值采样方法的步骤。

以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-OnlyMemory，ROM)、随机存储器(RandomAccessMemory，RAM)、可编程只读存储器(ProgrammableRead-onlyMemory，PROM)、可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory，EPROM)、一次可编程只读存储器(One-timeProgrammableRead-OnlyMemory，OTPROM)、电子抹除式可复写只读存储器(Electrically-ErasableProgrammableRead-OnlyMemory，EEPROM)、只读光盘(CompactDiscRead-OnlyMemory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

最后应说明的是：本发明实施例公开的一种基于边缘方向的图像插值采样方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。