利用图像特征对频率提高超分辨率的控制

摘要

输入图像信息被接收。处理器设备被用于基于输入图像信息的频率特性和特征信息来确定增强信息。将增强信息与输入图像信息混合来生成增强图像。

说明书

技术领域

一个或多个实施例一般涉及超高清晰度(UD)显示器，并且具体地，涉 及使用基于图像特征的增益控制来减少图像的潜在图像人工成分(potential imageartifact)的细节恢复，以用于UD显示器或设备上的显示。

背景技术

UD用户，诸如UD电视机(UDTV)或其它UD显示设备必须在UD设 备上观看更低分辨率内容(例如，标准清晰度(SD)、高清晰度(HD)、全 HD(FHD)等内容)，直到UD视频变得更加普遍。当在UD设备上观看更 低分辨率帧时，其图像质量看起来降低了。常规的图像放大(upscaling)或 者插值不能提供充分的图像锐度和精细的细节来最小化图像质量降低。

发明内容

技术方案

一个或多个实施例涉及减少图像的潜在图像人工成分。在一个实施例中， 一种方法包括：接收输入图像。在一个实施例中，处理器设备被用于基于输 入图像信息的频率特性和特征信息来确定增强信息。在一个实施例中，将增 强信息与输入图像信息混合来生成增强图像。

在一个实施例中，一种系统包括：图像特征检测模块，其获得用于输入 图像的特征信息。在一个实施例中，图像处理模块将处理器设备用于：接收 输入图像信息；以及基于输入图像信息的特征信息和频率特性来确定增强信 息。在一个实施例中，混合器模块将增强信息与输入图像混合。

在一个实施例中，一种具有指令的非瞬时性计算机可读介质，所述指令 当在计算机上被运行时，执行方法。在一个实施例中，所述方法包括接收输 入图像。在一个实施例中，基于输入图像信息的频率特性和特征信息来确定 增强信息。在一个实施例中，将增强信息与输入图像信息混合来生成增强图 像。

参考以下描述、所附权利要求和附图，一个或多个实施例的这些和其它 特征、方面和优点将变得容易理解。

附图说明

图1示出根据一个实施例的具有图像细节创建机制的电子系统。

图2示出根据一个实施例的系统的示例高级框图。

图3示出根据实施例的图像处理系统的框图。

图4示出根据实施例的包括纹理和边缘检测的图像处理系统的示例框 图。

图5示出根据实施例的示例映射。

图6示出根据实施例的包括结构检测的图像处理系统的框图。

图7示出根据实施例的用于检测到的边缘、结构、和纹理信息的示例的 映射。

图8示出根据实施例的用于减少潜在图像人工成分的过程的框图。

图9示出根据实施例的图像细节处理系统的框图。

图10示出根据实施例的外部图像块和内部图像块之间的示例关系。

图11示出根据实施例的示例的细节创建块。

图12示出根据实施例的用于变换的周期的示例。

图13示出根据实施例的示例的变换移位操作。

图14示出根据实施例的与频率分量相关的距离计算的示例框图。

图15示出根据实施例的用于频率提高的传递函数的示例图。

图16示出根据实施例的另一个示例的细节创建块。

图17示出用于描绘根据实施例的与频率分量相关的距离确定的示例图。

图18是示出包括对于实施所公开的实施例而言有用的计算机系统的信 息处理系统的示范性高级框图。

具体实施方式

以下描述是为了说明一个或多个实施例的一般原理的目的而做出，而不 打算限制在此要求保护的发明构思。此外，在此描述的特定特征可以与各种 可能的组合和置换的每一个中的其它的被描述的特征组合使用。除非在此另 外明确地定义，否则所有术语要被赋予它们的最广泛的可能解释，包括从说 明书中暗示的含义以及本领域技术人员所理解的和/或在词典、论文等等中定 义的含义。

一个或多个实施例提供了减少图像的潜在图像人工成分。在一个实施例 中，一个方法包括接收输入图像。在一个实施例中，处理器设备被用于基于 输入图像信息的频率特性和特征信息来确定增强信息。在一个实施例中，将 增强信息与输入图像信息混合来生成增强的图像。

本领域技术人员将理解，用于表示图像信息的格式对于一些实施例来说 不是关键的。例如，在一些实施例中，图像信息以(X,Y)的格式来呈现，其 中X和Y是定义图像中的像素的位置的两个坐标。三维图像信息由(X,Y,Z) 的格式来呈现，所述(X,Y,Z)的格式具有用于像素的颜色的相关信息。在一 个实施例中，三维图像信息还包括强度或亮度元素。

为了说明的目的，如这里使用的术语“水平”是指当查看如由图形代 号——“图”——所指示的图形时所看见的水平方向。术语“垂直”是指垂 直于如刚才定义的水平的方向。诸如“在……之上”、“在……下面”、“底部”、 “顶部”、“侧面”、“更高”、“更低”、“上面的”、“在……上”和“在……下” 的术语是相对于水平被定义，如图中所示。

在此提及的术语“图像”可以包括二维图像、三维图像、视频帧、计算 机文件表示、来自相机的图像、或者它们的组合。例如，图像可以是机器可 读数字文件、物理照片、数字照片、运动图片帧、视频帧、x射线图像、扫 描图像、或它们的组合。图像可以从按矩形阵列排列的像素中生成。所述图 像可以包括沿着行的方向的x轴和沿着列的方向的y轴。

图1示出一个或多个实施例中的具有图像细节创建机制的电子系统50。 电子系统50包括连接到第二设备56(诸如客户端或服务器)的第一设备52 (诸如客户端或服务器)。第一设备52可以利用通信路径54(诸如无线或有 线网络)与第二设备56通信。

在一个示例中，第一设备52可以是各种超高清晰度(UD)显示设备的 任何一种，诸如UD电视机(UDTV)、平板设备、智能电话、个人数字助理 (PDA)、笔记本计算机、液晶显示器(LCD)系统、可穿戴设备、移动计算 设备、或其它多功能显示器或娱乐设备。第一设备52可以直接或间接地耦合 到通信路径54以与第二设备56通信，或者可以是独立的设备。

为了说明的目的，在描述显示系统50时将第一设备52作为显示设备， 虽然应该理解第一设备52可以是不同类型的设备。例如，第一设备52也可 以是用于呈现图像或多媒体呈现的设备。多媒体呈现可以是包括声音、流图 像序列或视频馈送、或者其组合的呈现。举例来说，第一设备52可以是UDTV， 或者任何其它类型的UD显示设备(例如，监视器、视频面板、HUD、智能 电话、平板设备、视频设备、游戏设备等等)。

第二设备56可以是各种集中式或分散式计算设备、图像或视频传输设备 中的任何一种。例如，第二设备56可以是多媒体计算机、平板、膝上型计算 机、桌上型计算机、视频游戏控制台、网格计算资源、虚拟化计算机资源、 云计算资源、路由器、交换机、对等分布式计算设备、媒体回放设备、数字 视频盘(DVD)播放器、具备三维能力的DVD播放器、记录设备(诸如相 机或摄像机)、或者它们的组合。在另一个示例中，第二设备56可以是用于 接收广播或直播流信号的信号接收器，诸如电视机接收器、电缆接线盒、卫 星天线接收器、或具备web功能的设备。

第二设备56可以集中在单个房间中、分布在不同的房间、分布在不同的 地理位置、嵌入在电信网络内。第二设备56可以具有用于与通信路径54耦 合的装置以与第一设备52通信。

为了说明的目的，在描述电子系统50时将第二设备56作为计算设备， 虽然应该理解，第二设备56可以是不同类型的设备。同样地为了说明的目的， 在示出显示系统50时将第二设备56和第一设备52作为通信路径54的端点， 虽然应该理解，显示系统50可以具有在第一设备52、第二设备56和通信路 径54之间的不同划分。例如，第一设备52、第二设备56或者它们的组合也 可以充当通信路径54的一部分。

通信路径54可以是各种网络。例如，通信路径54可以包括无线通信、 有线通信、光、超声波或它们的组合。卫星通信、蜂窝通信、蓝牙、红外数 据协会标准(IrDA)、无线保真(WiFi)、和全球微波接入互联(WiMAX)是 可以被包括在通信路径54中的无线通信的示例。以太网、数字用户线(DSL)、 光纤到户(FTTH)、高清晰度多媒体接口(HDMI)线缆、和普通老式电话服 务(POTS)是可以包括在通信路径54中的有线通信的示例。

此外，通信路径54可以穿过许多网络拓扑和距离。例如，通信路径54 可以包括直接连接、个域网(PAN)、局域网(LAN)、城域网(MAN)、宽 域网(WAN)或它们的组合。

图2示出根据一个实施例的系统200的高级框图。在一个实施例中，系 统200可以使用图像细节处理系统或模块300(见图3)来处理在输入节点 201处接收的来自输入源210的输入视频图像，在输出节点240处输出视频 图像，并且在输出源250(或图1的设备52)上显示图像。在一个实施例中， 所述图像细节处理系统300接收输入图像信息。在一个实施例中，图像细节 处理系统300的处理器设备被用于基于输入图像信息的频率特性和特征信息 来确定增强信息。在一个实施例中，接下来，将增强信息与输入图像信息混 合来生成增强的图像。在一个实施例中，用于输出源250(或52)的显示器 可以是用于呈现图像或多媒体呈现的物理设备。例如，所述显示器可以是屏 幕，包括液晶显示器(LCD)面板、等离子屏幕、投影屏幕、平视显示器 (heads-up-display，HUD)等等。在其它实施例中，所述显示器可以被投影 在物体或反射设备上。

在一个实施例中，输入视频图像可以从输入源210提供，所述输入源210 可以无线地或通过有线接口被发送/接收，并且可以包括未压缩/压缩的视频内 容。在一个实施例中，系统200中的视频图像内容的有线或无线通信可以包 括在以下各项中的一个或多个上的或者通过以下各项中的一个或多个的通 信：以太网、电话(例如，POTS)、线缆、电线和光纤系统；和/或包括码分 多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、时分多 址(TDMA)系统(诸如GSM/GPRS(通用分组无线电服务)/EDGE(增强 的数据GSM环境)、TETRA(地面集群无线电)移动电话系统)、宽带码分 多址(WCDMA)系统、高数据速率(1x增强的仅语音-数据(EV-DO)或 1xEV-DO黄金多播)系统、IEEE802.11系统、DMB(数字多媒体广播)系 统、正交频分多址(OFDM)系统、DVB-H(数字视频广播-手持)系统等等 中的一个或多个的无线系统。

在一个实施例中，输入源210可以通过无线网络(例如，互联网、局域 网(LAN)、宽域网(WAN)、个域网(PAN)、校园无线网(CAN)、城域网 (MAN)等)发送。在一个实施例中，输入源210可以产生于基于云的系统、 服务器、广播站、视频设备/播放器、摄像机、移动设备等等。

在一个实施例中，从输入源210输入的视频图像可以在到达输入节点201 之前被解码/编码(例如，经由解码器/编码器)。在一个实施例中，从输出节 点240输出到输出源250的视频图像可以在到达输出节点240之前被编码/解 码。在一个实施例中，输出源250可以无线地或通过有线接口从输出节点240 接收输出图像。

在一个实施例中，来自输入源210的压缩视频图像内容可以提供来自广 播、计算机网络、DVD或者其它计算机可读存储介质、或者任何其它合适的 视频信号源的模拟或数字视频。在一个实施例中，来自输入源210的压缩视 频可以经由射频接口(诸如ATSC广播)、计算机网络、或有线或无线连接(诸 如分量视频线缆、DVI或HDMI视频接口)等等耦合到接收器。在一个实施 例中，来自输入源210的未压缩视频图像可以包括通过任何合适的视频接口 耦合到接收器的摄像机或诸如磁盘驱动器的存储设备中的一个或多个。在一 个实施例中，来自输入源210的未压缩视频可以以模拟或数字的形式来提供 未压缩视频，所述以模拟或数字的形式包括：以亮度和色度的形式；按照诸 如红、绿和蓝等的单色强度；或者以任何其它合适的格式。

在一个实施例中，用于来自输入源210的输入视频内容的数字视频格式 可以包括不同的帧速率、不同数量的像素线和行、隔行的(interlaced)和非 隔行的(non-interlaced)等等。例如，电影通常以24fps(帧每秒)的格式产 生，NTSC是30帧每秒而PAL是25帧每秒。所述格式可以是隔行的或逐行 的(progressive)。例如，高清晰度格式(诸如数字视频广播标准所支持的) 可以被修改为适合于输出源250的显示设备的格式的格式。输出源250的显 示设备可以被配置为接收NTSC、PAL、ATSC、DVB/T等，或者可以是以诸 如70Hz、75Hz、80Hz等的帧速率运行的显示设备。

图3示出根据实施例的图像处理系统300的框图。在一个实施例中，系 统300包括图像特征检测模块310、控制增益映射估计/生成器模块320、频 率提高超分辨率(FLSR)模块330、和混合/混合器模块345。在一个实施例 中，系统300包括用于输入输入图像的输入节点340和用于输出输出图像的 输出节点350。在一个实施例中，系统300可以实施在电子设备中，诸如第 一设备52(图1)、第二设备56等等。

在一个实施例中，基于块的图像处理被实施以在输出节点350处产生输 出图像，该输出图像是利用输入图像和FLSR模块330的输出来处理来自控 制增益映射估计/生成器模块320的输出的结果，所述FLSR模块330的输出 是包含可以基于纹理或边缘信息而调整的增强的和恢复的高频信息(细节) 的所述输入图像的增强版本。在一个实施例中，FLSR模块330包括频率提高 和图像处理，其导致如参考下面的图9-图17以及参考下面的共同未决的 (co-pending)申请中的系统、过程、和模块所描述的输出图像：2014年3 月14日提交的名称为“利用频率提高来创建图像中的细节”的美国第 14/214,056号申请(档案号码SAM2-P.e120)、2014年3月14日提交的名称 为“利用自适应频率强度受控变换来创建图像中的细节”的美国第14/214,081 号申请(档案号码SAM2-P.e121)、以及2014年3月14日提交的名称为“利 用自适应频率提高来创建图像中的细节”的美国第14/214,114号申请(档案 号码SAM2-P.e122)，其内容各自通过整体引用而合并于此。

在一个示例实施例中，如果在系统300前面添加规则图像上转换块，则 它可以被应用来将更低分辨率图像作为输入图像(例如，SD、HD、FHD、 UD、放大的UD、等等)来使用以生成UD图像(静态图像或视频帧)，这是 高级的图像上转换/放大/超分辨率系统。在一个示例实施例中，上转换的UD 图像包含不能通过传统的图像上转换算法获得的额外的图像细节。结果，在 一个或多个实施例中，图像质量(锐度、精细细节等)可以被极大地改善。 在一个实施例中，系统300的应用可以实施在其上可以接收更低分辨率电影 以用于显示的UD设备或显示器中。如果系统300在UD设备或显示器上不 可用，则观看者可能感觉图像锐度差或图像缺少精致的细节。当前，UD视频 图像(例如，流视频、电影等)在市场上可获得，但是UD视频媒体(TV节 目、webTV或视频、蓝光盘和个人数字视频)极少。大部分视频媒体仍然是 FHD、HD或甚至SD。在一个或多个实施例中，为了满足UD观看者的视觉 期望，使用系统300来实施高级的图像上转换(超分辨率)功能。

在一个实施例中，可以在当前的HDTV(或更低分辨率TV、设备、显示 器等)中实施系统300的应用，来增强(或恢复)具有差的(模糊的或退化 的)图像细节的低质量SD、HD、或FHD图像(诸如从互联网获得的web 视频剪辑或者通过个人录像摄像机或智能电话捕捉的数字视频)的图像细节。 通常，由于数据压缩、不充足的照明条件或者视频捕捉设备的有限性能，低 质量HD或FHD视频剪辑的图像细节可能退化或损坏。一个或多个实施例提 供了系统300作为能够以硬件或软件通过不同的应用来实现所要求的功能的 通用系统。在一个示例实施例中，用于系统300的应用可以包括高性能图像 细节增强或恢复、图像超分辨率、和高级的图像上转换等等。在一个或多个 示例实施例中，如果系统300被实施为UD设备和显示器、HDTV产品中的 编程硬件，或者被实施为在PC或移动设备(平板、PC、可穿戴设备、智能 电话等)中使用的软件，则系统300的应用可能非常有用。

在一个实施例中，来自FLSR模块330的输出图像是包含来自在输入节 点340处接收的输入图像的提高的高频信息(细节)的增强版本。

在一个实施例中，系统300基于(基于像素的)增益控制值，使用图像 特征检测模块310、来自(基于像素的)控制增益映射估计/生成器模块320 的输出、所述输入图像、来自FLSR模块330的输出、以及混合/混合器模块 345，如下提供人工成分抑制，其中混合/混合器模块345将输入图像与FLSR 模块330的输出混合：

输出＝γ·y+(1-γ)·输入，

其中y是FLSR模块330的输出(增强的信号)，而γ(从0变化到1) 是来自控制增益映射估计/生成器模块320的增益控制值，所述增益控制值基 于局部图像特征从像素到像素发生变化。在一个示例实施例中，应该注意到， 当γ＝0时，输出图像＝输入图像，并且当γ＝1时，输出图像＝y。因此，在一个 示例实施例中，通过基于局部图像特征(其可能为FLSR模块330的输出带 来图像人工成分)适当地调整γ的值，FLSR模块330的可能的人工成分可以 被抑制。

图4示出根据实施例的包括纹理和边缘检测的图像处理系统400的示例 框图。在一个实施例中，系统400类似于系统300(图3)，包括纹理检测模 块410、边缘(样本)检测模块420(替换图像特征检测模块310)、以及混 合/混合器模块445。在一个实施例中，输入节点340接收输入图像并且输出 节点450输出通过系统400处理的输出图像。

在一个实施例中，纹理和边缘信息被用作检测图像特征的方式。在一个 实施例中，边缘检测可以通过，例如，苏贝尔算子(Sobeloperator)来执行。 在一个实施例中，纹理检测可以，例如，通过计算局部窗口化(windowed) 样本中的过零点(zerocrossingpoint)(N)来执行。在一个实施例中，基于 纹理检测模块410的输出t和边缘检测模块420的输出E，控制增益映射估计 /生成器模块320生成γ-映射，其如下确定：γ＝(1-E)·((1-t)+K·t)，其中K 510(图5)大于或等于一(即，≥1)。

在一个实施例中，基于各种量E、t、和K之间的关系，可以确定，对于 纹理丰富的块(例如，更大的N值)而言，更多的频率分量(由于更低的K 值)将被提高，并且提高更多(由于更多的人工成分)，其适于处理两种情况。 在一个实施例中，第一，纹理丰富的区域通常充满需要被增强或者恢复的图 像细节；第二，纹理贫乏的块可以使得人工成分更容易被看见。

图5示出根据实施例的示例映射500。在一个实施例中，γ表501示出了 示例的MxN元素/像素块，其中，M＝N＝2。在一个实施例中，γ表如以下 所指示的基于E、t、和K的值来生成γ的值：

γ＝(1-E)·((1-t)+K·t)

＝(1-E)·[(1-t)+K·t]。

图6示出根据实施例的包括结构检测的图像处理系统600的框图。在一 个实施例中，系统600类似于系统400(图4)，并且包括结构检测模块610、 结构化边缘映射生成器模块620、和混合/混合器模块645，混合/混合器模块 645具有基于γ·y+(1-γ)·输入图像的输出图像。

在一个实施例中，结构检测模块610可以基于，例如，主分量分析(PCA) 或者霍夫变换(HoughTransformation)来估计结构/形状检测。在一个实施例 中，基于边缘映射E和结构检测模块输出S，被表示为α-映射的新的量被获 得。在一个实施例中，α-映射的元素/像素的值被确定为如图7中所示的并且 在下面参考图7所描述的α＝(1-S)(1-E)。

图7示出根据实施例的用于检测到的边缘、结构、和纹理信息的示例的 映射700。如图所示，所述示例的映射包括α映射表710和γ映射表720。在 一个实施例中，当α靠近0(例如，E或者S靠近1)时，则指示该像素与强 边缘像素或者结构区域相关。在一个示例实施例中，如果α靠近1(E和S 都靠近0)，则该像素不是与边缘相关的并且不是结构化区域。

在一个实施例中，结构化边缘映射生成器模块620生成α-映射，α-映射 被控制增益映射估计器/生成器模块320用来生成γ-映射。在一个实施例中， 控制增益映射估计器/生成器模块320如下利用α-映射和纹理映射：γ＝α(1-t) +K·α·t，其中，K≥1(如示例映射700中所示)。在一个实施例中，基于 离散示例中γ和(α,t)之间的关系的图形，可以推断出：当α＝1(即，非强边 缘)并且t＝1(即，丰富纹理)时，γ＝K(对于SR处理的图像的最高贡献)； 当α＝1(即，非强边缘)并且t＝0(即，贫乏纹理)时，γ＝1(即，适度贡献)； 当α＝0(即，强边缘)时，γ＝0(即，最低/无贡献)。在一个实施例中，系统 600基于以下操作来提供人工成分控制：在维持或者推进与丰富纹理有关的 像素对于输出节点650(图6)处的最终输出图像的贡献的同时，减少(SR 处理的图像中的)与强边缘有关的像素的贡献。

图8示出根据实施例的用于减少图像(例如，SR处理的图像)的潜在图 像人工成分的过程800的框图。在一个实施例中，在块810，输入图像(例 如，SD、HD、FHD、UD、放大的UD等等)被(例如，输入图像节点340， 图3、图4、和图6)接收。在一个实施例中，在块820，输入图像被处理以 获得图像信息(例如，MxN块)。在一个实施例中，在块830，使用处理器 设备通过向上提高频率分量对图像信息执行频率提高过程(例如，使用图9 的系统900、使用边缘信息的修改后的系统900、使用纹理信息的修改后的系 统900、等等)。在一个实施例中，频率提高过程导致频率提高的输出图像。

在一个实施例中，在块840，对输入图像执行图像特征检测。在一个实 施例中，在块850，使用检测到的图像特征执行映射估计，以获得增益控制 值。在一个实施例中，在块860，使用所述增益控制值、所述输入图像、和 所述频率提高的输出图像来获得最终输出图像。

在一个实施例中，过程800还可以包括：将处理器设备用于变换图像信 息以获得频域信息；对更新的频率分布执行逆变换以创建一个或多个输出图 像块；以及组合所述一个或多个输出图像块以创建用于频率提高的图像的图 像细节，以及将所述频率提高的图像与所述输入图像混合以获得输出图像。 在一个实施例中，可以(例如，使用处理器设备)使用SDFT、DCT、等等来 执行图像信息变换以用于获得频域信息。在一个实施例中，用于输入图像的 边缘信息和/或纹理信息可以被用于调整频率提高过程。

在一个实施例中，在过程800中，频域信息可以包括变换系数，并且频 率分量是基于以下操作来创建的：对所述变换系数执行频率提高，以用于将 一些(例如，一个或多个、若干、全部等等)频率分量提高到变换频谱中的 更高频位置；以及将所述变换系数转换为修改后的变换系数。

在一个实施例中，在过程800中，频域信息可以包括变换系数，并且频 率分量是基于以下操作来创建的：在矩阵中将变换系数位置移位；将被移位 的变换系数用于使用相关联的系数行索引和列索引来确定系数到零频率系数 位置的距离；基于所确定的距离对所述变换系数执行频率提高，以用于将一 些(例如，一个或多个、若干、全部等等)频率分量提高到变换频谱中的更 高频位置；以及将变换系数转换为修改后的变换系数。

在一个实施例中，过程800可以包括：在所述移位之后，将零频率系数 位置移动到矩阵的中心，其中所述零频率系数位置被用作二维坐标的原点， 而矩阵元素被用作二维坐标上的点。在一个实施例中，在过程800中，可以 基于预定的传递函数来确定用于系数的距离。

在一个实施例中，在过程800中，对输入图像执行图像特征检测可以包 括检测以下各项中的任何一个：用于输入图像的边缘信息、纹理信息、和结 构信息。在一个实施例中，过程800可以包括在维持原始频率分布的形状的 同时、使用处理器设备通过向上提高频率分量对图像信息执行频率提高过程 (例如，使用图9的系统900、使用边缘信息的修改后的系统900、使用纹理 信息的修改后的系统900、等等)。在一个实施例中，过程800可以包括使用 检测到的图像特征和检测到的纹理信息来执行映射估计，以生成增益控制值， 所述检测到的图像特征是使用检测到的边缘信息来检测的。

在一个实施例中，在过程800中，使用检测到的图像特征执行映射估计 可以包括：使用检测到的边缘信息和检测到的结构信息来生成第一映射，以 及使用第一映射和检测到的纹理信息来生成第二映射，第二映射可以用作增 益控制值。

在一个实施例中，在过程800中，最终输出图像可以被显示在电子设备 ((例如，电子设备52，图1)上。在一个实施例中，过程800可以在本地电 视机设备、机顶盒设备、和网络服务器设备之一上执行处理。

图9示出根据实施例的可以被用于FLSR模块330(图3)中的处理的图 像细节处理系统900的框图。在一个实施例中，系统900可以实施在电子设 备中，诸如第一设备52(图1)、第二设备56等等。在一个实施例中，系统 900包括输入节点901、获取/接收模块910、细节创建模块920、块构建/组合 模块930、混合器模块935(用于将提高的图像细节与输入图像混合)、以及 输出节点940。

在一个实施例中，基于块的图像处理被实施以在输出节点940处产生输 出图像，该输出图像是来自输入节点901的输入图像和包含所创建的高频信 息(细节)的所述输入图像的增强版本的组合。在一个实施例中，细节在细 节创建模块920中被创建，其中图像块911从块接收模块910(其将输入图 像划分成块)送入细节创建模块920，并且输出的细节块931是通过细节构 建模块930生成，在细节构建模块930中，更多的输出细节块被构建为形成 完整的图像细节。在一个实施例中，输出(其可以是像素或图像块931(尺 寸PxQ))一般小于块911(尺寸MxN)的输入图像尺寸，其中P、Q、M 和N是正整数。

在一个示例实施例中，如果在系统900前面添加规则图像上转换块，则 它可以被应用来将更低分辨率图像作为输入图像来使用以生成UD图像(静 态图像或视频帧)，这是高级的图像上转换/放大/超分辨率系统。在一个示例 实施例中，上转换的UD图像包含不能通过传统的图像上转换算法获得的额 外的图像细节。结果，在一个或多个实施例中，图像质量(锐度、精细细节 等)可以被极大地改善。在一个实施例中，系统900的应用可以实施在其上 可以接收更低分辨率电影以用于显示的UD设备或显示器中。如果系统900 在UD设备或显示器上不可用，则观看者可能感觉图像锐度差或图像缺少精 致的细节。当前，UD视频图像(例如，流视频、电影等)在市场上可获得， 但是UD视频媒体(TV节目、webTV或视频、蓝光盘和个人数字视频)极 少。大部分视频媒体仍然是FHD、HD或甚至SD。在一个或多个实施例中， 为了满足UD观看者的视觉期望，使用系统900来实施高级的图像上转换(超 分辨率)功能。

在一个实施例中，可以在当前的HDTV(或更低分辨率TV、设备、显示 器等)中实施系统900的应用，来增强(或恢复)具有差的(模糊的或退化 的)图像细节的低质量SD、HD、FHD、UD、或放大的UD图像(诸如从互 联网获得的web视频剪辑或者通过个人录像摄像机或智能电话捕捉的数字视 频)的图像细节。通常，由于数据压缩、不充足的照明条件或者视频捕捉设 备的有限性能，低质量SD、HD或FHD视频剪辑的图像细节可能退化或损 坏。一个或多个实施例提供了系统900作为能够以硬件或软件通过不同的应 用来实现所要求的功能的通用系统。在一个示例实施例中，FLSR300中的用 于系统900利用的应用可以包括高性能图像细节增强或恢复、图像超分辨率、 和高级的图像上转换等等。在一个或多个示例实施例中，如果系统900被实 施为UD设备和显示器、HDTV产品中的编程硬件，或者被实施为在PC或移 动设备(平板、PC、可穿戴设备、智能电话等)中使用的软件，则系统900 的各种应用可能非常有用。

在一个实施例中，系统900在输出节点340处产生输出图像，该输出图 像是来自输入节点901的输入图像和包含增强的和恢复的高频信息(细节) 的所述输入图像的增强版本的组合。接下来结合图10-图17详细描述用于一 个或多个实施例的细节创建模块920。

图10示出根据实施例的彼此中心对齐的外部图像块(由MxN块311组 成)和内部图像块(由PxQ块931组成)之间的示例关系。输入图像块911 和输出图像块931之间的公共图像块尺寸和空间关系在图10中被展示。在一 个实施例中，输出图像块931位于输入图像块911内的中心部分。在一个实 施例中，在输出图像块931被创建的同时，输出块931内部的图像信息和(输 入块911内的)输出块931外部的信息两者都被使用。在一个示例实施例中， 感兴趣区域(输出块931/输入块911)之内的图像信息被认为与周围区域(输 入块911/输出块931)的图像信息有关(或可从其推断出)。在一个实施例中， 输出图像块931被构建模块930“拼凑”或组合以生成完整的输出细节图像， 然后通过利用混合器935(图9)组合所创建的细节和所述输入图像来获得最 终结果。

图11示出根据实施例的可以在系统900中实施为细节创建模块920的示 例的细节创建块1120。在一个实施例中，细节创建块1120可以包括从接收模 块910(图9)接收输入图像块的2D移位(shifted)离散傅立叶变换(SDFT) 模块1121、幅度模块1122、DFT转换模块1123、频率提高模块1125、以及 输出被输入到构建模块930的输出图像块的2D逆SDFT(ISDFT)模块1124。

在一个实施例中，输入图像块首先在2DSDFT模块521中被处理以计算 (矩阵中的)DFT系数，所述DFT系数接下来被移位。在一个实施例中， DFT系数的移位被示出在如下面描述的图12和图13中。在一个实施例中， 被移位的DFT系数被提供作为分别用于距离计算、系数频率提高、和系数转 换的频率提高模块1125和DFT转换模块1123的输入。应该注意到，被移位 的DFT(SDFT)是复数，其可以被表示为SDFT＝SDFT_R+j·SDFT_I，然后SDFT 的幅度被计算(MAG_IN)为|SDFT|＝(SDFTR_R²+SDFT_I²)^1/2，或者 MAG_IN＝|SDFT|，其中R表示实部而I表示虚部。在频率提高模块1125内 部，通过使用每个DFT系数(频域的分量，相当于2D坐标中的点)在矩阵 中的行索引和列索引(相当于点的坐标)来获得该系数到零频率系数(相当 于2D坐标的原点)的距离。在一个实施例中，所计算的距离作为对于两个 处理子块的输入被送入：系数转换模块1123和频率提高模块1125。

在一个实施例中，在频率提高模块1125中，一些(例如，一个或多个、 若干等等)频率分量被提高到频谱中的更高频位置。在一个示例实施例中， 如果2DDFT系数/频谱被绘制为3D笛卡尔坐标中的曲面(原点表示零频率 位置)，则频率提高处理使得非中心峰(off-centerpeak)从原点向外移动，并 且使得中心峰的斜坡向外扩展。下面参考图12-15来描述频率提高模块1125 的处理的细节。在一个实施例中，系数转换模块1123从三个处理块(2DSDFT 模块1121、幅度模块1122和频率提高模块1125)接收输出，并且计算新的/ 修改的2DDFT系数。下面描述系数转换模块1123的计算细节。

在一个实施例中，在2DISDFT中，新的2DDFT系数首先被移位，然后 被逆变换为空域信号？具有修改后的图像块(尺寸MxN)，其也是(如图9 的细节创建模块920那样实施的)细节创建块1120的输出。

图12示出根据实施例的用于变换的周期的矩阵1205的示例1200。在一 个实施例中，矩阵1200是MxN矩阵。在一个示例中，DFT系数具有位于 每组系数的左下角的原点，所述原点用于距离计算(DC)。在一个实施例中， SDFT将原点移位到SDFT块1210的中心。

图13示出根据实施例的变换移位操作的示例1300。在一个实施例中， 示例1300示出了用于计算频域分量到零频率点的距离的目的的、DFT系数的 移位。在一个示例中，一般通过2DFFT(快速傅立叶变换)算法来实现2D DFT，其生成如示例1300中所示的如DFT矩阵1305和SDFT矩阵1315的 矩阵格式的DFT系数。在一个示例实施例中，每个矩阵元素是频率分量。x、 y坐标分别代表列索引和行索引。在一个示例实施例中，对于没有被移位的 DFT系数矩阵1305，4个角元素促成(contributeto)零频率分量。

在一个示例中，为了例示系数移位，将系数矩阵均匀地划分成四(4)个 区域，如DFT矩阵1305图形和SDFT矩阵1315图形中所示。在一个示例实 施例中，在系数移位之后，新的系数矩阵(SDFT矩阵1315)可以被认为是 通过交换四个区域的位置而获得的。在一个示例实施例中，区域1与区域3 交换它的位置，而区域2与区域4交换它的位置。在一个实施例中，系数移 位将零频率位置1310移动到矩阵1311的中心(相当于2D坐标的原点)，这 可以简化距离计算，并且也使得频率提高模块1125的处理更容易理解。

图14示出根据实施例的用于描述距离计算的示例图1400。在DFT系数 移位之后，零频率被移动到矩阵1405的中心。在频率提高模块1125内部， 象限1406中从频率分量1411到零频率点的距离需要被首先计算。零频率点 被当作2D坐标的原点，并且矩阵元素被当作坐标上的点。在一个示例中， 系数1411的位置由x_in1420和y_in1421来指示。在一个实施例中，对于频率 分量的位置，如方程式x_in＝Col-Col(0)，y_in＝Row-Row(0)中那样来获得相应点 的坐标。

图15示出根据实施例的用于频率提高的传递函数的示例图1500。在一 个示例实施例中，在方程式x_in＝Col-Col(0)，y_in＝Row-Row(0)中，x_in和y_in是频 率分量的坐标而Col和Row是它的矩阵索引。类似地，Col(0)和Row(0)是零 频率分量的矩阵索引。

在一个实施例中，在DFT系数移位之后，零频率被移动到矩阵的中心。 在一个实施例中，为了计算从频率分量到零频率点的距离。零频率点被当作 2D坐标的原点(即，(0,0)点)，并且矩阵元素被当作如图15中所示的如 M＝N＝8的示例的坐标上的点。注意，MAG_IN矩阵的索引变成 $x_{in}=-\frac{N}{2},...,0,...,\frac{N}{2}-1$和$y_{in}=-\frac{M}{2},...,0,...,\frac{M}{2}-1,$其中假设N和M是偶数，并 且对于MAG_OUT矩阵索引来说也一样。在一个实施例中，对于所有 $x_{in}=-\frac{N}{2},...,0,...,\frac{N}{2}-1$和$y_{in}=-\frac{M}{2},...,0,...,\frac{M}{2}-1,$与零频率系数的距离d_in1520如 下计算：

$d_{in}=\sqrt{x_{in}^2+{y_{in}^2}^{·}}.$

在一个实施例中，频率提高模块1125(图11)基于频率分量到零频率(图 8中的原点)分量的距离来将所述频率分量提高到更高频位置。然而，如果 矩阵元素被认为是矢量的箭头，则频率提高操作不改变矢量的方向。在一个 实施例中，只有矢量的长度(频率分量到原点的距离)可以增加。基本上， 这个距离d_out1515的变化可以在算术上表示如下：

d_out＝curve(d_in)^*。

在一个实施例中，上面公式中的“curve”是预定的传递函数，其典型示 例被示出为绘制在图形1500中的曲线1540。在一个示例实施例中，x轴/水 平轴表示输入距离d_in1520，并且_y轴/垂直轴表示输出距离d_out1515。在一个 实施例中，可以使用如线1535和曲线1540所示的分段函数来创建传递函数。 在一个示例实施例中，当输入距离d_in1520小于值K1510时，距离将不被改 变。因此，在一个实施例中，直线1535具有斜率1。在一个示例实施例中， 当输入距离d_in1520大于K1510时，输出距离d_out1515将增加并且大于d_in1520。在一个示例实施例中，距离增加可以通过非线性函数(例如，二次多 项式函数)来确定。在一个示例实施例中，具有最大距离1530的最高频分量 将不被提高。在正常2DDFT频谱中，更低频分量(更接近中心的矩阵元素) 通常比更高频分量具有更高的值(DFT分量的幅度)。因此，在一个示例实施 例中，当更低频分量被提高到更高频位置时，高频信息被创建。在一个实施 例中，新的高频信息(新的图像细节)可以被创建以恢复丢失/损坏的图像细 节。在一个实施例中，当从低频信息中创建或推断出高频分量时，新的图像 细节看起来更“真实”或“有含义”，并且与传统的超分辨率(SR)方法相 比可以包含更少的人工成分。

在一个实施例中，在频率分量被提高到更高频位置之后，可以在以下的 方程式中确定它的新位置(坐标)：

$x_{out}=x_{in}*\frac{d_{out}}{d_{in}}$

$y_{out}=y_{in}*\frac{d_{out}}{d_{in}},$

其是将DFT频率分量提高到相同角度。应注意，应该注意， 新的坐标或新的位置通常不是由DFT系数矩阵定义的正确的坐标或位置。因 此，在一个示例实施例中，2D插值或重新采样被用来基于移位的网格和修改 后的DFT值来计算“正确的”位置上的DFT系数。一旦已经计算出目标水 平频率分量和目标垂直频率分量，频率提高模块1125(图11)过程(或频率 分量映射)就通过下面的方程式将来自MAG_IN的频率分量更新到 MAG_OUT：

MAG_OUT(x_out,y_out)＝MAG_IN(x_in,y_in)。

在一个实施例中，可以容易地理解，以上方程式表示频域中不同的频率 位置(定位)之间的映射过程。映射可以是后向或前向插值，用于通过来自 输入频率幅度块的最近的相邻像素或加权的相邻像素来插入新的像素频率幅 度(MAG_OUT)。在一个实施例中，在获得增强的频率之后，可以用那个位 置的增强的频率和原始频率来计算比率。在一个示例实施例中，接下来可以 通过用该比率乘以SDFT结果来获得增强的DFT(包括实部和虚部两者)，如 下：

$SDFT\_OUT=SDFT{\frac{MAG\_OUT}{MAG\_IN}}^{·}.$

在一个实施例中，修改后的DFT系数矩阵是通过频率提高模块1125(图 11)的频率提高过程获得的。在一个示例实施例中，在矩阵可以通过ISDFT 模块1124变换回空域中的图像块之前，它的元素需要以与图13中所示的方 式相反的方式移位。

图16示出根据实施例的另一个示例的细节创建模块1120。在一个实施 例中，细节创建模块1620可以实施在细节创建模块920(图9)中。在一个 示例实施例中，细节创建块1620实施DCT过程。在一个实施例中，细节创 建块1620包括2DDCT模块1621、幅度模块1622、频率提高模块1625、DCT 转换模块1623、和2D逆DCT(2DIDCT)模块1624。

在一个实施例中，频率提高模块1625的主要功能是提高MAG_IN中的 给定频率并且生成提高的DCT幅度矩阵DCT_OUT。在一个示例实施例中， 对于所有x_in＝0，1，...，M-1和y_in＝0，1，...，N-1，与零频率系数 (相当于2D坐标的原点)的距离是使用系数的行索引和列索引(相当于点 的坐标)来计算，如：

$d_{in}=\sqrt{x_{in}^2+{y_{in}^2}^{·}}.$

其与频率分量相关(例如，如图17中所描绘的)。

在频率提高模块1625内部，所述距离作为输入被送入传递函数以便决定 到零频率分量的上目标提高频率距离为：

d_out＝curve(d_in)

其中，curve表示单调增加的传递函数。在一个示例实施例中，所述传递 函数被示出在图15中，其还示出了分量不被提高的频率范围被设定，诸如， d_in＜K。

在一个实施例中，一旦目标提高因子已经被计算，则相关联的水平DCT 频率分量和垂直DCT频率分量如下确定：

其被实施为将DCT频率分量提高到相同的角度。注意到，在一个实施例中，一旦目标水平频率分量和目标垂直频率分量已经被计算， 则频率提高模块1625将频率分量从MAG_IN更新到MAG_OUT，如：

MAG_OUT(x_out，y_out)＝MAG_IN(x_in，y_in)

注意到，在频率提高模块1625中，一些(例如，一个或多个、若干、所 有等等)频率分量被提高到频谱中的更高频位置。在一个示例实施例中，如 果2DDFT系数/频谱被绘制为3D笛卡尔坐标中的曲面(原点表示零频率位 置)，则频率提高处理使得非中心峰(off-centerpeak)从原点向外移动，并且 使得中心峰的斜坡向外扩展。

在一个实施例中，然后，来自频率提高模块1625的MAG_IN和 MAG_OUT被提供给DCT转换模块1623，它的输出是：

$DCT\_OUT=DCT·\frac{MAG\_OUT}{MAG\_IN}.$

在一个实施例中，在2DIDCT模块1624中，新的2DDCT系数 (DCT_OUT)被逆变换到空域信号——与BLK(MxN)相同的尺寸的块， 其是细节创建模块920(图9)的输出。

图17示出用于描绘根据实施例的与频率分量有关的距离确定的示例图 1200。在一个示例实施例中，DCT转换模块1623(图16)的操作是将原始 相位信息与幅度变化组合。在一个实施例中，用于x坐标和y坐标的2D原 点1706被用来基于x_in1720和y_in1721来确定到系数1711的距离d_in1710。

图18是示出包括对于实施所公开的实施例有用的计算机系统1800的信 息处理系统的高级框图。计算机系统1800包括一个或多个处理器1801，并 且可以进一步包括：电子显示设备1802(用于显示图形、文本和其它数据)、 主存储器1803(例如，随机存取存储器(RAM))、存储设备1804(例如， 硬盘驱动器)、可移除存储设备1805(例如，可移除存储驱动器、可移除存 储器模块、磁带驱动器、光盘驱动器、其中存储有计算机软件和/或数据的计 算机可读介质)、用户接口设备1806(例如，键盘、触摸屏、小键盘、指点 设备)以及通信接口1807(例如，调制解调器、网络接口(诸如以太网卡)、 通信端口或PCMCIA插槽和卡)。通信接口1807允许软件和数据在计算机系 统和外部设备之间传递。系统1800还包括上述设备/模块1801至1807连接 到的通信基础设施1808(例如，通信总线、转换接头或网络)。

经由通信接口1807传递的信息可以是信号的形式，诸如能够经由通信链 路被通信接口1807接收的电信号、电磁信号、光信号或其它信号，所述通信 链路携载信号并且可以使用线或缆、光纤、电话线、蜂窝式电话链路、射频 (RF)链路和/或其它通信信道来实施。表示这里的框图和/或流程图的计算 机程序指令可以被加载在计算机、可编程数据处理装置或处理设备上，以引 起在其上执行的一系列操作，从而产生计算机实施的过程。

已经参考方法、装置(系统)和计算机程序产品的流程图图示和/或框图 描述了实施例。这样的图示/示图的每个框或其组合可以通过计算机程序指令 来实施。当所述计算机程序指令被提供到处理器时，其产生机器，从而经由 处理器运行的指令创建用于实施在流程图和/或框图中指定的功能/操作的装 置。流程图/框图中的每个框可以表示硬件和/或软件模块或逻辑。在替换的实 施方式中，框中注明的功能可以不按图中注明的次序来发生、可以并行地发 生等等。

术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计 算机程序产品”用来一般地指代介质，诸如主存储器、辅存储器、可移除存 储驱动器、安装在硬盘驱动器中的硬盘、和信号。这些计算机程序产品是用 于向计算机系统提供软件的装置。计算机可读介质允许计算机系统从计算机 可读介质中读取数据、指令、消息或消息分组、以及其它计算机可读信息。 例如，计算机可读介质可以包括非易失性存储器，诸如软盘、ROM、闪存、 磁盘驱动器存储器、CD-ROM和其它永久性存储装置。例如，它对于在计算 机系统之间传输诸如数据和计算机指令的信息是有用的。计算机程序指令可 以被存储在计算机可读介质中，所述计算机可读介质可以指导计算机、其它 可编程数据处理装置、或其它设备按特定的方式起作用，从而存储在计算机 可读介质中的指令产生包括实施所述流程图和/或框图的块或多个块中所指 定的功能/行为的指令的制造品。

此外，计算机可读介质可以将计算机可读信息包括在诸如网络链路和/或 网络接口的暂态介质中，包括有线网络或无线网络，所述暂态介质允许计算 机读取这样的计算机可读信息。计算机程序(即，计算机控制逻辑)被存储 在主存储器和/或辅存储器中。计算机程序也可以经由通信接口接收。这样的 计算机程序当被运行时使得计算机系统能够执行如在本文中讨论的特征。具 体地，所述计算机程序当被运行时，使得多核处理器执行计算机系统的特征。 这样的计算机程序表示计算机系统的控制器。

虽然已经参照实施例的某些版本描述了实施例，然而，其它版本也是可 能的。因此，所附权利要求的精神和范围不应该限于对本文中包含的优选版 本的描述。