公开/公告号CN101460975A
专利类型发明专利
公开/公告日2009-06-17
原文格式PDF
申请/专利权人 全视CDM光学有限公司;
申请/专利号CN200780020519.4
申请日2007-04-03
分类号G06T5/00(20060101);
代理机构11204 北京英赛嘉华知识产权代理有限责任公司;
代理人余朦;王艳春
地址 美国科罗拉多州
入库时间 2023-12-17 22:06:15
法律状态公告日
法律状态信息
法律状态
2016-10-05
专利权人的姓名或者名称、地址的变更 IPC(主分类):G06T5/00 变更前: 变更后: 申请日:20070403
专利权人的姓名或者名称、地址的变更
2012-10-10
授权
授权
2012-09-12
专利申请权的转移 IPC(主分类):G06T5/00 变更前: 变更后: 登记生效日:20120810 申请日:20070403
专利申请权、专利权的转移
2009-08-12
实质审查的生效
实质审查的生效
2009-06-17
公开
公开
相关申请的交叉引用
本申请要求2006年4月3号提交的美国第60/788,801号临时申请 的优先权，并且其全部内容通过引用并入本文。
背景技术
一些光学成像系统通过光学器件对目标反射或发出的电磁能进行 成像，采集该目标的数字图像，并对此数字图像进行处理以提高图像 质量。处理过程可能需要相当数量的计算资源，如内存空间和计算时 间，来提高图像质量。
对人类观察者而言，图像质量是图像性质的主观技术指标。对机 器视觉应用而言，图像质量与客观上便于完成任务的程度有关。电子 图像数据处理可以基于主观或者客观因素来改进图像质量。例如，人 类观察者可能考虑主观因素，如图像清晰度、亮度、对比度、色彩度、 噪声量、可分辩性、可识别性以及逼真度。清晰度描述图像的细节表 现；例如，人类视觉可能希望看清草的一片叶子。亮度描述图像整体 的明暗情况；例如，阳光充足的室外场景被认为是明亮的，而阴暗的 室内场景被认为是黑暗的。对比度描述图像的较亮区域与较暗区域之 间的亮度差异。色彩度描述颜色色调的强度；例如，灰色没有色彩度， 而鲜红色具有高的色彩度。噪声量描述噪声出现的程度。噪声可能是 被引入进来的，例如，由图像检测器引入(例如，固定图样噪声、瞬 时噪声、或者检测器的像素缺陷的影响引入的噪声)，或者可能由图像 处理算法引入(例如，均匀性缺陷)。可分辩性描述图像中目标相互区 分的能力。可识别性描述图像或其部分与人类观察者对此图像或者类 似图像的认知相一致的程度。逼真度描述图像或其部分与人类观察者 对其的理想化记忆相匹配的程度；例如，绿草，蓝天与棕褐色的皮肤 被认为是更加自然，更加接近于人类感知的理想化记忆。
对机器视觉应用而言，图像质量与图像适合执行某项任务的程度 有关。与机器视觉应用相关的图像质量可能与一定信噪比(SNR)和成 功完成一定任务的概率有关。例如，在一个包裹分拣系统中，包裹图 像可以用于识别每个包裹的边缘以确定包裹的尺寸。如果分拣系统能 够连续识别包裹，那么成功的概率就高，因此所使用图像的边缘SNR 就足以执行此任务。对于虹膜识别而言，虹膜特征的具体空间频率必 须被识别出来以支持虹膜之间的区分。如果这些空间频率的SNR不 足，那么虹膜识别算法就不能实现预期功能。
发明内容
在一种实施方式中，成像系统包含具有一个或多个相位修改元件 的光学器件，所述相位修改元件修改波前相位从而将图像属性引入到 光学图像中。检测器将光学图像转化为电子数据，同时保留所述图像 属性。信号处理器将电子数据划分为一个或者多个数据集，至少基于 图像属性对此数据集进行分类，并独立处理此数据集而形成处理后的 电子数据。
在一种实施方式中，成像系统包含具有一个或多个相位修改元件 的光学器件，所述相位修改元件修改波前相位而形成光学图像。检测 器将光学图像转化为具有一个或者多个图像属性的电子数据，所述图 像属性依赖于相位修改元件和/或检测器的特性。信号处理器将电子数 据划分为一个或者多个数据集，至少基于图像属性对此数据集进行分 类，并独立处理此数据集而形成处理后的电子数据。
在一种实施方式中，成像系统包含具有一个或多个相位修改元件 的光学器件，所述相位修改元件修改波前相位以预先影响光学图像。 检测器将光学图像转化为电子数据。数字信号处理器将电子数据分为 一个或者多个数据集，并至少部分基于相位修改元件如何修改波前相 位的先验知识对此数据集进行分类。数字信号处理器独立处理每个数 据集而形成处理后的电子数据。
在一种实施方式中，成像系统包含具有一个或多个相位修改元件 的光学器件，所述相位修改元件改变波前相位并产生具有至少一个已 知图像属性的光学图像。检测器将光学图像转化为电子数据的同时保 留图像属性，所述电子数据可划分为多个数据集。数字信号处理器为 每个数据集至少确定一个特征并对此数据集进行处理，从而以对所述 数据集独立可调的方式和程度来修改所述图像属性，以产生处理后的 电子数据。
在一种实施方式中，成像系统包含具有一个或多个相位修改元件 的光学器件，所述相位修改元件改变波前相位，以将一个或者多个图 像属性引入到光学图像中。检测器将光学图像转化为电子数据的同时 保留图像属性。数字信号处理器确定电子数据的一个或者多个特征， 并提供电子数据的非线性处理以修改图像属性，从而产生处理后的电 子数据。
在一种实施方式中，成像系统包含具有一个或多个相位修改元件 的光学器件，所述相位修改元件将一个或者多个图像属性引入到光学 图像中。检测器将光学图像转化为电子数据的同时保留图像属性。数 字信号处理器将电子数据划分为一个或多个数据集，至少基于图像属 性对数据集进行分类，并对数据集进行独立的非线性处理，从而产生 处理后的电子数据。
在一种实施方式中，一种产生处理电子数据的方法包含：修改目 标的波前相位，以引入一个或者多个图像属性到成像系统形成的光学 图像中。所述方法包含：在保留图像属性的同时将光学图像转换为电 子数据；将电子数据划分为一个或者多个数据集；至少基于一个或者 多个图像属性对数据集进行分类；并独立处理数据集以形成处理电子 数据。
一种软件产品，其包含存储在计算机可读媒体中的指令。当由计 算机执行时，所述指令执行对如下过程产生的数据集进行处理的步骤： (a)修改目标波前相位，以引入一个或者多个图像属性到成像系统形成 的光学图像中；(b)保留图像属性的同时将光学图像转化为电子数据。 所述指令包括：将电子数据划分为一个或者多个数据集的指令；至少 基于图像属性对数据集进行分类的指令；以及独立处理数据集以形成 处理电子数据的指令。
附图说明
图1示出在一种示例性场景中，成像系统对目标发出或者反射的 电磁能量的成像过程。
图2示出图1中场景的放大图像以说明其中的其他细节。
图3示出图1中的成像系统的示例性部件以及连接。
图4示出在一种实施方式中可以由图1的成像系统执行的处理过 程的流程图。
图5A至图5E示例性地示出非线性与/或空间变化图像处理过程。
图5F示出一种假想成像系统的行扫描图。
图6示出包含可被识别为具有不同特征的区域的目标图像。
图7A、7B和7C示出三种基于定义像素集的图像分割方法。
图8A示出叠加到一组像素上的图2场景中的目标。
图8B示出图8A的像素依据图8A所示出目标的阈值处理被分割 为不同的数据集。
图9A、9B和9C示出加权或者分割的像素块。
图10A示出两个目标。
图10B示出图像“键”。
图11示出直线图如何用来将光学强度与/或电子数据量表示为空 间位置的函数。
图12示出对图6所示出的区域之一中的电子数据的处理过程。
图13示出对图6所示出的另一区域内的电子数据的处理过程。
图14示出位于图6所示出的另一区域内的电子数据的处理过程。
图15示出对图6所示出的另两个区域内的电子数据的处理过程。
图16示出场景的高对比度图像区域的行扫描。
图17示出图16所表示目标的行扫描。
图18示出图16所表示目标的行扫描的电子数据。
图19示出图16所表示目标的行扫描的处理后的电子数据。
图20示出场景中低对比度图像区域的行扫描。
图21示出图20所表示目标的行扫描。
图22示出图20所表示目标的行扫描的电子数据。
图23示出图20所表示目标的行扫描的处理后电子数据。
图24示出与图23不同的处理过程后的、图20所表示目标的行扫 描的电子数据。
图25示出一种采用非线性与/或空间变化处理的光学成像系统。
图26示意性地示出一种采用非线性与/或空间变化颜色处理的光 学成像系统。
图27示出另外一种采用非线性与/或空间变化处理的光学成像系 统2700。
图28示出模糊去除块如何依据不同的空间滤波器频率的加权因 子来处理电子数据。
图29示出对M个通道每个进行N次处理的加权模糊去除算法的 总结。
图30A至30D示出应用预滤波器先去除模糊，而非线性处理过程 去除剩余模糊以形成再处理图像。
图31A至31D示出应用预滤波器先去除模糊，而非线性处理过程 去除剩余模糊以形成再处理图像。
图32A至32D示出与图30A至30D以及图31A至3ID相同目标 的图像，但其包括依赖温度的光学器件。
图33示出成像目标，并示出了色度信息如何被用来确定空间变化 处理过程。
图34A至34C示出图33所示出的目标成像过程中获得的RGB图 像。
图35A至35C示出图33所示出的目标成像过程中获得的YUV图 像。
图36至36C示出图33中目标的电子数据，其经过采用余弦光学 器件并将图像转化为YUV格式的成像系统。
图37A至37C示出当图36至36C示出的YUV电子数据经过处 理并转化回RGB格式时获得的结果。
图38A至38C示出仅使用YUV图像的Y通道进行图像RGB重 建时获得的结果。
图39A至39C示出图36A至36C中的YUV电子数据经过处理并 转化回RGB格式时获得的结果，其处理过程根据强度信息的缺失而变 化。
图40示出模糊去除块如何产生非线性算子的加权加和。
图41示出包含非线性算子的模糊去除块，其对于图像的不同数据 集或者不同图像通道进行不同的操作。
图42示出以串行或者并行方式或递归地处理来自图像的不同数 据集或者不同通道的电子数据的模糊去除块。
图43示出为增强图像特征而对处理参数进行选择的方法流程图。
具体实施方式
图1示出一种对示例性场景200中的目标发射或者反出的电磁能 105成像的成像系统100。成像系统100包含光学元件和将场景200 的数字图像采集为电子数据的检测器；其可能对电子数据进行处理以 提高处理后电子数据的图像质量。虽然成像系统100在图1中示出为 数码相机，但应该理解为成像系统100也可以包括作为手机或其它设 备的部件。应该认识到，系统100可以包含彼此相距一定距离的协同 组件以执行图像采集和图像处理任务，如下所述。
系统100可以用于在空间变化处理过程中对电子数据进行处理， 以改进处理后电子数据的图像质量。系统100也可以用于在非线性处 理过程中对电子数据进行处理以改进图像质量，所述非线性处理可能 比线性过程具有一定的优势。系统100也可以用于在非线性和空间变 化处理过程中对电子数据进行处理，以改进图像质量。
图2示出示例性场景200的放大图以便进一步对其中细节进行说 明。场景200对应于具有多个图像区域的原始电子数据；每个图像区 域都具有特定图像特征和/或子空间，如下文所述，该特定图像特征和 /或子空间可能使图像受益于非线性、空间变化和/或优化处理过程；所 述图像特征和/或子空间可划分为包括信号、噪声、和空间种类在内的 广范类型。信号类可包含图像特征或子空间属性，如色饱和度、动态 范围、亮度和对比度。噪声类或噪声子空间可包含的图像特征如固定 图样噪声(FPN)、随机噪声和缺陷像素；空间类或者子空间可包含的 图像特征如过渡部分与边缘的清晰度、混淆、伪影(例如重像)、景深 (DOF)、纹理与空间细节(即，空间频谱)。其它分类或子空间定义可 以在此本公开内容的范围之内，并且其它或者较少的上述图像特征可 以在此每个分类之内。
现结合场景200对一些上述图像特征进行说明。例如，场景200 的天空区域210具有很少的空间细节；即，此区域具有非常低的空间 频谱，少量的高空间频谱和低对比度。云彩220可能只有少量的空间 细节。场景中的一些区域或目标具有很高的空间细节但对比度较低； 即，此区域具有从低到高的空间频率信息，但相对局部背景的光强差 较低。例如，在场景200中，在由栅栏250投射的阴影240中的草230 具有高的空间细节，但对比度较低。场景200的其它区域或目标具有 很高的空间细节和很高的对比度；即，此区域具有覆盖多个空间频率 的信息，且相对局部背景的光强差较高。场景200中的太阳260和栅 栏250是高空间频率、高对比度区域的示例。场景200的其它区域或 目标也可能使得检测器饱和；即，此目标的光强或颜色可能超过检波 器能够区分目标光强或者颜色的能力。太阳260的中心就是一个如此 可能使得检波器饱和的目标。一些区域或目标，如热气球280的篮子 270的编结的棋盘形图案，具有适中数量的空间细节和低对比度；即， 此区域具有从低到中等的空间频率信息，且具有相对局部背景的低光 强差。如果系统100在夜间对场景200进行图像采集，则场景200是 黑暗的(例如，图像区域具有低光强信息)。场景200的其它区域中也 可包含互相相比具有类似级别的空间细节的区域，但可能颜色有区别， 如热气球280的彩带285。
场景(例如场景200)数字图像的上述区域可以采用本文所述的 非线性和/或空间变化方法进行处理。这种处理可以取代利用线性处理 的图像全局(global)处理或作为其补充，线性处理以单一方式处理整 个图像。例如，在本公布内容中，全局线性处理可理解为将一个或多 个线性数学函数不变地应用于全部图像。线性数学运算可定义为满足 加和性(即，f(x+y)＝f(x)+f(y))和其次性(即，对于所有的α，满 足f(αx)＝αf(x))的运算。例如，所有像素的值与常量的倍乘和/或像 素与滤波器核进行的卷积，都是线性运算。非线性运算是至少不满足 加和性和其次性之一的运算。
由于许多图像的特征变化较大，因而全局线性处理可能不能在图 像的所有区域都产生可接受的结果。例如，线性全局操作可处理包含 中等空间频率信息的图像区域，但也有可能对包含低或高空间频率信 息的区域造成“过处理”。例如，依据观察着的感觉，当作用于整体 图像的线性处理向图像受损部分增加或者去除空间频率信息时，可能 发生“过处理”。再例如，当线性处理(例如，滤波器核)的空间频率 响应没有匹配被处理区域的图像特征时，也可能发生过处理。空间变 化处理并不将处理均匀地应用到全部像素集。线性和非线性处理都可 以用于空间变化处理或空间变化处理组合。由于“智能”定位的可能 是非线性的作用可以代替全局线性作用，以对人类感知而言能够产生 更理想的图像质量，或者产生客观地改进任务型应用的特定任务结果， 因而非线性和/或空间变化图像处理技术的应用可以使得图像的处理 简单化。
图3示出成像系统100的示例性组件及其连接关系。成像系统100 包含具有光学器件125和检测器130(例如，CCD或CMOS检测器阵 列)的图像采集子系统120，检测器130响应于其上生成的光学图像 而产生电子数据135。光学器件125可包含一个或多个光学器件如透 镜和/或相位修改元件，本文有时称之为为“波前编码元件”(“WFC”)。 关于相位修改元件及相关处理过程的信息可以在美国专利号 5,748,371；6,525,302，6,842,292，6,873,733，6,911,638，6,940,949， 7,115,849和7,180,673，以及已出版专利申请号2005/0197809A1中发 现，此每个专利文献都通过引用并入本文。相位修改元件修改波前相 位以引入图像属性，如信号空间、零空间、干涉子空间、空间频谱、 分辨率、颜色信息、对比度修改和光学模糊。换言之，相位修改元件 可以修改波前相位以预先地(predeterministically)影响光学器件125 形成的光学图像。处理器140在存储为软件145的指令控制下执行。 成像系统100包含可具有软件存储区155的存储器150；存储在软件 存储区155的软件在系统100起动时可以作为处理器140的软件145。
软件145通常包含图像采集子系统120的信息，例如镜头或者相 位功能规定、常量、表或者滤波器，所述信息可用于定制系统100执 行的图像采集或处理过程以匹配图像采集子系统120的物理特性或能 力。其也可包含如本文所述的那些改进图像质量的算法。处理器140 与图像采集子系统120交互以控制电子数据135的采集；在采集时， 电子数据135可以传递给处理器140或存储器150。处理器140或存 储器150然后协同工作，从而以如下所述的不同方式处理电子数据 135，形成经处理的电子数据137。
处理器140和存储器150可以采取多种物理形式。图3所示出的 结构是示意性的，并不表示其是组件的必需物理结构；也不表示需要 这些所有组件都位于相同的物理位置、被容纳在相同的外壳中、或者 示出的连接为如电线或光纤这样的物理连接。例如，处理器140和存 储器150可以是单个特定用途集成电路(“ASIC”)的部分，或者其可 以是独立计算机芯片或多个芯片；处理器140和存储器150可以物理 上位于包含图像采集子系统120的设备内或者位于独立的设备内，具 有形成图3所示的特定连接形式的物理或无线连接。相同地，应该理 解，系统100的部件执行的动作在时间上可以是独立的，也可以是非 独立的，如下所述。例如，可以同时进行图像采集，之后再进行处理。 可选地，处理可以基本实时进行，例如，因此使用者可以快速查看处 理的图像结果，使其能够依据处理的图像来修改图像采集和/或处理参 数。
原始或处理后的电子数据可以传送到可选的显示设备160上，用 于即时显示给系统100的使用者。作为补充或者选择，原始电子数据 135或处理后的电子数据137可以被保存在存储器150中。成像系统 100也可以包含电源180，其按需连接到成像系统的任意其它部件上 (为便于清晰说明，图3中未示出这些连接)。
典型的成像系统100至少包含图3所示的一些组件，但不需要包 含全部；例如，成像系统100可以不包括显示设备160。可选地，成 像系统可以包含多倍的图3中的组件，例如，根据特定任务优化的多 个图像采集子系统120，如本文的进一步说明所述。此外，成像系统 100可以包含不同于本文所述的特征，例如，外部电源连接以及组件 之间或与其它系统之间的有线或无线通讯能力。
图4是示出了可以被图3示出的系统100执行的处理过程400的 流程图。步骤410采用系统参数405将光学图像转化为电子数据。步 骤410可以例如通过在检测器130上形成光学图像的光学器件125执 行，检测器130接着产生对应此光学图像的电子数据135。系统参数 405包括曝光时间、光圈设定、变焦设置以及其它与数字图像采集相 关的量化参数。如下所述，步骤430确定用于线性处理的电子数据的 数据集。步骤430可以例如由处理器140在软件145的控制下执行； 步骤430可以利用电子数据135或者处理后的电子数据137(即，步 骤430以及本文中的其它处理步骤可以处理检测器原始采集到的电子 数据，或者是以某种方式已经被处理过的数据)。步骤440或445对步 骤430确定的电子数据或者其中的一个或者多个数据集分别执行线性 处理或者预处理。如下所述，步骤440或445可以例如由软件145控 制下的处理器140分别执行，利用电子数据135或者其中的数据集执 行。如下所述，步骤450确定用于非线性处理的电子数据的数据集。 步骤450可以例如由处理器140在软件145的控制下执行并利用电子 数据135或者处理后的电子数据137。可以对步骤450确定的电子数 据135、处理后的电子数据137或其中的一个或多个数据集分别执行 非线性处理步骤460或465。如下所述，步骤460或465可以分别例 如由处理器140在软件145的控制下执行，利用电子数据135或者其 数据集。步骤430、440和445可以被视为线性处理部分470，步骤450、 460和465可以被视为非线性处理部分480；在过程400中，处理部分 470和480可以以任意顺序和次数执行。而且，后面执行的处理部分 470和480不需要再确定与其第一次执行相同的数据集；例如，可以 首先基于颜色信息和相应的线性处理将场景划分为不同数据集，其次 依据光强信息和相应的线性处理将其划分为不同的数据集，最后依据 对比度信息和相应的非线性处理进一步将其划分为不同的数据集。当 无需进一步的处理时，过程400结束。
图5A至5E通过一组图标示出了与图4的处理过程400相对应的 非线性与/或空间变化图像处理过程的示例，所述一组图标描述每个示 例的多个方面，如(a)输入目标的电磁能量，(b)光学器件，(c)电子数据， 以及(d)处理描述。图5F示出了可以由不同类的相位修改光学器件提 供的行扫描的详细变化(行扫描的说明参考图11)。具体地，图5A示 出了采用波前编码(“WFC”)光学器件的非线性处理过程。对用于采 用如图5A所示处理过程的系统的光学器件(例如，图3中示出的光 学器件125)进行了示例性的设计，以使得从光学图像形成的电子数 据(例如，图3示出的电子数据135)适合于特定类型的非线性和/或 空间变化处理。在一个实例中，在基于光学器件设计和信号处理设计 二者基础之上形成质量指标的过程中，对光学器件和处理过程进行了 组合优化。在图5A中，图标502表示目标发出的作为方波的电磁能 量的空间光强行扫描；即，目标形成单一理想阶越函数的行扫描，如 白色背景对比下的黑色目标，或者反之亦然。图标504表示特别设计 的WFC光学器件。图标506表示从图标502表示目标的光学图像所 形成的电子数据的行扫描。由于光学器件和检测器的局限性，电子数 据的行扫描没有图502示出的垂直边沿和尖锐转角；而是，边沿是非 垂直的，转角是圆的。然而，电子数据的行扫描是“光滑”的，而且 不包括如有些时候在WFC光学器件所产生的电子数据中发现的附加 “结构”，示例性的，如转换时的振荡或拐点。就此而论，“光滑”应理 解为与被成像目标的边缘相对应的行扫描是基本单调变化的，而非增 加了“结构”的行扫描，如突变时的振荡(同样参考图5F)。图标508 表示电子数据的非线性处理。图标510表示非线性处理形成的电子数 据的行扫描，并展示了对如图标502中所见的直角边沿和尖锐转角的 恢复。
图5B示出了非线性处理、线性预处理和WFC光学器件。在图 5B中，线性预处理产生部分处理过的、适用于非线性处理步骤的电子 数据。在图5B中，图标512用方波表示目标发出的电磁能量的空间 强度行扫描。图标514表示WFC光学器件。图标516表示图标512 所表示目标的光学图像所形成的电子数据的行扫描。与图标506相比， 图标516所表示的电子数据具有可能由于WFC光学器件引起的附加 “结构”，例如拐点516A。图标518表示线性处理步骤(例如，图标516 所表示的电子数据与滤波器核的线性卷积)。图标518所表示的处理在 本文有时称为“预处理”或“预滤波”。图标520表示图标518所表示 的线性处理形成的电子数据的行扫描；图标520所表示的电子数据不 含有图标516所标注的附加结构。图标522表示图标520所表示的电 子数据的非线性处理。图标524表示非线性处理所形成的电子数据的 行扫描，并示出了如图标512所见的垂直边沿和尖锐转角的恢复。
图5C示出了非线性处理、线性预处理和专门的WFC光学器件。 在图5C中，对光学器件(例如，图3的光学器件125)进行了设计， 从而以定制方式对形成图像的电磁能量的波前进行编码，使得采集数 据(例如，图3的电子数据135)的线性预处理产生适用于非线性处 理步骤的部分处理的电子数据。采用可定制的波前编码和线性预处理 可以减少系统100产生电子数据所需要的处理资源(例如，处理所必 需的数字信号处理器的复杂组成和/或时间和/或电源等)。图5C中， 图标530用方波表示目标发出的电磁能量的空间强度行扫描。图标532 表示以定制方式对电磁能量进行波前编码的WFC光学器件。图标534 表示图标530所表示的目标的光学图像所形成的电子数据的行扫描。 图标534所表示的电子数据是光滑的并且包含最小的附加结构。图标 536表示线性处理步骤(例如，图标534所表示的电子数据与滤波器 核的线性卷积)。例如，图标536所表示的线性处理可以是适度过激 (aggressive)的滤波器，其趋于锐化边缘，但并不是特别的过激以至 于对边缘造成超调或者负调；图标536所表示的处理在本文中有时候 被称为“预处理”或“预滤波”。图标538表示对图标536表示的线 性处理所形成的电子数据的行扫描，但不含有与图标530所表示的目 标相关的垂直边沿和尖锐转角，所述图标536表示的线性处理在图标 534中表示的电子数据上得到了改进。图标540表示图标538所表示 的电子数据的非线性处理。图标542表示非线性处理所形成的电子数 据的行扫描，并示出了如在图标530中所见的垂直边沿和尖锐转角的 恢复。
图5D示出了非线性处理、线性预处理和专门的WFC光学器件另 一示例。如同图5C那样，在图5D中，光学器件(例如，图3的光学 器件125)以定制方式对产生图像的电磁能量的进行波前编码，使得 对采集数据(例如，图3的电子数据135)的线性预处理产生适用于 非线性处理步骤的部分处理的电子数据。可定制的波前编码和线性预 处理再次减少了系统100产生电子数据所需要的处理资源。在图5D 中，图标550用方波表示目标发出的电磁能量的空间强度行扫描。图 标552表示以可定制方式对电磁能量进行波前编码的WFC光学器件。 图标554表示图标550所表示目标的光学图像所形成的电子数据的行 扫描。图标554所表示的电子数据是光滑的并且包含最小的附加结构。 图标556表示采用过激滤波器的线性处理步骤，所述过激滤波器能够 锐化边缘并对边缘分别产生过冲或者下冲作用，即，像素值分别高于 或者低于局部最大和最小值。图标556所表示的处理本文有时称之为 为“预处理”或“预滤波”。图标558表示图标556所表示的线性处理 所形成的电子数据的线性扫描；它具有陡峭边沿和边缘处的过冲558A 和下冲558B。图标560表示图标558中所表示数据的非线性处理，用 于消除过冲和下冲，如下所述。图标562表示非线性处理所形成的电 子数据的行扫描，并示出了对如图标530所见的垂直边沿和尖锐转角 的恢复，但没有图标558的过冲和下冲。
图5E示出了空间变化处理和WFC光学器件。在图5E中，空间 变化处理产生处理后的电子数据，所述处理后的电子数据着重于识别 由于发生在采集图像的不同区域而产生的不同主空间频谱。在图5E 中，图标570用方波表示目标发出的电磁能量的空间强度行扫描；目 标的一个空间区域570a在较低空间频率上具有主频谱，而另一空间区 域570b在较高空间频率上具有主频谱。图标572表示WFC光学器件。 图标574表示图标570所表示目标的光学图像所形成的电子数据的行 扫描。图标574所表示的电子数据具有可能由WFC光学器件导致的 圆角。如下所述，图标576表示识别图像的空间频谱并依据频谱将图 像划分为不同数据集的过程。图标578和584分别表示对应于较低和 较高空间频谱区域的数据集的电子数据行扫描。图标580和586表示 线性处理步骤(例如，图标578和584表示的电子数据分别与滤波器 核的线性卷积)。图标582和588表示从图标580和586所表示的线性 处理形成的电子数据的行扫描。每个数据集的电子数据通过与其具体 空间频谱相适应的的滤波器进行锐化处理。图标590表示对图标582 和588所表示数据的合并。图标592表示对合并操作所形成的电子数 据的行扫描；尽管数据没有垂直边缘和非常尖锐的转角，但在图标590 表示的合并步骤之前或之后可以进行额外的(非线性)处理，以进一 步改进图像质量。
图5F示出了假想成像系统的行扫描图594。在图5A-5D中，产生 图594所示出行扫描结果的目标(未示出)由阶越函数幅度变化表征； 即，其具有垂直边沿。行扫描595表示未采用波前编码的成像系统的 数据；行扫描596表示采用基于余弦函数波前编码的成像系统的数据； 行扫描597表示采用基于三次函数波前编码的成像系统的数据。由于 无波前编码系统的光学器件，行扫描595示出的目标形状是“平滑” 的。由于余弦波前编码作用，行扫描596示出的目标形状更加“平滑”。 由于三次波前编码作用(为了清晰示出，在图5F中的598处仅标出了 具有明显结构示例的地方)，行扫描597比行扫描595和596具有更多 的结构，在位置598处表现为扭结和台阶。增加的结构可能使处理更 加复杂，并且/或者可能导致非预料的结果(例如，结构被处理器“误 解”为图像的一部分，而不是由光学器件引入的伪象)。所以，修改过 程有利于对电子数据的处理，所述修改过程去除或修改由于通过采用 波前编码的光学器件成像而产生的结构。
空间变化处理I-区域识别
对场景的处理(例如，场景200)，可以是依照定义的像素集、存 在于场景的数字图像中的目标边界、或在场景的数字图像的区域中表 现出的特征来分割与场景相关的原始或处理后的电子数据。即，空间 变化或者内容优化的处理是基于关于处理的决定的，该处理待应用到 在正被处理光学图像的电子数据中呈现的信息上。以下讨论涉及利用 电子数据的信息来确定将采用何种处理的方法。
图6示出包含分别标记为A、B、C、D和F的区域的目标图像600， 每个区域都具有不同的特征。图像600在系统100中以电子数据的形 式存在(例如在图3中，在检测器130之后，目标发出的电磁能量被 转化为电子数据135)。识别子集610，以下说明中示出为610(a)和 610(b)，可以用于评估图像600并确定其中具有不同特征的区域，所 述区域可能受益于一个具体形式或者程度的处理过程。识别子集610 是一组选择好的图像像素，其以箭头620的方向“经过”图像600。 即，识别子集610可以首先选择包含于子集610(a)中的像素并对其 进行处理以评估图像内容，例如，但不限于，空间频率的功率谱、边 缘呈现、色彩呈现等。与在子集610(a)中发现的特征相关的信息可 以与其在图像600中的位置相关联，且作为选择可以存储起来以备后 用。然后可以选择其它位置作为新的识别子集610。如箭头620所示， 每个这样的位置都可以被处理以评估特征，如空间频率的功率谱、边 缘呈现、色彩呈现等。选择识别子集610的相应位置可以根据图像600 中特征识别的所需精度来选择；例如，识别子集610可以如图6示出 的那样在X和Y方向的每个上重叠，或者其可以互相交界，或者其可 以互相分隔(例如，因而可以仅对图像600进行区域采样而不是进行 全部分析)。
一旦对最终的识别子集610(例如示出的图像600中的子集610 (b))进行处理，则对子集610的特征进行采样，并用于识别图像600 中具有相似特征的区域。具有相似特征的区域然后被分割，即，定义 为基于相似特征进行特定处理的数据集。例如，如下所述，如果识别 子集610的处理过程检测到明显处于目标一定区域内的空间频率，则 可以进一步进行滤波处理以仅在此空间频率上去除模糊。当图像600 经过如上所述的处理后，对区域A采样的识别子集可以在区域A中的 可见垂直线相应的水平空间频率上检测功率。对区域B采样的识别子 集也可以在与区域A相同的空间频率上检测功率，但其依赖于识别算 法的参数，可能不选择此空间频率进行处理，因为在主空间频率上的 功率与区域B中存在的噪声相当。对区域C采样的识别子集可以在两 个水平空间频率和一个垂直空间频率上检测功率。对区域D采样的识 别子集可以检测至少与区域A识别出的相同水平空间频率相关的功 率，但由于区域D的高噪声内容，其不会检测到第二水平空间频率和 垂直空间频率。对区域E采样的识别子集可以在与区域A和区域C相 同的水平空间频率上检测功率，但由于区域E的高噪声信息，其不会 检测到次级水平空间频率和垂直空间频率的功率，甚至可能不能检测 在主水平空间频率上。
对通过图像的矩形辨识子集进行光栅扫描处理(沿X-Y网格分割 和识别具有相同特征的数据集)可以由不同的方式实现。例如，辨识 子集可以是非矩形的其它形状，并可以沿提供对图像的采集的任意路 径经过图像，而不是上述的光栅扫描。辨识子集无需是电子数据的相 邻选择；其可以是电子数据的单个元素或者其中的一个或多个子集； 其可以是稀疏的，也可以是电子数据的独立的个体元素的映射或索引。 而且，可以对采样进行优化以快速发现潜在的关注特征，因此需进行 更多的处理过程以为关注特征添加细节。例如，对图像的稀疏采样首 先作为初始识别子集，然后进一步的识别子集处理可以仅在初始识别 子集的特征所建议的图像关注内容区域内进行(例如，处理资源可以 因此集中于具有较多图像特征的地势较低部分，而不是初始识别子集 识别出的仅具有无特征的蓝色的地势较高部分)。
可以由检测器将电子数据生成为整体图像(本文中称之为“全帧”) 或者生成少于整体图像的分块的图像。电子数据可以被缓存且临时保 存起来。对电子数据的处理可以与其读取、缓存和/或存储过程串行或 者并行执行。因此，不需要在处理之前读取所有的电子数据；也不需 要在处理之前将所有的电子数据“识别”为不同的数据集。对于傅立 叶和小波处理技术而言，先读取全帧电子数据，然后一次性处理整个 图像是有利的。而对于可以使用数据子集的处理技术而言，以小于全 帧的分块进行读取，然后并行或者串行处理数据集。
图7A，7B和7C进一步示出三种基于定义像素集来分割图像的方 法。图7A中，平面700示出了3个像素组成的不规则块710，其位于 平面700中的固定位置。例如，块710可以是饱和区域分割的结果(参 见图8A和8B的示例)。可选地，使用者可以定义类似块710的一组 固定像素集作为要处理的目标区域。例如，由于与图像中央相比，边 角区域期望性能或者图像品质不同，因而长方形或者正方形图像的边 角区域的电子数据采用不同于中央区域的电子数据的处理方法。由于 不同的预设光学图像内容，长方形或者任意形状图像区域的电子数据 可以采用与图像其它形状区域的电子数据不同的处理方法，其中图像 内容的变化由预先的相位修改、光照条件、或者均匀或不均匀的采样 结构或者在图像范围内变化的采样属性来决定或控制。
图7B示出了具有2 X 2像素块730的平面720，所述像素块730 可以以类似光栅的方式扫描包含在平面720中的整个像素集(例如， 像素块730可以被认为是图6中辨识子集610的示例)。像素块的扫描 过程可以用于识别受益于特定处理过程的图像分割区域；即，如下所 述，处理过程依据图像内容而发生空间变化。图7C中，平面740示 出了平均隔开的、用阴影区域表示的被选像素750(为清晰示出，没 有标识出所有的被选像素)。可以通过采样选择不相邻的像素750，如 示例中所示的50％采样，或者可以采用傅立叶或者小波分解进行选择。 例如，这种采样可以为整个图像或其局部提供一定空间频率上的信息。 可选地，图像分割区域也可以由N x N正方形像素块、或者稀疏不规 则的相邻或不相邻块、或者电子数据的单独样本形成。例如，采用1x 1大小的块或者单独样本作为辨识子集的示例是，其可以在图像的电 子数据中找到最小或者最大值。
尽管示出为具体数目的像素710、像素块730或者像素块750，但 其可以包含不同数目的像素，从1到图像或者图像集的全部大小(例 如，高达每帧图像的尺寸乘以图像集的帧数)。分割区域不一定必须是 正方形或长方形这样的凸多边形(例如，像素块730)，也可以是凹多 边形(例如，像素块710)或者稀疏样本。此外，含有多于一个像素 的分割区域可以通过加权进一步进行修改，或者对此分割区域内的像 素进行二次抽样，如以下参照图9A至图9C所述。
可以基于场景的数字图像中的目标边界进行分割。例如，索贝尔 (Sobel)、蒲瑞维特(Prewitt)、罗伯特(Roberts)、高斯—拉普拉斯算 子、零交叉以及Canny算法都可以用来识别目标边界。模板匹配、纹 理、轮廓、边界snake模型、数据流模型也可以用于图像分割。
也可以基于图像特征如亮度或者色彩进行分割。图8A示出了叠 加在像素集800上的目标(图2中的场景200中的太阳260)。在此示 例中，对像素集800的每一像素的数值进行阈值操作以生成数据集。 例如，通过将像素集800划分为具有三个不同亮度级别的数据集，利 用三级阈值操作来生成数据集。图8B示出了依据图8A中示出的太阳 260的阈值而分开为不同数据集的像素集800。由密阴影区域的像素 810所示出的第一数据集包括数值超过200的所有像素。由淡阴影区 域的像素820所示出的第二数据集包括数值在100和200之间的所有 像素。由白色区域的像素830示出的第三数据集包括数值小于100的 所有像素。可选地，通过进一步采用以上所述的任一边缘检测算法， 或者其它边缘检测算法，可以确定出太阳260的边界。
也可以依据检测器、光学器件、波前编码元件与/或图像的特征进 行分割与/或加权。至于图像，可以基于目标图像的边界，或者图像的 色彩、纹理或者噪声等特征进行分割。至于检测器，可以基于其周期 性FPN或者相关混淆伪影进行分割。至于波前编码元件和光学器件， 可以基于杂散光问题、重影、与/或成像系统的点扩散函数(“PSF”) 的实际程度进行分割。例如，当光学器件提供已知的杂散光或者重影 图样，此图样的信息可以作为分割或者加权的基础。
图9A，9B和9C示出了加权或分割的像素块。图9A中，像素块 900包含8 x 8的像素阵列。中央区域的2 x 2像素910的块(表示为 密阴影区域像素)以1.0权值加权，其它所有像素920(表示为淡阴影 区域像素)以权值0.5加权。像素块900可对应于例如图7B中的块 730；该加权与选择用于分割区域的窗口形状是同义的。其它可采用的 窗口形状包括长方形，高斯，汉明，三角等。窗口并不限于闭合轮廓 的形状。如图9A中示出的像素加权适用于邻近像素块中央像素的像 素加权。可选地，像素权值可以类似高斯的形式进行变化，在中央像 素或者顶点处其值归一化为1.0且逐步递减，至像素块边界时递减为 0。这种加权方式可以减少“成块”伪影，其中识别子集定义进行相应 处理的尖锐边界。图9B中，像素块940是像素950的14 x 14块，如 轮廓线960所示出的，像素块940包含了光学系统PSF的95％或者更 多的累积强度。因为PSF在某一特定位置可能未精确等于0，因而轮 廓线960表示PSF中的任意级别的大小，并且可以基于此级别对像素 集950进行分割或者加权。图9C中，像素块970示出了像素980(细 线围成的方形区域)被分割为多个极线状或者放射状分割区域990(粗 线围成的楔型区域)。极线型分割适用于包含放射状结构特征的图像， 例如虹膜图像。也可以基于图像或者图像集的“方向性”进行分割。 方向性可以包括时间、空间、对比度、色彩等的“运动方向“。例如， 在一系列相关图像中，可以基于记录在系列图像之中的目标在空间与/ 或时间上的运动进行分割。基于色彩的运动方向进行的图像分割可以 包括基于图像在空间上变化的色调进行分割(例如，天空的图像从接 近于地平线的微红色变化为接近于天顶的浅蓝色，可以根据这些变化 进行图像分割)。
空间变化处理-处理过程确定
现将讨论通过输入图像的区域来确定处理方法的示例，例如可以 在空间变化处理中使用的方法。图10A示出两个均包含黑色垂直线的 目标1010和1020；目标1020还包含浅灰色的斜线。图10B示出了具 有从A到E的五个图像部分的图像“键”1030，图像部分A和B位 于键1030的上部，并且图像部分C、D、E位于键1030的下部。
一种包括WFC光学器件和多个检测器的光学系统对目标1010和 1020进行成像。WFC光学器件具有延伸电子数据景深的效果，但可 以在电子数据之外进行处理，以不同程度生成处理后的图像；具体地， 效果变化的程度可以基于获得图像中呈现的特征。在此示例中，所述 系统包含多个影响采集图像的检测器(尽管应该理解，变化过程，例 如目标1010和1020的光照变化，可能使其产生与下文描述相似的结 果)。对目标1010成像的检测器在“键”1030所示出的图像部分A中 引入相对较低的噪声。另一检测器在图像部分B引入非常高的噪声。 对目标1020成像的检测器在图像部分C中引入低噪声，在图像D部 分引入中等噪声，在图像E部分引入非常高的噪声。图6的图像600 示出了目标1010和1020最终检测到的未经处理的电子数据。
表示光学强度和/或电子数据强度的线条图对于图像600的处理过 程的理解是有用的。图11示出了线条图(本文中有时称之为“行扫描”) 可以如何用于将光学强度和/或电子数据量表示为空间位置的函数。在 如图像1110中所示出的第一空间频率“SF1”的黑线条，在沿着图像 1110中的虚线方向的对应光学强度的线条图1120中产生宽的波峰和 波谷。如图像1130中所示出的第二空间频率“SF2”的较窄线条，在 线条图1120中产生相应的窄波峰和波谷。如图像1150中所示出的随 机噪声“N”，产生无规律的线条图1140。应该理解，当线条图用于表 示光学图像的相关信息时，纵坐标对应于特定空间位置上的电磁能强 度。同样的，当线条图被用于表示电子数据的相关信息时，纵坐标对 应于电子数据中所包含的亮度或颜色信息的数字值，示例性的例如检 测器所产生的。
目标的电子数据可以被数学上表示为空间频率信息和噪声的适当 之和，例如，如图11所示的空间频率SF1、SF2和噪声N。检测到的 电子数据也可以被表示为目标数据与WFC光学器件的点扩散函数 (“PSF”)的卷积，并与经过加权的N数据相加，所述加权是根据对图 像局部进行成像的检测器是增加低噪声、中等噪声还是高噪声而确定 的。可选地，在保持检测器噪声不变的情况下，可以减小信号幅度(例 如，通过减小光照)。处理后的电子数据可以表示为检测所得电子数据 与滤波器的卷积，所述滤波器对结果，例如WFC光学器件的PSF，进 行逆变换，以及/或者对检测的电子数据表征的空间频率进行锐化，如 下所述。因此，假定图像600的部分A至E中呈现的电子数据如上所 述，那么描述目标的公式、检测所得电子数据、以及处理后的电子数 据总结如下表1。
表1.示例的信号频率信息和噪声的数学表达式，其中*代表乘， 而**代表卷积。
非线性和/或空间变化处理可生成与原始图像相似的处理后图像， 其可能达到噪声湮没信号的程度，因而处理无法将噪声和信号分离。 上述示例中，例如通过使用如参照图6描述的识别子集，信号处理过 程检测目标中的主要空间频率。其次，处理过程生成过滤器，其仅在 每个数据集中识别出的空间频率上处理数据。对全部数据集中的每个 数据集进行处理，每次处理一个数据集。一个数据集处理完成后，接 着处理下一个子集。可选地，还如参照图6描述的那样，处理可以用 光栅扫描方式或以另一种适当的顺序进行。
图12A示出了适用于处理落在图6的区域A中的电子数据的处理 过程。图10A中的目标1010是区域A的成像，其产生用箱形1210表 示的电子数据。对区域A成像的检测器引入了噪声，其产生用箱形1220 表示的电子数据。对在区域A内处理的每个识别子集，通过对检测得 到的电子数据进行傅立叶变换而生成功率谱估计。箱形1230示出了对 区域A中的数据进行傅立叶变换时发现的峰值，其沿水平轴方向水平 空间频率增加，沿垂直轴方向垂直空间频率增加(水平和垂直是指图 12中的文字可以正常阅读时的相应方向)。在箱形中可见形成水平直 线的三点。中间点对应于DC分量，即，在零水平和零垂直空间频率 处的功率；此分量一直出现并可在再处理中被忽略。在中间点左边和 右边的点对应于依据目标垂直线的间隔的正空间频率值和负空间频率 值；即，左边和右边的点对应于空间频率±SF1。接着，通过分析功率 谱估计并建立阈值来确定主空间频率，因而仅主空间频率超过此阈值。 如箱形1240中所见，低于该阈值的功率谱信息被放弃，使得仅在主空 间频率上的峰值被保留下来。接着，处理过程生成对主空间频率进行 锐化的适当的滤波器1260(在频率空间中示出滤波器1260，尽管其也 可以在空间项中示出，如在箱形1250中)。因此，滤波器1260对主空 间频率上的电子数据进行处理。滤波器1260具有对应于功率谱估计中 的主空间频率的可识别特征。最后，滤波器1260被应用于检测的图像， 产生由箱形1270中的行扫描所表示的处理后图像。滤波器1260可以 直接应用于频域中，或者可选地，箱形1250可以应用于空间域中。应 该认识到，箱形1260中的数据被处理后非常接近于箱形1210中的数 据。
图13示出了适用于处理图6的区域C中的电子数据的处理过程。 区域C的处理过程步骤与上述区域A的处理过程步骤一样，但成像目 标的不同空间频率信息产生了不同的结果。图10A中的目标1020是 区域C的成像，其产生用箱形1310表示的数据。对区域C成像的检 测器引入与对区域A成像的检测器相同量的噪声，其产生箱形1320 表示的数据。然而，目标1020中的斜线导致区域C在水平和垂直空 间频率上都有很大的功率。因此，与图像区域A得到的结果相比，区 域C中相同的处理过程在箱形1330所示出的功率谱估计时产生额外 的峰值。如箱形1340所示，阈值建立后，此峰值被保留下来。具体地， 峰值1344对应于水平方向空间频率值为±SF1并且垂直方向空间频率 值为0，峰值1342对应于水平和垂直方向空间频率值皆为±SF2。因 此，由此信息形成的滤波器1360在相应空间频率处表现特征1365。 在箱形1350的空间项中也示出了滤波器1360。区域C形成的处理后 电子数据的行扫描图1370表明处理后电子数据接近于原始目标数据； 即，在检测步骤引入的大部分噪声已经被成功去除。
图14示出了适用于图6的区域D中的电子数据的处理过程。区 域D的处理步骤与上述区域A和C的步骤类似，但与成像目标对应的 信号相比，检测器引入了比较高的噪声，产生了不同的结果。图10A 中的目标1020是区域D的成像，其产生箱形1410表示的数据。对区 域D成像的检测器具有与区域C一样的空间频率内容，但比用于区域 A和C成像的检测器噪声内容高，其产生箱形1420表示的数据。实 际上，区域D包含如此多的噪声，以至于尽管在功率谱估计中产生了 对应于斜线的峰值，但这些峰值也与图像区域中的噪声相当。箱形 1430示出了在功率谱估计中的随机噪声峰值。较高的噪声使得阈值必 须提高到较高值，在空间频率±SF1保留峰值1444，但并不保留对应于 斜线的峰值。因此，为区域D生成的滤波器1460与为区域A生成的 滤波器相似，因为其仅基于相对于垂直线的空间频率，唯一明显高于 噪声的空间频率。在箱形1450中空间项中也示出了滤波器1460。区 域D形成的处理后的电子数据的行扫描图1470示出了垂直线；与图 12中所示出的区域A的处理电子数据相比，垂直线的幅度减小而斜线 不可辨识。
图15示出了适用于处理图6中的区域B和E中的电子数据的处 理过程。图10A中的目标1020是区域B和E的成像，其产生箱形1510 表示的数据。对区域B和E成像的检测器甚至比对区域D成像的检测 器引入更多的噪声，其产生箱形1520表示的数据。在区域B和E中， 检测器引入的噪声超出识别任意空间频率的处理能力。功率谱估计 1530仅包括DC点和噪声引起的多个峰值；如箱形1540所示，阈值 处没有找到任何峰值，并且相应的滤波器1560只有常量。在这种情况 下，如箱形1570所示，输出值可以用常量代替，或者原始的、经检测 但未过滤的电子数据(如箱形1520中的数据)可以被取代。
非线性和/或空间变化处理也可以优化具有高对比度和低对比度 区域的处理后图像。即，目标的特定图像区域可能表现出较大的强度 变化(例如，高对比度)，具有明显的强度分界，而其它图像区域表现 出较低的强度变化(低对比度)，但同样具有明显的强度分界。强度变 化和明显分界可能关于整体的亮度和暗度，或者关于个别颜色通道。 人类的图像感知包括对广泛范围内的可视因素的感觉。分辨率和对比 度是两个重要的可视因素；高分辨率包括亮度或色度的明显或突然转 变(但可能变化程度不大)，而高对比度还包括亮度或色度大的变化。 这种变化可能发生在目标之中或目标和背景之间。不仅人类感觉，而 且如机器视觉和基于任务的处理这样的应用，也可以受益于提供高分 辨率和/或高对比度图像的处理过程。
当WFC光学器件延伸景深时，其可能模糊化边缘或者减小对比 度。通过WFC光学器件获得的采集数据可以采用在高空间频率处呈 现高增益的滤波器进行处理，以使不同级别的亮度(或颜色)之间的 转变更加明显或急剧(例如，对比度的增加)；然而，这种滤波器也可 能放大图像噪声。放大的噪声达到一定程度，使得其引起的亮度(或 颜色)的变化基本与被成像场景中的亮度(或颜色)的转变大小相等 时，噪声将该转变“掩码”；即，增加的噪声使得实际的转变很难与噪 声区分开。人类视觉视觉系统对无噪声区域也可能感知为假彩色，并 且认为图像质量很差，所以降噪为零并不总能产生高质量图像。因此， 当使用WFC光学器件时，应该对各个图像区域采取不同的处理方法， 这样不仅可以保留亮度或颜色之间的明显分界，而且还可以保留每个 区域的亮度或色度变化以及期望的噪声特征，如以下示出的基于图像 内容确定处理过程的示例。
图16-24示出了使得滤波器适应图像区域的对比度以如何改进生 成的图像。如将在下文更详细描述的那样，图16至图19示出了高对 比度图像区域的示例，所述图像区域被成像至检测器并用增加噪声增 益的“过激”滤波器进行处理。此处理过程锐化了高对比度图像的边 缘变换，而放大的噪声没有对此变换形成“掩码”。在图20至图24 中，低对比度图像区域在检测器处成像。生成的电子数据首先用与图 16至图19的示例中相同的滤波器进行处理，从而示出放大噪声如何 对变换进行掩码。然后，电子数据用对边缘变换轻度锐化的“过激” 较低的滤波器进行处理，但没有达到如“过激”滤波器对噪声放大的 程度，因此放大的噪声没有对变换进行“掩蔽”。
图16示出了场景中高对比度图像区域的目标信息的行扫描1600， 例如，图2中的场景200中的栅栏250。行扫描1600中示出了四个对 应目标的目标信息1610、1620、1630和1640；目标信息1610-1640 所表示的目标逐次变小且更加细化(即，需要更高分辨率的成像过程 以示出所呈现的空间细节)。与行扫描1600的垂直轴方向的值对应的 灰度，从0到240灰阶变化。目标信息1610-1640的强度从0到50 再到200灰阶变换，其突变作为像素位置的函数(即，目标信息 1610-1640所表示的目标具有从一点到另一点的明显的强度边界)。尽 管在本示例中使用术语“灰度”和“灰阶”，但是一个或多个颜色通道 中的强度变化可以进行类似的处理并且其在本公布内容的范围内。
光学器件，包括WFC光学器件，产生具有延伸景深的修改的光 学图像。图17将行扫描1600所表示目标的线扫描1700示出为光学信 息1710、1720、1730和1740。用于产生光学信息1710、1720、1730 和1740的WFC光学器件执行瞳平面相位函数phase(r，θ)如下：
其中n＝7，0≤r≤1，a1＝5.4167，a2＝0.3203，a3＝3.0470，a4＝ 4.0983，a5＝3.4105，a6＝2.0060，a7＝-1.8414，ω＝3，0<θ≤2π弧度， 且
符合等式一的光学器件归于本文有时称之为“余弦光学器件”的 类别，其通常表示具有相位变化的光学器件，所述相位变化是指关于 角度θ余弦变化并且关于半径R非球面变化。
波前编码可能降低相邻点之间明显的强度边界，如见于光学信息 1710、1720、1730和1740中的圆滑变换和倾斜边沿。
由生成电子数据的电子图像检测器所采集的光学图像可能引入噪 声。例如，检测器可能引入具有两个分量的噪声：信号依赖噪声以及 信号独立的附加噪声。信号依赖噪声是给定像素位置的信号强度的函 数。信号独立噪声是本质上添加的，并且与像素位置的强度无关。散 粒噪声是信号依赖噪声一种示例。电子读取噪声是信号独立噪声一种 示例。
图18将行扫描1600所表示目标的行扫描1800示出为电子数据 1810、1820、1830和1840。应该注意到，电子数据1810，1820，1830和 1840包含如光学信息1710，1720，1730和1740中所见的圆滑变换和倾 斜边沿，并且此高强度区域包含的噪声基本与强度成比例。
电子数据1810，1820，1830和1840可以用相对于较低空间频率在 高空间频率得到了增强的滤波器进行处理，因此产生了突变。此滤波 器的示例之一是以下等式用空间频率变量u和v在频域描述的参数化 维纳(Wiener)滤波器。
其中，W(u，v)是参数化维纳滤波器，H(u，v)是光学传递函数，H*(u，v) 是光学传递函数的共轭，SN(u，v)是噪声频谱，SO(u，v)是目标频谱，其 中γ是加权参数。噪声频谱SN(u，v)由SN(u，v)＝(1/Nw)给出，其中Nw 是常量。SO(u，v)典型地给出为
其中，
W(u，v)的傅立叶逆变换给出空间域形式的维纳滤波器。图像处理 (本文有时称之为“重建”)的一种示例是将图像(例如，上述电子数 据1810、1820、1830和1840的行扫描1800所表示的图像)与空间 域形式的维纳滤波器进行卷积。此重建产生锐化边沿，但也增加了噪 声功率。
图19将行扫描1600所代表目标的行扫描1900示出为处理后的电 子数据1910、1920、1930和1940，即，电子数据1810、1820、1830和 1840用上述定义的W(u，v)处理后的电子数据。如在重建的电子数据中 所见，信号和噪声率大约增加3倍。然而，对于人类对分辨率的感知、 以及一些其它应用(例如机器视觉，或基于处理的任务)而言，增加 的噪声是可以接受的，在所述其它应用中，强度不同的相临区域之间 的明显边界(例如，陡峭的倾斜)是所期望的。例如，行扫描1900 用上述的参数化维纳滤波器进行处理，其中Nw＝250，μ＝0.25，并 且γ＝1。在不同强度区域之间，行扫描1900看起来比行扫描1700 具有更陡峭的倾斜，并且高强度和低强度级的噪声被放大，但没有对 不同强度区域之间的变换进行“掩蔽”。例如，在高强度和低强度级的 噪声数据仍然分别比标为阈值1950的第120个灰阶高得多和低得多。 因此，上述带常量的W(u，v)可以改进人类对高对比度图像区域中亮- 暗-亮变换的感知。
除上述的处理步骤之外，对特定的高对比度成像应用，示例性的 如名片、条码或其它本质上为二进制目标信息的成像，滤波处理步骤 之后可以进行阀值处理步骤，从而生成二进制值的图像。
被成像目标的一些图像区域的强度变化可能减小，但如参照图16 至图19讨论的图像区域那样，其也可能具有明显的强度边界。图20 示出了场景低对比度图像区域的行扫描2000，例如，所述场景可以是 图16至图19所示出的同一场景的第二部分。图20至图24使用与图 16至图19中的240灰阶相同的灰度。行扫描2000中示出了四个对应 目标的电子数据2010、2020、2030和2040；电子数据2010-2040表示 的每个目标依次减少并具有更多的细节。然而，电子数据2010-2040 中最大的强度差仅在0到30灰阶之间，而非图16中的电子数据1610、 1620、1630和1640在0到200灰阶别之间的差别。与参照图17讨论 的相同WFC光学器件对上述的图像区域进行修改，以产生具有延伸 景深的光学图像，所述图像由引入噪声的传感器采集，如图21和22 所示出的那样。
图21将行扫描2000所代表目标的行扫描1700示出为具有圆滑变 换和倾斜边沿的光学信息2110、2120、2130和2140，其与图17的光 学信息1710、1720、1730和1740中的所见的相似。图22将行扫描 2000所代表目标的行扫描2200示出为电子数据2210、2220、2230和 2240。应该注意到，电子数据2210、2220、2230和2240包含如光学 信息2110、2120、2130和2140中所见的圆滑变换和倾斜边沿，并且 强度较高的区域包含的噪声基本与强度成正比，尽管其强度比图16 至图19中所见的峰值强度要低。
图23将行扫描2000所代表目标的行扫描2300示出为处理后的电 子数据2310、2320、2330和2340，即，与上述等式一和等式二中所 述的“过激”参数化维纳滤波器卷积后得到的电子数据2210、2220、 2230和2240，参数同样为Nw＝250，μ＝0.25，且γ＝1。图23中， 显然，噪声已经放大到其能够“掩蔽”转变的程度；即，没有可以选 择的灰阶阈值，其仅使得行扫描2000所代表的原始图像的“亮”和“暗” 区域比阈值更亮或更暗。
采用“过激较低”滤波器可以减轻可能由噪声放大引起的“掩蔽”。 图24将行扫描2000所代表目标的行扫描2400示出为处理后电子数据 2410、2420、2430和2440，即，还从图22的电子数据2410、2420、 2430和2440开始，但本次采用如等式一和等式二所述的维纳滤波器， 以及“过激较低”的常量Nw＝500，μ＝1，且γ＝1。“过激较低”的滤 波常量将边缘清晰度恢复为处理后的电子数据2410、2420、2430和 2440。但增加的噪声仅接近单位倍数，从而没有对行扫描2000所代表 目标的、非常接近的高强度和低强度水平之间的变换进行“掩蔽”。应 该注意到，在高强度和低强度级的噪声数据分别保持比标识为阈值 2450的第20灰阶更高和更低。
因而，已经示出了如何为表示图像的电子数据的不同数据集确定 处理过程。其它形式的处理过程也可以用于与以上述方式不同的方式 识别出来的数据集。例如，与图16至图24所示示例比较，可以使用 维纳滤波器之外的其它滤波方法进行修改由WFC光学器件引入的效 果得到改变的程度。同样，当数据集的识别是基于颜色信息而不是强 度信息时，可以采用修改颜色的滤波方式而不是增强强度差的滤波器。
空间变化处理-实施
图25示出了采用非线性和/或空间变化处理技术的光学成像系统。 系统2500包含光学器件2501以及与检测器2520协作生成数据流2525 的波前编码(WFC)元件2510。如上所述，数据流2525可以包括全 帧的电子数据或其中的任何子集。WFC元件2510将由系统2500成像 的电磁能进行波前编码，使得在检测器2520形成的图像具有延伸的景 深，并且包含WFC光学器件引入的效果，所述效果可以被后续的处 理修改而形成处理后图像。具体地，来自检测器2520的数据流2525 经一系列处理块2522、2524、2530、2540、2552、2554和2560处理， 产生处理后的图像2570。处理块2522、2524、2530、2540、2552、2554 和2560表示图像处理功能，例如，其可以由实现本文所述的这些功能 的电子逻辑器件执行。例如，所述处理块的可以通过执行软件指令的 一个或多个数字信号处理器来实现；可选地，所述处理块可以包括分 立逻辑电路、专用集成电路(“ASIC”)、门阵列、现场可编程门阵列 (“FPGA”)、内存、以及其部分或者组合。例如，处理块2522、2524、 2530、2540、2552、2554和2560可以通过执行软件145的处理器140 来实现(见图3)，而处理器140可以通过ASIC或者FPGA选择性地 调整处理过程的某些方面。
处理块2522和2524用于对数据流2525进行降噪预处理。具体地， 固定模式噪声(“FPN”)块2522校正检测器2520的固定模式噪声(例 如，像素增益和偏置，以及响应非线性特性)；预滤波器2524使用 WFC2510的先验知识来进一步对数据流2525降嗓，或者来准备数据 流2525以用于后续处理块。例如，预滤波器2524分别由图5B、5C 和5D中所示的图标518、536和556表示。颜色转换块2530可以将 颜色分量(来自数据流2525)转化到新的颜色空间。例如，所述颜色 分量的转化可以是红-绿-蓝(“RGB”)颜色空间的单个红(R)、绿(G) 和蓝(B)通道转化为亮度-色度(“YUV”)颜色空间的相应通道；可选 地，也可以采用其它颜色空间如青-橙-黄(“CMY”)。模糊及滤波块 2540通过对一个或多个新的颜色空间通道进行滤波，从而在新的颜色 空间图像中去除模糊。块2552和2554对块2540的数据进行后处理， 例如进行二次降噪。具体地，单通道(“SC”)块2552使用块2540中 的数字滤波知识对电子数据的每个单通道中的噪声进行滤波；多通道 (“MC”)块2554使用模糊及滤波块2540中的光学器件2501和数字滤 波的知识对多通道数据中的噪声进行滤波。在处理后的电子数据2570 之前，例如，另一颜色转换块2560可以将颜色空间图像分量转换回 RGB颜色分量。
图26示意性地示出了使用非线性和/或空间变化颜色处理技术的 成像系统2600。成像系统2600从包含有颜色滤波阵列2602的检测器 2605所形成的采集电子数据2625中，产生处理后的三色图像2660。 系统2600采用光学器件2601(包含一个或多个WFC元件或表面)对 通过光学器件2601的电磁能的波前进行编码，而在检测器2605处产 生采集电子数据2625；光学器件2601所影响的相位变化有目的地使 得采集电子数据2625所代表的图像模糊。检测器2605产生采集电子 数据2625，其被降噪处理过程(“NRP”)和颜色空间转换块2620处 理。例如，NRP的功能用于去除检测器的非线性特性和附加噪声，而 颜色空间转换的功能用于去除合成图像间的空间相关性，以减少在去 模糊处理过程(其将随后在块2642和2644中执行)中逻辑和/或储存 资源的需求。NRP和颜色空间转换块2620的输出以分为两个通道的 数据流方式进行：1)空间通道2632；和2)一个或多个颜色通道2634。 本文有时将通道2632和2634称为数据流的“数据集”。空间通道2632 比颜色通道2634具有有更多的空间细节。因此，空间通道2632可能 需要模糊去除块2642中的大部分模糊去除处理能力。颜色通道2634 可能需要模糊去除块2644中的相当少的模糊去除处理能力。在经过模 糊去除块2642和2644处理后，通道2632和2634再次组合，以在NRP 和颜色空间转换块2650中进行处理。NRP和颜色空间转换块2650进 一步去除了由去除模糊过程加重的图像噪声，并将合并的图像转化回 RGB格式，从而形成处理后的三色图像2660。如上所述，处理块2620、 2632、2634、2642、2644和2650可以包括一个或多个执行软件指令 的数字信号处理器，和/或分立逻辑电路、ASIC、门阵列、FPGAs、内 存、以及其部分或组合。
图27示出另一种采用非线性和/或空间变化处理的成像系统 2700。虽然图25和26所示出的系统较现有技术的系统具有优势，但 与系统2500和2600相比，系统2700可以产生质量更高的图像和/或 在计算机资源(如硬件或计算时间)方面更高效地执行。系统2700 采用光学器件2701(包含一个或多个WFC元件或表面)对通过光学 器件2701的电磁能的波前进行编码，而在检测器2705处生成采集电 子数据2725；通过光学器件2701所影响的相位变化有目的地模糊采 集电子数据2725所代表的图像。检测器2705产生被降噪处理过程 (“NRP”)和颜色空间转换块2720处理的采集电子数据2725。空间参 数估计块2730检查由NRP和颜色空间转换块2720所产生的空间图像 信息，以确定空间图像的哪个图像区域需要何种类型和/或程度的模糊 去除。空间参数估计块2730也可以将采集数据2725划分成数据集(例 如，如图27所示出的空间通道2732和一个或多个颜色通道2734)， 和/或特定数据集(例如，如与图6至图9C所示出的图像区域相对应 的数据集)，以使特定的模糊去除处理参数能够和采集电子数据2725 的每个数据集关联起来。空间参数估计块2730产生的信息将各个图像 区域(例如，电子数据2725的数据集)的处理参数2736提供给对空 间通道2732进行操作的模糊去除块2742。独立的颜色参数估计块2731 检查由NRP和颜色空间转换块2720所输出的颜色通道2734的信息， 以确定颜色通道2734的哪个数据集(例如，对应于图像区域的数据集) 需要何种类型的模糊去除。数据集，如采集电子数据2725的颜色通道 2734，以及空间通道2732，可以用本文所述的空间变化方式进行处理 以对其中的信息进行滤波。对某个颜色通道2734执行的处理，可能由 于同一采集电子数据2725的空间通道2732或者其它颜色通道2734 上所执行的处理过程而不同。颜色参数估计块2731所产生的信息，为 相同采集电子数据2725的各个数据集提供处理参数2738，并提供给 处理彩色图像的模糊去除块2744。处理参数可以得到用于对应整个图 像的采集数据，或采集电子数据2725的数据集(例如，对应于某个空 间区域)，或基于逐个像素。经模糊去除块2742和2744处理后，通道 2732和2734再次合并，用于在NRP和颜色空间转换块2750中进行 处理。NRP和颜色空间转换块2750进一步去除由于模糊去除而加强 的图像噪声，并将合并的图像转化回RGB格式，从而形成处理后的三 色图像2760。如上所述，处理块2720、2732、2734、2742、2744和 2750可以包括一个或多个执行软件指令的数字信号处理器，和/或分立 逻辑电路、ASIC、门阵列、FPGAs、内存、以及其部分或组合。
表2示出可以被模糊去除块(例如，图25的2540，图26的2642、 2644或者图27的2742、2744中的任意模糊去除块和/或模糊及滤波块) 应用于例如图2的场景200的场景中的不同数据集(例如，对应于空 间区域的数据集)的非限制类型的处理过程。表2总结了场景200中 给定的空间区域的模糊去除处理结果、以及相应的处理参数。
表2.示例性的模糊去除应用和相应的处理参数
模糊去除块(例如，图25的2540，图26的2642、2644，或图 27的2742、2744中的任意模糊去除块和/或模糊及滤波块)也可以产 生工作于不同空间频率的、分离处理过程的加权形式并对之进行加和， 例如图28中的所总结的那样。
图28示出了模糊去除块2800如何依据各种空间滤波频率的加权 因子处理电子数据。将输入电子数据(例如，采集数据)作为数据2810。 输入电子数据的空间频谱分析(例如，通过图27的参数估计块2730 或颜色参数估计块2731)确定处理参数2820。滤波器2830，2835，2840 和2845分别为无空间频率滤波器、低空间频率滤波器、中空间频率滤 波器和高空间频率滤波器，其输出结果分别由加权块2850、2855、2860 和2865加权，然后在加法器2870中求和而形成处理后的数据2880。 例如，用于无空间频率滤波或低空间频率滤波的滤波器2830和2835， 分别具有用于处理近似图像区域的高加权块2850和2855(例如，图2 中的蓝天区域210，其中具有很少图像细节或没有图像细节)和用于 处理具有高空间频率的区域的低加权块2850和2855(例如，图2的 场景200中的草地230、栅栏250或篮子270区域，此区域包含了丰 富的细节)。
因此，模糊去除块2800：(a)使用处理参数2820选择加权块2850、 2855、2860和2865；(b)产生加权形式的滤波器2830、2835、2840和 2845；以及(c)如图所示，对加权结果进行加和处理，之后将处理后的 电子数据2880做为输出或者用于进一步图像处理。不仅是对应于 “低”、“中”和“高”空间频率的三个空间频率滤波器，空间频谱还可 以划分为只有两个或者三个以上的空间频率范围。示出的操作顺序可 以反向；即，每个通道都可以在加权后再进行频率滤波。
模糊去除也可以在多个通道上进行，比如对应于数字图像的不同 颜色分量的通道。图29概括性地示出了M个通道每个进行N次处理 的加权模糊去除过程。例如，通道1到M可以是3通道RGB图像中 的每个颜色，其中M＝3(省略号表示适当数量的模糊去除块可以用于 支持任何数量M的通道)。模糊去除块2900和2902是M通道系统的 典型模糊去除块。H1到HN代表，例如，依赖于空间频率的滤波器(例 如，图28中的空间频率滤波器2830、2835、2840和2845，其重复应 用于每个模糊去除块2900和2902，并且省略号表示重复应用于任意 数目N的空间频率滤波器)。用于每个模糊去除块2800、2802的从加 权块1到加权块N的加权块分别依照处理参数2920、2922进行调整。 每个模糊去除块2900、2902的输出分别为处理后的数据2980和2982。
非线性处理-技术
图30A至图30D示出了一种系统的操作过程，其中，预滤波器执 行部分模糊去除，而非线性处理去除剩余的模糊，从而形成再处理图 像。图30A示出成像目标，且图30B示出使用余弦光学器件形成的中 间图像，所述余弦光学器件使用上述等式一中定义的phase(r、θ)执行 波前编码，其中，还是n＝7，0≤r≤1，a1＝5.4167，a2＝0.3203，a3＝ 3.0470，a4＝4.0983，a5＝3.4105，a6＝2.0060，a7＝-1.8414，ω＝3， 0≤θ≤2π弧度，并且
图30C示出了将来自图30B的电子数据与预滤波器核进行线性卷 积预滤波处理后的电子数据，所述预滤波器核具有单位加和(unity sum)并且其RMS值为0.8729。预滤波器核单位加和的意思可以是预 滤波后图像(图30C)的平均强度与中间图像(图30B)的平均强度 相等；但在本文中，“单位加和”至少表示预滤波之后逐点强度总和等 于某一数值而不是1，因为预滤波可能是由执行整数乘法和加法而不 是浮点运算的硬件实现。RMS值低于1.0表示预滤波图像中的噪声相 对于中间图像的噪声降低了。
预滤波器核可以通过将复自相关的e-j2π(phase(r，θ)tcmp2)分解为高斯形 式的如下定义的目标函数q(r，θ)：
其中，-1≤x≤1，-1≤y≤1，0≤r≤1，0≤θ≤2π，b＝2.5。也可采 用不同于高斯形式的其它目标形状。分解以后，分解的结果是傅立叶 逆变换并且其实部用于获得预滤波器核。在上图可见，预滤波处理之 后图30C再次被模糊化。
图30D由图30C通过执行如2002年9月的“Diffusion PDEs on Vector-Valued Images(向量值图像的扩散偏微分等式)，”IEEE Signal Processing Magazine(IEEE信号处理杂志)，pp.16-25，vol.19的一文所 描述的冲击滤波器算法而获得。图30D看起来与图30A中所示的原始 目标非常相似。
图31A至图31D示出了与图30A至图30D的示出过程相似的系 统的操作过程，除了图31A至图31D中预滤波器形成为使得其RMS 值为1.34。预滤波器RMS值大于1.0导致噪声放大大于处理后图像中 的一。
图31A还示出了待成像的目标；图30B示出由图31A采用余弦光 学器件形成的中间图像，所述余弦光学器件执行与上述等式一所述相 同的phase(r，θ)函数。图31C示出对应于图31B的用等式二中取b＝2.1 得到的预滤波核进行预滤波后的数据，导致预滤波器的RMS值为 1.34。图31D是图31C执行与参照图30A至图30D的上述冲击滤波器 算法后得到的。图31D看起来与图A所示的原始目标非常相似，除了 与图30D相比，图31D包含了由于使用预滤波器而产生的伪影。
非线性和空间变化处理也可以用于补偿光学器件的变化，例如， 由温度引入的变化。成像系统的光学器件之中的或其附近的温度检测 器可以为处理器提供输入，所述处理器然后确定滤波器核，所述滤波 器核调整处理过程以对光学器件的温度进行补偿。例如，采用依赖于 光学器件的温度而从查询表中选择的参数，系统可以为每个图像的处 理获得滤波器核。可选地，可以储存一组滤波器核，并且查询表可以 用于依据光学器件的温度来加载合适的滤波器核。
图32A至图32D示出了对引入的光学器件的温度变化的补偿过 程。与标称温度temp1下的系统性能相比，在模拟光学系统中，在温 度为第二温度值temp2时的操作引起了二阶1/2波形离焦像差。这种结 果可以表示为phase(r，θ)temp2＝phase(r，θ)temp1+0.5r2，其中0<r<1。因此， 可以与光学器件在温度temp2时得到的数据流使用的滤波器核，可以 通过将自相关的e-j2π(phase(r，θ)temp2)分解为上述等式三所描述的高斯目标 函数而获得。这将左下图所示出的滤波器在频率空间中的滤波图像， 转化为右下图所示出的滤波器的滤波图像，两个图像都在空间坐标中 示出。
图32A至图32D示出了图30A至图30D以及31A至图31D中示 出的同一目标的图像，但系统采用了依赖温度的光学器件。图32A示 出待成像的目标。图32B示出了使用余弦光学器件得到的中间图像， 所述余弦光学器件执行在温度为temp1时上述等式一所描述的phase (r，θ)函数，但图32B中的图像发生于第二温度值temp2，其引入了 1/2波形离焦像差。图32C示出图32B的电子数据经过预滤波器滤波 后的结果，所述预滤波器包含上述的1/2波形离焦像差的校正。图32D 是图32C通过执行参照图30A至图30D的上述冲击滤波器算法后得 到的。图32D看起来与图32D所示出的目标相似。
图33示出成像目标3300，并示出了如何用颜色强度信息决定空 间变化处理。目标3300中的菱形区域3320有颜色信息但没有强度信 息；即，菱形区域3320为橙色(示出为第一斜线填充区域)，而背景 3310为灰色(示出为第二斜线填充区域)，菱形区域3320和背景3310 具有相同的总强度。目标3300中的十字横条区域3330的颜色和强度 信息都有；即，它们是粉红色的(示出为交叉的水平和垂直填充区域)， 且其比背景3310亮。目标3300不同部分的信息内容的差别通过目标 3300的红-绿-蓝(“RGB”)和亮度-色度(“YUV”)图像的方式在下文 进行说明，如图34A至图34C和图35A至图35C中所示。应该注意 到，在以下附图中使用的标号3310、3320和3330，其表示与图33中 示出的背景区域、菱形区域和十字条形区域的特征相同，即使这些特 征外形可能与图33中的不同。
图34A至图34C示出从成像目标3300获得的RGB图像。图像 3400表示R(红色)通道的数据，图像3410表示G(绿色)通道的数据， 而图像3420表示B(蓝色)通道的数据。在图34A至图34C中可以看出， 菱形区域3320和十字条形区域3330在每个图像3400、3410和3420 中相对于背景3310都是清晰可见的。
然而，当目标3300被转化到亮度(Y)和色度(U和V)通道时， 菱形区域3320在Y通道未显示出来。图35A至图35C示出了从成像 目标3300获得的YUV图像。图像3500示出Y(亮度)通道的数据， 图像3510示出U(第一色度)通道的数据，图像3520示出V(第二 色度)通道的数据。U和V通道图像3510和3520确实显示了菱形区 域3320和十字条形区域3330，而Y通道图像3500仅显示十字条形区 域3330而未显示菱形区域3320。
因此，当在RGB格式下进行处理(见图34A至图34C)，目标3300 中的菱形区域3320和十字条形区域3330在每个三色(RGB)通道中 都出现了信息，但当在YUV格式下进行处理时，菱形区域3320在Y 通道中没有出现信息。尽管YUV格式在特定的应用中是首选的，但 缺少Y通道的信息可能阻碍图像的有郊重建。
与没有依据亮度信息的缺失来改变处理过程(本文有时称之为“非 自适应重建”)的系统相比，处理过程检测亮度信息缺失并因此修改处 理过程(本文有时称之为“自适应重建”)可以产生优良的处理图像。 换言之，在一个通道的信息完全缺失的情况下，使用自适应处理可以 改进处理图像的质量。
图36至图36C分别示出了目标3300的电子数据3600、3610和 3620，其通过采用了上述余弦光学器件的成像系统获得，并将图像转 化为YUV格式。菱形区域3320分别在每个U通道和V通道的电子数 据3610和3620中可以被识别出来，但在Y通道的电子数据3600中 不能被识别。
图37A至图37C示出了当图36至图36C中所示出的YUV电子 数据经处理并转化回RGB格式时所获得的结果。图37A至图37C分 别示出了R通道电子数据3700、G通道电子数据3710和B通道电子 数据3720。应该注意到，每个通道的电子数据，特别是G通道的电子 数据3710，与图34A至图34C中所示出的原始RGB数据不同。在用 余弦光学器件产生的RGB数据3700、3710和3720中，菱形区域3320 在所有的三个R、G和B通道中都可见。
图38A至图38C示出了当图像的RGB重建仅使用YUV图像的Y 通道时所获得的结果。图38A至图38C分别示出R通道电子数据3800、 G通道电子数据3810和B通道电子数据3820。可以看到，单独使用 Y通道信息会导致RGB图像的质量在所有通道都会下降。
图39A至图39C示出了当YUV电子数据3600、3610和3620经 处理并转化回RGB格式时所获得的结果，所述处理依据电子数据3600 中缺失的亮度信息(例如，菱形区域3320缺失)而变化。图39A至 图39C分别示出R通道电子数据3900、G通道电子数据3910和B通 道电子数据3920。应该注意到，电子数据3900、3910和3920表明菱 形区域3300比电子数据3800、3810和3820(图38)中的菱形区域更 “紧”，即，目标3300中的直线更直了。而且，电子数据3910(绿色 通道)也比电子数据3810看起来更像目标3300。因此，相比仅使用Y 通道的重建，使用所有的Y、U和V通道重建的RGB图像，其质量 在所有的通道上都得到改进。
非线性处理-实施
本文中多种非线性运算可以分类为“算子”，并可以被应用于模糊 去除块中(例如，图25的2540，图26的2642、2644或图27的2742、 2744中的任何模糊去除块和/或模糊及滤波块)。例如，阈值算子可以 去除或修改高于或低于一定阈值(例如，像素或颜色强度值)的电子 数据。阈值算子可以创建二进制图像，从灰度图像限制偏移或建立饱 和度，并且可以对图像的所有数据用同样的方式进行运算或可以依据 电子数据而变化。例如，边缘增强算子可以识别边缘并修改边缘附近 的电子数据。轮廓增强算子可以使用微分器或方向敏感变换，如小波 变换，来识别边缘，并可以对图像的所有边缘使用同样的增强处理， 或可以对图像的不同部分使用不同的边缘增强处理。例如，弯曲强调 算子可以识别变形并修改变形附近的电子数据。弯曲强调算子可以包 括冲击滤波器和扩散算子，如2002年9月的“Diffusion PDEs on Vector- Valued Images(向量值图像的扩散偏微分等式)”，IEEE Signal Processing Magazine，pp.16-25，vol.19，no.5一文所描述的。弯曲强调 算子可以对图像中的所有变形采用相同的修改，或者对图像的不同部 分采用不同的修改。梯度算子可以识别电子数据中的梯度，并可以在 图像的所有梯度上对电子数据采用相同的修改，或对图像的不同部分 采用不同的修改。梯度算子可以基于相邻像素值之差(例如，局部梯度) 对图像进行处理。扩散算子可以识别均匀区域或非均匀区域，并对均 匀区域或非均匀区域执行操作，或者可以对此区域进行识别用于另外 的处理。
图40示出了模糊去除块4000(例如，图25的2540；图26的 2642、2644；或图27的2742、2744中的任何模糊去除块和/或模糊及 滤波块)如何产生加权非线性算子的加和。图40示出了模糊去除块 4000和4002(或省略号所表示的任意数M模糊去除块)，所述模糊去 除块对非线性算子进行处理并对其输出进行加和，然后将加和的电子 数据输出4080和4082送出为输出或者用于进一步的图像处理。对电 子数据的分析(例如，通过图27的空间参数估计块2730或颜色参数 估计块2731中的任何一个)可以决定可选的处理参数4020和4022； 可选地，每个模糊去除块4000和4002都可以使用固定的权重。示出 的操作顺序也可以反向；即，每个通道都可以在进行加权和输出加和 之前应用非线性算子。
图41示出了模糊去除块4100(例如，图25的2540；图26的 2642、2644；或图27的2742、2744中的任何模糊去除块和/或模糊及 滤波块)如何包含对图像的不同数据集进行不同方式的操作，或对不 同的图像通道进行不同操作的非线性算子。输入电子数据通道4110和 4112(以及，省略号所表示的，直到M电子数据通道)可以依据图像 输入参数4120、4122(以及直到M相应输入参数)采用不同的算子 进行操作。图41所示出的非线性算子包含阈值算子4140、边缘增强 算子4142、弯曲强调算子4144、梯度算子4146和扩散算子4148，但 也可采用其它的非线性算子。输出数据4180、4182、4184、4186和 4188可以作为结果输出或用于进一步的图像处理。
图42示出了模糊去除块4100(例如，图25的2540；图26的2642、 2644；或图27的2742、2744中的任何模糊去除块和/或模糊及滤波块)， 如何以串行或并行或递归的方式对来自图像不同数据集或不同通道的 电子数据进行处理。输入电子数据通道4210和4212(以及，省略号 所表示的，直到M数据通道)通过依赖于图像输入参数4220(以及 没有示出的，直到与N个输入通道相对应的M个输入参数)的不同算 子进行处理。图42示出的非线性算子包含阈值算子4240、边缘增强 算子4242、弯曲强调算子4244、梯度算子4246和扩散算子4248，但 也可采用其它的非线性算子。输出数据4288可以作为输出而传出或用 于进一步的图像处理。因此，如图所示，某个非线性算子的结果(例 如，部分处理的电子数据)在传递到图像处理过程的下一部分之前可 以被另一非线性算子进一步处理。可以采用递归处理；即，给定的数 据流可以通过任意一个示出的非线性算子进行重复处理。当采用递归 处理时，处理过程可以以固定顺序或一定次数的递归重复进行，或者 一直进行处理，直到结果图像满足设定的性能指标为止。
采用非线性和/或空间变化处理的系统使用预滤波器为进一步处 理而准备数据是有利的。预滤波器可以由一个或多个图像区域的输入 电子数据和处理参数而决定。特定的预滤波器可以使用处理参数并产 生输出。例如，预滤波器可以是全通滤波器、低通滤波器、高通滤波 器或带通滤波器。预滤器类型、处理参数和预滤波器输出三者之间的 关系如下表3所示。
表3.预滤器类型、处理参数和输出
另外，全通滤波器或低通滤波器在低信噪比的应用中可能比较理 想，而由于噪声放大，高通滤波器或带通滤波器会导致较差处理的图 像。
为用户优化处理过程获取用户的优先选择
图43示出用于选择处理参数而增强图像特征的方法4300的流程 图。方法4300提供量化处理参数，所述处理参数涉及特定使用者与图 像质量相关的主观特征以及因素。方法4300开始于可选的预备步骤 4305，其中可以执行任何必要的设置操作。例如，在步骤4305中可以 确定或者配置曝光时间、光圈以及数字图像的格式。步骤4305之后， 方法4300进入为用户评估提供图像的4310步骤。步骤4310可以包 含使用步骤4305中确定的设置采集一个或多个图像，或者步骤4310 可以从存储的图像库中提供该一个或多个图像。接着，在步骤4315 中选择特征；所述特征可以包括，例如，清晰度、亮度、对比度、色 彩度和/或噪声量。在步骤4320中，步骤4310提供的图像由与所选择 的特征相关的算法进行处理。例如，如果选择的特征是清晰度，那么 锐化或去锐化算法以不同程度应用于图像处理，因而产生一系列锐化 或去锐化的图像。接着，在步骤4325中，该系列处理后的图像通过显 示设备提供给用户用于预览。该系列图像可能包括，例如，用一组默 认锐化参数处理的三个反锐化、轻度锐化和重度锐化图像的集合(三 个图像的集合是示例性的；也可以提供2个、4个或更多图像)。在步 骤4330中，用户确定是否有任何图像可以接受作为增强图像。如果没 有任何提供图像可以接受，方法4300进入步骤4335，在此步骤中要 求改变处理方法(例如，更多或更少的锐化量)，然后回到步骤4320。 如果一个或多个提供的图像可被接受，则在步骤4340中选择用户最可 接受的图像。一旦在步骤4340中选择了图像，那么与所选择特征的处 理相关的设置和参数就被存储起来用于以后检索。接着，在步骤4350 中，为用户提供了选择和修改其他图像特征的机会。如果选择了修改 其它特征，那么方法4300通过循环路径4335回到步骤4315，并且可 以选择另一特征。如果决定选择不修改其它特征，那么方法4300进入 下一步骤4360，其中提供处理后的图像。在此之后，方法4300结束 于结束步骤4365，其中可以执行如清除内存或显示设备的结束工作。
上述变化过程以及其它过程，可以使用本文所述的非线性和/或空 间变化处理技术实现，并并不背离本文范围。应该注意的是，包含在 上述描述中或在附图中示出的内容应该解释为说明性的且为非限制性 的。权利要求倾向于覆盖所有本文中所描述的所有上位的和下位的特 征，以及所有陈述的本发明的方法和系统的范围，由于语言表述的问 题，在其之间的也应该落在要求保护的范围内。
机译： 利用非线性和/或空间变化图像处理的光学成像系统和方法，
机译： 利用非线性和/或空间变化的图像处理的光学成像系统和方法
机译： 利用非线性和/或空间变化图像处理的光学成像系统和方法
