用于渲染显示以补偿观看者的视力损伤的系统和方法

摘要

提供了一种在电子设备的显示器上渲染原始图像的预校正图像以补偿该设备的用户的视力损伤的系统和方法，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。所实现的方法的步骤包括接收该显示器的硬件特性，接收描述该用户的视力损伤的至少一个参数，接收描述该显示器被该用户观看的条件的至少一个参数，计算瞳孔函数，计算点扩散函数(PSF)，计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的视力损伤，并且在该显示器上渲染该预校正图像。

说明书

相关申请

本申请要求2010年6月11递交的标题为“Adaptation of Digital Images”的美国临时专利申请号61/397,537的优先权， 通过参考的方式将其并入本文。

技术领域

本发明总体涉及用于视力受损人员的用户界面的领域并且具体 地涉及验光和数字图像处理。

背景技术

数百万人有时必须佩戴眼镜来校正任何视力损伤。具体而言， 老花眼(又被称为远视眼或老视)在全世界影响超过12亿人。老花 眼通常随着人的年龄发展并且与适应性调节的自然逐渐损失相关 联。老花眼通常失去在距离变化的物体上快速且容易地再聚焦的能 力。还可能失去在近距离物体上聚焦的能力。尽管个体寿命内的条 件在发展，但是老花眼的影响通常在45岁之后变得明显。到65岁， 晶状体通常已经几乎失去全部弹性并且仅具有有限的形状改变能 力。由于移动电话、平板电脑、车辆导航系统(GPS)和许多其他设 备中的个人数字显示设备的使用的快速增长，该视力损伤是永久的 沮丧源。当患有老花眼的移动电话用户接收呼叫但没有时间找到他 的眼镜来读取显示器以识别主叫方时或者在驾车时试图读取汽车中 的GPS时，这是不方便的。

用于处理老花眼的已知方法和设备提供与正视眼的视力接近的 视力。在正视眼中，由于眼睛的适应性调节特性，可以清楚地看到 远距离物体和近距离物体。为了解决与老花眼相关联的视力问题， 个体通常已使用阅读眼镜来增加对眼睛的正屈光力，因此允许眼镜 聚焦在近距离物体是并且维持清晰图像。该方法类似于处理远视眼 或老花眼。还利用双焦点眼镜来处理老花眼，其中，该眼镜的镜片 的一部分被校正用于远距离视力，并且该眼镜的镜片的另一部分被 校正用于近距离视力。该原理的更高级的实施导致渐进眼镜的概念。 还使用隐形镜片和眼内镜片(IOL)来处理老花眼。其他方法包括利 用双焦点或多焦点镜片的双面校正。在双焦点镜片的情况中，该晶 片被制造为可以聚焦远距离点和近距离点。在多焦点情况中，在近 目标与远目标之间存在多个焦点。

在光学上，老花眼是视力图像聚焦在视网膜后面而不是直接聚 焦在视网膜上而导致图像模糊的结果。眼镜或隐形镜片的使用改变 了光线的方向以使得视力图像聚焦在视网膜上而不是视网膜后面， 从而产生清晰的图像。图1示意性地显示了具有不足的折射力的眼 睛。这是观看靠近物体的老花人员的典型情形。由点源发射的光聚 焦在视网膜后面而不是聚焦在视网膜上。这导致人看到斑而不是点。 该斑的第一近似是圆盘。但是诸如衍射、单色像差(如像散)和色 差之类的影响可能导致该斑具有更复杂的形状。该斑被称为全局光 学系统的点扩散函数(PSF)。当观看由位于距眼睛相同距离的多个 点源构成的完整图像时，每个点在视网膜的不同位置上产生类似的 斑。如图2所示，这些斑重叠导致模糊的印象。利用相同的原理可 以描述除了老花眼或远视眼之外的其他视力损伤。

与由重叠斑来替换成像中的全部点相对应的数学运算被称为卷 积。校正的镜片如阅读眼镜对眼镜添加失去的折射力，从而每个点 的图像聚焦在视网膜上或者靠近视网膜，产生小范围的PSF。对于观 看电子设备的屏幕的视力受损人员，除了光学校正之外不存在校正 该问题的其他有效方式。除了直接对眼睛水平进行视力校正(如眼 镜)之外，不存在直接对源校正视力的有效技术方案。

发明内容

一些实施方式的一个目标在于使用数字图像处理来补偿老花 眼。

在一个实施方式中，提供了一种用于在电子设备的显示器上渲 染(rendering)原始图像的预校正图像以补偿该设备的用户的视力 损伤的方法，从而与所述用户观察所述原始图像的显示相比，所述 用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校 正图像。所实现的方法的步骤包括接收该显示器的硬件特性，接收 描述该用户的该视力损伤的至少一个参数，接收描述该显示器被该 用户观看的条件的至少一个参数，计算瞳孔函数，计算点扩散函数 (PSF)或该眼睛的光学系统的成像能力的任意其他数学等效表示如 光传递函数(OTF)，计算与该原始图像的至少一部分相对应的预校 正图像以补偿该用户的视力损伤，并且在该显示器上渲染该预校正 图像。

在另一个实施方式中，接收该显示器的硬件特性的步骤包括从 本地数据库接收该硬件特性的步骤。

在另一个实施方式中，接收描述该用户的该视力损伤的参数的 步骤包括从远程数据库、本地数据库、实时输入或实时估计接收视 力损伤参数的步骤中的至少一个。

在另一个实施方式中，接收描述该显示器被该用户观看的条件 的参数的步骤包括从实时估计、实时输入或本地数据库接收显示器 条件参数的步骤中的至少一个。

在另一个实施方式中，该电子设备是由下述各项构成的组中之 一：移动电话、膝上电脑、台式电脑、平板电脑、电视机、导航系 统、车辆电子仪表板、手表、照相机、电子书、媒体播放器、视频 游戏控制台、自动售货机和头戴式显示器。

在另一个实施方式中，该视力损伤是由下述各项构成的组中的 至少一个：近视、散光、老花、远视。

在另一个实施方式中，接收该显示器的硬件特性的步骤包括接 收来自下述各项构成的组中的至少一个的步骤：像素尺度和间隔、 显示宽度和高度、显示反射率、发射谱以及像素值与亮度之间的关 系。

在另一个实施方式中，接收描述该用户的该视力损伤的参数的 步骤包括接收来自下述各项构成的组中的至少一个的步骤：眼镜配 置的球形参数、眼镜配置的柱形和轴参数以及适应性调节的测量的 组群中。

在另一个实施方式中，接收描述该用户的该视力损伤的参数的 步骤包括测量该眼睛的波前像差图的步骤或者测量该眼镜的适应性 调节的步骤。

在另一个实施方式中，接收描述该显示器被该用户观看的条件 的参数的步骤包括接收该用户的该眼镜和该屏幕之间的距离的测 量、环境亮度以及该用户的瞳孔尺寸的测量中的一个或多个的步骤。

在另一个实施方式中，该渲染步骤包括渲染字体字形的步骤。

在另一个实施方式中，接收描述视力损伤的参数的步骤包括在 配置阶段从该用户接收输入、从另一个设备接收输入、或者通过使 用该设备来测量该视力损伤的参数的步骤中的一个或多个步骤。

在另一个实施方式中，通过接收来自嵌入在该设备中的扬声器 和麦克风、嵌入在该设备中的照相机、红外发射器/接收器或无线光 束发射器/接收器中的至少一个的测量来执行通过用户输入来接收 该用户的眼睛与该屏幕之间的该距离或者实时估计该距离的步骤。

在另一个实施方式中，通过从嵌入式环境光传感器或嵌入式照 相机接收测量来执行实时估计瞳孔尺寸的步骤。

在另一个实施方式中，计算PSF的步骤包括计算该显示器的每 一子像素类的PSF的步骤，并且在该显示器上渲染该预校正图像的 步骤包括渲染针对每个子像素类的该预校正图像的步骤。

在另一个实施方式中，使用应用梯度下降的约束优化问题或者 使用Van-Cittert算法来执行用于计算预校正图像的步骤。

在另一个实施方式中，基于说明眼睛接受体的由于亮度所致的 的敏感度的变化的度量来表示该约束优化问题。

在另一个实施方式中，基于用于表示由该用户观察的总体图像 质量的目标函数来表示该约束优化问题。

在另一个实施方式中，该度量包括视网膜图像与参考图形对象 的图像之间的差异的测量，其中通过使用亮度或像素值中的一个的 增加函数来削弱该参考图形对象的对比度。

在另一个实施方式中，该目标函数基于视网膜图像与参考图形 对象的图像之间的差异的测量和基于该对比度削弱的量值，其中通 过使用亮度或像素值的增加函数来削弱该参考图形对象的对比度。

在另一个实施方式中，使用Wiener反卷积来计算该预校正图像。

在另一个实施方式中，所计算预校正图像包括使用亮度值或像 素值之一的增加函数来调整的像素值。

在另一个实施方式中，通过执行二分法测试的步骤，确定描述 该用户的该视力损伤的该参数和描述该显示器被观看的条件的参 数，其中，该二分法测试包括使用不同的假设来向该用户渲染预校 正的图像以便用户指定的图像被该用户最佳地观看的步骤。

在另一个实施方式中，该渲染步骤还包括指定将要渲染的该图 像部分的偏好的步骤。

在另一个实施方式中，指定偏好的步骤包括指定文本在该显示 器上的渲染、该显示器的具体部分的渲染、图像在该显示器上的渲 染以及禁止渲染。

在另一个实施方式中，通过击打硬键、改变选项、振动设备或 者使用嵌入式照相机检测眼镜正用户佩戴来启用或禁用渲染。

在另一个实施方式中，提供了一种用于在电子设备的显示器上 渲染原始图像的预校正图像以补偿该设备的用户的视力损伤的系 统，使得与所述用户观察所述原始图像的显示相比，所述用户将以 更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。 该系统包括计算机处理器和与该计算机处理器连接的存储器，其中， 该存储器被配置为利用指令使得所述处理器执行下述步骤：(1)从 本地数据库接收该显示器屏幕的硬件特性，(2)从远程数据库、本 地数据库、实时输入或实时估计中的至少一个接收用于描述该用户 的该视力损伤的参数，(3)从实时估计、实时输入或本地数据库中 的至少一个接收用于描述该显示器被该用户观看的条件的参数，(4) 计算瞳孔函数，(5)计算点扩散函数(PSF)，(6)计算与该原始 图像的至少一部分相对应的预校正图像以补偿该用户的该视力损 伤，并且(7)在该显示器上渲染该预校正图像。

在另一个实施方式中，提供了一种存储被配置为被处理器执行 的程序的非暂态计算机可读存储介质，当该程序被执行时被适配为 使得该处理器执行下述步骤：从数据库接收显示器的硬件特性；从 远程数据库、本地数据库、实时输入或实时估计中的至少一个接收 用于描述用户的视力损伤的参数；从实时估计、实时输入或本地数 据库中的至少一个接收用于描述该显示器被该用户观看的条件的参 数；计算瞳孔函数；计算点扩散函数(PSF)；计算与该原始图像的 至少一部分相对应的预校正图像以补偿该用户的该视力损伤；并且 在该电子设备的显示器上渲染该预校正图像，从而与所述用户观察 所述原始图像的显示相比，所述用户将以更好的光学聚焦观察所述 预校正图像的显示。。

附图说明

附图被包括在本发明中以提供对本发明的进一步理解并且被合 并到说明书中并且构成说明书的一部分，附图示出了本发明的实施 方式并且与说明书一起阐释本发明的原理。在附图中：

图1显示了观看一个点源在老花眼的视网膜上的斑的形成；

图2显示了当老花人员观看两个点源时在他或她的视网膜上的 两个重叠的斑的形成；

图3(a)和(b)示意性地显示了分别被非视力受损人员和老花 人员观看的智能电话的显示；

图4(a)和(b)示意性地显示了根据本发明的分别由非视力受 损人员和老花人员所见的智能电话的校正显示；

图5是用于说明本发明的示例性系统架构的方框图；

图6是用于显示本发明的视力补偿方法中涉及的连续步骤的流 程图；

图7是用于显示单色PSF的计算中涉及的连续步骤的流程图；

图8是用于示意性说明PSF计算之后的几何图形的图；

图9是用于说明多色PSF的计算的流程图；

图10是用于详述如何接收参考图像的流程图；

图11是用于说明在窗口管理器级别的集成预校正的流程图；以 及

图12是用于说明字体渲染库级别的集成预校正的流程图。

具体实施方式

现在详细参考实施方式，在附图中说明了实施方式的示例。在 下文的详细描述中，阐述大量非限制性的具体细节以便辅助理解本 文给出的主题。但是对于本领域的普通技术人员而言在不脱离本发 明的范围的前提下各种替换将是显而易见的，并且没有这些具体细 节也可以实施本文的主题。例如对于本领域的普通技术人员而言， 本文给出的主题可以被实现在包括数字显示器的多种类型的个人电 子设备上将是显而易见的。

根据本发明的技术方案是基于软件的。通过知道眼睛引起的变 形(即视力损伤条件)，该软件通过引入将补偿该损伤并且导致用 户更清晰地感知图像的经组织的模糊，以与用户特定的视力损伤相 关的方式预校正图像。

在被称为图像复原的数字图像处理分支中，使用(通常被称为 反卷积的)技术来校正散焦或其他光学扰动，并且使其能够从模糊 图像估计原始对象。在本发明的环境中的数字图像处理的使用源自 图像复原技术但是总体上操作次序相反：在图像被眼镜模糊之前应 用反卷积。为了本发明的目的，该处理被称为“预校正”。观看预 校正图像的散焦眼镜将消除预校正的影响并且看到清晰的图像。在 实践中，预校正修改向用户显示的图像，因而由单独的像素生成的 重叠的斑彼此抵消，并且产生清晰的视网膜图像。图3(a)是原始 或参考图像的实例。图3(b)是老花人员观看的对应的仿真。图4 (a)是仿真预校正图像。图4(b)是当观看图4(a)时相同的人 员看到的仿真。虽然可能降低对比度，但是如图4(b)中所表示的， 与图3(b)相比，显示器的全局可读性得到极大改善。

图5是用于说明根据本发明的示例性系统100的方框图。示例 性系统100包括用于在被预校正模块117处理之后在监视器111上 显示内容(例如文本和/或图像)的电子设备110，因而即使用户视 力受损(例如老花或远视眼用户)，用户的眼睛101也可以清晰地 看到内容。对于未校正的眼睛101，图像将不被聚焦在视网膜102 上，但是仍然被观察为清晰图像。

图6是用于说明根据非限制性实施方式的处理方法的步骤的流 程图。步骤201a收集依赖于环境的数据。依赖于环境的数据表示该 设备被用户观看的条件。将其存储在存储器118中。其典型地包括 瞳孔尺寸、设备110与眼睛101之间的观看距离以及环境光的等级。 参数的确切的列表依赖于在步骤S202期间用于PSF计算的模型。在 一些实例中，可以将这些参数中的一个或多个视为恒定的并且无需 更新。例如，在正常使用条件下，被包括在汽车仪表板中的屏幕与 驾驶员的眼睛之间的距离可以被视为是相对恒定的。当该设备被使 用的条件改变时，可以由模块121更新其他参数。根据本发明的一 个实施方式，模块121检测改变并且使用从嵌入式传感器113获得 的数据估计参数的新值。

作为一个实例，可以从嵌入的前置照相机接收图像，并且可以 使用常规技术识别并且测量用户的脑袋，以便估计用户的眼睛与显 示器屏幕之间的距离。还可以从其嵌入的前置照相机接收图像以便 使用常规技术识别并且测量用户的瞳孔的尺寸。并且，可以从嵌入 式光传感器接收环境光测量。

该传感器通常被移动设备使用以便调整屏幕背光的亮度。如果 设备不能进行瞳孔尺寸的直接测量，则考虑到瞳孔尺寸依赖于由眼 睛接收的光的强度，所以可以使用基于环境光的等级和由设备屏幕 发射的光强度的测量的模型来估计瞳孔尺寸。可以使用无线光束(红 外、WiFi、3GPP等等)来估计用户与显示器屏幕之间的距离。在诸 如游戏控制台的设备中已经使用了被称为“头部追踪系统”的该技 术。与无线光束类似，可以由设备中的扬声器发射音频信号，并且 由麦克风检测它的回声，以便估计用户与显示器屏幕之间的距离。 用于智能电话的应用是已知的，其使用嵌入式扬声器和麦克风来估 计周围物体的距离。并且可以从运动传感器(例如加速计、陀螺仪 等等)接收运动检测，以便检测位置改变并且估计用户相对于设备 的新位置。

步骤201b收集依赖于用户的数据。依赖于用户的数据的特征在 于用户的视力损伤。如在依赖于环境的数据的情况中，依赖于用户 的数据可以被存储在存储器120中。可以将其表示为针对给定的观 察距离和给定波长的用户的每个眼睛的波像差函数的离散估计。其 还可以包括被表示为例如适应性调节(accommodation)的近点的用 户适应性调节。该参数的确切类型和属性依赖于在步骤202期间用 于PSF计算的模型。模型122从不同的可能的输入计算或获取依赖 于用户的数据。例如，用户可以输入眼镜配置的参数即每个眼睛的 球形(S)、柱形(C)和轴(A)参数。用户还可以输入附加折射力 (ADD或NV)或他或她的适应性调节的近点的自估计。当用户输入 新参数时，模块122确定依赖于用户的数据并且更新存储器120。用 于从该参数计算波像差函数的数学模型是验光领域的熟练技术人员 公知的，并且可能著名涉及基于Zernike多项式的分解。

可选择地，可以运行自动诊断程序。该程序在显示器例如用户 的手持显示器上向用户不同图案，并且询问用户输入他或她是否绝 对地或者相对于其他显示器相对地看到该图案的细节。可选择地， 该程序可以与光学元件相关联，以便使用已知的反Shack-Hartmann 技术更精确地测量折射误差。可替换地，该自动诊断程序向用户渲 染假设各种典型的PSF的预校正图表，其中可以通过二分法一步一 步地更新其参数，直到用户不再看到改善为止。模块122得出依赖 于用户的数据的估计并且每当运行自动诊断程序时更新存储器120。

作为另一个备选，如果用户的设备可以连接到英特网，则可以 通过英特网从远程数据库获取依赖于用户的数据。该数据可能以前 在被上述备选之一收集之后已经被存储在远程数据库中。该数据也 可能在使用例如Shack-Hartmann的波前传感器的验光检测之后已经 被存储在远程数据库中。

在另一个备选中，可以使用短距离传输装置(例如NFC、蓝牙等 等)或通过智能卡连接，将依赖于用户的数据从一个个人设备(例 如智能电话、平板电脑、智能卡等等)中传递到另一个个人设备。 该数据可能以前在被之前提及的备选的其中之一收集之后已经被存 储在个人设备中。该数据也可能在使用如上所述的例如 Shack-Hartmann的波前传感器的验光检测之后已经被存储在个人设 备中。

步骤201c收集依赖于设备的数据。依赖于设备的数据是显示器 屏幕的在步骤202期间影响PSF的计算的特性。该参数的确切的列 表和属性依赖于用于PSF计算的模型。它们典型地包括像素(子像 素)尺寸，每个像素或子像素类(例如红色子像素、绿色子像素和 蓝色子像素)的发射谱，作为像素值的函数(有时候称为伽马函数) 的像素或子像素的发光度以及屏幕反射率。将这些参数存储在存储 器119中，并且在一些情况中这些参数被视为是恒定的。但是当发 光度或其他校准值改变时可以更新存储器119。

步骤202根据在步骤201a、201b和201c期间接收的数据计算 PSF(或者眼睛的光学系统的成像能力的任意其他数学等效表示如光 传递函数(OTF))。在本发明的优选实施方式的环境中，将PSF定 义为用户在给定距离观察的并且包括大量子像素的像素的视网膜彩 色图像，每个子像素发射主导颜色但是仍然具有不必要纯单色的发 射谱。如这里所解释的，在步骤202期间可以使用各种方法。

图7说明了当假设像素以单个频率发光时，用于示例性实施方 式的步骤202的子步骤301-305。在步骤301，计算广义的瞳孔函数， 并且描述眼睛的光学系统如何对于瞳孔中的不同位置修改光波。可 以根据方程式(1)将瞳孔函数表示为：

P(ρ，θ)＝α(ρ，θ)exp(ikW(ρ，θ))(1)

其中，α是瞳孔的振幅透射率，W是波像差函数，λ是 波长，以及ρ和θ是瞳孔中的极坐标。

W是依赖于用户的数据(例如视力损伤和适应性调节)、依赖于 环境的数据(例如观看距离)和/或依赖于设备的数据(例如波长λ) 的函数。

在如下所表示的一个模型中，α在瞳孔的圆孔内具有值1并且 在瞳孔外部具有值0。根据方程式(2)可以将该模型表示为：

$\alpha (\rho ,\theta )=\left(\begin{array}{cc}1& \mathrm{if\rho }<D\\ 0& \mathrm{otherwise}\end{array}\right)---\left(2\right)$

其中，D是来自依赖于环境的数据的瞳孔尺寸。

在一些实施方式中，可以考虑Stiles-Crawford效应以更好地 近似眼睛的真实PSF，其中在Stiles-Crawford效应中存在依赖于光 线方向的锥体的不同的敏感度。在该情况中，代替在该孔中的α具 有为1的恒定值，可以使用以下的方程式(3)：

$\alpha (\rho ,\theta )=\left(\begin{array}{cc}\exp (-\beta {\rho }^2/2)& \mathrm{if\rho }<D\\ 0& \mathrm{otherwise}\end{array}\right)---\left(3\right)$

其中，β是表示全体中的Stiles-Crawford效应的平均振幅的 常数并且可以具有值0.116mm^-2。

在步骤302，计算进入瞳孔的光场。通过假设像素是在光轴(例 如参见图8)上距瞳孔z₀处不具有尺度的点源，可以将进入瞳孔的 场表示为方程式(4)：

$S(\rho ,\theta )=\frac{A_0}{\sqrt{{\rho }^2+z_0^2}}\exp \left(\mathrm{ik}\sqrt{{\rho }^2+z_0^2}\right)---\left(4\right)$

其中，A₀是点源的振幅。在步骤303，离开瞳孔的场由方程式(5) 计算：

U(ρ，θ)＝S(ρ，θ)P(ρ，θ)(5)

在步骤304，计算在视网膜平面I的场。在一些实施方式中，可 以使用第一类的瑞利-索末菲衍射积分公式，并且该积分公式被表示 为：

$I\left(R\right)=\frac{i{A}_0}{\lambda }{\int \int }_{Q}U\left(Q\right)\frac{\exp \left(\mathrm{ik}\right|\left|\overline{\mathrm{QR}}\right|\left|\right)}{\left|\right|\overline{\mathrm{QR}}\left|\right|}\cos (\bar{n},\overline{\mathrm{QR}})\mathrm{dS}---\left(6\right)$

其中，R是视网膜的点，Q是瞳孔的点，dS是包括Q的小表面元， 和到瞳孔平面的法线值(normal value)。

在被称为夫琅和费近似的一些假设下，衍射积分公式I(R)变成 U(Q)的傅里叶逆变换。一些实施方式可以使用快速傅里叶逆变换以 代替瑞利-索末菲衍射公式的直接计算。

在步骤305，从I(R)计算PSF作为平方模量并且在方程式(7) 中将其表示为：

PSF＝|I(R)|²(7)

所得PSF可以被称为单色PSF，因为这是在像素以单个波长λ发 光的假设下计算的。

图9说明了用于计算用于给定子像素类的多色PSF的示例性实 施方式的步骤202的子步骤。每个子像素类可以计算一个多色PSF (例如可以对于每个红色子像素类、绿色子像素类和蓝色子像素类 计算一个多色PSF)。每个子像素类的特征可能在于可以被预存储在 存储器110中作为依赖于设备的数据的一部分的发射谱。所存储的 发射谱可以由表示子像素类在跨标称频率的许多频率处的发射功率 的一组值构成，其中该标称频率的特征在于子像素类的颜色。对于 每个子像素类，可以通过计算对于作为发射谱的一部分的每个频率 λ_i计算的单色PSF的加权平均值，并且随后乘以来自发射谱的功率 w_i，来计算多色PSF。

在一些实施方式中，可以通过在每个频率上的明视(photopic) 光谱敏感度进一步对上述加权平均值的项进行加权。可以在学术文 献中发现人类视网膜的平均明视光谱敏感度。

光学系统例如眼睛的折射力依赖于波长。在一些点上，仅可以 对于单个波长完美地聚焦眼睛。该现象导致所谓的色差。在一些实 施方式中，在步骤301处可能存在散焦子步骤，在依赖于波长的波 像差函数中，说明该色差。可以在学术文献中发现要完成的散焦的 数量。

在步骤203，接收将要被预校正算法处理的图像。该图像被称为 参考图像。如何接收参考图像可以基于用户偏好和来自运行的应用 的标准。图10示出了在步骤203处接收的图像的示例性实施方式。 在步骤601，读取包含用户偏好的存储器。用户可能已经将他的偏好 设置为例如“渲染文本”、“渲染全部”、“基于应用地”渲染或 “什么都不渲染”。如果偏好被设置为“渲染文本”，则执行步骤 602；如果偏好被设置为“渲染全部”，则执行步骤603；如果偏好 被设置为“基于应用”，则执行步骤604；并且如果偏好被设置为“什 么都不渲染”则不执行步骤204和205。

在一些实施方式中，如果用户敲击设备上的专用硬键，则可以 执行在“什么都不渲染”与之前存储在存储器中的偏好之间的转换； 嵌入式加速计触发预校正的开/关；检测用户何时以指定方式振动设 备；或者通过照相机检测用户正在(未)佩戴他的眼镜并且向例如 用于执行步骤601-604中的任意一个步骤的模块发送指令。该指令 可以是切换预校正过程的开/关。如果用户已经指定他没有在先佩戴 校正/隐形镜片，则可以执行前述技术。

在一些实施方式中，当用户设置偏好菜单中的选项时，可以使 用大尺寸字体示出向用户显示的全部文本，直到与预校正过程被打 开。

在步骤602，当应用包括文本时，可以使用(例如操作系统(OS) 或在OS上执行的软件的)字体渲染库，由一个或多个模块从一个或 多个应用接收文本。字体渲染库可用于输出和/或渲染可以变成步骤 204的参考图像的小的、离屏图像上的合适文本。

在步骤603，操作系统显示模块(例如包括窗口管理器)可以询 问应用描绘它的显示的一些部分(例如借助方法或功能调用)或者 可以从应用接收更新以用于它的显示的一些部分。在一些实施方式 中，包括更新的/改变的部分的应用屏幕缓冲器的矩形或其他部分可 以变成步骤204中的参考图像。

在步骤604，可以从字体渲染库或者从操作系统显示模块接收参 考图像。如果调用它的服务的应用是可以被包括在该应用的预存储 列表中的基于文本的应用(例如SMS、电子邮件、联系人列表、主叫 方ID)，则可以从字体渲染库接收文本。在一些实施方式中，如果 应用是可以被包括在与存储列表中的基于图像的应用(例如图像管 理器、导航应用)，则可以从操作系统显示模块接收包括应用显示 的更新部分的图像。

在步骤204，预校正在步骤203中接收的参考图像。该参考图像 可以由有限数量的、与每个子像素类相对应的I分量图像组成。在 一些实施方式中，我们可以假设例如x_ref是这样一种图像，其中使用 亮度值表示该图像并且h_imp是视力受损用户的眼睛的PSF的对应分 量。假设使用合适的坐标系统和采样距离，可以在方程式(8)中将 当显示图像时在眼睛的视网膜上形成的图像的离散估计f_ref表示为：

f_ref＝x_ref*h_imp    (8)

其中*表示离散卷积运算符。在一些实施方式中，预校正在于计 算图像x_cor，因而当显示该图像来代替x_ref时其在视网膜上产生图像 f_cor，在方程式(9)中可以将像f_cor表示为：

f_cor＝x_cor*h_imp  (9)

图像f_cor可以比f_ref具有“更好的质量”。“更好的质量”在这 里意味着用户可能能够相对于他的设备使用以更好的性能执行精确 的任务(例如以更少的错误阅读显示的文本)。

在方程式(10)中可以将x_cor表示为

$x_{\mathrm{cor}}=\underset{a}{\arg \min }(f_{\mathrm{cor}},f_{\mathrm{obj}})---\left(10\right)$

其中，f_obj是理想视网膜图像并且d是用于量化f_cor与f_obj之间的 观察差异的度量。可以在包括实际可以由设备显示的图像x的域D 上执行最小化。D是像素值不低于黑色的亮度并且不高于最大亮度的 图像的集合。

f_obj、d的值和用于求解方程式(10)的数值方法的选择可能导 致各种实施方式。

在一些实施方式中，可以x_att是x_ref的对比度削弱版本。可以使 用增加函数R，将每个亮度值x_ref(i)重新调整为x_att(i)＝R(x_ref(i))。 屏幕的最小和最大亮度值v_min和v_max分别映射到v_o＝R(v_min)和v₁＝R(v_max)，其中v₀和v₁满足方程式(11)中表示的不等式：

v_min≤v₀＜v₁≤v_max  (11)

R可以是亮度的线性函数，在方程式(12)中被表示为

$R\left(v\right)=v_0+\frac{v_1-v_0}{v_{\max }-v_{\min }}(v-v_{\min })---\left(12\right)$

备选地，R可以是像素值的线性函数，在方程式(13)中被表示 为

$R\left(v\right)=L({\tilde{v}}_0+\frac{{\tilde{v}}_1-{\tilde{v}}_0}{{\tilde{v}}_{\max }-{\tilde{v}}_{\min }}(L^{-1}\left(v\right)-{\tilde{v}}_{\min }))---\left(13\right)$

其中，L是将像素值转换成亮度值的显示函数，并且和 是对比度削弱图像的最小和最大像素值，并且和 是屏幕的最小和最大像素值。

f_obj可以被设置为x_att，由完美聚焦的眼睛产生的视网膜图像， 当显示时x_att，具有被限制于单个点的PSF。

备选地，可以将f_obj设置为f_obj＝x_att*h_ref，其中h_ref是由上述 方法估计的非受损眼睛的真实PSF，h_ref可以是聚焦在屏幕上的与用 户的瞳孔具有相同的瞳孔尺寸的衍射受限的眼睛的PSF。在一些实施 方式中，h_ref还可以是用于说明正常色差的多色PSF。

可以从各种各样的度量中选择度量d，其中该各种各样的度量中 的一些是已知的。特定度量的选择不改变本发明的精神和范围。

在一些实施方式中，d可以是欧几里德度量。

备选地，d可以是用于说明眼睛的接受体由于亮度所致的改变的 敏感度的度量，其可以在方程式(14)中被表示为：

$d(x,y)=\underset{i}{\Sigma }{(p\left(x\left(i\right)\right)-p\left(y\left(i\right)\right))}^2---\left(14\right)$

其中p是用于将与主观亮度值与亮度值相关联的非线性函数。 在一些实施方式中，p可以是例如将像素值转换为亮度值的显示函数 L的倒数L^-1。在一些实施方式中，x(i)和y(i)可以是像素i分别在 图像x和y中的亮度值。

可以使用各种已知的技术求解方程式10。具体技术的选择不改 变本发明的精神和范围。

当d是欧几里德度量时，可以使用可以在方程式(15)中表示 的Wiener反卷积来估计方程式(10)的求解：

$X_{\mathrm{cor}}=\frac{H_{\mathrm{imp}}^{*}}{{\left|H_{\mathrm{imp}}\right|}^2+K}{F}_{\mathrm{obj}}---\left(15\right)$

其中X_cor、H_imp和F_obj分别是x_cor、h_imp和f_obj的离散傅里叶变换，并且 H^*_imp表示H_imp的复共轭。在图像复原问题中与噪声的功率密度谱相关 的K在这里可以作为正则化参数，该正则化参数限制X_cor中的高频， 并且因此限制X_cor可能展现小于v_min或大于v_max的值的几率。如果该值 仍然出现在X_cor中，则钳住它们，以便获得属于域D的图像X_cor，该 域D包括可以被屏幕显示的图像且可以在方程式(16)中表示为：

$x_{\mathrm{cor}}\leftarrow \left(\begin{array}{cc}{x}_{\mathrm{cor}}& \mathrm{if}{v}_{\min }\le x_{\mathrm{cor}}\le v_{\max }\\ v_{\min }& \mathrm{if}{x}_{\mathrm{cor}}<v_{\min }\\ v_{\max }& \mathrm{if}{x}_{\mathrm{cor}}>v_{\max }\end{array}\right)---\left(16\right)$

在一些实施方式中，可以使用约束优化算法求解方程式(10)。 如果d是欧几里德度量，则可以使用用于求解二次方程问题的已知 算法。如果由方程式(14)定义d，其中p是解析可微函数，则可以 使用梯度下降方法执行该优化。

在一些实施方式中，作为梯度下降方法的备选，可以使用具有 应用Jaanson技术进行约束的Van Cittert算法执行该优化。

在一些实施方式中，作为Wiener反卷积和迭代算法如梯度下降 方法或Van Cittert算法的备选，可以在利用Wiener反卷积的结果 初始化它们的值之后使用梯度下降技术或Van Cittert算法。

在一些实施方式中，可以确定预校正图像而不对于每个色彩分 量求解方程式(10)。可选择地，可以同时地并且与函数R一起确 定用于每个子像素类x_cor1、x_cor2等等的预校正图像，以便使用产生具 有“最佳质量”的观察图像的对比度削弱。如果函数R的特征在于 根据方程式(12)或(13)的参数v₀和v₁，则可以在方程式(17) 中将预校正图像表示为：

$(x_{\mathrm{cor}1},...,x_{\mathrm{corJ}},v_{\mathrm{opt}0},v_{\mathrm{opt}1})=\underset{x_1,...x_J,v_0,v_1}{\arg \min }Q(x_1,...x_J,v_0,v_1)---\left(17\right)$

其中，J是子像素类的数量，v_opt0和v_opt1是表征最佳函数R的参 数，并且Q是依赖于d(x_corj，f_objj)且依赖于对比度削弱的量值的函数。 用于函数Q的选择不改变本发明的精神和范围。

在一些实施方式中，度量d说明眼睛的非线性亮度敏感度Q， 其可以在方程式(18)中被表示为：

$Q(x,v_0,v_1)=\frac{1}{n{(v_1-v_0)}^2}\underset{j=1}{\overset{J}{\Sigma }}\underset{i}{\Sigma }{(p\left(f_{\mathrm{corj}}\left(i\right)\right)-p\left(f_{\mathrm{objj}}\left(i\right)\right))}^2+\mu \frac{v_{\max }-v_{\min }}{v_1-v_0}---\left(18\right)$

其中，n是子像素的数量并且μ是用于量化观察图像质量中的对 比度削弱的相对贡献的恒定参数。

在一些实施方式中，可以从仅作为物理量的近似的数据计算 PSF。可以例如利用显著的置信区间测量或估计用户的瞳孔尺寸，并 且描述用户的视力损伤的参数不能完美地表征眼睛的光学系统的特 性。在一些实施方式中，为了说明在PSF上导致的不确定性，可以 最小化f_obj与从多个PSF计算的f_cor的集合之间的差异，以代替最小 化f_obj与从单个PSF计算的f_cor之间的观察差异。其他实施方式可以 依赖于不确定参数的概率分布来定义概率函数以代替度量d或函数 Q，并且最小化从该概率函数计算的指数，例如期望。

对于一些用户，每个眼睛可能受显著不同的损伤的影响，因此 产生不同的PSF并且因此不同的预校正。在一些实施方式中，为了 恰当地解决该情况，可以通过组合两个眼睛的PSF或者通过从两个 眼睛的组合的依赖于用户的数据计算单个PSF，计算单个PSF。该组 合可以例如是PSF样本或依赖于用户的数据如S.C.A视力参数的算 术平均。备选地，可以使用另一个数学组合。

为了进一步解决用户的每个眼睛可能受到不同的损伤的影响 的情况，在一些实施方式中，可能存在能够向每个眼睛显示不同图 像的嵌入式自动立体监视器。在该情况中，可以存储每个眼睛的PSF， 并且可以对于每个图形/图像元件计算两个对应的预校正。

为了进一步解决每个眼睛可能受到不同的损伤的影响的情况， 在一些实施方式中，可以向用户提供多个选项作为优选。该选项可 以包括例如仅使用右眼的PSF的预校正、仅使用左眼的PSF的预校 正、使用左眼和右眼的PSF的组合所导致的PSF的预校正、或者当 左眼和右眼的PSF被应用于自动立体监视器的两个元件时使用左眼 和右眼的PSF的预校正。

在一些实施方式中，为了每当新内容对于用户可用于显示时或 者每当应该更新/改变当前显示的内容的一部分时限制执行的处理 的数量，可以将步骤204分割成两个子步骤。首先，可以针对每个 子像素类，计算用于特殊图像的预校正图像，其中，在该特殊图像 中全部像素值被设置为0并且一个中央像素的值被设置为它的最大 亮度。可以将所得预校正图像成为“反PSF”并且存储在存储器中。 可以通过将参考图像与反PSF卷积来执行实际图像的预校正。在一 些实施方式中，可以通过下述方式在频域中执行卷积，下述方式即： (a)对可存储在存储器中的反PSF应用傅里叶变换和向参考图像应 用快速傅里叶变换(FFT)，(b)执行与反PSF的傅里叶变换的逐 点乘法，并且(c)将逆FFT应用于所述乘法的结果。

图6说明用于预校正参考图像的示例性步骤201-205。不需要 对于每个新参考图像重复步骤201-205。在一些实施方式中，可以使 用缓存技术来限制处理的数量。缓存技术可以包括例如其中(a)将 PSF存储在存储器114中并且当存在接收数据改变时可以执行步骤 202期间它的计算，(b)如果确定在例如步骤203期间将很可能再 次接收相同的参考图像，则可以将步骤204所得的预校正图像存储 在存储器114中。在一些实施方式中，当预校正文本时，可以对于 每个字母执行预校正并且可以存储预校正字母。当存储预校正字母 时，下一次的文本包括相同尺寸的相同的字母，可以限制用于字母 的步骤204的执行以从存储器114获取存储的字母。在一些实施方 式中，如果步骤204使用如上所述反PSF，则可以将反PSF与PSF 一起存储在存储器114中，因而在未来将步骤204限制为获取反PSF 并且执行卷积。

在一些实施方式中，步骤205输出/显示预校正图像。

图11说明预校正过程的示例性实施方式。如图11中所示，可 以由复合窗口管理器702调用预校正模块，复合窗口管理器702然 后通过修改屏幕缓冲器704来显示预校正图像。复合窗口管理器是 操作系统的经典组件，其在将整个图形界面驱动到屏幕缓冲器704 之前聚合每个应用的离屏缓冲器703。在该实施方式中，可以在将应 用的显示复合到屏幕缓冲器中期间执行预校正，并且可以将预校正 应用于屏幕缓冲器或者屏幕缓冲器的包括步骤203中接收的参考图 像的一部分。该实现可在用户的偏好被设置为“渲染全部”(如上 所述)时适用。

图12说明预校正过程的示例性实施方式。如图12中所示，由 操作系统的字体渲染模块802调用预校正模块，字体渲染模块802 然后描绘所得预校正文本。该实施方式可在用户的偏好被设置为“渲 染文本”时使用。当应用801需要显示文本时，可以由字体渲染模 块802执行预校正，字体渲染模块802可以实现预校正，因为其将 实现如反走样的渲染效果。