用于拜耳图像编码的改进的颜色内预测和颜色间预测

摘要

呈现了用于在拜耳图像的增强编码和解码期间选择使用颜色间预测或颜色内预测的装置和方法。平面内预测依赖于相同颜色的相邻像素之间的相关性，而平面间预测依赖于不同颜色平面(即，不同颜色)中的相邻像素之间的相关性。为了消除在某些大边缘情况下会出现的大残差，做出动态范围决定来选择是使用平面内预测还是平面间预测。

说明书

受到版权保护的素材的通知

本专利文献中的部分素材受到美国和其它国家的版权法的版权保护。版权拥有者不反对任何人对如在美国专利商标局的公开可用的文件或记录中呈现的专利文档或专利公开内容进行传真复制，但是除此之外在任何情况下都保留所有版权权利。版权所有者并不因此放弃维持本专利文献保密的任何权利，包括但不限于依据37C.F.R.§1.14的权利。

技术领域

本公开一般涉及在拜耳图像编码期间使用颜色间预测，并且更特别地，涉及响应于动态范围决定而选择用于拜耳编码系统的颜色内预测或颜色间预测。

背景技术

使用单芯片数字图像传感器的许多彩色相机系统(例如，数码相机、摄录机(camcorder)和扫描仪)使用包括用于将RGB滤色器布置在光电传感器的网格上/上方的滤色器阵列(CFA)的拜耳过滤器马赛克。存在在使用中的多种类型的拜耳过滤器马赛克。在一个示例中，具有50％绿色、25％红色和25％蓝色的滤色器的(拜耳)布置被用于创建彩色图像，并且替代地被称为RGBG、GRGB或RGGB。应当理解，由于人眼对绿色更敏感，因此存在更多的绿色像素，因为光谱的绿色部分中的更多内容增强了图像表现(appearance)。

与典型的24位(RGB)表示相反，拜耳彩色图像通常仅以8位分辨率编码。通过向每个像素分配红色、蓝色或者两个绿色值(即，Gr、Gb)中之一，可以使用每个像素附近的颜色信息来为那个像素指定实际颜色，或者为那个像素组分配颜色。拜耳编码使用颜色交替的颜色马赛克，使得邻域中的颜色可以被用来确定所讨论的像素的每个颜色分量的值。

图1描绘了拜耳颜色马赛克，示出了总共8个像素组，R₁、B₁、Gr₁、Gb₁至R₈、B₈、Gr₈、Gb₈。可以看出，每个位置都具有特定的颜色分量，并被每个其它颜色值中的至少两个包围。注意到，一种类型的拜耳图像具有四个颜色平面：(1)R平面、(2)Gr平面、(3)Gb平面和(4)B平面。拜耳编码中对图像“平面”的引用是指“颜色平面”。存在适用于本公开的拜耳颜色编码的许多变型。

通常，基于像素差值与相同颜色的相邻像素的平均值之间的差值，针对这些像素生成残差。一般而言，拜耳编码中的平均处理使用相同颜色内的空间相关性，并被称为平面内相关性。这种平均考虑到，与远距离样本相比，具有相同颜色的紧密相邻的样本倾向于具有更相似的值。例如，|R1–R2|<|R1–R4|更为有可能。

在申请人的先前申请中，在拜耳颜色编码期间使用颜色间预测执行增强的预测来提高编码效率，以增强平面内相关性。

本技术在选择是执行颜色间预测还是颜色内预测的方面进一步延伸拜耳编码的益处。

发明内容

已经示出了通过使用平面间相关性来增强拜耳图像编码的平面内相关性的益处。但是，在某些情况下(诸如响应非常大的颜色边缘)，颜色间预测并不总是提供最佳结果。例如，在存在大的空间边缘的情况下，残差变得不切实际的大。

本公开提供了在预测处理中的取决于动态范围(DR)的决定，以克服先前拜耳图像编码系统的缺点。特别地，本公开教导了用于使用取决于DR的方法来决定(或切换)颜色内预测和颜色间预测的装置和方法，更特别地教导了如何组合那些预测。

将在本说明书的以下部分中提出公开技术的其它方面，其中详细描述的目的是完全公开优选实施例而不对其进行限制。

附图说明

通过参考仅用于说明目的的以下附图，将更全面地理解该技术：

图1是示出八个像素组的拜耳颜色像素布置的示例。

图2是指示用于使用平面间预测来增强平面内预测的基础的平面间相关性(跨颜色)的示图。

图3是根据本技术的实施例使用的第一拜耳编码器实施例的框图。

图4是根据本技术的实施例使用的第二拜尔编码器实施例的框图。

图5是根据本技术的实施例使用的第一拜尔解码器实施例的框图。

图6是根据本技术的实施例使用的第二拜尔解码器实施例的框图。

图7A和图7B是如根据本技术的实施例所使用的拜耳彩色图像的一部分内的边缘条件的像素样本示例，从这种边缘条件可以出现对于颜色间预测的高残差值。

图8是示出根据本技术的实施例的使用第一动态范围(DR)决定选择是应用颜色间预测还是颜色内预测的流程图。

图9是根据本技术的实施例的在拜耳彩色图像的一部分内示出的像素样本的示例，其中做出进行颜色间预测的图8中的决定。

图10是示出根据本技术的实施例的如图8中的使用第一动态范围决定选择是应用颜色间还是颜色内预测的流程图，但是该决定包括动态范围阈值条件。

图11A和图11B是根据本技术的实施例的在拜耳彩色图像的一部分内示出的每个像素样本的示例，其中做出应用颜色间预测的图10中的DR决定和排除。

图12是示出根据本技术的实施例的使用第二动态范围决定选择是应用颜色间预测还是颜色内预测的流程图。

图13是根据本技术的实施例的在拜耳彩色图像的一部分内示出的像素样本的示例，其中做出应用颜色间预测的图12中的决定。

图14是示出根据本技术的实施例的如图12中的使用第二动态范围决定选择是应用颜色间还是颜色内预测的流程图，但是包括动态范围阈值条件。

图15A和图15B是根据本技术的实施例的在拜耳彩色图像的一部分内示出的每个像素样本的示例，其中做出应用颜色间预测的图14中的DR决定和排除。

具体实施方式

本技术的动机是认识到拜耳图像内存在平面间相关性以及平面内相关性。也就是说，不仅相同颜色(平面内)的相邻像素的相关性具有重要性，而且与拜耳图像内的其它颜色(平面间)存在相关性。根据本技术执行附加的平面间相关性以向更高效地压缩彩色图像数据的方向来增强拜耳图像编码。然后，为了响应于防止在某些边缘情况出现时生成大的残差，响应于做出动态范围决定，和/或排除，决定选择这些平面间预测。

图2描绘了平面间相关性的示图。响应于计算给定块内的R-平均(R)、G-平均(G)和B-平均(B)，示出关于零值的波动。该图的x轴描绘了单行中的空间像素位置。该图示出了即使R、G、B通常具有非常不同的值，它们的空间变化(或改变或波动)也跨不同颜色相关。为了在图2的单个图中清楚地描绘这种情况，从跨像素范围的每种颜色中减去颜色均值。

因为空间值改变和/或波动对于颜色R、Gr、Gb和B中的每一个趋于相似，将看到存在这些平面间(跨不同颜色)相关性。例如，如果R₁<R₂，那么这种一般的颜色关系对于其它颜色也可能是相似的，例如B₁<B₂、Gr₁<Gr₂和Gb₁<Gb₂。该图指示用于利用平面间预测增强平面内预测的本技术的优点所依据的基础。

作为示例而非限制，在以下描述中，公开的方法被实现用于8×1随机访问编码，8×1块的示例是来自图1的R₁、Gr₁、R₂、Gr₂、R₃、Gr₃、R₄、Gr₄。

图3和图4示出了可以在编码(诸如通过使用差分脉冲编码调制(DPCM)、或脉冲编码调制(PCM)和DPCM的组合进行熵编码)期间根据利用平面间相关性的方法使用的拜耳编码器的示例实施例10、30，。应当认识到，以示例而非限制的方式提供实施例10、30，因为可以在不背离本技术的教导的情况下，在其它编码器配置上实践本技术。

在图3中，输入拜耳图像12，使用来自先前像素的重建值21为其确定预测器14，并且在求和结点16确定差值，以产生残差18(即，正值或负值)，该残差被量化20，然后被熵编码22，以产生比特流输出24。将注意到，在量化20的处理中，一些信息丢失，由此必须基于量化后的重建值来确定预测器14。

看到编码处理是由处理装置26执行的，处理装置26包括至少一个计算机处理器28，诸如中央处理器单元(CPU或GPU)、微处理器、微控制器、DSP、可编程阵列设备或者被配置为执行块14至块22的被编程的或可编程执行的类似设备。处理装置26还被示为具有至少一个存储器29(诸如用于存储用于处理器28的数据和程序的存储器)。存储器可以包括固态存储器和其它计算机可读介质。本技术关于存储器和计算机可读介质是非限制性的，只要它们是非暂态的并且因此不构成暂态电子信号即可。

在图4中，输入拜耳图像12并将其量化20，之后确定预测器14，并且在求和结点16处输出差值来产生残差18，残差被熵编码22，以产生比特流输出24。实施例30优选地使用包括至少一个计算机处理器28和至少一个存储器29的如关于图3所描述的相同的处理装置26。

以下部分描述了用于根据本技术执行预测的两种不同机制(方法)。应当注意到，这些机制中的任一个可以被用在图3和图4中例示的计算预测器14的步骤中，或者与基于利用预测器计算的差值来生成残差的其它编码布置一起使用。

在第一预测方法中，平面间预测与平面内预测同时执行。将认识到，根据以下执行平面内预测并生成残差：

ΔR_n＝R_n-SP(R_n)，

ΔGr_n＝Gr_n-SP(Gr_n)，

ΔGb_n＝Gb_n-SP(Gb_n)，以及

ΔB_n＝B_n-SP(B_n)。

在上面的等式中，“SP”表示基于相同颜色平面中的像素执行空间预测，也就是说，响应于在附近的相同颜色的像素(例如，直接邻居，或在较小程度上的间接邻居)来执行预测。但是，根据这种方法，通过结合到这些颜色预测中的一个或多个当中的平面间预测来修改这些预测，由此基于相同平面和不同平面的组合来执行预测。

下面描述这种第一预测方法的示例，其中对绿色执行颜色内预测和颜色间预测的组合，而红色和蓝色仅经受颜色内预测。从如下确定的预测将颜色R_n、Gr_n、Gb_n、B_n的残差确定为ΔR_n、ΔGr_n、ΔGb_n、ΔB_n：

ΔR_n＝R_n-SP(R_n)

ΔGr_n＝Gr_n-SP(Gr_n)+R_n–SP(R_n)

ΔGb_n＝Gb_n-SP(Gb_n)+B_n–SP(B_n)

ΔB_n＝B_n-SP(B_n)

应当认识到，在不背离本技术的情况下，可以实现上述通用方法的许多变型。例如，可以对其它颜色(红色和蓝色而不是绿色，或者其他颜色组合)执行平面间预测，或者可以在一些情况下关于Gr和Gb交换红色和蓝色颜色间预测分量，或添加附加的间预测(诸如基于更远的像素)，这里仅仅是举出适用于本技术的几个示例。

在上面的描述中，SP(X_n)意味着像素组n中的颜色X的“空间预测器”。空间预测器是指对于给定像素组中的给定颜色像素的任何期望的平面内预测处理的使用。在上文可以看到，仅响应于相同颜色的空间预测而预测红色像素和蓝色像素，而绿色像素预测包括包含红色和蓝色残差的平面间预测分量。应当注意到，因为绿色通常具有比红色和蓝色更高的波动，所以R和B优选地区别于Gr和Gb，由此结合平面间预测导致绿色的更大的稳定性和准确性，以提供最大的益处。

在第二预测方法中，在与平面内预测不同的残差计算级别处执行平面间预测。作为示例，在对于平面内预测计算残差之后的第二级别残差计算内执行平面间预测。根据这个方法，对于颜色R、Gr、Gb或B中的一种或多种颜色跨颜色平面执行包括平面间预测的至少一个计算级别。

在第一步骤中，对于每种颜色，在至少一个计算级别中确定颜色内空间预测残差：

ΔR_n＝R_n–SP(R_n)

ΔGr_n＝Gr_n–SP(Gr_n)

ΔGb_n＝Gb_n–SP(Gb_n)

ΔB_n＝B_n–SP(B_n)

在上面的等式中，SP(X_n)再次意味着像素组n中的颜色X的“空间预测器”。这些空间预测器(1D或2D块)的示例包括：SP(X₆)＝X₅、SP(X₆)＝X₂、SP(X₆)＝X₅+X₂–X₁等等。将理解到，X_n需要从相邻像素X_m预测，在考虑2D块时，可以在任何期望的方向(例如，上方、左侧、右侧和下方)找到X_m，或者在1D块中，可以在左侧或右侧找到X_m。但是，优选地是关于已经被编码的相邻像素执行预测。因此，例如，在1D块(例如，8×1)中，可以仅有已经被编码并可以使用的左侧邻居(例如，X_n-1)的一个优选选择。

在第二步骤中，对于颜色的至少一部分，再次从相邻空间预测残差来预测空间预测残差，例示如下：

ΔΔGr_n＝ΔGr_n–ΔR_n

ΔΔGb_n＝ΔGb_n–ΔB_n-1

然后将这些残差与来自第一级别残差计算的ΔR_n和ΔB_n一起进行熵编码，以产生编码的比特流。

第二步骤的替代实现是对于所有颜色计算残差，例示如下：

ΔΔR_n＝ΔR_n–ΔGr_n-1

ΔΔGr_n＝ΔGr_n–ΔR_n

ΔΔGb_n＝ΔGb_n–ΔB_n-1

ΔΔB_n＝ΔB_n–ΔGb_n

应当注意到，为了使用关于已经被编码的像素的信息，上面的第一行和第三行具有索引n-1，而不是索引n。在特定的应用或配置中，当计算该下一级残差时，也可以替代地或附加地使用来自其它方向的像素。

在考虑解码器侧时，关于要使用的可用像素的方向的决定是最容易理解的。将看到，解码器可以首先计算ΔR_n，但是还不具有信息ΔGr_n，因此解码器不能使用ΔGr_n来计算ΔΔR_n。因此，在计算ΔΔR_n时，解码器依赖ΔR_n和ΔGr_n-1。但是，当解码器解码Gr_n时，它可以计算ΔGr_n且也可以计算ΔR_n。因此，当计算ΔΔGr_n时，解码器使用ΔGr_n和ΔR_n。

最后，上述残差(ΔΔR_n、ΔΔGr_n、ΔΔGb_n、ΔΔB_n)被熵编码为熵编码的拜耳比特流。应当理解，除了其先前的空间预测残差值不可用的(被PCM编码的)头几个样本之外，其余的样本优选地使用颜色内和颜色间相邻样本都进行DPCM编码。

将注意到，在1D实现中，颜色间预测器是左侧相邻样本的空间预测残差。但是，因为可以根据不同的实现和应用来选择预测器位置，所以本技术在该方面没有限制。

应当理解，该方法可以既用于“非随机访问”条件又用于“随机访问”条件。在“随机访问”条件下，当对给定的块进行编码时，编码器和解码器不需要访问其它块。这意味着解码器在不必知道其它块的信息的情况下，仍然可以解码任何给定的块。与之相反，在“非随机访问”条件下，需要访问其它块(诸如相邻块)的能力，因为预测器是基于其它块的像素计算的。这意味着，如果解码器可以访问其它块，那么解码器只能在随机访问条件下解码给定的块。

当包括平面间预测时，来自单级和多级残差计算方法的测试结果都指示峰值信噪比(PSNR)的显著改善(例如，大于1dB)。在测试这些实施例时，将相同颜色的左侧样本用作空间预测的预测器。此外，在测试期间，使用1D 8×1块。应当理解，对于更大的块和对于2D块，可以预期更高的增益。

应当理解，本技术的上述平面间预测元素不应当与完全不同的颜色加权处理相混淆。颜色加权是为了补救固定级别的颜色偏移量和渗色，基于彩色成像器(例如，电荷耦合器件(CCD))的给定模型的参数测量，通过使用固定偏移量校正颜色而执行的。

图5和图6分别示出了作为图3和图4中所示的编码器的对应方的拜耳解码器的示例性实施例50、70，用于在解码(诸如解码使用差分脉冲编码调制(DPCM)或者脉冲编码调制(PCM)和DPCM的组合进行熵编码的比特流)期间利用平面间相关性。应当理解，实施例50、70是通过示例而非限制的方式提供的，因为可以在不背离本技术的教导的情况下在其它解码器配置上实践本技术。

在图5中，接收编码比特流以用于熵解码52，随后是逆量化54，响应于计算出的预测器56而在求和结点处确定和58。和输出60是原始拜耳输入图像的重建。将理解，可以以与对于图3和图4的编码器所描述的相同方式对该解码器执行预测。

解码处理被视为由处理装置62执行，处理装置62包括至少一个计算机处理器64，诸如中央处理器单元(CPU或GPU)、微处理器、微控制器、DSP、可编程阵列设备或者被配置为执行块52至块58的被编程的或可编程执行的类似设备。处理装置62还被示为具有至少一个存储器66(诸如用于存储用于处理器64的数据和程序)。存储器可以包括固态存储器和其它计算机可读介质。本技术关于存储器和计算机可读介质是非限制性的，只要它们是非暂态的并且因此不构成暂态电子信号即可。

在图6中，接收编码比特流以用于熵解码72，其后响应于计算出的预测器74在求和结点处求和76，之后执行逆量化78，以生成原始拜耳输入图像80的重建。将理解，可以以与对于图3和图4的编码器所描述的相同方式对该解码器执行预测。，实施例70优选地使用包括至少一个计算机处理器84和至少一个存储器86的如关于图5的解码器所描述的类似的处理装置82。

以下部分描述针对这种拜耳图像编码机制的颜色间预测和颜色内预测的改进，其克服了某些预测问题。特别地，在存在大空间边缘的情况下，其中颜色内预测或者颜色间预测无法提供良好的预测。下文将一般性地将这些差值简单地描述为在两种类型的值A和B之间，而不是描述R、Gr、Gb和B之间的每种动态范围情况。将理解，这些适用于R、Gr、Gb和B和类似的像素颜色配置而没有受到限制。

图7A和图7B图示了可以抛开上述任一预测的大空间边缘的示例情况。从图7A可以看到其中生成大的残差的颜色内预测：ΔA_n＝A_n–SP(A_n)＝495–51＝444。图7B中示出了对于颜色间预测的类似情况。应当理解，这些图和残差等式是简单地将差值概括为在两种类型的值A和B之间，而不是描述R、Gr、Gb和B之间的每个动态范围情况。这些教导可以没有限制地适用于所有R、Gr、Gb和B以及类似的拜耳类型像素颜色配置：

ΔA_n＝A_n–SP(A_n)＝495–495＝0

ΔB_n＝B_n–SP(B_n)＝495–50＝445

ΔΔA_n＝ΔA_n–ΔB_n-1＝0–445＝-445

在上面的等式中，相同颜色上的差值小(0)，但在颜色之间差值较大。因此，对于颜色内和颜色间都存在其中预测残差变得相当大的特定的例外情况。

以下描述用于克服上述情况的样本分组码字和动态范围决定机制。将理解，动态范围是将两个值之间的范围(差值)与一些标准进行比较的属性。

图8至图15B示出了用于基于单独使用或与动态范围排除组合地使用的动态范围决定，在颜色间预测和颜色内预测之间进行选择的两个不同示例实施例和变型。

在图8中示出了示例码字决定实施例。该处理开始90，并且在多个样本之间确定92动态范围，在这个示例中使用最后三个样本(＝B_n-2、A_n-1和B_n-1)。降低94每个样本的分辨率(诸如降低至仅具有两比特(两比特的值))。然后，做出决定96，如果这个码字是颜色内异常情况(诸如对于这些示例等于“003”或“330”)，那么就应用98颜色间(不同的颜色)预测100ΔΔA_n＝ΔA_n–ΔB_n-1。如果码字不是颜色内异常情况，那么单独基于颜色内(相同颜色)预测将残差确定为ΔA_n＝A_n–SP(A)。因此，基于码字决定使用ΔΔA_n或者ΔA_n。

在图9中，看到对于码字“003”的这个决定的示例。将认识到，在这个示例中，对于在“003”中看到的这三个样本中的每个样本，每个样本被编码为具有从0到3的值的两比特。在这些样本中最大的值(在分辨率降低到2比特之前)为495，并且最小的值为50，其中对于这三个样本(＝B_n-2、A_n-1和B_n-1)的动态范围确定在像素块下面看到是495-50+1＝446。如图中所指出的，MAX＝495>其他>“MIN+(DR>>2)*3＝383。

在图10中，看到将动态范围决定与动态范围排除相结合的图8的变型。该处理开始110，在多个样本之间确定112动态范围，在这个示例中使用最后三个样本(＝B_n-2、A_n-1和B_n-1)。降低114每个样本的分辨率(诸如降低至仅具有两比特(两比特的值))。然后，如果该码字是颜色内异常情况(诸如对于这些示例等于“003”或“330”)，并且如果动态范围也超过阈值(DR>TH)，则做出决定116，(决定为是)则应用颜色间(不同颜色)预测118为ΔΔA_n＝ΔA_n–ΔB_n-1。如果不满足决定条件(码字不等于异常情况(“003”或“033”)或者动态范围不超过阈值条件)，那么单独基于颜色内(相同颜色)预测120将残差确定为ΔA_n＝A_n–SP(A)。因此，基于码字决定，使用或者ΔΔA_n或者ΔA_n。作为示例而非限制，在10比特和14比特输入深度的情况下，使用大约10的阈值。通常，将理解应当取决于图像传感器特点、输入比特深度和应用的特点来设置阈值。

图11A示出了如在图8和图10中所描绘的对于码字“003”看到的上述决定的示例。在图11B中，看到不超过阈值的动态范围情况(DR＝57-50+1＝8)。因此，即使码字是“003”或“330”，由于DR不超过阈值，也执行颜色内预测。

在图12中看到的是图8的替代示例，其中在相反方向上做出不同的码字决定。该处理开始130，并且在多个样本之间确定132动态范围，在这个示例中使用最后三个样本(＝B_n-2、A_n-1和B_n-1)。降低134每个样本的分辨率(诸如降低至仅具有两比特(两比特的值))。然后，做出决定136，如果这个码字是颜色间异常情况(不是如图8中的颜色内异常)(诸如在这个示例中等于“033”或“300”(在图8中是“003”、“330”))，则应用138颜色内(相同颜色)预测为ΔA_n＝A_n–SP(A)。如果码字不是颜色间异常情况，那么单独基于颜色间(不同颜色)预测140将残差确定为ΔΔA_n＝ΔA_n–ΔB_n-1。因此，基于码字决定，使用或者ΔΔA_n或者ΔA_n。

在图13中是对于码字“033”的上述码字动态范围决定的示例。在这些样本中，最大的值为495，最小的值为50，其中对于这三个样本(＝B_n-2、A_n-1和B_n-1)的动态范围确定在像素块下面看到是495-50+1＝446。如图中所指出的，MAX＝495>其他>“MIN+(DR>>2)*3＝383。

图14示出了图12中所示实施例的变型，其中动态范围决定与动态范围排除相结合。该处理开始150，在多个样本之间确定152动态范围，在这个示例中使用最后三个样本(＝B_n-2、A_n-1和B_n-1)。降低154每个样本的分辨率(诸如降低至仅具有两比特(两比特的值))。然后，如果该码字是颜色间异常情况(诸如对于这些示例等于“033”或“300”)，并且如果动态范围超过阈值(DR>TH)，则做出决定156，(决定为是)则应用158颜色内(相同颜色)预测为ΔA_n＝A_n–SP(A)。如果不满足决定条件(或者码字不等于异常情况(“033”或“300”)或者动态范围不超过阈值条件)，那么单独基于颜色间(不同颜色)预测160将残差确定为ΔΔA_n＝ΔA_n–ΔB_n-1。因此，基于码字决定，使用ΔΔA_n或者ΔA_n。

在图15A中是如图12和图14中所描绘的对于码字“033”看到的上述决定的示例。在图15B中，看到不超过阈值的动态范围情况(DR＝57-50+1＝8)。因此，即使码字为“033”或“300”，由于DR不超过阈值，也执行颜色内预测。

本技术能被合并到编码器和解码器内，诸如用于集成到被配置为用于拜耳彩色图像捕获的各种设备(例如，数码相机、摄录机和扫描仪)，或者响应于从图像捕获设备接收彩色图像信息的各种设备。

可以参考根据所公开技术的实施例的方法和系统的流程图示意和/或算法、公式或其它计算描绘来描述本公开的实施例，该实施例也可以被实现为计算机程序产品。在这方面，可以通过各种装置(诸如包括在计算机可读程序代码逻辑中实施的一个或多个计算机程序指令中的软件、硬件和/或固件)来实现流程图的每个方框或步骤以及流程图中的方框(和/或步骤)、算法、公式或计算描绘的组合。如将理解的，任何这样的计算机程序指令可以被加载到计算机上，包括但不限于通用计算机或专用计算机或其它可编程处理装置以产生机器，使得在计算机或其它可编程处理装置上执行的计算机程序指令创建用于实现在一个或多个流程图的一个或多个方框中指定的功能的装置。

因此，流程图的方框、算法、公式或计算描绘支持用于执行指定功能的装置的组合、用于执行指定功能的步骤的组合以及用于执行指定的功能的计算机程序指令(诸如在计算机可读程序代码逻辑单元中实施的指令)。还将理解的是，本文描述的流程图示意的每个方框、算法、公式或计算描绘及其组合可以由执行指定功能或步骤的专用的基于硬件的计算机系统，或专用的硬件和计算机可读程序代码逻辑装置的组合来实现。

此外，这些计算机程序指令(诸如在计算机可读程序代码逻辑中实施的指令)也可以存储在计算机可读存储器中，该计算机可读存储器可以引导计算机或其它可编程处理装置以特定方式工作，使得存储在计算机可读存储器中的指令产生包括执行一个或多个流程图的一个或多个方框中指定的功能的指令装置的制品。计算机程序指令还可以被加载到计算机或其它可编程处理装置上来导致一系列操作步骤在计算机或其它可编程处理装置上执行，以产生计算机实现的处理，使得在计算机或其它可编程处理装置上执行的指令提供用于实现在一个或多个流程图的一个或多个方框中指定的功能、一个或多个算法、一个或多个公式或一个或多个计算描绘的步骤。

还将理解，如本文所使用的“程序”是指可以由处理器执行以执行如本文所述的功能的一个或多个指令。程序可以以软件、固件或软件和固件的组合的方式实施。程序可以在非暂态介质中本地存储到设备，或者可以远程存储(诸如在服务器上)，或者程序的全部或部分可以在本地和远程存储。远程存储的程序可以通过用户启动或基于一个或多个因素自动地下载(推送)到设备。将进一步理解在本文所使用的术语“处理器”、“中央处理单元(CPU)”和“计算机”被同义地用于表示能够执行编程和与输入/输出接口和/或外围设备的通信的设备。

根据本文的描述，将理解，本公开涵盖了多个实施例，包括但不限于以下：

1、一种用于在拜耳编码期间选择预测模式的装置，包括：(a)计算机处理器，被配置为用于接收包含与多个不同像素组编号相关联的不同颜色像素的输入拜耳图像的颜色像素数据；以及(b)在计算机处理器上可执行的程序，被配置为执行步骤，所述步骤包括：(b)(i)确定多个样本之间的动态范围；(b)(ii)将样本分辨率降低到给定的比特数；以及(b)(iii)确定对于所述多个样本的码字是：(1)颜色内异常情况，在这种情况下选择颜色间预测，否则选择颜色内预测；还是(2)颜色间异常情况，在这种情况下选择颜色内预测，否则选择颜色间预测。

2、如前述任一实施例所述的装置，其中在计算机上可执行的所述程序还被配置为通过要求所述多个样本之间的动态范围必须也超过给定的阈值来使所述颜色内异常情况或所述颜色间异常情况有资格。

3、如前述任一实施例所述的装置，其中所述阈值包括大约为十的值。

4、如前述任一实施例所述的装置，其中三个样本被用作所述多个样本。

5、如任一前述实施例所述的装置，其中在计算机处理器上可执行的所述程序被配置为用于将样本分辨率降低到每个样本两比特。

6、如前述任一实施例所述的装置，其中在计算机处理器上可执行的所述程序被配置为用于确定：如果对于三个样本的值在由“003”、“330”组成的值的组中，则存在颜色内异常情况；或者如果对于三个样本的值在由“033”和“300”组成的值的组中，则存在颜色间异常情况。

7、如前述任一实施例所述的装置，其中在计算机处理器上可执行的所述程序被配置为用于在包括量化、计算预测器、生成残差和熵编码残差的处理中执行所述颜色间预测或所述颜色内预测。

8、一种用于在拜耳编码期间选择预测模式的装置，包括：(a)计算机处理器，被配置为用于接收包含与多个不同像素组编号相关联的不同颜色像素的输入拜耳图像的颜色像素数据；以及(b)在计算机处理器上可执行的程序，用于执行步骤，所述步骤包括：(b)(i)确定多个样本之间的动态范围；(b)(ii)将样本分辨率降低到每个样本两比特，使得每个样本由从0到3的值表示；(b)(iii)确定对于所述多个样本的码字是颜色内异常情况还是颜色间异常情况，其中所述多个样本的样本值由0和3值的组合组成；(b)(iv)确定所述多个样本之间的动态范围是否超过给定的阈值；以及(b)(v)如果确定颜色内异常并且动态范围超过阈值，则选择颜色间预测，否则选择颜色内预测，或者如果确定颜色间异常并且动态范围超过阈值，则选择颜色内预测，否则选择颜色间预测。

9、如前述任一实施例所述的装置，其中所述阈值包括大约为十的值。

10、如前述任一实施例所述的装置，其中三个样本被用作所述多个样本。

11、如前述任一实施例所述的装置，其中在计算机处理器上可执行的所述程序被配置为用于确定：如果对于三个样本的值在由“003”、“330”组成的值的组中，则存在颜色内异常情况；或者如果对于三个样本的值在由“033”和“300”组成的值的组中，则存在颜色间异常情况。

12、如前述任一实施例所述的装置，其中在计算机处理器上可执行的所述程序被配置为用于在包括量化、计算预测器、生成残差和熵编码残差的处理中执行所述颜色间预测或所述颜色内预测。

13、一种在拜耳编码期间选择预测模式的方法，包括：(a)在电子图像处理设备中接收包含与多个不同像素组编号相关联的不同颜色像素的输入拜耳图像的颜色像素数据；(b)确定多个样本之间的动态范围；(c)将样本分辨率降低到给定的比特数；以及(d)确定对于所述多个样本的码字是：(1)颜色内异常情况，在这种情况下选择颜色间预测，否则选择颜色内预测；还是(2)颜色间异常情况，在这种情况下选择颜色内预测，否则选择颜色间预测。

14、如前述任一实施例所述的方法，还包括通过要求所述多个样本之间的动态范围必须也超过给定的阈值来使所述颜色内异常情况和/或所述颜色间异常情况有资格。

15、如前述任一实施例所述的方法，其中所述阈值包括大约为十的值。

16、如前述任一实施例所述的方法，其中三个样本被用作所述多个样本。

17、如前述任一实施例所述的方法，其中所述样本的分辨率降低到每个样本两比特。

18、如前述任一实施例所述的方法，其中，其中，如果对于三个样本的值在由“003”、“330”组成的值的组中，则存在颜色内异常情况；或者如果用于三个样本的值在由“033”和“300”组成的值的组中，则存在颜色间异常情况。

19、如前述任一实施例所述的方法，其中所述电子图像处理设备被配置为用于在包括量化、计算预测器、生成残差和熵编码残差的处理中执行所述颜色间预测或所述颜色内预测。

20、如前述任一实施例所述的方法，其中所述电子图像处理设备被配置为用于接收从相机设备捕获的所述输入拜耳图像，或者所述电子图像处理设备是捕获所述输入拜耳图像的相机设备。

虽然本文的描述包含许多细节，但是这些细节不应当被解释为限制本公开的范围，而仅是提供一些当前优选的实施例的说明。因此，将理解本公开的范围完全涵盖对于本领域技术人员而言变得显而易见的其它实施例。

在权利要求中，除非明确地如此陈述，否则提及单数形式的要素并不意味着“一个且仅一个”，而是意味着“一个或多个”。本领域普通技术人员已知的公开实施例的要素的所有结构和功能等同物通过引用被明确地合并于此，并且旨在被本权利要求所涵盖。此外，无论要素、部件或方法步骤是否在权利要求中被明确地叙述，本公开中的要素、部件或方法步骤都不旨在奉献给公众。除非使用短语“用于…的装置”来明确地叙述要素，否则本文的权利要求要素不应当被解释为“单元加功能”要素。除非使用短语“用于…的步骤”来明确地叙述要素，否则本文的权利要求要素不应当被解释为“步骤加功能”要素。