根部欠照明舌图像的自适应暗部细节复现方法

摘要

根部欠照明舌图像的自适应暗部细节复现方法属于医学图像处理领域，针对根部欠照明的舌图像提出。该方法是在同一光源条件下，固定拍摄仪器和拍摄对象的位置，通过改变曝光时间获取一组不同曝光量的舌图像。首先利用相机辐射标定算法对拍摄仪器进行响应曲线估计，然后根据得到的三通道响应曲线对不同曝光量的舌图像序列进行合成，得到合成舌图像每一个像素点的辐照度值，最后通过色调映射将合成的舌图像数据映射到普通的显示设备上进行显示，映射过程中完成舌图像的自适应性，实现欠照明舌根部细节的复现。该方法可以通过对合成舌图像的映射实现欠照明舌根部细节的复现，更好的再现真实舌体的亮区和暗区信息，有利于中医舌诊的客观性。

说明书

技术领域

本发明属于医学图像处理领域。是将一种利用计算机技术、图像 摄取技术、数字图像处理技术等实现合成图像并复现的方法应用于中 医舌象领域。人眼直接观察舌体时由于局部适应可看到各种亮度水平 的区域，然而显示器上的舌图像在一个适应水平上，使得光照不足的 舌根部区域所含信息无法显露。该方法能通过对输入不同曝光量的舌 图像进行合成并映射再现，使欠照明舌根部区域的细节信息显露出 来，实现根部欠照明舌图像的自适应性。

以计算机图像分析技术为主要技术手段进行舌诊客观性研究，是 20世纪80年代发展起来的一种新的舌象客观性研究方法。用得到的 自适应舌图像进行分析和处理可以对舌象特征进行比较全面的研究。

背景技术

传统的中医舌诊是由医生根据自己的知识和经验用眼睛观察，并 作出判断，其诊断结果受医生知识水平、思维方式及诊断技巧的限制。 因此，对中医舌诊的客观化、数字化，即对客观的舌象分析方法进行 研究，对中医辨证规范化及中医舌诊临床、教学、科研手段的现代化 具有重要的理论价值和实际意义。在获取舌象信息时，由于舌根部区 域光照不足，采集的舌根部区域细节信息丢失。人眼观看舌象时由于 局部适应能同时看到各种亮度水平的区域，对于根部欠照明舌图像要 显示更多的细节信息需要实现其局部适应性。

将相同场景不同曝光量的舌图像序列进行合成，然后再将其映射 到显示设备上。在合成舌图像之前，需要估计成像系统的响应曲线， 成像系统的光照响应曲线是相机曝光量与图像像素值之间的关系曲 线，是合成舌图像的关键，其中曝光量X是辐照度E与曝光时间Δt 的乘积。然后根据响应曲线对不同曝光量的舌图像序列进行合成，最 后将其映射到一个普通的显示设备上进行复现，映射过程中实现舌图 像的局部适应，更好的表现真实舌体的亮区和暗区信息，使观察者可 以同时看到各种亮度水平的区域。

发明内容

本发明是在中医舌象领域，针对根部欠照明的舌图像提出。获取 P个不同曝光量的舌图像，首先估计相机RGB三通道的响应曲线， 然后将P个舌图像合成为一个包含更多细节信息的舌图像；再通过色 调映射将合成后的舌图像复现在普通显示设备上，实现舌图像的局部 适应控制，使得舌图像根部细节信息的再现效果明显。

对于彩色的舌图像，本方法对R、G、B三个通道分别进行响应 曲线标定、合成和色调映射；并且对各个通道逐像素计算合成后的辐 照度值及映射结果，最后完成整幅图像的合成及映射并输出结果。

该方法首先要在同一光源环境且拍摄仪器和拍摄对象位置固定 的条件下，用同一拍摄仪器通过改变曝光时间获得P个不同曝光量的 舌图像；然后将图像传输至计算机，在计算机中完成舌图像的合成和 色调映射，过程中实现舌图像根部的自适应性，计算机处理过程包括 下述步骤：

(1)读取P个舌图像，每个舌图像的像素点数均为m×n，每个 像素点对应一个R值、G值、B值，将读取的所有像素点的R、G、 B值分别存放在r_m×n×P，g_m×n×P，b_m×n×P三个数组中，其中m、n是一 个图像的行数和列数，P是图像个数，m×n×P是每个数组的维数。 对r_m×n×P数组来说共包含m×n×P个R值；

(2)相机辐射标定：

首先，利用现有的标准光电转换函数测试卡，测试卡一般由M 个不同密度的灰色块组成且色块密度density已知，根据已知密度计 算反射率，反射率的计算公式为refl＝10^-density，进而得到相对曝光 量的自然对数值即lnrefl。

其次，拍摄光电转换函数测试卡图像并显示，从测试卡图像的M 个色块中依次选取M个点并得到其RGB值，以像素值为横坐标，以 对应的相对曝光量的自然对数值lnrefl为纵坐标作图，并对R、G、B 三个通道分别描点。

最后，通过拟合得到像素值0-255范围内的R、G、B三通道的 响应曲线R_g，G_g，B_g，如图4所示。

(3)将不同曝光量的P个舌图像进行合成：根据成像过程表达 式Z_ij，k＝f(E_ijΔt_k)，其中i、j是对应像素在图像中的位置标识，其 中1≤i≤m，1≤j≤n；f是未知函数，表示曝光量和像素值之间的关 系；Z_ij，k表示第k个舌图像的第i行第j列所对应的像素值；Δt_k是曝 光时间，1≤k≤P；E_ij表示某一点的辐照度；辐照度值E_ij与曝光时间 Δt_k的乘积表示该点的曝光量。对上述函数求其反函数得到 f^-1(Z_ij，k)＝E_ijΔt_k，两边取自然对数得到lnf^-1(Z_ij，k)＝lnE_ij+lnΔt_k， 将u函数定义为lnf^-1，即第二步所求的响应曲线函数。上式变为 u(Z_ij，k)＝lnE_ij+lnΔt_k，u(Z_ij，k)表示第k个图像中像素值Z_ij，k对应的 曝光量自然对数值；其中，Z_ij，k和Δt_k以及响应曲线u均是已知的。因 此得到未知量某一点辐照度的自然对数值lnE_ij的计算公式即为 lnE_ij＝u(Z_ij，k)-lnΔt_k。

对P个不同曝光量的舌图像进行合成，合成后图像任一位置(i， j)像素对应的辐照度自然对数值lnE(i，j)，根据加权平均计算公式 如下：

$\ln E(i,j)=\frac{{\Sigma }_{k=1}^{P}w\left(Z_{\mathrm{ij},k}\right)(u\left(Z_{\mathrm{ij},k}\right)-\ln {\mathrm{\Delta t}}_k)}{{\Sigma }_{k=1}^{P}w\left(Z_{\mathrm{ij},k}\right)}---\left(1\right)$

根据某一像素的不同曝光量，针对合成后图像的R通道，某一点 像素对应的R通道辐照度的自然对数值R_lE(i，j)为：

$R\_\mathrm{lE}(i,j)=\frac{{\Sigma }_{k=1}^{P}w\left(Z_{\mathrm{ij},k}\right)(R\_g\left(Z_{\mathrm{ij},k}\right)-\ln {\mathrm{\Delta t}}_k)}{{\Sigma }_{k=1}^{P}w\left(Z_{\mathrm{ij},k}\right)}$

同理逐像素计算得到整幅图像R通道辐照度自然对数值R_lE、 G通道辐照度自然对数值G_lE和B通道辐照度自然对数值B_lE。

其中，P是不同曝光量舌图像的个数；w(Z_ij，k)是权重函数；Z_ij，k是第k 个舌图像的第i行第j列所对应的像素值，R_g(Z_ij，k)是第k个舌图 像第i行j列像素值对应的R通道曝光量自然对数值。权重函数为三 角形函数，针对一个图像其权重函数表达式为：

其中，Z_min＝0，Z_max＝255，Z_ij表示一个图像中第i行j列对应的 像素值。将计算得到的图像R、G、B三通道的辐照度自然对数值 R_lE，G_lE，B_lE取自然指数得到合成后图像的R、G、B三个通 道辐照度值分别为R_E、G_E、B_E。

(4)色调映射：将合成的舌图像复现到普通显示设备上进行显 示，提高舌根部区域亮度，实现舌图像根部区域的自适应性，使其更 多细节信息显露出来。对合成后图像R、G、B三通道的辐照度值 R_E，G_E，B_E分别进行如下计算：

首先，利用亮度的几何平均值作为场景关键值，基于场景的 关键值设置输出舌图像的色调范围，使之处于大多数亮度所在范围， 场景关键值计算公式如下：

${\bar{L}}_w=\frac{1}{N}\exp \left(\underset{i,j}{\Sigma }\ln (\delta +E(i,j))\right)---\left(2\right)$

针对图像R通道场景关键值的计算公式为

$R\_{\bar{L}}_w=\frac{1}{N}\exp \left(\underset{i,j}{\Sigma }\ln (\delta +R\_E(i,j))\right)$

其中，E(i，j)是像素点(i，j)的辐照度值；R_E(i，j)表示像 素点(i，j)的R通道对应的辐照度值；N是图像总的像素个数即m×n； δ是引入参数，目的是避免图像出现黑像素即(0，0，0)时引入奇异点。 δ值相对图像亮度值比较小，一般取0.1～10。δ值增大可使场景关键 值增大，使图像最后显示亮度有减小的趋势，但变化微小且不可 控，可用于微调图像的整体亮度。将图像R、G、B三通道的辐照度 值R_E，G_E，B_E依次代入公式(2)得到R通道的场景关键值 G通道的场景关键值B通道场景关键值

其次，对亮度范围进行压缩，某一像素点压缩后的亮度值L(i，j) 计算公式为：

$L(i,j)=\frac{a}{{\bar{L}}_w}E(i,j)---\left(3\right)$

引入参数a，其主要目的是在压缩过程中提高舌根部区域亮度。 可根据所求关键值的大小上下调整a值完成映射，一般a的取值范围 是3.6～10.8。a值增大，压缩后的整体亮度范围增大。根据后面的显 示亮度公式，a值增大则亮度值升高，辐照度越小的像素点其亮度值 变化越大，明显提高舌根部区域亮度；对于辐照度越大的像素点，a 值增大其亮度值略有增大，亮区域亮度略有提高。因此a值的增大有 利于提高舌根部区域亮度，并且可控，进而实现舌根部区域的自适应 性。

针对R通道某一像素点压缩后亮度的计算公式为：

$R\_L(i,j)=\frac{a}{R\_{\bar{L}}_w}R\_E(i,j)$

其中是R通道场景关键值，R_E(i，j)是某一像素对应R 通道的辐照度。依次将R、G、B三个通道的关键值 和图像辐照度值R_E，G_E，B_E代入公式 (3)，逐像素计算得到合成图像的R、G、B三个通道压缩后的亮度 值分别为R_L，G_L，B_L。

最后，对舌图像高亮度区域的亮度需要进行压缩，而保持低亮度 值基本不变，对某一像素点的显示亮度L_d(i，j)计算公式为：

$L_d(i,j)=\frac{L(i,j)(1+\frac{L(i,j)}{L_{\mathrm{white}}^2})}{1+L(i,j)}---\left(4\right)$

其中，L_white是场景中的最大亮度值，图像R、G、B三个通道对 应的三个最大值分别为R_L_white，G_L_white，B_L_white。高亮度值的压 缩比例接近1/L，低亮度值压缩比例接近1。

对R通道某一像素点的显示亮度R_L_d(i，j)计算公式为：

$R\_L_d(i,j)=\frac{R\_L(i,j)(1+\frac{R\_L(i,j)}{{R\_L}_{\mathrm{white}}^2})}{1+R\_L(i,j)}$

R_L(i，j)是某一像素点对应R通道压缩后亮度值，R_L_white是 合成后图像R通道压缩亮度的最大值。依次将图像R、G、B三个通 道压缩后的亮度R_L，G_L，B_L代入公式(4)，逐像素计算得到 整个图像R、G、B三个通道的显示亮度分别为R_L_d，G_L_d，B_L_d。

映射过程中增大a值，舌图像亮度提高，主要针对欠照明的舌根 部区域亮度明显提高，更多细节信息可见；同时提高δ值，图像整体 亮度有微小降低，可兼顾到舌图像亮区域的颜色信息，使得舌图像的 整体颜色更柔和。因此，通过调整这两个参数，可在映射过程中达到 明显提高舌根部区域亮度，实现根部欠照明舌图像的局部适应性，又 兼顾亮区域颜色信息的整体效果。

(5)对图像三个通道的显示亮度

R_L_d，G_L_d，B_L_d分别进行标准

化处理，某一像素点的最后显示亮度

L_d(i，j)计算公式如下：

$\mathrm{Ld}(i,j)=\frac{L_d(i,j)\times 255}{\max \left(\max \left(L_d(i,j)\right)\right)}---\left(5\right)$

将其规范到0～255范围内，其中分母是整个图像中显示亮度最大 值，R、G、B三个通道对应三个最大值。R、G、B三个通道分别逐 像素计算得到整幅图像R、G、B三个通道最后的显示亮度分别为 R_Ld，G_Ld，B_Ld，将其作为图像三通道颜色值输出图像并保 存。

本方法是针对根部欠照明的舌图像，目的是实现舌图像根部区域 的自适应性，使舌根部区域的细节信息显露出来。选取一幅直接拍摄 的舌图像与处理后输出的舌图像作对比，从输出结果看，处理后舌图 像的亮区显示亮度略有提高，其信息颜色基本保持不变；而舌根部区 域显示亮度明显高于直接拍摄的舌图像，暗区包含的更多细节信息可 见，可以同时看到舌图像亮区和暗区的信息。因此实现了根部欠照明 舌图像的自适应性。鉴于输出的舌图像是彩色图像，附图中并未给出。

有益效果

本方法旨在实现根部欠照明舌图像的自适应性，即实现观察者可 以同时看到各种亮度水平的区域。对不同曝光量的舌图像序列进行合 成，通过三角形权重函数加大中间段动态范围的权重，使合成后的舌 图像包含更多细节信息。然后将合成的舌图像复现到一个普通显示设 备上，通过引入参数a对舌图像整体亮度进行宏观调整，主要是针对 舌根部区域，实现舌图像根部区域的自适应性。增大a值，使舌根部 区域亮度明显增大，高亮度区域变化微小；降低δ值可对整体亮度作 微观调整，兼顾亮区域的颜色信息。从输出的舌图像中可以看出舌根 部区域亮度明显提高，更多的细节信息显露出来，实现了根部欠照明 舌图像的局部适应性，观察者可以在普通显示设备上同时看到舌图像 各种亮度水平区域的信息。

附图说明

图1是该算法的主程序流程图；

图2是相机辐射标定过程的程序流程图；

图3是色调映射过程的程序流程图；

图4是相机三通道响应曲线；

具体实施方式

本实施方法是在由机械平台和标准光源(D65光源)组成的中医 舌象采集系统中，在数码相机和口腔舌体模型位置固定的条件下，通 过软件操作相机获取8个不同曝光时间的舌图像，曝光时间为 H＝[2，1，0.5，0.25，0.125，0.0667，0.0333，0.0167]；然后将图像传输至计算 机，估计相机的响应函数u，读取8个舌图像进行合成，再完成色调 映射实现舌图像根部区域的自适应性。具体实施过程如下：

1.通过改变曝光时间获得8个不同曝光量的大小均为m×n 的舌图像，曝光时间依次为

H＝[2，1，0.5，0.25，0.125，0.0667，0.0333，0.0167]，将其输入计算机；

2.相机辐射标定，选用ISO-14524相机光电转换函数测试卡，

该测试卡由12个不同密度的灰色块组成且色块密度已知，估计相 机的响应曲线，流程见图2，具体步骤如下：

(1)给出测试卡中已知的12个色块对应密度

density＝[2.31.861.531.271.050.870.70.530.430.310.2 0.1]，计算相对曝光量的自然对数值即 lnrefl＝ln(10^-density)；

(2)用相机拍摄测试卡图像传输到计算机，读取测试 卡图像并显示，按照给出的密度顺序从12个色块中依次选 取12个点，得到其相应的RGB值，以lnrefl为纵坐标， 以像素值为横坐标作图，对R、G、B三通道分别用实点、 正方形和叉号描点；

(3)添加横坐标两个端点[0；0；0]和[255；255；255]， 在横坐标0～255，纵坐标-6.5～2.8范围内利用插值拟合得到 相机RGB三通道的响应曲线R_g、G_g、B_g；

3.对不同曝光量的舌图像进行合成，得到合成后的辐照度值， 具体过程如下：

(1)定义图像个数为P＝8，依次读取8幅舌图像的像素值。 将r、g、b分别定义为m×n×P的三维数组，依次用来存放读取 的8个图像的R、G、B值；

(2)将R_lE、G_lE、B_lE分别定义为m×n的数组，并给 出权函数：

以及曝光时间H＝[2，1，0.5，0.25，0.125，0.0667，0.0333，0.0167]；

(3)从r数组中抹去第三维P，由指定的行和列得到8个图 像中该点对应的R值，根据R通道的响应曲线R_g逐像素计算 其辐照度自然对数值。某一点辐照度自然对数计算公式如下：

$R\_\mathrm{lE}(i,j)=\frac{{\Sigma }_{k=1}^{P}w\left(Z_{\mathrm{ij},k}\right)(R\_g\left(Z_{\mathrm{ij},k}\right)-\ln H_k)}{{\Sigma }_{k=1}^{P}w\left(Z_{\mathrm{ij},k}\right)}(1\le i\le m,1\le j\le n)$

同理分别获取g、b数组中的G、B值，根据响应曲线 G_g、B_g计算得出整个图像三个通道辐照度自然对数值分别 为R_lE、G_lE、B_lE；

(4)分别对图像三个通道的辐照度自然对数值 R_lE、G_lE、B_lE取自然指数得到三个通道的辐照度值 R_E、G_E、B_E；

4.色调映射过程，提高舌根部区域的亮度实现其自适应性， 具体流程见图3，步骤如下：

(1)给出参数的设置值，δ设为5，a设为9；

(2)用辐照度几何平均值估计场景关键值，R通道关键值为

$R\_{\bar{L}}_w=\frac{1}{m\times n}\exp \left(\underset{i,j}{\Sigma }\ln (\delta +R\_E(i,j))\right),$

对G、B通道的辐照度值分别作如上处理得到场景关键值为 $G\_{\bar{L}}_w,B\_{\bar{L}}_w$

(3)引入参数a对亮度范围进行压缩，使更接近场景关键值，

对R通道某一点辐照度值R_E(i，j)进行压缩得到压 缩后亮度值为：

$R\_L(i,j)=\frac{a}{R\_{\bar{L}}_w}R\_E(i,j)$

逐像素计算得到图像R、G、B通道压缩后亮度值 R_L，G_L，B_L；

(4)根据L_white＝max(max(L(i，j)))对R、G、B 三个通道得到的压缩亮度值R_L，G_L，B_L分别求场景 中的最大值，得到R_L_white，G_L_white，B_L_white；

(5)对舌图像的高亮度区域进行压缩，低亮度区域基本保持 不变，由某一点压缩后亮度R_L(i，j)计算得到显示亮度 R_L_d(i，j)公式为：

$R\_L_d(i,j)=\frac{R\_L(i,j)(1+\frac{R\_L(i,j)}{{R\_L}_{\mathrm{white}}^2})}{1+R\_L(i,j)}$

分别对G、B通道的压缩后亮度值G_L，B_L做同样处 理得到显示亮度G_L_d，B_L_d；

5.对计算出的R通道的显示亮度值R_L_d进行归一化处理：

$R\_\mathrm{Ld}=\frac{R\_L_d(i,j)\times 255}{\max \left(\max \left({R\_L}_d(i,j)\right)\right)}$

逐像素对R、G、B三个通道的显示亮度分别作如上处理得 到图像最后显示亮度值R_Ld，G_Ld，B_Ld，位于0～255范围 内。

6.将三通道显示亮度值R_Ld，G_Ld，B_Ld作为图像三 通道颜色值，输出图像并保存。

从输出的舌图像中选取舌根部的五个不同位置区域，在直接拍摄 的舌图像中这五个位置R、G、B三通道显示亮度依次为(118，53，66)、 (86，27，30)、(112，37，47)、(74，23，28)、(65，26，27)；该组位置在处理 后舌图像R、G、B三通道的显示亮度依次为(135，78，86)、(105，48，50)、 (138，68，77)、(112，55，58)、(115，44，46)，这些数据从一定程度上说 明舌根部区域的显示亮度有了明显提高。从输出的舌图像中也可以看 出舌根部区域亮度明显提高，细节信息更明显，而亮区亮度略有变化， 颜色信息基本不变，即实现了舌图像的局部适应，使观察者可以同时 看到各种亮度水平的区域。