一种低采样率下四元数域彩色图像恢复的方法

摘要

本发明公开了一种低采样率下四元数域彩色图像恢复的方法，属于数字图像处理技术领域。本发明首先在四元数域表达一幅彩色图像，即将彩色图像的R分量，G分量，B分量的值分别放在四元数的三个虚部里面；然后，利用均匀随机矩阵对原始整幅彩色图像进行下采样，得到采样后的部分彩色图像；然后，我们将部分彩色图像进行存储或者传输；最后，利用四元数的实数表达形式及四元数矩阵填充理论，通过采样后的部分彩色图像将原始彩色图像恢复出来。本发明方法利用四元数运算法则约束性强的特点，提高了低采样率情况下彩色图像恢复的精度，同时简化了采样时的复杂度和数据存储量。

说明书

技术领域

本发明涉及一种低采样率下四元数域彩色图像恢复的方法，属于数字图像处 理技术领域。

背景技术

四元数q是一种特殊的超复数，是复数的扩展形式。四元数q由1个实部和 3个虚部组成：

q＝R(q)+I(q)i+J(q)j+K(q)k(1)

其中，R(q),I(q),J(q),表示实数域，i,j,k是三个虚数单位，满足如 下性质：

i²＝j²＝k²＝ijk＝-1(2)

ij＝-ji＝k,jk＝-kj＝i,ki＝-ik＝j(3)

四元数的共轭和模分别定义为：

$\bar{q}=R\left(q\right)-I\left(q\right)i-J\left(q\right)j-K\left(q\right)---\left(4\right)$

$\left|q\right|=\sqrt{R^2\left(q\right)+I^2\left(q\right)+J^2\left(q\right)+K^2\left(q\right)}---\left(5\right)$

四元数q的实数表达形式为：

$q^R=\left(\begin{array}{cccc}R\left(q\right)& -I\left(q\right)& -J\left(q\right)& -K\left(q\right)\\ I\left(q\right)& R\left(q\right)& -K\left(q\right)& J\left(q\right)\\ J\left(q\right)& K\left(q\right)& R\left(q\right)& -I\left(q\right)\\ K\left(q\right)& -J\left(q\right)& I\left(q\right)& R\left(q\right)\end{array}\right)---\left(6\right)$

对于四元数矩阵A,其中，分别代表大小为 m×n、n×s的四元数矩阵：

(A+B)^R＝A^R+B^R,

(αA)^R＝αA^R,(7)

(AC)^R＝A^RC^R

四元数矩阵X的范数：

1）核范数定义为：

${\left|\right|X\left|\right|}_{*}=\underset{i=1}{\overset{\min \{m,n\}}{\Sigma }}{\sigma }_i\left(X\right)=\mathrm{trace}\left(\sqrt{X^{H}X}\right)---\left(8\right)$

σ_i(·)表示矩阵的奇异值。trace(·)表示矩阵的迹，即矩阵对角线元素之和。上标 H表示共轭转置。

2）Frobenius范数定义为：

${\left|\right|X\left|\right|}_F=\sqrt{\underset{i=1}{\overset{\min \{m,n\}}{\Sigma }}{\sigma }_i^2\left(X\right)}=\sqrt{\mathrm{trace}\left(X^{H}X\right)}---\left(9\right)$

注意：四元数矩阵X与其实数表达X^R的范数相等，比如‖X‖_*＝‖X^R‖_*。

矩阵填充(Matrix Completion:MC)是由Fazel,Recht和Candès等人提出的通 过核范数最小化对低秩矩阵中缺失的部分元素进行填充的理论，其理论框架如图 1所示，图中“s.t.”表示“Subject to(满足)”；表示复数域。

具体包括以下步骤：

步骤A、输入大小为m×n的图像矩阵X；

步骤B、在发送端对图像矩阵X进行测量，即利用均匀随机采样矩阵对原 始大小为m×n的图像矩阵进行采样，并将其映射为p×1的向量b，即b＝Φ(X)， 其中，X为原始大小为m×n的图像矩阵，Φ为从空间到空间的线性映射 （即：Φ:）。

步骤C、将测量到的向量b进行储存或者传输。

步骤D、在接收端基于复数矩阵填充理论，根据已知的线性映射Φ:和测量到的向量b（即部分图像矩阵值），恢复出原始整幅图像矩阵，其通过求 解下面矩阵秩的最小化问题实现：

其中“min”表示“minimize（最小化）”。

现有的图像处理技术涉及到方方面面，但就图像恢复这一领域普遍是按照奈 奎斯特采样定律来完成想的重建，这种方法以大于信号频率的两倍进行采样，使 得采样的信号量大，对存储要求很高，另外，现有的技术很少是针对彩色图像的 处理。

发明内容

发明目的：本发明要解决的技术问题在于解决比目前复数域图像恢复问题更 为广泛的四元数域彩色图像恢复问题，提供一种低采样率下四元数域彩色图像恢 复方法。

技术方案：一种低采样率下四元数域彩色图像恢复方法，包括在发送端对原 始四元数域彩色图像进行均匀随机采样，并将其映射到空间维度更小的四元数向 量，从而达到低采样率的目的。具体包括以下步骤：

步骤A、对彩色图像的四元数表达，将彩色图像的三通道数据值（R分量， G分量，B分量的值）分别放在一个二维的四元数矩阵的每个元素的三个虚部里 面，四元数矩阵的每个元素的实部置为0，即一幅大小为m×n的彩色图像，其 四元数矩阵大小为m×n，表达形式为：q(x,y)=0+R(x,y)i+G(x,y)j+B(x,y)k,0≤x ≤m-1,0≤y≤n-1,其中R(x,y)，G(x,y)，B(x,y)分别表示彩色图像矩阵第(x,y)个 位置的R分量，G分量，B分量的值；i,j,k是四元数的三个虚数单位。

例如，彩色图像部分像素矩阵是：

$\left(\begin{array}{ccc}\left(\mathrm{53,51,32}\right)& \left(\mathrm{53,51,10}\right)& \left(\mathrm{25,25,25}\right)\\ \left(\mathrm{25,25,25}\right)& \left(\mathrm{25,2525}\right)& \left(\mathrm{25,25,25}\right)\\ \left(\mathrm{25,25,25}\right)& \left(\mathrm{25,25,25}\right)& \left(\mathrm{25,25,25}\right)\end{array}\right)$

则相应的四元数表达为：

$\left(\begin{array}{ccc}(0+53i+51j+32k)& (0+53i+51j+10k)& (0+25i+25j+25k)\\ (0+25i+25j+25k)& (0+25i+25j+25k)& (0+25i+25j+25k)\\ (0+25i+25j+25k)& (0+25i+25j+25k)& (0+25i+25j+25k)\end{array}\right)$

因此，可以得到大小为3×3的四元数矩阵。

步骤B、将四元数矩阵X列向量化，即如上述的3×3的四 元数矩阵列向量化为：

$\left(\begin{array}{c}(0+53i+51j+32k)\\ (0+25i+25j+25k)\\ (0+25i+25j+25k)\\ (0+53i+51j+10k)\\ (0+25i+25j+25k)\\ (0+25i+25j+25k)\\ (0+25i+25j+25k)\\ (0+25i+25j+25k)\\ (0+25i+25j+25k)\end{array}\right)$

然后利用生成的高斯随机采样矩阵A，大小为p×mn，对列向量化后的四元 数矩阵进行采样，得到采样数据b，即

采样率的控制是通过采样矩阵的行数的大小p来实现，例如，一个9×1的列 向量信号vec(X)，用大小为3×9的随机高斯采样矩阵A采样，其采样率为 得到3个采样数据(y₁,y₂,y₃)

${\left(\begin{array}{cccc}{A}_{11}& A_{12}& ···& A_{19}\\ A_{21}& A_{22}& ···& A_{29}\\ A_{31}& A_{32}& ···& A_{39}\end{array}\right)}_{3\times 9}{\left(\begin{array}{c}{x}_1\\ x_2\\ ·\\ ·\\ ·\\ x_9\end{array}\right)}_{9\times 1}={\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right)}_{3\times 1}$

另外，A可以是实数高斯采样矩阵、复数高斯采样矩阵或四元数高斯采样矩 阵，如下：

（1）随机高斯实数采样矩阵，即采样矩阵中的元素是实数，例如，一个3 ×3的实数随机采样矩阵形式如下：

$\left(\begin{array}{ccc}0.5377& 0.8622& -0.4336\\ 1.8339& 0.3188& 0.3426\\ -2.2588& -1.3077& 3.5784\end{array}\right)$

（2）随机高斯复数采样矩阵，即采样矩阵中的元素是复数，例如，一个3 ×3的复数随机采样矩阵形式如下：

$\left(\begin{array}{ccc}2.769+1.409i& 0.7254-1.207i& -0.205+0.4889i\\ -1.35+1.417i& -0.06305+0.7172i& -0.1241+1.035i\\ 3.035+0.6715i& 0.7147+1.63i& 1.49+0.7269i\end{array}\right)$

（3）随机高斯四元数采样矩阵，即采样矩阵中的元素是四元数，例如，一 个3×3的复数随机采样矩阵形式如下：

$\left(\begin{array}{cc}-0.1517+0.1626i-0.01503j-0.003425k& 0.4442-0.8558i+0.5466j+0.1857k\\ 0.1469-0.3775i-0.08244j+0.7663k& -0.5735-0.05112i+0.5546j-0.1128k\\ -0.3936+0.6851i+0.3139j-0.3848k& -0.5344-0.1207i-0.4318j+0.5587k\end{array}\right)$

$\left(\begin{array}{c}-0.4047+0.1596i+0.03868j-0.5545k\\ -1.472+0.1564i-0.6017j+0.01628k\\ 0.7192-0.4324i-0.5568j+0.2763k\end{array}\right)$

步骤C、根据已知的A和b利用矩阵填充理论，恢复出原始整幅彩色图像矩 阵X，即需要求解如下矩阵X的秩的最小化问题：

min rank(X)s.t.b=A·vec(X),

上式求解是个NP-Hard问题。由于矩阵X的秩的优化和矩阵X的核范数的 优化具有等价性，那么上式可以转化为X的核范数下的最优化问题：

进一步，对于四元数矩阵vec(X)、A和b，用与其具有等价意义的实数矩阵 vec(X)^R、A^R和b^R的表示形式，如下所示：

因此式(12)可以转化为：

min‖X^R‖_* s.t.b^R=A^R·vec(X)^R,

式(13)关于矩阵X^R的优化问题可以进一步转化为关于矩阵Y和Z的优化问 题加以解决：

$\underset{Y,Z}{\min }\mathrm{trace}\left(\begin{array}{cc}Y& \\ & Z\end{array}\right)$

$s.t.\left(\begin{array}{cc}Y& X^R\\ {\left(X^R\right)}^T& Z\end{array}\right)\ge 0,b^R=A^R·\mathrm{vec}{\left(X\right)}^R---\left(14\right)$

其中，≥0代表矩阵为半正定矩阵，和

所以，要得到的最优半正定矩为：$\left(\begin{array}{cc}Y& X^R\\ {\left(X^R\right)}^T& Z\end{array}\right),$X^R即为要得到的最优解。

将问题(14)解决形式进一步明确表示如下：假如彩色图像进行四元数表达得 到了一个大小为m×n的矩阵X_m×n，对X列向量化得到vec(X)，即然后使用大小为p×mn的采样矩阵A（A可以是：实数、复数、四元数）。首先 用采样矩阵对vec(X)进行采样得到采样数据然后将采样矩阵A和矩阵 vec(X)以及得到的采样数据b转化为相应的实数矩阵表达形，即由公式(7)得： A^R×(vec(X))^R＝b^R。鉴于SeDuMi是将目标矩阵M列向量化处理，即处理矩阵 其中，所以， $\mathrm{trace}\left(\begin{array}{cc}Y& \\ & Z\end{array}\right)$的最小化即为：

$\min c\tilde{M}$

式：b^R=A^R·vec(X)^R在的基础上的表达要利用vec(X)^R在中位置的规律性， 进而找到相应的来实现所以问题表达为：

$\min c\tilde{M}$

$\mathrm{mat}\left(\tilde{M}\right)\ge 0$

其中，是vec(b^R)的逆变换，即把列向量变为矩阵。矩阵

其中，

$A_{i,j}^R=\left(\begin{array}{cccc}R\left(A_{i,j}\right)& -I\left(A_{i,j}\right)& -J\left(A_{i,j}\right)& -K\left(A_{i,j}\right)\\ I\left(A_{i,j}\right)& R\left(A_{i,j}\right)& -K\left(A_{i,j}\right)& J\left(A_{i,j}\right)\\ J\left(A_{i,j}\right)& K\left(A_{i,j}\right)& R\left(A_{i,j}\right)& -I\left(A_{i,j}\right)\\ K\left(A_{i,j}\right)& -J\left(A_{i,j}\right)& I\left(A_{i,j}\right)& R\left(A_{i,j}\right)\end{array}\right)$

得到后，就可以提取目标矩阵X^R，得到彩色图像的四元数，进而就得 到彩色图像的三通道的值。

通过使用SeDuMi软件包和四元数QTFM软件包来实现此方法。

有益效果：与现有技术相比，本发明优点在于利用四元数运算法则约束性强 的特点，提高了低采样率情况下彩色图像恢复的精度，同时简化了采样时的复杂 度和数据存储量。

附图说明

图1为现有技术中矩阵填充的理论框架图；

图2为本发明的方法流程图；

图3为本发明实施例中用来测试恢复方法的十幅彩色图像样本，大小为128 ×128；

图4为本发明实施例中用实数矩阵采样恢复的彩色图像效果（采样率依次 为：10%、30%、50%、70%、90%）；

图5为本发明实施例中用复数矩阵采样恢复的彩色图像效果（采样率依次 为：10%、30%、50%、70%、90%）；

图6为本发明实施例中用四元数矩阵采样恢复的彩色图像效果（采样率依次 为：10%、30%、50%、70%、90%）。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本 发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发 明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图2所示，低采样率下四元数域彩色图像恢复方法，下面我们以图3中第 一幅为例来具体说明来如何实施，由于内存限制可处理的矩阵大小有限，所以我 们将一幅彩图分成若干块分别处理包括如下步骤：

步骤1、将彩色图像利用四元数域进行表达，一幅128×128彩色图像可以 用一个128×128的四元数矩阵来存储其三通道数据值，将这个矩阵分为256块， 每块大小为8×8，其中第一块四元数矩阵如下：

步骤2、首先将第一步中得到的四元数矩阵列向量化，然后利用生成的随机 高斯矩阵对列向量化后的矩阵进行采样，得到采样数据。

列向量化后的矩阵如下：

${\left(\begin{array}{c}53I+51J+32K\\ 26I+26J+26K\\ ·\\ ·\\ ·\\ 26I+27J+27K\\ ·\\ ·\\ ·\\ ·\\ ·\\ ·\\ 22I+24J+21K\end{array}\right)}_{64\times 1}$

试验数据表明当采用约束性强的采样矩阵对数据采样时，恢复效果会更好， 即选用随机高斯复数采样矩阵比选用随机高斯实数采样矩阵的恢复效果好；选用 随机高斯四元数采样矩阵比选用随机高斯复数采样矩阵恢复效果好。（详细见试 验结果）

采样率的控制是通过采样矩阵的行数的大小来实现。

这里列举采样率为10%，即采样矩阵大小为6×64的实数矩阵、复数矩阵、 四元数矩阵。

实数矩阵：

复数矩阵：

四元数矩阵：

步骤3、根据发明内容中的步骤C，将随机采样矩阵和采样得到的数据转为 相应的参数矩阵，使用SeDuMi软件包和四元数QTFM软件包求出每块的最优 解，然后就得到整幅彩图的数据。

参数矩阵：

为了验证本发明方法的效果，进行了以下实验：

1、实验条件：

在一台32位操作系统的计算机上进行验证实验，该计算机配置为Intel(R) Core(TM)i5四核处理器（2.80G赫兹）和2G随机存取存储器（RAM），编程 语言用的是Matlab（2012a版本）。

2、实验方法：

选取哥伦比亚大学图像数据库中的十幅彩色图像，大小为128×128，将其 RGB三通道的数据值映射为四元数，得到一个大小为128×128的四元数矩阵Q， 然后使用高斯采样矩阵(实数矩阵、复数矩阵、四元数矩阵)A对此进行采样，得 到采样数据b，然后按照构造矩阵最后调用SeDuMi中的命令求解目标 矩阵。

3、实验结果的评价指标：

试验结果采用恢复图像的四元数表达与原图四元数表达的差值的F范数与 原图四元数的比值的大小来对图像恢复的情况进行评价。

误差公式为：

$\mathrm{err}=\frac{{\left|\right|\mathrm{xrec}-\mathrm{xor}i\left|\right|}_F}{{\left|\right|\mathrm{xor}i\left|\right|}_F}=\frac{\mathrm{norm}(\mathrm{xrec}-\mathrm{xor}i)}{\mathrm{norm}\left(\mathrm{xor}i\right)}$

其中，xrec代表恢复图像的四元数表达，xori原图四元数表达。

4、试验结果（如图3-6所示）

表1为特定采样率下，分别使用三种采样矩阵时，选用的十幅彩图恢复图像 的效果（err的平均值越小，恢复效果越理想）。