图像处理装置、包括图像处理装置的投影仪和投影仪系统、图像处理方法

摘要

图像处理装置包括成像单元，配置为拍摄包括对象的区域的图像并且获取图像数据，其中在所述对象上投影图像；距离测量单元，配置为基于图像数据计算与对象和成像单元之间的距离有关的距离数据；平面估计单元，配置为基于距离数据估计与对象对应的平面；以及校正信息计算单元，配置为基于距离数据和与平面有关的平面信息，计算与要投影的图像的校正有关的校正信息。

说明书

技术领域

本发明涉及图像处理装置、包括该图像处理装置的投影仪和投影仪系统 以及图像处理方法。

背景技术

投影仪是将图像投影到诸如屏幕之类的对象的设备。当投影图像时，投 影后的图像可能取决于投影仪和对象的倾斜角度变得失真为梯形形状。为了 解决投影后的图像的梯形失真，存在配备有用于预先校正（变形）要投影的 图像的图像处理装置的投影仪。

存在用于基于投影仪和对象之间的距离以及投影仪和对象的倾斜角度校 正要投影的图像的图像处理装置。

专利文献1公开这样的技术，该技术将形成预定图案的多个对象点投影 在投影对象的表面上，并且基于到对象点的距离检测投影对象和背景（投影 对象的轮廓）之间的边界，并且校正投影图像（要投影的图像）以与边界对 应。

当利用投影仪投影图像时，在很多情形下，图像在预定时间段内连续被 投影。如果在投影图像的同时移动对象或者投影仪，则投影仪再次测量距离 和倾斜角度以校正投影后的图像。

利用专利文献1中公开的技术，可以基于到对象的距离执行投影后的图 像的梯形校正。然而，为了测量距离，存在这样的情形，在该情形中，有必 要中断投影仪对图像的投影，并且再次投影预定图案。

专利文献1：日本特开专利公开第2005-229415。

发明内容

鉴于上述问题，已经做出了本发明，并且本发明的至少一个实施例的目 的是提供图像处理装置、包括该图像处理装置的投影仪和投影仪系统以及图 像处理方法，利用其在投影图像的同时对象和投影仪之间的位置关系改变的 情况下，可以校正投影后的图像，而不需要中断投影图像的操作。

根据本发明的一个方面，提供图像处理装置，包括：成像单元，配置为 拍摄包括图像投影在其上的对象的区域的图像并且获取图像数据；距离测量 单元，配置为基于图像数据计算与对象和成像单元之间的距离有关的距离数 据；平面估计单元，配置为基于距离数据估计与对象对应的平面；以及校正 信息计算单元，配置为基于距离数据和与平面有关的平面信息，计算与要投 影的图像的校正有关的校正信息。

根据本发明的一个方面，提供图像处理方法，包括：由成像单元拍摄包 括图像投影在其上的对象的区域的图像并且获取图像数据；基于图像数据计 算与对象和成像单元之间的距离有关的距离数据；基于距离数据估计与对象 对应的平面；以及基于距离数据和与平面有关的平面信息，计算与要投影的 图像的校正有关的校正信息。

附图说明

图1是图像处理装置的示例的示意图；

图2是图像处理装置的功能框图；

图3是估计平面的操作的示例的流程图；

图4A和4B图示拍摄投影对象的图像的操作；

图5A和5B图示估计平面的方法；

图6是计算校正信息的操作的示例的流程图；

图7图示从虚拟相机获取虚拟图像数据的操作；

图8A和8B图示虚拟图像数据；

图9A和9B图示梯形校正转换矩阵的计算；

图10是根据第一实施例的投影仪的示意图；

图11是由根据第一实施例的投影仪执行的投影操作的示例的流程图；

图12A到12C图示根据第一实施例的提取投影后的图像的特征点和对应 点的示例；

图13A到13C图示根据第一实施例的要投影的图像的校正；

图14是根据第二实施例的投影仪的示意图；

图15A到15C图示根据第二实施例的点图案；

图16是根据第三实施例的投影仪的示意图；

图17图示根据第三实施例的多边形网格；

图18图示根据第三实施例的依据法向矢量估计平面的方法；

图19是根据第四实施例的投影仪系统的示意图；以及

图20图示根据第四实施例的投影图像的操作。

具体实施方式

参考附图对本发明的实施例给出描述。

由图像处理装置描述本发明的实施例，该图像装置用于通过对由拍摄包 括对象的区域的图像而获得的图像执行图像处理，来计算与校正投影后的图 像有关的信息。

图像处理装置的配置

图1是图像处理装置的示例的示意图。

在图1中，图像处理装置100包括控制单元110、成像单元120、距离测 量单元130、平面估计单元140和校正信息计算单元150。

图像处理装置100由成像单元120，通过拍摄包括在其上投影图像的对 象（在下文中，“投影对象”）的区域的图像来获取图像数据。图像处理装置 100由距离测量单元130计算与成像单元120和投影对象之间的距离有关的 距离数据。另外，图像处理装置100由平面估计单元140估计与投影对象对 应的平面，并且基于与估计出的平面和计算出的距离数据有关的信息，计算 与要校正的图像的校正（诸如放大和缩小之类的图像处理，在下文中“校正”） 有关的信息。

作为投影对象，使用这样的对象：图像可以投影在所述对象上的外部表 面上，诸如屏幕、墙和白板。

控制单元110用于控制整个图像处理装置100。控制单元110基于从外部 输入的信息控制成像单元120等。另外，控制单元110基于从外部输入的信 息控制与由图像处理装置100的图像处理的结果有关的信息的输出。

成像单元120将包括投影目标的区域的图像对焦在成像传感器上，并且 从图像传感器的像素输出信号（电信号）获取与图像有关的图像数据。在本 实施例中，成像单元120包括立体相机和成像图像生成单元。

立体相机包括两个成像镜头和两个成像传感器，并且用两个成像镜头同 时拍摄投影对象的两个图像。成像镜头用于输入投影对象的图像在成像传感 器中。成像传感器具有光接收表面，在该光接收表面上，多个光接收元件以 格子布置。成像传感器将通过成像镜头输入的图像对焦在其光接收表面上。

成像图像生成单元基于成像传感器的像素输出信号，生成与包括投影目 标的区域的图像有关的图像数据。

距离测量单元130用于测量图像处理装置100（成像单元120）和投影对 象之间的距离。距离测量单元130基于由成像单元120获取的两组图像数据， 通过三角测量的原理，计算从图像处理装置100（成像单元120）到投影对象 的距离。下面给出细节（测量距离的操作）。

平面估计单元140基于由距离测量单元130计算的距离数据，递归地近 似与投影对象对应的平面。这里，递归地近似平面意味着基于多个位置近似 地估计平面，并且然后排除离开估计出的平面预定距离的位置并且再次估计 该平面（回归分析）。下面给出细节（估计平面的操作）。

校正信息计算单元150基于由平面估计单元140估计的平面有关的信息， 计算与要投影的图像的校正有关的信息。下面给出细节（计算校正信息的操 作）。

在下面的描述中，作为与图像有关的数据，“内容图像数据Aimg”是与从 PC向投影部件（例如，投影仪）输入的图像有关的图像数据。

“相机图像数据Cimg”是与由成像单元120通过拍摄投影后的内容图像数 据Aimg的图像而获得的图像有关的图像数据。相机图像数据Cimg由对电信 号（像素输出信号）执行数字处理生成，其指示由成像单元120的光接收元 件接收到的光的亮度。

“虚拟图像数据Vimg”是与相机图像数据Cimg有关的图像数据，其中， 假设图像从投影对象的外部表面（在其上投射图像的表面）的法线方向（在 下文中，“前面方向”）拍摄。虚拟图像数据Vimg基于与由校正信息计算单元 150计算出的法线矢量有关的信息，利用下面描述的透视投影转换矩阵P生 成。

“投影仪图像数据Pimg”是通过校正内容图像数据Aimg而获得的图像数 据，用于解决虚拟图像数据Vimg的梯形失真。投影仪图像数据Pimg基于与 由校正信息计算单元150计算出的校正有关的信息，利用下面描述的梯形校 正转换矩阵Hpp生成。

图像处理装置的功能

参考图2描述图像处理装置的功能的示例。图2是图像处理装置的功能 框图。

如图2中指示，控制单元110向成像单元120输出指令开始成像的信号， 从而开始图像处理的操作。

成像单元120用立体相机拍摄包括投影目标的区域的图像，以获取两组 相机图像数据Cimg。成像单元120向距离测量单元130输出所获取的相机图 像数据Cimg。

距离测量单元130基于两组相机图像数据Cimg计算与投影对象的外部 表面上的多个位置（在下文中，“对应点”）对应的距离数据。另外，距离测 量单元130向平面估计单元140和校正信息计算单元150输出距离数据。距 离数据是与从图像处理装置100到投影对象（对应点）的距离有关的数据。 下面给出测量距离的方法的细节（测量距离的操作）。

平面估计单元140依据由距离测量单元130计算出的距离数据，将回归 平面数据计算为与投影目标对应的平面。平面估计单元140向校正信息计算 单元150输出回归平面数据。回归平面数据是与三维空间中包括多个位置的 平面有关的数据。下面给出估计方法的细节（估计平面的操作）。

校正信息计算单元150基于距离测量单元130的距离数据和平面估计单 元140的回归平面数据，计算与校正内容图像数据Aimg有关的信息。具体 地，校正信息计算单元150基于距离数据和回归平面数据，计算下面描述的 凸包数据C1（图8B）。另外，校正信息计算单元150基于凸包数据C1，计 算校正内容图像数据Aimg所需的梯形校正转换矩阵（在下文中，“与校正有 关的信息”），以消除（解决）虚拟图像数据Vimg的梯形失真。下面给出计算 方法的细节（计算校正信息的操作）。

校正信息计算单元150由控制单元110输出与对投影部件（未示出）的 校正有关的信息。

测量距离的操作

给出对由距离测量单元130执行的、利用成像单元120的立体相机计算 与从成像单元120（图像处理装置100）到对应点（投影对象）的距离有关的 距离数据的操作的描述。

立体相机包括第一相机（标准相机）和第二相机（参考相机）。第一相机 和第二相机包括第一成像镜头和第二成像镜头，以及位于第一成像镜头和第 二成像镜头的后面方向（与朝向投影对象的方向相反的方向）的第一成像传 感器和第二成像传感器。作为成像传感器，可以使用区域传感器、表面传感 器和二维传感器。

第一成像镜头和第二成像镜头以预定间隔D（在下文中，“基础长度”） 平行放置，并且第一成像镜头的光轴和第二成像镜头的光轴相互平行。另外， 第一成像传感器具有前侧（与后侧相反）表面上的光接收表面，在该光接收 表面上对焦对象的图像。定位第一成像镜头的光轴，以匹配第一成像传感器 的光接收表面的对角线的中心。

通过位移视差Δ，将通过第一成像镜头输入的投影对象的第一图像和通过 第二成像镜头输入的投影对象的第二图像对焦在各个光接收单元上。成像传 感器执行光电转换，以将由第一图像和第二图像的光引起的亮度转换为像素 输出信号，并且向距离测量单元130输出该像素输出信号。此时，距离测量 单元130比较像素输出信号，并且依据光接收表面上的光接收元件（像素） 的位置（坐标）检测视差Δ。基于视差Δ、基础长度D、图像处理装置100和 投影对象之间的距离L以及各成像镜头之间的焦距f，在L>f的情况下建立以 下公式（三角测量的原理）。

公式1

L=D·f/Δ

在该情形下，D和f是已知值。

距离测量单元130基于检测到的视差Δ利用公式1计算距离L。

接着，给出对由距离测量单元130执行的、计算对应点的绝对坐标（XYZ 坐标）的操作的详细描述。假设X轴是基础长度D的方向，Y轴是沿着与X 轴垂直的成像传感器的光接收表面的方向，并且Z轴是与X轴和Y轴垂直的 方向（立体相机的光轴的方向）。另外，由公式2表达关于第一相机（下标r） 和第二相机（下标l）的光接收表面的相对坐标（xyz坐标）。

公式2

m_r=(x_r,y_r),m_l=(x_l,y_l)

在该情形下，由公式3表达视差Δ。

公式3

Δ=x_lΔ-x_rΔ

接着，由公式4表达对应点的坐标P（绝对坐标）。

公式4

P=(X,Y,Z)

在该情形下，根据公式1到3，由公式5表达对应点的坐标P。

公式5

$Z=\frac{D·f}{x_{\mathrm{l\Delta }}-x_{\mathrm{r\Delta }}},$$X=\frac{Z}{f}{x}_{\mathrm{r\Delta }},$$Y=\frac{Z}{f}{y}_{\mathrm{r\Delta }}$

如上面描述，距离测量单元130利用成像单元120的立体相机，计算投 影对象的外部表面上的对应点的三维坐标（绝对坐标），并且获取计算出的三 维坐标作为与对应点有关的距离数据。

估计平面的操作

参考图3到5A给出由平面估计单元140执行的估计与投影对象对应的 平面的操作的描述。图3是由平面估计单元140执行的、估计平面的操作的 示例的流程图。图4A和4B图示由成像单元120执行的拍摄投影对象的图像 的操作的示例。图5A和5B图示通过回归分析估计平面的方法。

在图3中，成像单元120拍摄包括投影对象的区域的图像，并且获取相 机图像数据Cimg（步骤S101）。参考图4A和4B详细描述由成像单元120 执行的拍摄图像的操作。

图4A和4B图示拍摄投影对象的图像的操作。图4A图示从图像投影在 其上的投影对象的前面的视图。图4B图示从图像投影在其上的投影对象的垂 直方向上的顶部的视图。图4A和4B中的圆形○指示投影对象（屏幕）A1 的表面的位置（特征点）。图4A和4B中的三角形△指示演示者（presenter） A2的位置（特征点）。图4A和4B中的十字叉×指示投影对象后面的墙A3 的位置（特征点）。

在图4A和4B中，演示者A2正站在投影对象A1的前面。墙A3靠近投 影对象A1的后面（与前面相反）。投影仪中提供的成像单元120拍摄包括由 投影仪（投影部件）将内容图像数据Aimg所投影在的投影对象A1的区域的 图像，并且获取相机图像数据Cimg。

在图3的步骤S101，当获取相机图像数据Cimg时，成像单元120向距 离测量单元130输出相机图像数据Cimg。随后，处理进行到步骤S102。

在步骤S102，距离测量单元130基于从成像单元120输出的相机图像数 据Cimg，提取包括投影目标的区域中的特征点（图4A和4B中的○、△、□）。 下面详细描述由距离测量单元130执行的提取特征点的操作。

首先，距离测量单元130对于由立体相机获取的两组相机图像数据Cimg 之一（在下文中，“成像数据A”），选择任意像素作为选择点。接着，距离测 量单元130基于成像数据A，比较选择点的图像信息（颜色、亮度、边缘强 度等）与围绕该选择点的八个像素的图像信息。此时，当选择点的图像信息 大于或者小于周围八个像素的所有图像信息项时，选择点被提取为特征点(x_A, y_A)。另外，距离测量单元130围绕特征点为中心提取15像素乘15像素的区 域作为模板块A。

当完成特征点的提取时，处理进行到步骤S103。

提取特征点的方法不限于上面。只要可以提取具有投影对象的表面上的 特征的点，就可以使用任何方法。另外，下面在第一和第二实施例中描述特 征点的特定示例。

在步骤S103，距离测量单元130基于步骤S102提取的特定点提取对应 点。下面详细描述由距离测量单元130执行的提取对应点的操作。

距离测量单元130对于由立体相机获取的两组相机图像数据Cimg中的 另一个（在下文中，“成像数据B”），选择任意像素作为选择点(x_B,y_B)。距离 测量单元130围绕选择点为中心选择15像素乘15像素的区域作为模板块B。 接着，距离测量单元130计算模板块A中图像信息的总和以及模板块B中图 像信息的总和，并且比较两个图像信息的总和。比较方法例如可以是SAD（差 的绝对值之和）和SSD（差的平方和）。

SAD是当比较总和时获得绝对值的差的总和的方法。SSD是获得差的平 方和的方法。

接着，作为比较模板块A和模板块B的结果，距离测量单元130选择图 像信息中具有总和的最小差的模板块B中的选择点(x_B,y_B)。此时，当差分小 于预定值时，成像数据A的特征点(x_A,y_A)和成像数据B的选择点(x_B,y_B)相互 关联，并且将（特征点(x_A,y_A)，选择点(x_B,y_B)）提取为对应点(x_AB,y_AB)。

预定值可以是投影对象和图像处理装置之间的距离，或者与场的深度对 应的值。另外，预定值可以是由数值计算或者实验确定的值。

在提取对应点中，距离测量单元130比较从成像数据A提取的所有特征 点与成像数据B的选择点。此时，距离测量单元130提取多个对应点（在下 文中，“三维点的组”）。

当完成对应点的提取时，处理进行到步骤S104。

在步骤S104，距离测量单元130计算与步骤S103提取的三维点的组的 距离有关的距离数据。计算距离数据的操作与测量距离的操作相同，因此不 进一步描述。

当完成距离数据的计算时，处理进行到步骤S105。

在步骤S105，距离测量单元130基于由距离测量单元130计算的距离数 据，计算回归平面数据作为与投影对象对应的平面的信息。参考图5A和5B 详细描述计算回归平面数据的方法。

图5A指示执行回归分析之后的回归平面P1。图5B指示在下面描述的排 除距离步骤S109估计的平面最远的对应点之后的回归平面P2。

在图5A，通过步骤S102到步骤S104，计算n个对应点(X_ABi,Y_ABi,Z_ABi) (i=1到n)作为三维点的组（图5A和5B中的○、△和×）。

平面估计单元140通过回归分析从三维点的组计算回归平面，因此，回 归平面的等式定义为z=ax+by+c。回归平面和三维点的组由公式6表达。

公式6

Z=Xβ+ε

公式6的变量由公式7表达。

公式7

$Z=\left(\begin{array}{c}{z}_{\mathrm{AB}1}\\ z_{\mathrm{AB}2}\\ .\\ .\\ z_{\mathrm{ABn}}\end{array}\right),$$X=\left(\begin{array}{ccc}{x}_{\mathrm{AB}1}& y_{\mathrm{AB}1}& 1\\ x_{\mathrm{AB}2}& y_{\mathrm{AB}2}& 1\\ & .& \\ & .& \\ x_{\mathrm{ABn}}& y_{\mathrm{ABn}}& 1\end{array}\right),$$\beta =\left(\begin{array}{c}a\\ b\\ c\end{array}\right),$$ϵ=\left(\begin{array}{c}{e}_1\\ e_2\\ .\\ .\\ e_n\end{array}\right)$

在公式7中，e_i表达残余误差。

接着，法向等式是公式8。

公式8

X^TZ=(X^TX)β

相应地，由公式9表达β。

公式9

β=(X^TX)^-1X^TZ

如上所述，通过计算残余误差e_i的平方和最小的参数a、b和c，可以获 得回归平面（图5A和5B中的P1和P2）。平面估计单元140获取回归平面 的等式(z=ax+by+c)的参数a、b和c作为回归平面数据。当获取回归平面数据 时，处理进行到步骤S106。

下面，在图3的步骤S106，计算回归平面和三维点的组之间的距离D_ABi， 并且提取三维点的组中距离回归平面最远的对应点P_MAX(X_ABD,Y_ABD,Z_ABD)以 及该对应点的距离D_MAX（图5A中的P_MAX）。具体地，由公式10计算从对应 点(X_ABi,Y_ABi,Z_ABi)到平面(αx+βy+γz+δ=0)的距离。

公式10

$D_{\mathrm{ABi}}=\frac{|\alpha x_{\mathrm{ABi}}+\beta y_{\mathrm{ABi}}+\gamma z_{\mathrm{ABi}}+\delta |}{\sqrt{{\alpha }^2+{\beta }^2+{\gamma }^2}}$

计算回归平面和所有三维点之间的距离，并且选择距离的绝对值最大的 对应点。当完成距离最远的对应点P_MAX(X_ABD,Y_ABD,Z_ABD)的提取时，处理进 行到步骤S107。

在步骤S107，比较与对应点P_MAX(X_ABD,Y_ABD,Z_ABD)有关的距离D_MAX和预定距离。当距离D_MAX小于或等于预定距离时，处理进行到步骤S108。 当距离D_MAX大于预定距离时，处理进行到步骤S109。

预定距离可以是与投影对象和图像处理装置之间的距离对应的值，并且 预定距离可以由数值计算和实验确定。另外，预定距离可以是与景深对应的 值。

在步骤S108，计算出的回归平面（步骤S105）被估计为与投影对象对应 的平面，并且被存储为回归平面数据。接着，处理进行到图3中的结束，并 且，平面的估计结束。

在步骤S109，从三维点的组排除对应点P_MAX(X_ABD,Y_ABD,Z_ABD)。当完成 排除时，处理返回步骤S105，并且重复步骤S105到S107，并且再次估计回 归平面P2（图5B）。

如上所述，根据本发明的实施例的图像处理装置测量从图像处理装置到 投影对象的距离，并且可以通过执行回归分析来估计与投影对象对应的平面。 另外，根据本发明的实施例的图像处理装置排除与平面的距离超过预定距离 的对应点，因此，当在图像处理装置和投影对象之间存在障碍物时，或者当 投影对象后面的墙靠近投影对象时，能够估计与投影对象对应的平面。

另外，在估计平面的操作中，要排除的对应点不限于与障碍物或者背景 墙有关的那些，并且可以包括不同于投影对象的任何东西。另外，用于估计 平面的三维点的组可以通过计算由来自在测量距离的操作提取的三维点的组 的“随机选择的多个点”和“随机选择的多个点”以外的点组成的平面的参数， 并且使用其参数具有小差异的点来获得。

计算校正信息的操作

参考图6到9B，对由校正信息计算单元150执行的计算校正信息的操作 给出描述。

图6是计算校正信息的操作的示例的流程图。图7图示从虚拟相机获取 虚拟图像数据的操作。图8A和8B图示虚拟图像数据。图9A和9B图示梯 形校正转换矩阵的计算。

在图6中，当假设从前面方向拍摄由平面估计单元140估计的平面的图 像时，校正信息计算单元150计算与相机图像数据Cimg有关的图像数据（虚 拟图像数据Vimg）（步骤S201）。参考图7详细描述由校正信息计算单元150 执行的计算虚拟图像数据Vimg的操作。

在图7中，假设虚拟相机（包括成像单元的投影仪）PRJv定位在从估计 出的平面中的三维点的组Pgrp的中心（重心）位置Cg的法向方向N延伸的 线上。

在图7中，实际相机（包括成像单元的投影仪）PRJr投影内容图像数据 Aimg。此时，在实际相机PRJr中，成像单元120获取相机图像数据Cimg， 距离测量单元130获取三维点的组Pgrp的距离数据，并且平面估计单元140 估计平面P2。

校正信息计算单元150计算由沿着从平面P2的法向方向N延伸的线定 位的虚拟相机PRJv拍摄的虚拟图像数据Vimg。具体地，校正信息计算单元 150使用透视投影转换矩阵P，以将三维点的组Pgrp投影到二维平面（与由 虚拟相机PRJv拍摄的虚拟图像数据Vimg对应的平面）上，并且计算虚拟图 像数据Vimg。

透视投影转换矩阵P由公式11表达，在公式11中，内部参数是A，作 为外部参数的旋转矩阵是R，并且平行移动矢量是t。

公式11

P=A(Rt)

这里，内部参数A是利用虚拟相机PRJv的光轴坐标、成像传感器的行 和列的比例以及焦距f定义的矩阵(3×3)。旋转矩阵R是指示从实际相机PRJr 旋转到虚拟相机PRJv的矩阵(3×3)。平行移动矢量t是指示从实际相机PRJr 到虚拟相机PRJv的平行移动的矢量(3×1)。

当完成虚拟图像数据Vimg的计算时，处理进行到步骤S202。

下面，在图6的步骤202中，距离测量单元130计算计算出的虚拟图像 数据Vimg中的凸包数据。这里，凸包数据是与三维点的组中由平面估计单 元140估计的平面上的、包含由距离测量单元130计算的多个对应点的多边 形（在下文中，“凸包”）有关的数据。参考图8A和8B详细描述计算凸包数 据的方法。

图8A和8B图示由虚拟相机PRJv获取的虚拟图像数据Vimg。图8A图 示虚拟图像数据Vimg中的对应点。图8B图示下面描述的凸包数据和梯形校 正矩形。

在图8A中，校正信息计算单元150基于由距离测量单元130计算的距 离数据，从由虚拟相机PRJv获取的虚拟图像数据Vimg提取由平面估计单元 140估计的平面上的多个对应点（图8A中的○，图7中的三维点的组Pgrp）。 下面，在图8B中，校正信息计算单元150计算与包含提取出的多个对应点的 凸包有关的凸包数据。此时，凸包数据是图8B中包括○标记的多边形C1。

当完成凸包数据的计算时，处理进行到步骤S203。

下面，在图6的步骤S203中，校正信息计算单元150计算虚拟图像数据 Vimg中的梯形校正矩形。梯形校正矩形是具有由在步骤S202计算出的凸包 C1包含的最大区域的矩形。校正信息计算单元150固定纵横比，并且计算由 凸包C1包含的梯形校正矩形C2（图8B）。纵横比可以和与投影仪图像数据 Pimg有关的图像的纵横比相同。例如，当投影1600×1200像素的图像时，纵 横比可以是4:3。

当完成梯形校正矩形的计算时，处理进行到步骤S204。

在图6的步骤S204中，校正信息计算单元150选择梯形校正矩形C2中 的任意四个点（图8B中的M_V1到M_V4）作为特征点。任意四个点可以是在 与虚拟图像数据Vimg有关的投影光的四个角处的点。在该情形下，即使投 影具有小数量的特征点的图像（或者从其不能提取特征点的图像），也能够提 取四个角处的点作为特征点。当完成特征点的选择时，处理进行到步骤S205。

在步骤S205，校正信息计算单元150提取与特征点（M_V1到M_V4）对应 的内容图像数据Aimg中的对应点。提取对应点的操作与测量距离的操作相 同，因此不再另外描述。当完成对应点的提取时，处理进行到步骤S206。

在步骤S206，校正信息计算单元150计算投影变换矩阵Hcp。具体地， 假设与内容图像数据Aimg有关的图像中对应于与虚拟图像数据Vimg有关的 图像中的特征点m_Vi(x_Vi,y_Vi)的四个对应点是m_ai=(x_ai,y_ai)(i=1到4)，建立投影 变换矩阵Hcp和公式12。

公式12

${\tilde{m}}_{\mathrm{ai}}\widetilde{=}\mathrm{Hvp}·{\tilde{m}}_{\mathrm{vi}}$

公式12中的右侧和左侧指示它们在齐次坐标系统中相等（除了所有分量 的恒定因子之外相等）。另外，投影变换矩阵Hcp由下面的公式表达。

公式13

$\mathrm{Hcp}=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right)$

此时，公式12可以表达为公式14。

公式14

$\left(\begin{array}{c}{x}_{\mathrm{ai}}\\ y_{\mathrm{ai}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right)\left(\begin{array}{c}{x}_{\mathrm{vi}}\\ y_{\mathrm{vi}}\\ 1\end{array}\right)=\left(\begin{array}{c}{h}_1{x}_{\mathrm{vi}}+h_2{y}_{\mathrm{vi}}+h_3\\ h_4{x}_{\mathrm{vi}}+h_5{y}_{\mathrm{vi}}+h_6\\ h_7{x}_{\mathrm{vi}}+h_8{y}_{\mathrm{vi}}+1\end{array}\right)$

当右侧被归一化以将公式14中的三个分量组合为一个时，获得公式15。

公式15

$x_{\mathrm{ai}}=\frac{h_1{x}_{\mathrm{vi}}+h_2{y}_{\mathrm{vi}}+h_3}{h_7{x}_{\mathrm{vi}}+h_8{y}_{\mathrm{vi}}+1},$$y_{\mathrm{ai}}=\frac{h_4{x}_{\mathrm{vi}}+h_5{y}_{\mathrm{vi}}+h_6}{h_7{x}_{\mathrm{vi}}+h_8{y}_{\mathrm{vi}}+1}$

这里，h₁到h₈是未知系数。通过获得与内容图像数据Aimg有关的图像 中对应于与虚拟图像数据Vimg有关的图像中的特征点M_Vi(x_Vi,y_Vi)的对应点 M_ai(x_ai,y_ai)的四个组合，能够计算h₁到h₈。作为结果，通过使用h₁到h₈，可 以计算投影变换矩阵Hcp。

当完成投影变换矩阵Hcp的计算时，处理进行到步骤S207。

在步骤S207，校正信息计算单元150计算与对应于步骤S203的梯形校 正矩形C2的四个角的、与内容图像数据Aimg有关的四个校正点。参考图9A 和9B详细描述计算校正点的方法。

图9A和9B图示虚拟图像数据Vimg和投影仪图像数据Pimg之间的关 系。图9A图示与虚拟图像数据Vimg有关的图像中的梯形校正矩形的四个角 处的点。图9B图示与内容图像数据Aimg有关的图像中的四个校正点。

在图9A中，提取在步骤S203计算的梯形校正矩形C2中的四个角点（图 9A中的URv、ULv、DRv和DLv）。下面，在图9B中，利用步骤S206计算 的投影变换矩阵Hcp，计算与内容图像数据Aimg有关的图像中与四个角点对 应的四个校正点（图9B中的URva、ULva、DRva和DLva）。

当完成四个校正点的计算时，处理进行到步骤S208。

在图6的步骤S208，校正信息计算单元150计算梯形校正转换矩阵Hpp， 以使得与内容图像数据Aimg有关的图像中的四个角点（图9B的URa等） 变形为在步骤S207计算的四个校正点（URva等）。计算梯形校正转换矩阵 Hpp的方法与步骤S206相同，因此不再另外描述。

当完成梯形校正转换矩阵Hpp的计算时，将梯形校正转换矩阵Hpp存储 为与梯形校正转换矩阵Hpp的校正有关的信息，处理进行到图6中的“结束”， 并且计算校正信息的操作结束。

能够通过基于梯形校正转换矩阵Hpp校正内容图像数据Aimg生成其中 消除（解决）了梯形失真的投影仪图像数据Pimg。

如上所述，校正信息计算单元150可以基于距离数据、回归平面数据和 凸包数据，计算与解决投影后的图像的梯形失真必要的校正有关的信息。

程序和记录程序的记录介质

根据本发明的实施例的程序Pr执行由成像单元拍摄包括图像投影在其上 的对象的区域的图像来获取图像数据的步骤；基于图像数据计算与成像单元 和对象之间的距离数据有关的距离数据的步骤；基于距离数据估计与对象对 应的平面的步骤；以及基于距离数据和与平面有关的信息，计算与要投影的 图像的校正有关的信息的步骤。

根据以上配置，获得与根据本发明的实施例的图像处理装置的效果相同 的效果。

另外，本发明的实施例可以是记录程序Pr的计算机可读记录介质Md。 作为记录程序Pr的记录介质Md，可以使用诸如软盘、CD-ROM和存储卡之 类的计算机可读介质。

实施例

通过投影仪的实施例给出对根据本发明的实施例的图像处理装置和图像 处理方法的描述。

根据本发明的实施例的图像处理装置不限于投影仪中使用的图像处理装 置。图像处理装置可以应用于不同于投影仪的任何东西，只要可以通过对由 拍摄包括对象的区域的图像而获得的图像执行图像处理以计算与投影后的图 像的校正有关的信息即可。

第一实施例

通过根据第一实施例的投影仪给出对本发明的实施例的描述。

投影仪的配置-第一实施例

图10是根据本实施例的投影仪的示意图。

在图10中，根据本实施例的投影仪200包括投影单元210、自动对焦单 元220和投影使用图像生成单元230。另外，作为图像处理装置，投影仪200 包括控制单元110、成像单元120、距离测量单元130、平面估计单元140、 校正信息计算单元150和位置移动确定单元160。

投影仪200将图像投影到投影对象上，并且估计与投影对象对应的平面。 另外，投影仪200基于估计出的平面调整投影镜头的焦点，以校正要投影的 图像。

投影单元210用于将图像从投影仪的投影镜头投影到投影对象上。自动 对焦单元220用于将投影仪的投影镜头带入投影对象的焦点。投影使用图像 生成单元230用于生成要由投影仪投影的图像。

位置移动确定单元160用于确定投影仪和投影对象的位置之间的关系是 否已经改变（投影仪和/或投影对象是否已经移动）。控制单元110等与图1 中的那些相同，因此不再另外描述。

校正投影的操作-第一实施例

参考图11到图13C给出对由投影仪200执行的校正要投影的图像的操作 的描述。图11是由根据本实施例的投影仪200执行的投影操作的示例的流程 图。图12A到12C图示提取投影后的图像的特征点和对应点的示例。图13A 到13C图示要投影的图像的校正。

在图11中，投影仪200的控制单元110输出操作的指令到投影单元210 等，以根据来自操作面板的输入开始投影图像的操作的校正（步骤S301）。 随后，处理进行到步骤S302。

在步骤S302，投影单元210将内容图像数据Aimg作为投影仪图像数据 Pimg的图像从投影镜头投影到投影对象上。随后，处理进行到步骤S303。

在步骤S303，投影单元210拍摄包括投影对象的区域的图像，并且获取 相机图像数据Cimg。当完成获取时，处理进行到步骤S304。

在步骤S304，距离测量单元130基于相机图像数据Cimg计算从投影仪 （成像单元120）到投影对象（对应点）的距离。参考图12A到12C详细描 述计算距离的方法。

图12A到12C图示要投影的图像中的特征点和对应点。图12A图示与内 容图像数据Aimg有关的图像。图12B图示与由成像单元120的立体相机的 标准相机获取的相机图像数据Cimg有关的图像。图12C图示与由参考相机 获取的相机图像数据Cimg有关的图像。

在图12A中，示出与内容图像数据Aimg有关的图像的特征点（图12A 中的○）。距离测量单元130依据与标准相机和参考相机的相机图像数据Cimg 有关的图像，计算与对应于特征点（图12A）的对应点（图12B和12C中的 ○）有关的视差△。接着，距离测量单元130计算对应点的绝对坐标（XYZ 坐标），并且获取第一距离数据Dd1。这里，计算对应点的绝对坐标的方法与 上面描述的测量距离的操作相同，因此不再另外描述。当完成第一距离数据 Dd1的获取时，处理进行到步骤S305。

在图11的步骤S305，平面估计单元140基于获取的第一距离数据Dd1 估计与投影对象对应的平面。估计平面的方法与上面描述的估计平面的操作 相同，因此不再另外描述。当完成平面的估计时，处理进行到步骤S306。

在步骤S306，控制单元110确定投影的操作的校正是否是第一次（开启 投影仪的电源之后的第一校正）。当校正是第一次时，处理进行到步骤S307。 否则，处理进行到步骤S312。

在步骤S307，校正信息计算单元150基于由成像单元120获取的相机图 像数据Cimg和由平面估计单元140估计的平面，计算虚拟图像数据Vimg。 另外，校正信息计算单元150基于虚拟图像数据Vimg和距离数据，计算与 投影仪图像数据Pimg的校正有关的信息（梯形校正转换矩阵Hpp等）。参考 图13A到13C详细描述计算与校正有关的信息的方法。

图13A到13C图示校正要投影的图像的操作。图13A图示与校正之前的 虚拟图像数据Vimg有关的图像。图13B图示与校正之后的投影仪图像数据 Pimg有关的图像。图13C图示与校正之后的虚拟图像数据Vimg有关的图像。

在图13A中，校正信息计算单元150基于相机图像数据Cimg和估计出 的平面生成与虚拟图像数据Vimg有关的图像。另外，校正信息计算单元150 基于与虚拟图像数据Vimg有关的图像，计算凸包C1和梯形校正矩形C2。 接着，在图13B中，校正信息计算单元150基于凸包C1和梯形校正矩形C2 计算投影变换矩阵Hcp和梯形校正转换矩阵Hpp。计算投影变换矩阵Hcp等 的方法与上面描述的计算校正信息的操作相同，因此不再另外描述。

当完成计算时，处理进行到步骤S308。

在图11的步骤S308，自动对焦单元220基于计算出的第一距离数据Dd1 （步骤S304）和/或与估计出的平面有关的信息（步骤S305），通过移动投影 镜头将投影镜头带入投影对象的焦点。该对焦方法可以通过利用距离测量单 元130计算与投影对象关于投影后的区域的中心位置的距离有关的第一距离 数据Dd1，并且基于计算出的第一距离数据Dd1调整对焦。中心位置可以是 指示三维点的组中的X坐标和Y坐标的最大值和最小值的点（位置）的平均 值。另外，中心位置可以是三维点的组中的所有点的平均值（或者重心）。

当完成对焦时，处理进行到步骤S309。

在图11的步骤S309，投影使用图像生成单元230校正与要投影的投影 仪图像数据Pimg有关的图像。具体地，投影使用图像生成单元230基于计算 出的梯形校正转换矩阵Hpp校正（变形）与内容图像数据Aimg有关的图像， 并且生成其中解决梯形失真的、与投影仪图像数据Pimg有关的图像（图13B）。 图13C图示当投影该校正后的投影仪图像数据Pimg时与虚拟图像数据Vimg 有关的图像，其中，当从投影对象的前面观看时消除（解决）了梯形失真。

当完成校正时，处理进行到步骤S310。

在步骤S310，控制单元110通过用于测量预定时间间隔的时间计数器来 确定是否已经经过了预定时间长度。当经过了预定时间时，重置时间计数器， 并且处理进行到步骤S311。当尚未经过预定时间时，等待直至经过了预定时 间。

在步骤S311，控制单元110确定是否正在使用投影仪。当正在使用投影 仪时，以预定时间间隔校正投影操作，因此处理返回步骤S303。否则，处理 进行到图11中的“结束”，并且校正操作结束。

在步骤S312，位置移动确定单元160计算投影仪和投影对象的位置之间 的关系中的改变量。具体地，平面估计单元140重新估计平面，并且位置移 动确定单元160可以基于之前估计出的平面和重新估计出的平面之间的比 较，计算与位置（距离、水平角度、提升角度等）有关的关系中的改变量。 位置移动确定单元160可以使用基于估计出的平面使用梯形校正矩形的重心 （中心）的位置的移动量作为改变量。

当完成计算时，处理进行到步骤S313。

在步骤S313，位置移动确定单元160确定投影仪和投影对象的位置之间 的关系是否已经改变。具体地，当在步骤S312计算出的改变量超过预定改变 量时，位置移动确定单元160可以确定位置之间的关系已经改变。预定改变 量是投影仪和投影对象之间的距离或者与景深对应的值。另外，预定改变量 可以是由数值计算或者实验确定的值。

随后，当确定位置之间的关系已经改变时，处理进行到步骤S314。当确 定位置之间的关系没有改变时，处理进行到步骤S310。

在步骤S314，校正信息计算单元150与步骤S307类似地计算与校正有 关的信息。当完成计算时，处理进行到步骤S315。

在步骤S315，自动对焦单元220与步骤S309类似地执行对焦。当完成 对焦时，处理进行到步骤S316。

在步骤S316，投影使用图像生成单元230与步骤S308类似地校正与投 影仪图像数据Pimg有关的图像。当完成校正时，处理返回步骤S303。

如上所述，当投影仪和投影对象的位置之间的关系已经改变时，根据本 实施例的投影仪可以校正要投影的图像（与投影仪图像数据Pimg有关的图 像），同时投影图像，而不需要中断投影该图像的操作。另外，通过比较以预 定时间间隔由平面估计单元140估计的多个平面的位置，投影仪可以确定投 影仪和投影对象之间的关系是否已经改变。另外，当确定位置之间的关系已 经改变时，投影仪可以校正要投影的图像，而不需要中断投影图像的操作。

第二实施例

通过根据第二实施例的投影仪给出对本发明的实施例的描述。

投影仪的配置-第二实施例

图14是根据本实施例的投影仪的示意图。

在图14中，投影仪300的配置与第一实施例（图10）的配置相同，因 此不再另外描述。

提取特征点的操作-第二实施例

给出对由距离测量单元130执行的提取特征点的操作的描述。

在本实施例中，将图案图像嵌入要投影的图像（与投影仪图像数据Pimg 有关的图像）作为电子水印，并且图案图像被提取为特征点。作为图案图像， 可以使用点图案。

基于图案图像，参考图15A到15C详细描述提取特征点的操作。

图15A到15C图示其中点图案用作图案图像的示例。图15A图示要作为 电子水印嵌入的点图案Dp。图15B指示用于提取特征点的搜索图案Sp。图 15C图示其中嵌入点图案的图像。

在图15C中，在具有嵌入的点图案Dp（图15A）的投影的图像（相机图 像数据Cimg）中，与点图案Dp对应的像素和周围像素具有不同的图像信息 （颜色、亮度、边缘强度等），并且与点图案Dp对应的像素是隔离点。在本 实施例中，图15B中的搜索图案Sp用于提取这些隔离点Lp，并且使用提取 点作为特征点。相应地，在投影具有小数量的特征点的图像（或者不能提取 特征点）的情形下，图案图像（点图案）被投影为电子水印，使得可以提取 特征点。

第三实施例

通过根据第二实施例的投影仪给出对本发明的实施例的描述。

投影仪的配置-第三实施例

图16是根据本实施例的投影仪的示意图。

在图16中，投影仪400的配置与第一和第二实施例的配置相同，因此不 再另外描述。

由法向矢量估计平面的操作-第三实施例

给出对由平面估计单元140执行的、通过多边形网格计算法向矢量和基 于法向矢量估计与投影对象对应的平面的操作的描述。基本操作与上面描述 的估计平面的操作相同，因此不再另外描述。

在本实施例中，依据由距离测量单元130计算的三维点的组的绝对坐标 （第二距离D2）计算与三维点的组对应的多边形网格。多边形网格是通过诸 如三角形之类的多边形的组合表示对象的元素。图17图示由多边形网格表示 的三维点的组。在本实施例中，三维点的组由三角形的多边形网格表示。

接着，参考图18描述基于由多边形网格表示的三维点的组估计与投影对 象对应的平面的操作。

图18指示基于三维点的组的绝对坐标（第二距离数据D2）计算的多边 形网格中的法向矢量。在本实施例中，获得多边形网格中的元素的法向矢量， 通过平均化元素的法向矢量来计算法向矢量N，并且将与平均法向矢量N垂 直的平面估计为与投影对象对应的平面。另外，通过比较平均法向矢量N和 各元素的法向矢量，能够检测在投影对象中能够投影的区域（例如，屏幕的 区域）。

具体地，该操作涉及检测与在各元素的法向矢量的方向和平均法向矢量 N的方向之间的差异在预定范围之外的元素（D1和D2）的法向矢量有关的 对应点，以及确定对应点的位置作为沿着投影对象的轮廓定位的对应点。因 此，可以通过单一计算操作来执行平面的估计和区域的计算，其中投影是投 影对象的可能（的轮廓），而不需要在估计平面的操作中通过递归近似执行估 计。

另外，依据靠近已经拍摄的图像的中心的多边形网格顺序计算平均法向 矢量，并且当正在顺序计算的平均法向矢量和计算出的法向矢量之间的差异 超过预定值时，可以估计出该平面定位在投影对象的轮廓上。

另外，法向矢量可以依据公式16计算。

公式16

$H=N_i(R-\frac{{\mathrm{tN}}^T}{z})N_b^{-1}$

在公式16中，H是由立体相机（成像单元）的标准相机和参考相机拍摄 的图像中的投影转换矩阵，N_b和N_i是标准相机和参考相机的内部参数，R 和t是表达标准相机和参考相机的相对位置和朝向的旋转矢量和平行移动矢 量，z是从立体相机到投影对象的距离，并且N是从估计出的平面到标准相 机的法向矢量。

第四实施例

通过根据第四实施例的投影仪系统给出对本发明的实施例的描述。

投影仪系统的配置-第四实施例

图19是根据本实施例的投影仪系统的示意图。

图20图示根据第四实施例的投影图像的操作。

在图19中，投影仪系统500包括投影仪510和外部单元520。投影仪510 的基本配置与第一到第三实施例的配置相同，因此不再另外描述。

在本实施例中，投影仪510包括通信单元511。类似地，外部单元520 包括通信单元521。投影仪510和外部单元520可以通过通信单元511和通 信单元521以有线或者无线方式相互通信。外部单元520可以使用云计算。

外部单元520包括成像单元120。外部单元520可以向投影仪510输出 与由成像单元120拍摄的图像有关的数据。

成像操作-第四实施例

在靠近投影对象定位的投影仪（短焦投影仪、邻近相机等）中，广角镜 头（具有宽视场角的镜头、具有短焦距的镜头等）用于拍摄投影后的图像的 图像。在该情形下，有必要校正已经拍摄的图像的赛德尔（Seidel）像差（球 面像差、彗形像差、像散、图像弯曲、失真像差等）。

在根据本发明的实施例的投影仪系统500中，外部单元520的成像单元 120用在靠近投影对象定位的投影仪中，因此不需要校正Seidel像差。

另外，在投影仪系统500中，使用外部单元520的成像单元120，因此 可以减小投影仪510的尺寸和重量，并且也可以简化投影仪510。

另外，外部单元520可以使用PC的成像单元等。在使用投影仪510进 行展示的情形下，展示处使用的PC包括成像单元。外部单元520可以是展 示处使用的PC的成像单元。

根据本发明的实施例，在图像处理装置中，与要投影的图像的校正有关 的信息可以通过估计与在其上投影图像的对象对应的平面来计算。

图像处理装置、包括该图像处理装置的投影仪和投影仪系统以及图像处 理方法不限于这里描述的特定实施例，并且可以在不脱离本发明的范围的情 况下作出变型和修改。

本申请基于2011年8月18日提交的日本优先权专利申请第2011-178809 号，将其全部内容通过引用的方式合并在此。