图像处理装置及方法、摄影装置、再生装置、集成电路

摘要

提供计算用于即使在测量摄影装置的运动的传感器的精确度低的情况下也能以高精确度校正大的影像的晃动的参数的图像处理装置。图像处理装置具备：限制条件生成部(130)，利用传感器信息来生成使参数的值在规定范围内的限制条件；以及参数计算部(140)，根据限制条件计算参数，限制条件生成部(130)包括：特征向量生成部(131)，生成表示传感器信息的特征的特征向量；以及运动分类部(132等)，利用特征向量和摄影装置的运动之间的关联性，根据由特征向量生成部(131)所生成的特征向量，识别摄影装置的运动，该关联性是针对特征向量和摄影装置的实际的运动预先进行机器学习的结果所得到的关联性，限制条件生成部(130)，按照由运动分类部(132等)所识别的摄影装置的运动的信息来确定规定范围。

说明书

技术领域

本发明涉及相机等摄影装置。

背景技术

近些年，随着相机的小型化、轻量化，拍摄者以手持相机的状态来拍摄影像的情况变得很普遍。并且，也出现拍摄者不以手持相机而是佩戴在眼镜、衣服、帽子等来拍摄影像，即所谓的免提(hands free)拍摄。对于这样的利用佩戴在眼镜、衣服、帽子等的小型相机来进行的拍摄，使用以往的大且重的相机时未成问题的课题就明显起来。其课题之一是，所拍摄的影像中存在的影像的晃动。越是拍摄者进行拍摄的自由度高的、小且轻的相机，此影像的晃动就越明显。因此，以往开发了控制影像的晃动或校正影像的晃动的技术。

以往的控制影像的晃动或校正影像的晃动的技术中，有电子式晃动校正方式、光学式晃动校正方式等。并且，在这些电子式晃动校正方式、光学式晃动校正方式等中，有为了提高控制影像的晃动或校正影像的晃动的性能而利用加速度传感器、陀螺仪(gyroscopic)、倾斜传感器等各种传感器来检测拍摄时出现的晃动的技术(例如参照专利文献1)。专利文献1所记载的手抖动校正装置利用装配在相机中的倾斜传感器来取得有关晃动的倾向的信息。并且，该手抖动校正装置利用所取得的有关晃动的倾向的信息，进行用于检测晃动量以及晃动方向的图像搜索(匹配)。其结果，专利文献1所记载的手抖动校正装置能够削减用于检测晃动量以及晃动方向而需要的计算量。

并且，还提出了更加积极地利用从传感器取得的晃动信息，控制映像的晃动的技术(例如，参照专利文献2)。专利文献2所记载的手抖动校正装置通过学习以时间序列输入的传感器数据，从而预测拍摄的瞬间的晃动振动。并且，该手抖动校正装置驱动晃动校正透镜以利用所预测出的晃动振动信息来消除晃动振动，从而控制晃动。其结果，专利文献2所记载的手抖动校正装置，能够控制与实际的手抖动振动的特性(拍摄者的习惯、装配在相机主体中的可替换透镜的重量平衡等)对应的晃动。

专利文献1：日本特开2006-343652号公报

专利文献2：日本特开平7-20547号公报

然而，专利文献1以及专利文献2所记载的手抖动校正装置都设想的是能够从传感器取得稳定的信号的静态的拍摄条件而校正影像的晃动。也就是说，专利文献1以及专利文献2所记载的手抖动校正装置，未设想拍摄者以手持小型轻量的相机的状态或以佩戴免提相机的状态边移动边进行拍摄的情况。在免提拍摄中，因为拍摄者未以手持相机，因此拍摄状态不稳定。并且，又加上，在免提拍摄中，步行所引起的振动也被施加到相机中。在这样的拍摄状态中，在利用小型价廉的传感器的情况下，因为惯性噪声或交叉轴灵敏度等噪声会叠加到来自传感器的输出信号，因此来自传感器的输出信号的可靠性明显降低。因此，出现的课题是，在如上所述的来自传感器的输出信号的可靠性低的情况下，凭以往的校正影像的晃动的技术，不能将来自传感器的输出信号利用于影像的晃动的校正。

发明内容

本发明用于解决上述以往的课题，目的在于提供一种图像处理装置等，该图像处理装置能够计算用于即使在测量摄影装置的运动的传感器的精确度低的情况下也能以高精确度校正大的影像的晃动的参数。

为了达到上述目的，本发明所涉及的图像处理装置，计算参数，所述参数用于调整由具备检测运动的传感器的摄影装置所拍摄的两个以上的图像间的位置，所述图像处理装置具备：图像取得部，取得由所述摄影装置所拍摄的图像；传感器信息取得部，取得传感器信息，所述传感器信息是在拍摄由所述图像取得部所取得的图像时的所述传感器的输出信号；限制条件生成部，利用由所述传感器信息取得部所取得的传感器信息来生成限制条件，所述限制条件是在计算所述参数时使所述参数的值在规定范围内的限制条件；以及参数计算部，根据由所述限制条件生成部所生成的限制条件，针对由所述图像取得部所取得的图像，计算所述参数，所述限制条件生成部包括：特征向量生成部，生成特征向量，所述特征向量表示由所述传感器信息取得部所取得的传感器信息的特征；以及运动识别部，利用所述特征向量和所述摄影装置的运动之间的关联性，根据由所述特征向量生成部所生成的特征向量，识别所述摄影装置的运动，所述关联性是针对所述特征向量和所述摄影装置的实际的运动预先进行机器学习(Machinelearning)的结果所得到的关联性，所述限制条件生成部，根据由所述运动识别部所识别的所述摄影装置的运动来确定所述规定范围，从而生成所述限制条件。

据此，因为能够利用针对特征向量和摄影装置的实际的运动预先进行了机器学习而得到的关联性的信息来识别摄影装置的运动，因此即使来自传感器的输出信号的可靠性低的情况下，也能够以高精确度识别摄影装置的运动。并且，因为能够利用根据这样识别而得到的摄影装置的运动来生成的限制条件，来计算参数，因此能够以高精确度计算用于调整图像间的位置的参数。

从上述说明可知，本发明所涉及的图像处理装置能够计算用于即使在测量摄影装置的运动的传感器的精确度低的情况下也能够以高精确度校正大的影像的晃动的参数。

附图说明

图1是表示本发明的实施例1所涉及的摄影装置的功能构成的框图。

图2是表示加速度传感器以及角速度传感器的测量轴的图。

图3是表示实施例1所涉及的摄影装置所具备的图像处理部103的工作的流程图。

图4(a)以及图4(b)是用于说明AdaBoost的图。

图5是表示有关倾斜参数a的直方图的一个例子的图。

图6是表示由图像取得部取得的影像数据中所包括的图像的一个例子的图。

图7是表示由图像取得部取得的影像数据中所包括的图像的一个例子的图。

图8是表示利用图7所示的图像作成的有关倾斜参数a的直方图的一个例子的图。

图9A是表示在时刻t-1拍摄的图像的一个例子的图。

图9B是表示在时刻t拍摄的图像的一个例子的图。

图10是用于说明根据特征点匹配计算出的平行移动量的图。

图11A是表示由摄影装置在时刻t-1拍摄的图像的一个例子的图。

图11B是表示摄影装置在时刻t拍摄的图像的一个例子的图。

图12A是提取了图11A所示的特征点的图。

图12B是提取了图11B所示的特征点的图。

图12C是表示由晃动检测部不利用限制条件而对图12A中的以白三角所示的特征点进行模板匹配(tempalte matching)的情况下的搜索区域的图。

图12D是表示由晃动检测部利用限制条件而对图12A中的以白三角所示的特征点进行模板匹配的情况下的搜索区域的图。

图13是表示由图像校正部针对图11B所示的图像进行校正后的结果的图像的一个例子的图。

图14是表示本发明的实施例2所涉及的摄影装置的功能构成的框图。

图15是表示第一角速度传感器以及第二角速度传感器的测量轴的一个例子的图。

图16是表示本发明的实施例3所涉及的摄影装置的功能构成的框图。

图17是表示本发明的实施例4所涉及的摄影装置的功能构成的框图。

图18是用于说明在识别为roll方向无旋转的情况下的倾斜参数的解的搜索范围的图。

图19是表示本发明所涉及的集成电路的功能构成的框图。

图20是表示本发明所涉及的再生装置的功能构成的框图。

符号说明

100、1000、2000、3000摄影装置

101传感器部

102摄影部

103图像处理部

111加速度传感器

112角速度传感器

120接口部

121传感器信息取得部

122图像取得部

130限制条件生成部

131特征向量生成部

132roll方向分类器

133pitch方向分类器

134yaw方向分类器

140参数计算部

141倾斜角度检测部

142晃动检测部

150图像校正部

501、502人物像

503移动向量

510、520矩形区域

511、521区域

1001第一角速度传感器

1002第二角速度传感器

2001方位传感器

3001驱动控制部

3002驱动部

3003活动棱镜(active prism)

3004透镜

3005摄像元件

4000集成电路

5000再生装置

5001再生部

具体实施方式

以下，参照附图说明本发明的实施例。

(实施例1)

图1是表示本发明的实施例1所涉及的摄影装置100的功能构成的框图。如图1所示，摄影装置100具备传感器部101、摄影部102以及图像处理部103。

传感器部101由加速度传感器111和角速度传感器112构成，针对互相正交的三个轴方向(x、y、z轴方向)的加速度和围绕这三个轴(roll、pitch、yaw)的角速度，测量摄影装置100自身的运动。并且，传感器部101向图像处理部103输出该测量结果。

另外，在本实施例中，为了说明的方便，将xyz坐标系设定为使摄影装置100的透镜的光轴和z轴一致。并且，如图2所示，将围绕3个轴(roll、pitch、yaw)的角速度设定为，从原点来看各个轴的顺时针方向为正方向而逆时针方向为负方向。

并且，传感器部101将来自加速度传感器111以及角速度传感器112的模拟输出信号转换为数字信号。也就是说，传感器部101具备图中未表示的ADC(Analog to Digital Converter：模数转换器)，向图像处理部103输出数字信号。另外，在本实施例中，虽然对传感器部101输出数字信号的情况进行说明，但是本发明所涉及的摄影装置并不限定于这样的摄影装置。例如，可以由图像处理部103将由传感器部101输出的模拟信号转换为数字信号。

摄影部102由透镜、摄像元件等构成，该摄影部102拍摄被摄体。并且，摄影部102向图像处理部103等输出拍摄了被摄体的图像。

图像处理部103是由CPU(Central Processing Unit)、存储器等构成的处理部，该图像处理部103具备接口部120、限制条件生成部130、参数计算部140以及图像校正部150。

接口部120具备传感器信息取得部121以及图像取得部122。传感器信息取得部121，取得由图像取得部122所取得的影像数据中所包括的两个以上的图像在各自被拍摄时的、来自传感器部101的输出信号以作为传感器信息。图像取得部122取得包括由摄影部102拍摄的两个以上的图像的影像数据。

限制条件生成部130具备特征向量生成部131以及roll方向分类器132、pitch方向分类器133以及yaw方向分类器134。限制条件生成部130利用由传感器信息取得部121所取得的传感器信息生成限制条件，该限制条件是计算参数时使参数值在规定范围内的限制条件。

特征向量生成部131生成特征向量，该特征向量表示由传感器信息取得部121所取得的传感器信息的特征。

roll方向分类器132、pitch方向分类器133以及yaw方向分类器134是运动分类部的一个例子，这些分类器利用特征向量和摄影装置100的运动之间的关联性，根据由特征向量生成部131生成的特征向量，识别摄影装置100的围绕各个轴(roll、pitch、yaw)的运动方向。在此，对于摄影装置100的围绕各个轴的运动方向的识别，也包括识别未向任何方向运动的情况。并且，特征向量和摄影装置100的运动之间的关联性，是针对特征向量和摄影装置100的实际的运动预先机器学习的结果所得到的关联性。在此，机器学习是指计算机以多个样本数据集为对象进行分析，从这些数据提取有用的规则、判断标准等。

参数计算部140具备倾斜角度检测部141以及晃动检测部142。参数计算部140利用由图像取得部122取得的影像数据和由限制条件生成部130生成的限制条件，计算用于调整在时间上相邻的图像(以下单称“相邻图像”)之间的位置的参数。

倾斜角度检测部141，根据由限制条件生成部130生成的、使解的值在规定范围内的限制条件，从图像提取表示绝对水平或绝对垂直的要素的倾斜，从而计算图像的倾斜角度以作为参数。

晃动检测部142，根据由限制条件生成部130生成的、使解的值在规定范围内的限制条件，计算影像数据中包括的在时间上相邻的两个图像间的被摄体像的相对的移动量以作为参数。

图像校正部150，根据由参数计算部140计算出的、用于调整图像间的位置的参数，调整影像数据中包括的相邻帧间的图像的位置。

其次，说明按上述构成的本实施例所涉及的摄影装置100的工作。

图3是表示本实施例所涉及的摄影装置100所具备的图像处理部103的工作的流程图。

首先，图像取得部122取得由摄影部102生成的影像数据(步骤S101)。接着，传感器信息取得部121取得在拍摄影像数据时由传感器部101测量的传感器信息(步骤S102)。具体而言，传感器信息取得部121取得由加速度传感器111以及角速度传感器112测量的、各个轴方向(x、y、z轴方向)的加速度以及围绕各个轴(roll、pitch、yaw)的角速度(步骤S102)。

然后，特征向量生成部131利用所取得的传感器信息进行各种运算，从而生成表示传感器信息的特征的特征向量(步骤S103)。并且，各个旋转方向的分类器(roll方向分类器132、pitch方向分类器133以及yaw方向分类器134)，根据由特征向量生成部131生成的特征向量，识别摄影装置100的各个旋转方向上的运动(步骤S104)。并且，限制条件生成部130，利用各个旋转方向的分类器来识别的摄影装置100的各个旋转方向上的运动，来生成限制条件，所述限制条件限定由参数计算部140计算参数时成为解的参数的值的范围(步骤S105)。

然后，倾斜角度检测部141，根据由限制条件生成部130生成的限制条件，从图像提取表示绝对水平或决定垂直的要素的倾斜，从而计算图像的倾斜角度以作为参数(步骤S106)。并且，晃动检测部142，根据由限制条件生成部130生成的限制条件，计算影像数据所包括的在时间上相邻的两个图像间的被摄体像的相对的移动量以作为参数(步骤S107)。

最后，图像校正部150，利用由倾斜角度检测部141以及晃动检测部142计算出的参数，校正由图像取得部122取得的影像数据(步骤S108)。

以下，说明图3所示的各个步骤中的处理的详细情况。首先，说明特征向量生成部131进行的处理(图3的步骤S103)的详细情况。

特征向量生成部131，利用由传感器信息取得部121取得的传感器信息(三个轴方向的加速度以及角速度)，生成表示传感器信息的特征的特征向量。具体而言，特征向量生成部131，读出限制条件生成部130所具备的图中未表示的缓冲器中按时间序列存储的传感器信息(由传感器信息取得部121取得的传感器信息)，利用所读出的传感器信息进行规定的运算。例如，特征向量生成部131进行这样的运算，即比较在同一时刻t由加速度传感器111测量的各个轴方向的加速度的大小，求出在时刻t-1和时刻t由角速度传感器112测量的roll角速度的差分值等。并且，特征向量生成部131生成按照规定的规则(编码规则)对上述运算的结果进行编码后的由符号构成的特征向量。在此，编码规则是指，例如，进行某种运算的结果如果是正的值则赋予1，除此之外赋予-1这样的规则。并且，编码规则是指，例如，比较各个传感器输出值之间的值的大小的结果，对于其值最大的传感器的输出值赋予1，除此之外的传感器输出值都赋予-1这样的规则。据此，特征向量生成部131，利用缓冲器中存储的各个传感器输出值进行各种各样的运算，并生成作为运算结果的编码列即生成特征向量x(i)。另外，本实施例所涉及的摄影装置100的编码规则，并不限定于上述的规则。

然后，说明各个旋转方向的分类器(roll方向分类器132、pitch方向分类器133以及yaw方向分类器134)进行的处理(图3的步骤S104)的详细情况。

各个旋转方向的分类器由根据称为AdaBoost的机器学习算法得到的强分类器构成。在此，AdaBoost是Boosting算法的一个例子，是通过对性能弱的多个分类器(弱分类器)加权且对其进行组合，从而构成一个性能强的分类器(强分类器)这样的机器学习的算法。

图4(a)以及4(b)是用于说明AdaBoost的图。如图4(a)所示，在AdaBoost中，在学习时，首先，学习计算机取得多个学习数据，该多个学习数据是特征向量x(i)和取得该特征向量x(i)时的摄影装置100的实际的运动y(i)的组合。运动y(i)是通过将某一旋转轴在正方向上运动时将该旋转轴的运动设定为“1”而除此之外则设定为“-1”这样的编码而得到。在此，利用传感器信息生成的特征向量x(i)和编码后的摄影装置100的运动y(i)之间一定会有某种关联性。由此，学习计算机，对这样取得的x(i)和y(i)的多个组合，陆续修改简单的假设(例如，“特征向量x的第三个成分是1时y是1”等)且依次求出每个假设的准确率。并且，学习计算机将采用了准确率最高的假设的分类器决定为弱分类器。另外，弱分类器的输出也是其值是“1”或“-1”的符号。并且，学习计算机重复新的弱分类器的决定工作，该弱分类器的重点放在识别已决定的弱分类器未能识别的特征。这样的学习结果，学习计算机生成强分类器，该强分类器由多个弱分类器和基于各个弱分类器的准确率的各个弱分类器的权重构成。

如图4(b)所示，通过上述的机器学习所生成的强分类器，在输入特征向量x的情况下，首先对各个弱分类器的输出值加权相加。具体而言，第i个弱分类器的输出值是z(i)，针对该输出值的权重是w(i)的情况下，强分类器根据下式(1)，计算评价值Z。

[数1]

$>Z=\underset{i=1}{\overset{n}{\Sigma }}w\left(i\right)z\left(i\right)·····\left(1\right)$>

然后，强分类器，通过将这样计算出的评价值Z与阈值进行比较，从而识别规定的旋转轴是否有在正方向上的运动。也就是说，强分类器，在学习结束后，能够根据特征向量x和权重w(i)推定围绕规定的轴的旋转方向上的运动的有无，该特征向量x根据由传感器信息取得部121取得的传感器信息来生成，该权重w(i)由学习计算机来生成。

各个旋转方向的分类器由这样生成的强分类器构成。例如，roll方向分类器132由识别围绕z轴的正负两个方向上的运动的有无的强分类器构成。在这两个强分类器都识别为“无运动”的情况下，roll方向分类器132识别为摄影装置100在roll方向上未运动。

这样，例如，摄影装置100在作为产品出货之前，预先在工厂等由学习加算计利用学习数据生成强分类器，从而使摄影装置100具备与该摄影装置100的特征对应的各个旋转方向的分类器。并且，学习计算机利用学习数据，生成根据特征向量识别摄影装置100的运动的强分类器，该学习数据包括根据传感器信息生成的特征向量和摄影装置100的实际的运动。也就是说，强分类器识别的是摄影装置100的运动而不是图像的运动。据此，本实施例所涉及的各个方向的分类器，比起以被拍摄的图像的特征量等作为学习数据来识别图像的运动，能够针对更大的晃动以高精确度来识别运动。

另外，在上述中，是由学习计算机生成强分类器，但是也可以由摄影装置100利用学习数据生成强分类器。此时，就会是摄影装置100中具备学习计算机。也就是说，摄影装置100会具备：学习数据取得部，取得学习数据；以及学习部，利用由学习数据取得部所取得的学习数据来生成强分类器。

然后，说明限制条件生成部130进行的处理(图3的步骤S105)的详细情况。

限制条件生成部130利用各个旋转方向的分类器(roll方向分类器131、pitch方向分类器132以及yaw方向分类器133)所识别的摄影装置100的各个旋转方向上的运动，生成在参数计算部140计算参数时限定参数值的范围的限制条件。另外，限制条件的具体例子在后面叙述。

然后，说明倾斜角度检测部141进行的处理(图3的步骤S106)的详细情况。

倾斜角度检测部141，利用Hough变换等从影像数据所包括的各个图像中提取表示垂直或水平的线段的倾斜，以计算针对图像的绝对水平或绝对垂直的倾斜角度。

一般而言，在Hough变换中，将所提取的x-y坐标空间上的直线y＝ax+b(在此a，b为实数)，在a-b参数空间中表述为b＝-ax+y。并且，a-b参数空间上的点(a，b)中，提取相交的直线最多的点(a0，b0)以作为最长的线段的直线参数。在此，倾斜角度检测部141注目于参数a、b中的倾斜参数a，以相交的直线的数量作为评价值针对倾斜参数a作成直方图。并且，倾斜角度检测部141提取评价值最高的倾斜参数a以作为图像的代表性的线段的倾斜。

图5是表示有关倾斜参数a的直方图的一个例子的图。在图5所示的直方图的情况下，倾斜角度检测部141提取评价值最高的a＝a0以作为图像的代表性的线段的倾斜，即作为表示绝对水平或绝对垂直的要素的倾斜。在此，利用所提取的倾斜，计算针对绝对水平或绝对垂直中的任一个的图像的倾斜角度。另外，倾斜角度检测部141，例如，以与±45度对应的倾斜为分界，其倾斜为绝对值45度以上时就当作针对绝对水平的倾斜，其倾斜不满绝对值45度时则当作针对绝对垂直的倾斜，来计算图像的倾斜角度。也就是说，设定world坐标系的垂直方向为0度的情况下，其倾斜为45度以上时，倾斜角度检测部141计算从90度减去该倾斜的角度以作为针对绝对水平的倾斜角度。而另一方面，在其倾斜不满45度时，倾斜角度检测部141计算该角度以作为针对绝对垂直的倾斜角度。

图6是表示由图像取得部122所取得的影像数据中包括的图像的一个例子的图。图6所示的图像是在围绕逆时针方向倾斜了15度的图像。在该图像中，映现在人物的后方的建筑物的竖方向上的轮廓线是最长的线段。由此，倾斜角度检测部141根据该轮廓线的倾斜，计算针对绝对垂直的倾斜角度即15度。另外，在由倾斜角度检测部141计算影像数据中包括的相邻图像间的旋转量的情况下，倾斜角度检测部141，例如，能够根据时刻t-1的图像的倾斜角度和时刻t的倾斜角度之间的差来计算旋转量。

在上述倾斜角度的计算中，倾斜角度检测部141利用由限制条件生成部130生成的限制条件。以下，说明由倾斜角度检测部141利用的限制条件。

摄影装置100出现的roll方向的运动是摄影装置100的围绕光轴的运动。因此，如果在存在roll方向的运动的状况下进行拍摄，则拍摄到向与摄影装置100的roll方向上的运动相反的方向倾斜的图像。因此，在roll方向分类器132识别出roll方向的正方向上的运动的情况下，限制条件生成部130生成将倾斜角度的值的范围限定在负的角度的限制条件。另一方面，在roll方向分类器132识别出roll方向的负方向上的运动的情况下，限制条件生成部130生成将倾斜角度的值的范围限定在正的角度的限制条件。据此，倾斜角度检测部141，能够通过只对倾斜角度为负或为正的倾斜的范围搜索解，以提取图像的倾斜。

利用附图说明具体的例子。图7是表示由图像取得部122取得的影像数据所包括的图像的一个例子的图。如图7所示的图像是，在摄影装置100在roll方向的正方向(顺时针)上旋转后的状态下所拍摄的图像，因此其图像为逆时针旋转了的图像。图8是表示利用图7所示的图像作成的、有关倾斜参数a的直方图的一个例子的图。图8所示的直方图中，a0以及a1的评价值大致相同。在此，无限制条件的情况下，倾斜角度检测部141提取评价值最高的倾斜作为针对绝对水平或绝对垂直的倾斜。但是，考虑到进行线段提取处理时存在运算误差等，因此在评价值的差极小的情况下，倾斜角度检测部141单纯地提取评价值最高的倾斜，则会有提取错误的倾斜的危险。在此，通过利用将倾斜限定在图像的倾斜角度为负的范围的限制条件，倾斜角度检测部141将解的存在范围限定在图8所示的直方图的a＞0的区域。通过利用这样的限制条件来限定解的范围，倾斜角度检测部141提取a1以作为针对绝对水平或绝对垂直的倾斜。也就是说，倾斜角度检测部141不提取a0作为针对绝对水平或绝对垂直的倾斜。如上所述，倾斜角度检测部141利用由限制条件生成部130生成的限制条件来限定解的存在范围，从而能够提高求得的解的精确度。并且，倾斜角度检测部141在搜索最大的评价值时，只搜索根据限制条件限定的解的范围，从而能够控制运算成本。

然后，说明晃动检测部142进行的处理(图3的步骤S107)的详细情况。

晃动检测部142是检测相邻图像间存在的运动的处理部，主要检测平行移动量。具体而言，晃动检测部118提取所取得的影像数据中包括的相邻图像的各自的特征点。并且，晃动检测部118通过对在相邻图像间提取的的特征点进行匹配，从而求出与特征点的位置一致的平行移动量。

图9A以及图9B是用于说明在时刻t-1和时刻t拍摄的图像间的平行移动量的图。具体而言，图9A是表示在时刻t-1拍摄的图像的一个例子的图。并且，图9B是表示在时刻t拍摄的图像的一个例子的图。

首先，晃动检测部142从在时间上相邻的两个图像的每个图像提取特征点。作为特征点的提取方法有各种各样的方法，不必特别地限定晃动检测部142的特征点的提取方法。也就是说，晃动检测部142可以利用根据图像的亮度或色彩的变化来提取边缘或角这样的一般的方法来提取特征点，也可以利用其他方法来提取特征点。在此，省略对特征点的提取的详细的说明。图9A以及图9B中标记的记号即白圆圈、白三角、以及白方框分别是由晃动检测部142提取的特征点。在此，相同形状的记号表示的是两个图像间相对应的特征点。

然后，晃动检测部142进行特征点匹配。具体而言，晃动检测部142在成为基准的时刻t-1的图像(基准图像)的各个特征点的周围设定模板。并且，晃动检测部142在时刻t的图像(参考图像)的各个特征点的周围也同样地设定模板。并且，晃动检测部142通过对所有的特征点的组合进行模板匹配，从而决定基准图像和参考图像间的特征点的对应关系。具体而言，例如，晃动检测部142利用时刻t-1的白三角的特征点的周围的模板与时刻t的白三角的特征点的周围的模板间的关联性比与时刻t的白圆圈以及白方框的特征点的周围的模板的相关性大，决定两个图像间的特征点的对应关系。并且，晃动检测部142利用所决定的特征点的对应关系，计算基准图像和参考图像间的平行移动量。

图10是用于说明通过特征点匹配计算出的平行移动量的图。在图10中，重叠地显示了时刻t-1以及时刻t的图像中的人物像的区域。人物像501表示在时刻t-1拍摄的图像中的人物像。并且，人物像502表示在时刻t拍摄的图像中的人物像。另外，人物像501以及502是使在各自的时刻拍摄的图像的摄影区域一致的情况下的图像。移动向量503是以白三角表示的特征点从时刻t-1到时刻t的移动向量。在此，移动向量的水平方向以及垂直方向的成分分别为Δx以及Δy的情况下，通过将时刻t的图像整个在水平方向上平行移动-Δx，在垂直方向平行移动-Δy，从而能够使两个时刻即时刻t-1以及时刻t的图像的特征点一致。通过上述的方法，利用由晃动检测部142计算出的平行移动量，来校正两个图像的晃动。

在上述平行移动量的计算中，本实施例所涉及的晃动检测部142利用由限制条件生成部130生成的限制条件。以下，利用附图说明由晃动检测部142利用的限制条件。

图11A是表示由摄影装置100在时刻t-1拍摄的图像的一个例子的图。并且图11B是表示由摄影装置100在时刻t取得的图像的一个例子的图。图11B所示的虚线圈住的区域表示与图11A所示的图像相对应的区域。也就是说，图11B所示的图像是相对于图11A所示的图像其摄影区域向右下移动了的图像。图11A以及图11B所示的图像上绘制(plot)的白圆圈、白三角以及黑三角是该图像的特征点。图11B所示的特征点，随着摄影区域的移动，相对于与该特征点对应的图11A所示的特征点向左上进行了移动。

图12A以及图12B是分别提取了图11A以及图11B所示的特征点的图。在此，晃动检测部142，在提取了图12A以及图12B所示的特征点的情况下，如之前所述，晃动检测部142通过特征点匹配计算平行移动量。具体而言，晃动检测部142利用模板匹配等算法搜索图12A中的以白三角所示的特征点与图12B中的哪一个特征点相对应。

图12C是晃动检测部142不利用限制条件，而对图12A中以白三角所示的特征点进行模板匹配的情况下的搜索区域的图。如图12C所示，不利用由限制条件生成部130生成的限制条件的情况下，晃动检测部142针对斜线区域内包括的特征点(白圆圈、白三角以及黑三角)进行匹配处理。也就是说，晃动检测部142不对在斜线区域外的以黑圆圈所示的特征点进行匹配处理。在此，以斜线区域所示的搜索区域是一个与图12A中以白三角所示的特征点的图像上的坐标以同一坐标(图12B的虚线白三角的位置)为中心的矩形区域。此时，与图11A以及图11B的图像中映现的牌坊的两个立柱(大致具有相同的结构)部分对应的特征点集，其特征点的配置近似。因此，在各个特征点的周围设定的模板也近似。其结果，晃动检测部142有可能通过模板匹配进行不正确的对应处理。也就是说，晃动检测部142有可能会判断为图12A中的白三角的特征点和图12C中的黑三角的特征点相对应。

在此，晃动检测部142利用由限制条件生成部130生成的限制条件，进行模板匹配。具体而言，限制条件生成部130，利用摄影装置100产生的picth方向以及yaw方向上的运动会分别作为图像的竖方向以及水平方向上的平行移动而反映在图像中这一特性，生成限定模板匹配中的搜索区域的限制条件。

例如，pitch方向分类器133以及yaw方向分类器134，利用拍摄图11B所示的图像时的传感器信息，识别出pitch方向上为正方向以及yaw方向上为负方向(即意味着摄影装置的光轴的方向朝向右下)的情况下，限制条件生成部130生成使进行模板匹配的参考图像的搜索区域在与成为匹配对象的基准图像的特征点的坐标相同的坐标相比处于左上侧的区域的限制条件。具体而言，限制条件生成部130，在晃动检测部142从图12B所示的特征点中搜索与图12A所示的白三角对应的特征点的情况下，生成使晃动检测部142搜索相对于图12A所示的白三角的特征点的坐标处于左上侧的区域的限制条件。

也就是说，限制条件生成部130，在pitch方向分类器133识别出pitch方向的正方向上的运动的情况下，生成将相对于与基准图像的特征点的坐标相同的坐标处于左上侧的区域内的特征点作为匹配的对象的限制条件。另一方面，限制条件生成部130，在pitch方向分类器133识别出pitch方向的负方向上的运动的情况下，生成将相对于与基准图像的特征点的坐标相同的坐标处于下侧的区域内的特征点作为匹配的对象的限制条件。

并且，限制条件生成部130，在yaw方向分类器134识别出yaw方向的正方向上的运动的情况下，生成将相对于与基准图像的特征点的坐标相同的坐标处于右侧的区域内的特征点作为匹配的对象的限制条件。另一方面，限制条件生成部130，在yaw方向分类器134识别出yaw方向的负方向上的运动的情况下，生成将相对于与基准图像的特征点的坐标相同的坐标处于左侧的区域内的特征点作为匹配的对象的限制条件。

图12D是晃动检测部142利用限制条件，针对图12A中的以白三角所示的特征点进行模板匹配的情况下的搜索区域的图。晃动检测部142通过利用限制条件，只针对图12D所示的斜线区域进行模板匹配。其结果，晃动检测部142，不以图12D中的以黑三角所示的特征点为模板匹配的对象，因此不会再出现错误地将黑三角决定为图12A的白三角所对应的特征点。也就是说，晃动检测部142通过利用限制条件，能够控制进行错误的对应处理的危险性。并且，晃动检测部142，能够减少成为模板匹配的对象的特征点的数量，因此能够降低运算负荷。

然后，说明图像校正部150进行的处理(图3的步骤S108)的详细情况。图像校正部150利用由参数计算部140计算出的倾斜角度和平行移动量，调整基准图像和参考图像间的位置。以下说明其详细情况。

将由倾斜角度检测部141计算出的倾斜角度设定为θ，由晃动检测部142检测出的移动向量设定为(Δx，Δy)。此时，时刻t的图像相对于时刻t-1的图像旋转了θ。并且，时刻t的图像相对于时刻t-1的图像在水平方向上平行移动了Δx，且在垂直方向上平行移动了Δy。因此，图像校正部150，使时刻t的图像旋转-θ且在水平方向上平行移动-Δx在垂直方向上平行移动-Δy，从而能够消除时刻t的图像和时刻t-1的图像间的位置偏移。图像校正部150利用仿射(affine)变换，进行这一位置调整处理。具体而言，将校正后的坐标设定为(x，y)，将校正前的坐标设定为(x0，y0)，将3行3列的仿射矩阵设定为R的情况下，图像校正部150利用下式(2)校正时刻t的图像。

[数2]

p＝R·p0    .....(2)

在此、$>p0=\left(\begin{array}{c}x0\\ y0\\ 1\end{array}\right),$>$>p=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right),$>$>R=\left(\begin{array}{ccc}\cos (-\theta )& \sin (-\theta )& \mathrm{\Delta x}\\ -\sin (-\theta )& \cos (-\theta )& \mathrm{\Delta y}\\ 0& 0& 1\end{array}\right)$>

在此，在根据校正前的坐标计算的校正后的坐标脱出图像的区域的情况下，图像校正部150废弃该校正前的坐标的图像信息。并且，在为求出校正后的坐标而需要的校正前的坐标脱出图像的区域的情况下，图像校正部150得不到该校正后的坐标的图像信息。因此，由图像校正部150进行校正后的图像中有时存在无图像信息的区域。

图13是表示图像校正部150针对图11B所示的图像进行校正的结果得到的图像的一个例子的图。矩形区域510表示校正前的图像的区域。并且，矩形区域520表示校正后的图像区域。在此，矩形区域520的左部和上部存在的区域521表示校正前的图像未保持图像信息的区域。并且，矩形区域510的右部和下部存在的区域511，表示图11B所示的校正前的图像的图像区域中的、调整位置时图像信息被废弃的区域。

如上所述，实施例1所涉及的摄影装置100，通过针对摄影数据中包括的多个图像调整在时间上相邻的图像的位置，从而能够校正影像数据，以便即使摄影装置100被施加了运动其运动也不会反映在影像数据中。

并且，摄影装置100，利用特性不同的多个传感器(本实施例中是加速度传感器和角速度传感器)，能够识别摄影装置100的运动，因此能够提高识别运动时的鲁棒性(robustness)。而且，摄影装置100利用AdaBoost等学习算法，能够预先使多个传感器的动作(即特征向量)和实际的摄影装置100的运动相关联，因此即使在传感器的输出值上重叠了交叉轴灵敏度、惯性噪声等，也能够稳定地识别摄影装置100的运动。并且，摄影装置100，根据这样识别的摄影装置100的运动，利用所生成的限制条件计算参数，因此能够以良好的精确度计算参数。

并且，摄影装置100，能够计算图像的倾斜以作为参数，因此能够计算用于校正作为映像的晃动的主要原因的旋转成分的晃动的参数。

(实施例2)

其次，说明本实施例2所涉及的摄影装置。

图14是表示本发明的实施例2所涉及的摄影装置1000的功能构成的框图。本实施例所涉及的摄影装置1000与实施例1所涉及的摄影装置100的不同之处是传感器部101具备两组角速度传感器这一点。另外，对于与实施例1相同的构成部附加同一符号，并省略其说明。

第一角速度传感器1001以及第二角速度传感器1002分别是测量围绕相互正交的三个轴的角速度的角速度传感器，是测量摄影装置1000的运动的传感器。在此，第一角速度传感器1001以及第二角速度传感器1002在摄影装置1000中被设置为各自的测量轴互不相同。

图15是表示第一角速度传感器1001以及第二角速度传感器1002的测量轴的一个例子的图。第一角速度传感器1001检测分别围绕互相正交的x1轴、y1轴以及z1轴的角速度。另一方面、第二角速度传感器1002检测分别围绕互相正交的x2、y2以及z3轴的角速度。例如，针对摄影装置100，只施加了围绕z1轴的旋转运动的情况下，不发生围绕x1轴以及y1轴的旋转运动。由此，第一角速度传感器1001输出0(实际上因为存在交叉轴灵敏度因此多少会有输出)作为围绕x1轴以及y1轴的传感器信息。但是，因为围绕z1轴的运动能够分解为分别围绕x2轴、y2轴以及z2轴的运动，因此第二角速度传感器1002，针对围绕z1轴的旋转运动输出0以外的值作为围绕x2轴、y2轴、以及z2轴的传感器信息。也就是说，摄影装置100，针对围绕z1轴的旋转运动，能够取得以另一视点来观测的信息。

如上所述，本实施例所涉及的摄影装置1000与实施例1所涉及的摄影装置100同样地利用由传感器部101测量出的传感器信息来生成特征向量。并且，摄影装置1000利用该特征向量来识别施加到摄影装置1000的运动的围绕三个轴的旋转的方向。在此，如图15所示，本实施例所涉及的摄影装置1000通过具备测量轴互不相同的第一角速度传感器和第二角速度传感器，从而能够增加识别施加到摄影装置1000的运动时的信息的冗余度。这样，增加信息的冗余度会提高各个旋转方向的分类器的精确度。也就是说，摄影装置1000通过从多个不同的视点来观测施加到摄影装置1000的运动，从而能够大幅度地提高计算参数时的限制条件的有效性以及系统的稳定性。

另外，在本实施例中，说明了具备被设置为测量轴互不相同的两组角速度传感器的摄影装置1000，但是本发明所涉及的摄影装置并不限定于这样的角速度传感器。也就是说，本发明所涉及的摄影装置只要具备设置场所、测量方向、频率响应以及灵敏度特性(灵敏度、灵敏度偏差、灵敏度漂移、交叉轴灵敏度等)中的至少一个互不相同的多组角速度传感器就可以。

例如，在摄影装置具备两组设置场所互不相同的两组角速度传感器(例如，一方设置在摄影装置的重心位置，另一方设置在离开重心位置的位置的两组角速度传感器等)的情况下，针对施加到摄影装置的运动的、在各个角速度传感器被设置的位置的惯性矩不同。因此，各个角速度传感器的输出值会互不相同。

并且，例如，在具备响应速度互不相同的两组角速度传感器的摄影装置的情况下，各个角速度传感器的输出值也会互不相同。理由是因为一方的角速度传感器主要检测瞬间性的(高频率的)运动，而另一方的角速度传感器主要检测比较缓慢的(低频率的)运动。也就是说，具备这样的响应速度互不相同的两组角速度传感器的摄影装置，从工作频率的观点从另一视点来观测施加到摄影装置的一个运动。

如上所述，在两组角速度传感器的设置场所或响应速度互不相同的情况下，也因为有益于提高检测施加到摄影装置的运动时的冗余度，从而能够有益于提高限制条件的有效性以及系统的稳定性。

另外，在本实施例中，说明了具备两组角速度传感器的摄影装置1000，但是本发明所涉及的摄影装置并不限定于具备角速度传感器。本发明所涉及的摄影装置，例如具备加速度传感器、方位传感器等能够检测摄影装置的运动的多组传感器就可以。也就是说，本发明所涉及的摄影装置通过利用设置方法以及传感器特性中的至少一方互不相同的多组传感器，得到与本实施例所涉及的摄影装置1000同样的效果。

(实施例3)

其次，说明本发明的实施例3所涉及的摄影装置。

图16是表示本发明的实施例3所涉及的摄影装置2000的功能构成的框图。摄影装置2000是汽车的直向前进方向和摄影装置2000的光轴方向一致的车载型摄影装置。也就是说，摄影装置2000拍摄的影像数据的旋转抖动成分微小，即roll方向的移动成分微小，如果将该移动成分在时间序列平均化则近似于没有变化。因此，能够限定为由摄影装置2000拍摄的图像中存在的仅是平行移动。由此，本实施例所涉及的摄影装置2000与实施例1所涉及的摄影装置100不同的是不具备roll方向分类器和倾斜角度检测部这一点。另外，对于与实施例1相同的构成部以同一符号表示，并省略其说明。

方位传感器2001是测量方位的传感器。因为能够限定汽车的运动大致仅限于平面上的运动，因此方位传感器2001是为了补充测量yaw方向的角速度传感器112的信息而设置。

与实施例1同样地，通过预先学习从这样设置的传感器部101取得的传感器信息和摄影装置2000的运动(汽车的运动)，并使其相互关联，从而能够根据传感器信息识别yaw方向上的运动。其结果，参数计算部140能够提高处理性能(运算量、精确度)。

另外，本实施例所涉及的摄影装置2000还可以具备汽车的车速传感器和转弯分类器。据此，特征向量生成部131能够利用车速传感器、方位传感器以及角速度传感器的传感器信息来生成特征向量。并且，摄影装置2000能够通过预先学习所生成的特征向量和实际上汽车要转弯的状态，从而能够具备识别汽车要转弯的状态的转弯分类器。在汽车要转弯的情况下，由摄影部102拍摄的影像数据的位移变大，因此调整影像数据中包括的图像间的位置变得没有意义。因此，在转弯分类器识别出汽车要转弯的状态的情况下，参数计算部140以及图像校正部150停止计算参数的处理以及调整图像的位置的处理。并且，在汽车转弯结束，重新开始在一定方向上前进的情况下，相应地重新开始调整位置的处理就可以。这样，转弯分类器能够起到指示参数计算部140以及图像校正部150的处理的开始或停止的开关的作用。

如上所述，本实施例所涉及的摄影装置2000通过限定参数处理部140以及图像校正部150进行处理的条件，从而能够进一步地削减运算成本和更加适合于所处的状况的影像的晃动的校正。

(实施例4)

其次，说明本发明的实施例4所涉及的摄影装置。

图17是表示本发明的实施例4所涉及的摄影装置3000的功能构成的框图。如图17所示，本实施例所涉及的摄影装置3000与实施例1所涉及的摄影装置100不同之处是，摄影部102具备驱动部3002以及活动透镜(active prism)3003，且具备驱动控制部3001来替代图像校正部。因为其他的构成部与实施例1所涉及的摄影装置100相同，因此省略其说明。

驱动控制部3001将由参数计算部140计算出的参数(倾斜角度以及移动向量)利用摄影部102特有的参数按照规定的方式转换为三个轴的旋转量。被转换的旋转量，成为实际上摄影装置3000在成像面上产生的旋转量。因此，驱动控制部3001通过使驱动部3002驱动活动透镜3003以消除所转换的旋转量，从而能够取消摄影装置3000所产生的运动。

驱动部3002是传动机构(actuator)等，驱动活动透镜3003。活动透镜3003是光学系统的一部分，通过变更棱镜的角度，从而能够校正影像的晃动。透镜3004是光学系统的一部分，将入射到摄影部102的光，成像到摄像元件3005的摄像面。摄像元件3005例如是CCD(Charge CoupledDevice：电荷耦合器件)、CMOS(Complementary Metal OxideSemiconductor：互补型金属氧化物半导体)等固体摄像元件，将来自透镜3004的光转换为电信号。

这样，利用由参数计算部140计算出的参数，驱动控制部3001使驱动部3002驱动活动棱镜3003，从而能够校正影像数据产生的影像的晃动。

另外，本实施例所涉及的摄影装置3000通过驱动活动棱镜3003来校正影像的晃动，但是本实施例所涉及的摄影装置也可以通过驱动透镜3004或摄像元件3005来校正影像的晃动。具体而言，驱动控制部3001能够使驱动部3002令摄像元件3005移位或旋转，从而校正影像的晃动。

以上根据实施例说明了本发明所涉及的摄影装置，但是本发明并不限定于这些实施例。只要不超出本发明的宗旨，将本领域的技术人员所能想到的各种变形实施到本实施例的形式、或组合不同的实施例的构成要素而构筑的形式都包括在本发明的范围内。

例如，在上述实施例中，传感器部101具有测量三个轴方向的加速度的加速度传感器以及测量三个轴方向的角速度的角速度传感器，但是也可以将这些与方位传感器等能够测量摄影装置的运动的其他传感器进行组合。并且，只要能够测量有关目的轴的运动，可以是任何一种设置方法。也就是说，可以设置需要的个数的仅测量有关一个轴的运动的传感器，也可以设置测量正交的三个轴的传感器封装在一起的加速度传感器、角速度传感器等。

并且，在上述实施例中，说明了摄影装置的光轴和传感器的测量轴之一的z轴一致的例子，但是如果能够利用向量分析等方法取得欲识别的摄影装置的运动的信息(在实施例1中围绕摄影装置的roll、pitch以及yaw这三个轴的旋转方向)，则传感器的测量轴和欲识别的摄影装置的运动的轴可以不一致。

并且，在上述实施例中，特征向量生成部131可以利用公知的主成分分析等方法，增加生成的特征向量的冗余度。并且，特征向量生成部131也可以生成进行频率分析等而得到的移动的频率信息以作为特征向量。

并且，在上述实施例中，利用AdaBoost，使传感器信息和摄影装置的移动方向(旋转方向)相关联的各个旋转方向的分类器进行了说明，但是各个旋转方向的分类器并不限定于利用AdaBoost算法构成的分类器。例如，各个旋转方向的分类器可以是利用神经网络进行同样的学习的分类器。此时，特征向量不必一定是符号，因此特征向量生成部131生成适合于神经网络的特征向量就可以。

并且，分类器不限定于识别旋转方向的分类器。例如，分类器可以识别x轴、y轴以及z轴方向上的运动方向。

并且，在上述实施例中，限制条件生成部130生成的是各个旋转方向上的分类器识别摄影装置在正的方向或负的方向上旋转的情况下的限制条件，但是，可以进一步地生成识别在正的方向以及负的方向都未旋转的情况下的限制条件。例如，限制条件生成部130可以在由roll方向分类器132识别为roll方向上无旋转的情况下，利用预先决定的、规定的搜索宽度s，生成将±s的范围设定为倾斜参数的解的搜索范围的限制条件。此时，倾斜角度检测部141在由限制条件生成部130设定的±s范围内搜索评价值为最大的倾斜参数。并且，例如，限制条件生成部130可以在由pitch方向分类器133以及yaw方向分类器134识别为在pitch方向以及yaw方向上无旋转的情况下，生成将与基准图像的特征点的坐标成为同一坐标的位置周围的恰当的范围设定为搜索范围的限制条件。据此，参数计算部140能够以高精确度计算参数。

图18是用于说明在识别为roll方向无旋转的情况下的倾斜参数的解的搜索范围的图。如图18所示，倾斜角度检测部141通过利用使±s作为解的搜索范围的限制条件，从而能够计算a＝a2为正确的倾斜角度，而非计算评价值为最大的a＝a3为正确的倾斜角角度。

并且，限制条件生成部130可以为了补偿各个旋转方向的分类器的识别错误，生成使上述实施例的规定的宽度放宽规定的宽度作为搜索范围的限制条件。例如，在识别为yaw方向的运动是“正的方向”的情况下，限制条件生成部130不是严密地将范围a≥0作为搜索范围，而是生成将a≥-s设定为搜索范围的限制条件。而另一方面，在识别为yaw方向的运动是“负的方向”的情况下，限制条件生成部130生成将a≤s设定为搜索范围的限制条件。据此，参数计算部140，即使在各个方向的分类器因为计算评价值Z时混入的变分成分而错误地识别了各个旋转方向上的运动的情况下，或传感器未能检测出的小而缓慢的运动的情况下，也能够计算正确的参数。也就是说，通过限制条件生成部130进行这样的补偿处理，参数计算部140能够提高参数的计算精确度。

并且，在上述实施例中，限制条件生成部130按照由各个旋转方向的分类器识别出的摄影装置的运动，生成用于限定在参数计算部140计算参数时的参数值(解)的范围，但是本发明所涉及的摄影装置并不限定于这样的摄影装置。例如，本发明所涉及的摄影装置可以按照由各个旋转方向的分类器识别出的摄影装置的运动，生成用于对参数进行加权的限制条件。此时，参数计算部140利用限制条件中包括的加权，针对成为候补的解的值(候补值)计算评价值。并且，参数计算部140计算所计算出的评价值为最高的候补值以作为参数。

并且，在上述实施例中，晃动检测部142通过特征点匹配计算平行移动量，但是不必限定于特征点匹配。例如，晃动检测部142可以利用光流(optical flow)、模式匹配等其他匹配算法来计算平行移动量。

并且，在上述实施例中，由晃动检测部142计算平行移动量，但是也可以利用能够同时处理旋转和平行移动的匹配算法来同时计算旋转角度和平行移动量。例如，晃动检测部142可以将图像投射到球面，使该球面以原点为中心旋转来进行匹配。据此，晃动检测部142能够同时进行围绕roll、pitch以及yaw这三个轴的匹配。并且，图像校正部150使投射在球面的图像按照由晃动检测部142计算出的roll、pitch以及yaw各自的旋转量来旋转。而且，图像校正部150通过将旋转后的图像再逆投射到平面，从而能够校正旋转和平行移动这双方。

并且，晃动检测部142可以利用POC(Phase Only Correlation：相位相关算法)等分析方法来计算平行移动量等，而非利用匹配算法。此时，因为POC法不能同时处理旋转和平行移动，因此最好是利用由倾斜角度检测部141计算出的图像的倾斜角度，在由晃动检测部142计算平行移动量之前从图像中去除旋转成分的晃动。

并且，在上述的实施例中，参数计算部140计算了用于调整影像数据中包括的、在时间上相邻的图像间的位置的参数，但是本发明所涉及的摄影装置可以不必针对时间上相邻的图像间计算参数。例如，参数计算部140可以预先决定成为基准的图像，计算用于调整所决定的图像和其他图像间的位置的参数。

另外，本发明不仅能够作为摄影装置来实现，而且能够作为具备摄影装置中包括的图像处理部具有的构成部的图像处理装置来实现。并且，也能够作为将这样的图像处理装置中包括的具有特征的构成部作为步骤的图像处理方法来实现，或作为使计算机执行这样的具有特征的步骤的程序来实现。并且，不言而喻，这样的程序能够通过CD-ROM等记录介质以及互联网等传送介质来使其流通。

并且，本发明也可以作为实现图像处理装置的功能的全部或一部分的集成电路(LSI)来实现。例如，如图19所示，集成电路4000至少具备接口部120、限制条件生成部130以及参数计算部140。

并且，本发明也可以作为实现图像处理装置的功能的全部或一部分的再生装置来实现。例如，如图20所示，再生装置5000具备图像处理部103和再生部5001。再生部5001再生由图像校正部150校正后的影像数据。

本发明的摄影装置作为校正因为摄影装置产生的运动而导致的图像的旋转以及摄影区域的变动的装置有用，不仅能够适用于以数字静像照相机、数字摄像机为首的摄影装置，而且也能够适用于佩戴在身体上进行免提拍摄的小型摄影装置。