图像处理装置、图像处理方法、图像处理用计算机程序以及存储有图像处理用计算机程序的信息记录媒介

摘要

本发明能够实现可简单地且减少质量差异地生成感觉到自然立体感的3D影像的图像处理；本发明涉及图像处理装置(1)和能够被该图像处理装置(1)读入并执行的图像处理用计算机程序，图像处理装置(1)至少具备：读入构成视频的多个图像帧内的一个或两个以上图像帧的图像帧读入部(15)、在读入的图像帧内接收区域边界线信息的区域边界线信息接收部(16)、以区域边界线上的规定的点为起点使分割区域扩张并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧的区域分割部(17)、将分割线中的存在于两条区域边界线之间的第一分割线保留并使分割线中的第一分割线以外的第二分割线开口的开口处理部(18)、对由第一分割线围成的区域的单位进行分离的分离部(19)、以及对由第一分割线围成的区域赋予表示该区域远近程度的深度值的第一深度值赋予部(20)。

说明书

(交叉引用)

本申请要求2013年2月18日于日本申请的特愿2013-28615号的优先权，该作为优先权基础的申请中所记载的内容援引于本说明书中。另外，本申请中引用的专利、专利申请以及文献中所记载的内容也援引于本说明书中。

技术领域

本发明涉及图像处理装置尤其是在将2D影像转换为3D影像时所使用的进行图像处理用的装置、使用该装置的图像处理方法、能够读入该装置中并执行的图像处理用计算机程序、以及存储有该图像处理用计算机程序的信息记录媒介。

背景技术

最近，使用了3D影像的电影备受关注。3D影像是利用人眼左右之间相离约65mm而左眼和右眼感受到的影像不同由此产生的两眼视差所实现的。由于人的左眼和右眼看到的是各不相同的2D影像，因此，当这些2D影像从视网膜表面的神经节细胞经由视神经传递至大脑中枢时，大脑对这些2D影像进行融合处理，从而作为立体影像来识别。

作为3D影像技术而众所周知的体视化(stereoscopic)立体影像技术是将两台摄像机镜头所存储的两种2D影像分为左眼用影像和右眼用影像并向人的左眼和右眼分别提供各影像，由此表现立体感的技术。但是，装有两台摄像机镜头的立体摄像机价格很高，并且存在如下的问题：即，为了实现高质量的3D影像需要考虑的事项极其多且复杂，如需要考虑立体摄像机的排列方式、各相机间的距离、角度及焦点的对准方式、使基于相机排列的几何学问题与色彩感或亮度等一致的作业等。因此，一般情况下，不是从最开始就制作3D影像，而是使用将2D影像转换为3D影像的方法。

3D影像能够通过对原始的2D影像的各目标物体(object)仅移动与规定深度信息相当的两眼视差而生成。即，在将2D影像转换为3D影像时，需要生成2D影像内的深度图(depthmap)这一过程。深度图作为表示相对于2D影像内的目标物体的三维距离的地图，每一像素能够表现为0～255之间的灰色标度值。深度值是值越大(指亮度颜色)，表示观看影像的位置距离越近。如此，由于3D影像是利用2D影像和上述深度信息来生成，因此，在从2D影像制作高质量的3D影像时，需要正确地生成深度图。在生成正确的深度图时，应综合考虑构成2D影像的各图像帧(imageframe)内的目标物体与背景的关系、目标物体的位置、目标物体间的重叠(overlap)、目标物体的体积等。因此，生成正确的深度图的作业是如下作业：即，由专业技术人员重叠一个一个的目标物体并目视确认目标物体与背景的重叠，并且，沿着目标物体的轮廓、目标物体内的规定区域的轮廓以大致像素单位分割欲立体化的区域。

另外，除了上述人工操作的作业之外，作为用于提取图像内的对象区域的区域分割方法的一种，已知有分水岭算法(WaterShedalgorithm)。该算法是指：以地形而言的话，将图像内的灰色标度信息(亮度等)视为高度，并且，以在该地形中填满水时能够划分出积存在不同凹处的水之间的边界这一方式将图像进行分割的方法。利用上述算法，也能够将构成2D影像的各帧(图像)内的目标物体分割为多个区域(例如，参照专利文献1、2)

【现有技术文献】

【专利文献】

专利文献1：国际公开WO2006/080239号

专利文献2：日本公报、特开2008-277932号

发明内容

(发明所要解决的课题)

但是，在上述现有技术中存在如下问题。首先，通过特殊技术者的手工作业对构成2D影像的图像帧内的目标物体、进而各目标物体内的区域进行分割的方法，需要非常多的的时间，在将2D影像转换为3D影像的工序中也最为需要时间和劳力。因此，存在深度图生成工序所涉及的成本高这一问题。而且，由于操作者技术高低的不同也会造成深度图质量出现变动，因此也存在最终形成的3D影像的质量容易变动这一问题。

另一方面，利用分水岭算法的区域分割方法由于是使用软件对各区域自动地进行分割，因此，相比由特殊技术者进行的手工作业在成本方面有利。但是，在使用分水岭算法时，存在对于3D影像的生成而言执行了过度分割(过分割)这一问题。作为抑制该过分割的方法，例如已知有在分水岭算法中加入区域合并(regionintegration)的处理，当色差在某一阈值内时视为同一区域，从而在分水区域内不形成边界的方法。

另外，如专利文献2所公开，还已知有如下方法：即，利用各向异性扩散滤波器，在2D影像的各图像帧内的目标物体间、或者目标物体与背景图像之间、同一目标物体内的区域之间的边缘的切线方向和边缘的垂直方向上，进行不同程度的平滑处理，在不损毁边缘形状的情况下去除噪音，从而消除区域分割中不需要的图案而抑制过分割。

但是，即使采用上述这些过分割抑制方法，也难以生成感觉到自然立体感的3D影像用帧。

本发明的目的在于解决上述课题，即，实现能够简单地且减少质量差异地生成感觉到自然立体感的3D影像的图像处理。

为了实现上述目的，本发明人利用目前公知的分水岭算法的一部分，成功地开发了全新的过分割抑制方法。利用分水岭算法时的区域的过分割一直以来被视作问题，也存在抑制该过分割的方法。但是，该现有的过分割抑制方法适合用作通过内窥镜等拍摄的活体器官的静止图像的处理，但是，不适合用作将2D视频转换为3D视频的处理。前者的静止图像必须在抑制过分割的同时将活体器官的细微部分的凹凸以一定程度的高精度进行描绘。相对于此，在构成后者的3D图像的各帧的情况下，只要使观看视频的用户在视觉上立体地感受到作为图像帧中主要部分的目标物体即可，无需描绘至表现出细微部分的凹凸。即，在后者的视频的情况下，需要提高过分割的抑制程度。从该观点出发，本发明人考虑了如下方法：即，利用操作者的手工操作将图像帧内的各目标物体分为几块时，能够通过计算机正确地切取这些块的轮廓的方法。关于赋予各块的深度信息，通过由操作者视觉赋予或由计算机自动赋予中的任意一种方式进行。具体方法如下所述。

本发明实施方式涉及的图像处理装置至至少具备：图像帧读入单元，其读入构成视频的多个图像帧内的一个或两个以上的图像帧；区域边界线信息接收单元，其在读入的图像帧内接收区域边界线的信息；区域分割单元，其以区域边界线上的规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧；开口处理单元，其将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线以外的第二分割线开口；分离单元，其对由第一分割线围成的区域的单位进行分离；以及第一深度值赋予单元，其对由第一分割线围成的区域赋予表示该区域的远近程度的深度值。

本发明另一实施方式涉及的图像处理装置进而具备在区域边界线上生成多个起点的起点生成单元。

本发明另一实施方式涉及的图像处理装置，进而使区域边界线信息接收单元为接收以背景以外的目标物体作为对象而指示的区域边界线的信息这一单元；并且，该图像处理装置至少具备：背景边界线信息接收单元，其在图像帧内接收以背景作为对象而指示的背景边界线的信息；第二深度值赋予单元，其对由背景边界线围成的区域赋予表示该区域的远近程度的深度值；以及目标物体与背景合成单元，其将由第一深度值赋予单元赋予了深度值的目标物体与由第二深度值赋予单元赋予了深度值的背景进行合成。

本发明另一实施方式涉及的图像处理装置，进而具备：定位点有无判断单元，其判断定位点的存在情况，该定位点是指在图像帧内存在多个目标物体和/或构成背景的背景内区域并表示背景中目标物体的位置和/或背景内区域的位置；目标物体规定部位的位置确定单元，在存在定位点时，该目标物体规定部位的位置确定单元对多个目标物体和/或构成背景的背景内区域的规定部位的位置进行确定；以及深度值决定单元，其根据由目标物体规定部位的位置确定单元确定的位置，决定表示目标物体和/或背景内区域的远近程度的深度值；并且，第一深度值赋予单元和/或第二深度值赋予单元对目标物体和/或背景内区域赋予深度值。

本发明另一实施方式涉及的图像处理装置能够在构成视频的多个图像帧内存在已生成区域边界线的第一图像帧时，在按照时间序列存在于第一图像帧之后的第二图像帧内自动地生成区域边界线，该图像处理装置进而具备：第一特征点接收单元，其接收存在于第一图像帧的区域边界线内的第一特征点的坐标值；第二特征点确定单元，其在第二图像帧内确定与第一特征点的坐标值对应的第二特征点的坐标值；以及区域边界线自动生成单元，其根据从第一特征点向第二特征点移动的信息，在第二图像帧内自动生成与第一图像帧的区域边界线相对应的新区域边界线。

本发明另一实施方式涉及的图像处理装置进而具备第二特征点搜索单元，其中，在第二特征点确定单元进行处理之前，第二特征点搜索单元根据像素的颜色和亮度中的至少一者的近似程度，搜索与第一特征点的坐标值相对应的第二特征点。

本发明另一实施方式涉及的图像处理装置进而具备：接收图像帧数指定单元，其接收执行区域边界线自动生成单元的处理的图像帧数量的指定，和帧数判断单元，其判断执行了自动生成新区域边界线的处理的图像帧数量是否到达指定的图像帧数；并且，在通过帧数判断单元判断为已到达指定的图像帧数之前，使第一特征点接收单元、第二特征点确定单元及区域边界线自动生成单元执行各自的处理。

本发明另一实施方式涉及的图像处理装置能够在构成视频的多个图像帧内存在已对由第一分割线围成的区域赋予深度值的第一图像帧时，对按时间序列存在于第一图像帧之后的第二图像帧内的、与被第一分割线围成的区域相对应的区域自动地生成深度值，该图像处理装置进而具备：像素深度值分配单元，其对第一图像帧内的由第一分割线围成的区域中所存在的一个以上的第一像素，分配第一分割线围成的区域所被赋予的深度值；像素移动位置跟踪单元，其对第一像素移动为第二图像帧内的哪一像素这一情况进行跟踪，以及深度值自动生成单元，其对第二图像帧内的区域且是由第一像素移动后的第二像素构成的区域，自动地生成由像素深度值分配单元分配的深度值。

本发明实施方式涉及的图像处理方法是使用上述最上位概念的图像处理装置来执行的图像处理方法，该图像处理方法至少包括：图像帧读入步骤：读入构成视频的多个图像帧内的一个或两个以上的图像帧；区域边界线信息接收步骤：在读入的图像帧内接收区域边界线的信息；区域分割步骤：以区域边界线上的规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧；开口处理步骤：将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线以外的第二分割线开口；分离步骤：对由第一分割线围成的区域的单位进行分离；以及第一深度值赋予步骤：对由第一分割线围成的区域赋予表示该区域的远近程度的深度值。

本发明另一实施方式涉及的图像处理方法进而包括在区域边界线上生成多个起点的起点生成步骤。

本发明另一实施方式涉及的图像处理方法，进而使区域边界线信息接收步骤为接收以背景以外的目标物体作为对象而指示的区域边界线的信息这一步骤；并且，该图像处理方法至少包括：背景边界线信息接收步骤：在图像帧内接收以背景作为对象而指示的背景边界线的信息；第二深度值赋予步骤：对由背景边界线围成的区域赋予表示该区域的远近程度的深度值；以及目标物体与背景合成步骤：将由第一深度值赋予步骤赋予了深度值的目标物体与由第二深度值赋予步骤赋予了深度值的背景进行合成。

本发明另一实施方式涉及的图像处理方法，进而包括：定位点有无判断步骤：判断定位点的存在情况，该定位点是指在图像帧内存在多个目标物体和/或构成背景的背景内区域并表示背景中目标物体的位置和/或背景内区域的位置；目标物体规定部位的位置确定步骤：在存在定位点时，对多个目标物体和/或构成背景的背景内区域的规定部位的位置进行确定；以及深度值决定步骤：根据由目标物体规定部位的位置确定步骤确定的位置，决定表示目标物体和/或背景内区域的远近程度的深度值；并且，通过第一深度值赋予步骤和/或第二深度值赋予步骤，对目标物体和/或背景内区域赋予深度值。

本发明另一实施方式涉及的图像处理方法，能够在构成视频的多个图像帧内存在已生成区域边界线的第一图像帧时，在按照时间序列存在于第一图像帧之后的第二图像帧内自动地生成区域边界线，该图像处理方法进而包括：第一特征点接收步骤：接收存在于第一图像帧的区域边界线内的第一特征点的坐标值；第二特征点确定步骤：在第二图像帧内确定与第一特征点的坐标值对应的第二特征点的坐标值；以及区域边界线自动生成步骤：根据从第一特征点向第二特征点移动的信息，在第二图像帧内自动生成与第一图像帧的区域边界线相对应的新区域边界线。

本发明另一实施方式涉及的的图像处理方法进而包括第二特征点搜索步骤，其中，在进行第二特征点确定步骤的处理之前，在第二特征点搜索步骤中根据像素的颜色和亮度中的至少一者的近似程度，搜索与第一特征点的坐标值相对应的第二特征点。

本发明另一实施方式涉及的图像处理方法，进而包括：接收图像帧数指定步骤：接收执行区域边界线自动生成步骤的处理的图像帧数量的指定，和帧数判断步骤：判断执行了自动生成新区域边界线的处理的图像帧数量是否到达指定的图像帧数；并且，该图像处理方法在通过帧数判断步骤判断为已到达指定的图像帧数之前，执行第一特征点接收步骤、第二特征点确定步骤及区域边界线自动生成步骤。

本发明另一实施方式涉及的图像处理方法，能够在构成视频的多个图像帧内存在已对由第一分割线围成的区域赋予深度值的第一图像帧时，对按时间序列存在于第一图像帧之后的第二图像帧内的、与被第一分割线围成的区域相对应的区域自动地生成深度值，该图像处理方法进而包括：像素深度值分配步骤：其对第一图像帧内的由第一分割线围成的区域中所存在的一个以上的第一像素，分配第一分割线围成的区域所被赋予的深度值；像素移动位置跟踪步骤：对第一像素移动为第二图像帧内的哪一像素这一情况进行跟踪；以及深度值自动生成步骤：对第二图像帧内的区域且是由第一像素移动后的第二像素构成的区域，自动地生成通过像素深度值分配步骤分配的深度值。

本发明实施方式涉及的图像处理用计算机程序是读入计算机中执行的计算机程序，该图像处理用计算机程序使计算机进一步执行图像帧读入单元、区域边界线信息接收单元、区域分割单元、开口处理单元、分离单元以及第一深度值赋予单元的各单元功能；其中，图像帧读入单元读入构成视频的多个图像帧内的一个或两个以上的图像帧；区域边界线信息接收单元在读入的图像帧内接收区域边界线的信息；区域分割单元以区域边界线上的规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧；开口处理单元将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线以外的第二分割线开口；分离单元对由第一分割线围成的区域的单位进行分离；第一深度值赋予单元对由第一分割线围成的区域赋予表示该区域的远近程度的深度值。

本发明另一实施方式涉及的图像处理用计算机程序，进而使计算机执行在区域边界线上生成多个起点的起点生成单元的功能。

本发明另一实施方式涉及的图像处理用计算机程序，使区域边界线信息接收单元为接收以背景以外的目标物体作为对象而指示的区域边界线的信息这一单元；并且，该图像处理用计算机程序使计算机进一步执行背景边界线信息接收单元、第二深度值赋予单元、以及目标物体与背景合成单元的各功能，其中，背景边界线信息接收单元在图像帧内接收以背景作为对象而指示的背景边界线的信息，第二深度值赋予单元对由背景边界线围成的区域赋予表示该区域的远近程度的深度值，目标物体与背景合成单元将由第一深度值赋予单元赋予了深度值的目标物体与由第二深度值赋予单元赋予了深度值的背景进行合成。

本发明另一实施方式涉及的图像处理用计算机程序，使计算机进一步执行定位点有无判断单元、目标物体规定部位的位置确定单元、以及深度值决定单元的各功能；其中，定位点有无判断单元判断定位点的存在情况，该定位点是指在图像帧内存在多个目标物体和/或构成背景的背景内区域并表示背景中目标物体的位置和/或背景内区域的位置；在存在定位点时，该目标物体规定部位的位置确定单元对多个目标物体和/或构成背景的背景内区域的规定部位的位置进行确定；深度值决定单元根据由目标物体规定部位的位置确定单元确定的位置，决定表示目标物体和/或背景内区域的远近程度的深度值；并且，利用第一深度值赋予单元和/或第二深度值赋予单元的功能对目标物体和/或背景内区域赋予深度值。

本发明另一实施方式涉及的图像处理用计算机程序，能够在构成视频的多个图像帧内存在已生成区域边界线的第一图像帧时，在按照时间序列存在于第一图像帧之后的第二图像帧内自动地生成区域边界线；该图像处理用计算机程序使计算机进一步执行第一特征点接收单元、第二特征点确定单元、以及区域边界线自动生成单元的各功能；其中，第一特征点接收单元接收存在于第一图像帧的区域边界线内的第一特征点的坐标值，第二特征点确定单元在第二图像帧内确定与第一特征点的坐标值对应的第二特征点的坐标值，区域边界线自动生成单元根据从第一特征点向第二特征点移动的信息，在第二图像帧内自动生成与第一图像帧的区域边界线相对应的新区域边界线。

本发明另一实施方式涉及的图像处理用计算机程序，使计算机进一步执行第二特征点搜索单元的功能，其中，在第二特征点确定单元进行处理之前，第二特征点搜索单元根据像素的颜色和亮度中的至少一者的近似程度，搜索与第一特征点的坐标值相对应的第二特征点。

本发明另一实施方式涉及的图像处理用计算机程序，使计算机进一步执行接收图像帧数指定单元和帧数判断单元的各功能，其中，接收图像帧数指定单元接收执行区域边界线自动生成单元的处理的图像帧数量的指定，帧数判断单元判断执行了自动生成新区域边界线的处理的图像帧数量是否到达指定的图像帧数；并且，在通过帧数判断单元判断为已到达指定的图像帧数之前，使第一特征点接收单元、第二特征点确定单元及区域边界线自动生成单元执行各自的处理。

本发明另一实施方式涉及的图像处理用计算机程序，能够在构成视频的多个图像帧内存在已对由第一分割线围成的区域赋予深度值的第一图像帧时，对按时间序列存在于第一图像帧之后的第二图像帧内的、与被第一分割线围成的区域相对应的区域自动地生成深度值；该图像处理用计算机程序使计算机进一步执行像素深度值分配单元、像素移动位置跟踪单元、以及深度值自动生成单元的各功能；其中，像素深度值分配单元对第一图像帧内的由第一分割线围成的区域中所存在的一个以上的第一像素，分配第一分割线围成的区域所被赋予的深度值；像素移动位置跟踪单元对第一像素移动为第二图像帧内的哪一像素这一情况进行跟踪；深度值自动生成单元对第二图像帧内的区域且是由第一像素移动后的第二像素构成的区域，自动地生成由像素深度值分配单元分配的深度值。

本发明实施方式涉及的存储有图像处理用计算机程序的信息记录媒介是存储有被计算机读入并执行的计算机程序的信息记录媒介，该信息记录媒介使计算机进一步执行图像帧读入单元、区域边界线信息接收单元、区域分割单元、开口处理单元、分离单元以及第一深度值赋予单元的各单元功能；其中，图像帧读入单元读入构成视频的多个图像帧内的一个或两个以上的图像帧；区域边界线信息接收单元在读入的图像帧内接收区域边界线的信息；区域分割单元以区域边界线上的规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧；开口处理单元将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线以外的第二分割线开口；分离单元对由第一分割线围成的区域的单位进行分离；第一深度值赋予单元对由第一分割线围成的区域赋予表示该区域的远近程度的深度值。

本发明另一实施方式涉及的存储有图像处理用计算机程序的信息记录媒介，进而使计算机执行在区域边界线上生成多个起点的起点生成单元的功能。

本发明另一实施方式涉及的存储有图像处理用计算机程序的信息记录媒介，使区域边界线信息接收单元为接收以背景以外的目标物体作为对象而指示的区域边界线的信息这一单元；并且，该存储有图像处理用计算机程序的信息记录媒介使计算机进一步执行背景边界线信息接收单元、第二深度值赋予单元、以及目标物体与背景合成单元的各功能；其中，背景边界线信息接收单元在图像帧内接收以背景作为对象而指示的背景边界线的信息，第二深度值赋予单元对由背景边界线围成的区域赋予表示该区域的远近程度的深度值，目标物体与背景合成单元将由第一深度值赋予单元赋予了深度值的目标物体与由第二深度值赋予单元赋予了深度值的背景进行合成。

本发明另一实施方式涉及的存储有图像处理用计算机程序的信息记录媒介，使计算机进一步执行定位点有无判断单元、目标物体规定部位的位置确定单元、以及深度值决定单元的各功能；其中，定位点有无判断单元判断定位点的存在情况，该定位点是指在图像帧内存在多个目标物体和/或构成背景的背景内区域并表示背景中目标物体的位置和/或背景内区域的位置；在存在定位点时，目标物体规定部位的位置确定单元对多个目标物体和/或构成背景的背景内区域的规定部位的位置进行确定；深度值决定单元根据由目标物体规定部位的位置确定单元确定的位置，决定表示目标物体和/或背景内区域的远近程度的深度值；并且，利用第一深度值赋予单元和/或第二深度值赋予单元的功能对目标物体和/或背景内区域赋予深度值。

本发明另一实施方式涉及的存储有图像处理用计算机程序的信息记录媒介，能够在构成视频的多个图像帧内存在已生成区域边界线的第一图像帧时，在按照时间序列存在于第一图像帧之后的第二图像帧内自动地生成区域边界线；并且，该存储有图像处理用计算机程序的信息记录媒介使计算机进一步执行第一特征点接收单元、第二特征点确定单元、以及区域边界线自动生成单元的各功能；其中，第一特征点接收单元接收存在于第一图像帧的区域边界线内的第一特征点的坐标值，第二特征点确定单元在第二图像帧内确定与第一特征点的坐标值对应的第二特征点的坐标值，区域边界线自动生成单元根据从第一特征点向第二特征点移动的信息，在第二图像帧内自动生成与第一图像帧的区域边界线相对应的新区域边界线。

本发明另一实施方式涉及的存储有图像处理用计算机程序的信息记录媒介，使计算机进一步执行第二特征点搜索单元的功能，其中，在第二特征点确定单元进行处理之前，第二特征点搜索单元根据像素的颜色和亮度中的至少一者的近似程度，搜索与第一特征点的坐标值相对应的第二特征点。

本发明另一实施方式涉及的存储有图像处理用计算机程序的信息记录媒介，使计算机进一步执行接收图像帧数指定单元和帧数判断单元的各功能，其中，接收图像帧数指定单元接收执行区域边界线自动生成单元的处理的图像帧数量的指定，帧数判断单元判断执行了自动生成新区域边界线的处理的图像帧数量是否到达指定的图像帧数；并且，在通过帧数判断单元判断为已到达指定的图像帧数之前，使第一特征点接收单元、第二特征点确定单元及区域边界线自动生成单元执行各自的处理。

本发明另一实施方式涉及的存储有图像处理用计算机程序的信息记录媒介，能够在构成视频的多个图像帧内存在已对由第一分割线围成的区域赋予深度值的第一图像帧时，对按时间序列存在于第一图像帧之后的第二图像帧内的、与被第一分割线围成的区域相对应的区域自动地生成深度值；并且，该存储有图像处理用计算机程序的信息记录媒介使计算机进一步执行像素深度值分配单元、像素移动位置跟踪单元、以及深度值自动生成单元的各功能；其中，像素深度值分配单元对第一图像帧内的由第一分割线围成的区域中所存在的一个以上的第一像素，分配第一分割线围成的区域所被赋予的深度值；像素移动位置跟踪单元对第一像素移动为第二图像帧内的哪一像素这一情况进行跟踪；深度值自动生成单元对第二图像帧内的区域且是由第一像素移动后的第二像素构成的区域，自动地生成由像素深度值分配单元分配的深度值。

(发明效果)

根据本发明，能够实现可简单地且减少质量差异地生成感觉到自然立体感的3D影像的图像处理。

附图说明

图1是表示本发明实施方式涉及的图像处理装置的模式图。

图2是表示构成视频的一个图像帧的例子。

图3是表示图1的图像处理装置的操作者在图2的图像帧上描绘出区域边界线的状态。

图4是表示在图3的图像帧上进行了区域分割后的状态。

图5是表示在图4的图像帧上进行了分离处理和第一深度值赋予处理后的状态。

图6是表示利用图1的图像处理装置对构成视频的图像帧执行3D影像用的图像处理的流程图。

图7是表示利用图1的图像处理装置执行的应用例的流程。

图8是表示对利用图1的图像处理装置所执行的深度值的自动赋予进行说明用的适宜图像例。

图9是表示利用图1的图像处理装置自动赋予深度值的适宜处理的流程图。

图10是表示本发明第二实施方式涉及的图像处理装置的模式图。

图11是表示使用图10的图像处理装置执行的处理的一例的说明图。

图12是继图11之后的图。

图13是表示对使用了图10的图像处理装置的图像处理方法详细地进行说明的图。

图14是表示对使用了图10的图像处理装置的图像处理方法的处理流程进行说明用的流程图。

图15是表示本发明第三实施方式涉及的图像处理装置的模式图。

图16是表示使用图15的图像处理装置执行的处理的一例的说明图。

图17是表示对使用了图15的图像处理装置的图像处理方法的处理流程进行说明用的流程图。

(符号说明)

1图像处理装置(计算机)

15图像帧读入部(图像帧读入单元)

16区域边界线信息接收部(区域边界线信息接收单元)

17区域分割部(区域分割单元)

18开口处理部(开口处理单元)

19分离部(分离单元)

20第一深度值赋予部(第一深度值赋予单元)

21起点生成部(起点生成单元)

22背景边界线信息接收部(背景边界线信息接收单元)

23第二深度值赋予部(第二深度值赋予单元)

25目标物体与背景合成部(目标物体与背景合成单元)

26定位点有无判断部(定位点有无判断单元)

27目标物体规定部位的位置确定部(目标物体规定部位的位置确定单元)

28深度值决定部(深度值决定单元)

40图像(图像帧或帧)

41背景

42歌手(目标物体)

43～45人物(目标物体)

51～59区域边界线

60起点

70第一分割线(分割线之一)

75第二分割线(分割线之一)

80图像(图像帧或帧)

81背景

82～86目标物体

82a～86a规定部位

87定位点

A头部(区域)

B手臂(区域)

C胸部(区域)

D～F区域

100、200图像处理装置(计算机)

150选择数据接收部(包括接收图像帧数指定单元)

151第一特征点接收部(第一特征点接收单元)

152第二特征点搜索部(第二特征点搜索单元)

153第二特征点确定部(第二特征点确定单元)

156区域边界线自动生成部(区域边界线自动生成单元)

157第一帧数判断部(帧数判断单元)

182鼻子(第一特征点的一例)

182a鼻子(第二特征点的一例)

183、184区域边界线

183、184区域边界线

183a、184a(新的)区域边界线

183b、184b(新的)区域边界线

192像素深度值分配部(像素深度值分配单元)

193像素移动位置跟踪部(像素移动位置跟踪单元)

194深度值自动生成部(深度值自动生成单元)

具体实施方式

接下来，参照附图对本发明的各实施方式进行说明。

<A第一实施方式>

1.图像处理装置和图像处理方法

图1是表示本发明的实施方式涉及的图像处理装置的模式图。

本实施方式涉及的图像处理装置1包括：输入部10、存储部11、外部存储器装填部12、通信部13、界面(interface)14、图像帧(imageframe)读入部15、区域边界线信息接收部16、区域分割部17、开口处理部18、分离部19、第一深度值赋予部20、起点生成部21、背景边界线信息接收部22、第二深度值赋予部23、目标物体(object)与背景分离部24、目标物体与背景合成部25、定位点(locationpoint)有无判断部26、目标物体规定部位的位置确定部27、以及深度值决定部28。这些结构部按照各结构部功能的不同进行划分并显示，并不一定是指被物理划分的硬件。

输入部10是操作图像处理装置1的操作者进行各种输入的部分，并且由键盘、指示器(pointingdevice)、使用了接触式传感器的接触式操作板等构成。存储部11是将包括本实施方式在内的所有实施方式涉及的图像处理用计算机程序等各种信息加以存储的区域，并且由读取专用的ROM(只读存储器)、可读写的RAM(随机存取存储器)、EEPROM(电擦除可编程只读存储器)、或者硬盘等各种存储装置构成。例如，视频被存储在存储部11中。外部存储器装填部12是相对于图像处理装置1插入或连接CD-R(刻录光盘)、USB存储器(闪存)、MD(磁盘)、软磁盘等可携带的信息记录媒介30，从而成为存储在该信息记录媒介30中的信息的入口的部位。信息记录媒介30是能够存储本发明实施方式涉及的图像处理用计算机程序的设备。另外，信息记录媒介30也可以存储视频。

通信部13是通过无线或有线方式与图像处理装置1的外部进行通信，从而从外部接收信息或向外部发送信息的部位。通信部13为进行无线通信的部位时，还包括天线等。界面14是成为与图像处理装置1的外部连接的连接口的部位，并且，除了包括与以光纤为代表的通信线等物理连接的连接口之外，还包括红外线的接收部等感光部。例如，在将视频保存在外部服务器中时，通信部13可以经由网络从界面14安装视频数据，并存储到存储部11中。

通信部13、图像帧读入部15、区域边界线信息接收部16、区域分割部17、开口处理部18、分离部19、第一深度值赋予部20、起点生成部21、背景边界线信息接收部22、第二深度值赋予部23、目标物体与背景分离部24和目标物体与背景合成部25、定位点有无判断部26、目标物体规定部位的位置确定部27以及深度值决定部28的一部分或全部，由CPU或MPU等处理装置构成。

图像帧读入部15是作为将构成视频的多个图像帧内的一个或两个以上图像帧读入的图像帧读入单元发挥功能的部位。图像帧也仅称为“图像”或“帧”，指的是构成视频的各静止图像。在本实施方式中，视频虽是作为其一例的2D影像，但是广义地解释为包括3D影像。通常，视频是通过以每30mses(兆秒)一幅的速度连续地显示帧而构成。图像帧读入部15例如既可以将10s内所显示的帧一次性读入，或者也可以仅读入一幅帧。由图像帧读入部15读入的一幅以上的帧被保存在图像帧读入部15中。这意味着：图像帧读入部15兼作CPU等处理装置和RAM等存储装置。但是，由图像帧读入部15读入的帧也可以存储在存储部11内。在该情况下，图像帧读入部15仅具有CPU等处理装置的功能。在图像帧读入部15执行读入处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行读入处理。

区域边界线信息接收部16是作为在由图像帧读入部15所读入的图像帧内接收区域边界线信息的区域边界线信息接收单元发挥功能的部位。在此，所谓的“区域边界线”，是指使用图像处理装置1制作用于3D影像的图像的操作者沿着帧内的目标物体(例如人、物体)、或者目标物体内的规定区域和/或背景内所显现的规定区域(例如，背景为天空时的云等，背景为水中时的射入水中的光等)的轮廓的外侧和内侧进行描绘的线。该线是点(dot)的集合。因此，区域边界线的信息较佳为构成区域边界线的点的坐标。

当操作者沿着帧内的一个或多个目标物体、各目标物体内的规定区域、背景内规定区域的各轮廓的外侧和内侧描绘区域边界线时，区域边界线信息接收部16接收构成该线的点的坐标。区域边界线信息接收部16的接收由操作者通过特殊操作来执行，或者也可以在作成线的过程中每隔一定时间自动地执行。在区域边界线信息接收部16兼作CPU等处理装置和RAM等存储装置时，将所接收的信息存储到内部。另一方面，在区域边界线信息接收部16仅具有CPU等处理装置的功能时，也可以将所接收的信息存储到存储部11内。在区域边界线信息接收部16执行接收处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行接收处理。

区域分割部17是作为区域分割单元发挥功能的部位，其中，该区域分割单元以区域边界线上规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线来分割区域边界线的内侧与外侧。在此，所谓的“起点”，可以是构成区域边界线的所有点，或者也可以是区域边界线上的每隔规定间隔设定的点。区域分割部17较佳为根据分水岭算法(WatershedAlgorithm)在从起点扩张区域的同时制作分割线。区域分割部17将由区域边界线隔开的两侧区域作为分割对象。因此，例如，当在目标物体的轮廓的内侧与外侧分别存在区域边界线时，在夹在两条区域边界线之间的区域、由外侧的区域边界线划分而成的两个区域内的与内侧区域边界线呈相反侧的区域、由内侧的区域边界线划分而成的两个区域内的与外侧区域边界线呈相反侧的区域中，制作分割线。

区域分割部17由CPU等处理装置构成。在区域分割部17根据分水岭算法执行区域分割时，优选在读取存储部11或信息记录媒介30中所存储的带有分水岭算法的图像处理用计算机程序的同时执行区域分割处理。

开口处理部18是作为开口处理单元发挥功能的部位，其中，该开口处理单元将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线之外的第二分割线开口。开口处理前的分割线为封闭状的线。开口处理部18将处于两条区域边界线之间的第一分割线保留并使其他的分割线(第二分割线)开口。其结果是，仅第一分割线保持呈封闭状不变，其余的分割线则变为开口状态，其中，该第一分割线在存在于操作者所描绘的两条区域边界线之间的目标物体的大致轮廓上通过。

开口处理部18由CPU等处理装置构成。在开口处理部18执行开口处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行开口处理。

分离部19是作为对由第一分割线围成的区域单位进行分离的分离单元发挥功能的部位。即，为了制作3D影像，分离部19执行将各帧内的目标物体分为几个区域的处理。由此，一个目标物体变为具有多个深度信息不同的区域。分离部19由CPU等处理装置构成。在分离部19执行分离处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行分离处理。

另外，分离部19优选具有如下功能：即，将由以背景为对象沿着背景边界临摹的背景边界线(详情之后叙述)所划分的区域进行分离这一功能。在分离部19执行分离处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行分离处理。

第一深度值赋予部20是作为对由第一分割线围成的区域赋予表示该区域远近程度的深度值的第一深度值赋予单元发挥功能的部位。关于深度值，在以亮度为标准进行赋予时，数值越大则意味着离观看者越近。关于深度值的赋予，既可以由操作者根据目标物体的特性进行判断后手动地赋予，或者也可以如后述那样当在背景侧存在远近的标准时自动地赋予。即，当第一深度值赋予部20根据目标物体规定部位的位置来决定表示该目标物体的远近程度的深度值时，具有对该目标物体赋予该深度值的功能。

第一深度值赋予部20由CPU等处理装置构成。在第一深度值赋予部20执行赋予处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行深度值赋予处理。

起点生成部21是作为在区域边界线上生成多个起点的起点生成单元发挥功能的部位。如上所述，起点是开始进行区域分割的起始点。该起点可以是区域边界线上的任意点，也可以是从该任意点仅离开规定距离的点。该任意点优选由起点生成部21随意地选出。但是，起点的生成方法并不限定于上述方法，也可以是其他方法。例如，也可以将区域边界线上的拐角的点设定为起点。在起点生成部21执行起点生成处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行起点生成处理。

另外，起点生成部21不是必须的部位，也可以没有。在该情况下，例如以构成区域边界线的所有点作为起点而进行区域分割的处理。

背景边界线信息接收部22是作为背景边界线信息接收单元发挥功能的部位，其中，该背景边界线信息接收单元在图像帧内接收操作者以背景作为对象而指示的背景边界线的信息。背景边界线是为了将背景内分为多个区域而由操作者在构成背景的多个区域的轮廓上临摹描绘成的线。该线是点(dot)的集合。因此，背景边界线的信息是例如构成背景边界线的点的坐标。当操作者沿着帧中背景内的规定区域的各轮廓描绘背景边界线时，背景边界线信息接收部22接收构成该线的点的坐标。背景边界线信息接收部22由操作者进行特殊操作来执行接收，或者也可以在作成线的过程中每隔一定时间自动地执行接收。

背景边界线信息接收部22兼作CPU等处理装置和RAM等存储装置时，将所接收的信息存储在内部。另一方面，当背景边界线信息接收部22仅具有CPU等处理装置的功能时，可以将所接收的信息存储到存储部11内。在背景边界线信息接收部22执行接收处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行接收处理。

另外，背景边界线信息接收部22不是必须的部位，也可以没有。例如，在无需将背景分割为多个区域时，并不一定要设置背景边界线信息接收部22。

第二深度值赋予部23是作为对由背景边界线围成的区域赋予表示该区域远近程度的深度值的第二深度值赋予单元发挥功能的部位。关于深度值，在以亮度为标准进行赋予时，数值越大意味着离观看者越近。深度值的赋予可以由操作者根据背景内规定区域的特性进行判断后手动地赋予，或者，也可以如后述那样当在背景侧存在远近的标准时自动地赋予。即，当第二深度值赋予部23根据构成背景的背景内区域的规定部位位置来决定表示该背景内区域的远近程度的深度值时，具有对该背景内区域赋予该深度值的功能。

第二深度值赋予部23由CPU等处理装置构成。在第二深度值赋予部23执行赋予处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行赋予处理。另外，第二深度值赋予部23不是必须的部位，也可以没有。例如，在无需将背景分割为多个区域时，并不一定要设置第二深度值赋予部23。

目标物体与背景分离部24是作为将图像帧中的背景以外的目标物体与背景进行分离的目标物体与背景分离单元发挥功能的部位。目标物体与背景分离部24在使用将各目标物体及各目标物体内的多个区域分离的方法(设为方法A)、和将背景及该背景内的多个区域以区别于目标物体的其他方法(设为方法B)进行分离时，是有效的。目标物体与背景分离部24较佳为在使用方法A将目标物体及其内部的区域进行分离处理后，再将处理后的图像与背景进行分离。但是，目标物体与背景分离部24也可以在利用方法A进行处理之前，由操作者指示出目标物体与背景的边界，然后，目标物体与背景分离部24根据该指示从图像帧中分离出背景。在目标物体与背景分离部24执行分离处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行分离处理。

目标物体与背景合成部25是作为目标物体与背景合成单元发挥功能的部位，其中，该目标物体与背景合成单元将由第一深度值赋予部20赋予了深度值的目标物体与由第二深度值赋予部23赋予了深度值的背景(包括背景内的区域)进行合成。目标物体与背景合成部25在使用将各目标物体及各目标物体内的多个区域进行分离的方法(设为方法A)、和将背景及背景内的多个区域以区别于目标物体的其他方法(设为方法B)进行分离时，是有效的。

例如，在执行使用方法A将目标物体及其内部的区域分离的处理、且与此同时执行使用方法B将背景及其内部的区域分离的处理之后，目标物体与背景合成部25将分离处理后的目标物体与分离处理后的背景进行合成。目标物体与背景合成部25执行合成处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行合成处理。

另外，在对背景无需进行任何3D用图像处理而仅需对背景以外的目标物体进行3D用图像处理时，并不一定要设置目标物体与背景合成部25。另外，也可以将目标物体与背景分离部24的功能并入目标物体与背景合成部25中。进而，也可以不设置目标物体与背景分离部24，而是将同一图像帧通过复制等准备两份，对其中一份图像帧内的目标物体及其内部区域进行分离处理(利用方法A进行的分离处理)，并对另一份图像帧内的背景及其内部区域进行另一分离处理(利用方法B进行的分离处理)，然后，通过目标物体与背景合成部25将分别进行了分离处理后的目标物体与背景加以合成。这意味着：目标物体与背景分离部24是适合作为任选项(option)设置的结构部。

定位点有无判断部26是作为定位点有无判断单元发挥功能的部位，其中，定位点有无判断单元判断定位点的存在情况，该定位点是指在图像帧内存在多个目标物体和/或构成背景的背景内区域且表示背景中目标物体的位置和/或背景内区域的位置。所谓的“背景内区域”，是指构成背景的区域，并且是与目标物体不同的区域。所谓的“定位点”，是指成为两个以上的目标物体或背景内区域的远近程度的标准的点、线或面。定位点可以有多种，例如能够适当地例举背景中的墙与地面的边界线等。

关于定位点的有无，可以根据图像内的明暗自动地判断，也可以在由操作者指定定位点的基础上，由定位点有无判断部26确定存在定位点。在定位点有无判断部26执行判断处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行判断处理。

目标物体规定部位的位置确定部27是作为目标物体规定部位的位置确定单元发挥功能的部位，其中，该目标物体规定部位的位置确定单元在存在定位点的情况下对多个目标物体和/或背景内区域的规定部位的位置进行确定。在此，所谓的“规定部位”并未特别地加以限定，例如可以是指目标物体或背景内区域的上部、下部或侧部这样的最外部。规定部位可以根据图像的种类、图像内的目标物体或背景内区域的种类等的不同而改变。因此，优选由图像处理装置1的操作者手动地决定规定部位。例如，当在存在有定位点的图像中存在多个目标物体(例如，人)时，操作者将该目标物体的脚指定为规定部位。目标物体规定部位的位置确定部27计算出从定位点至各目标物体的脚的距离，从而确定脚的位置。

在目标物体规定部位的位置确定部27执行位置确定处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行位置确定处理。

深度值决定部28是作为深度值决定单元发挥功能的部位，其中，该深度值决定单元根据由目标物体规定部位的位置确定部27确定的位置，决定表示目标物体和/或背景内区域的远近程度的深度值。在上述例子中，当确定各人的脚的位置时，能够计算出距离定位点的远近程度。当将深度值设定在0～255的范围时，深度值决定部28根据各人的前后关系、距离定位点的位置，赋予0～255范围内的数值来作为深度值。优选通过利用了算式或表格进行的分配等而预先设定好规定部位的位置与深度值的关系。

在深度值决定部28执行深度值决定处理时，优选在读取存储部11或信息记录媒介30中所存储的图像处理用计算机程序的同时执行深度值决定处理。

图2是表示构成视频的一个图像帧的例子。图3是表示图1的图像处理装置的操作者在图2的图像帧上描绘出区域边界线后的状态。图4是表示在图3的图像帧上进行了区域分割后的状态。图5是表示在图4的图像帧上执行了分离处理和第一深度值赋予处理后的状态。图6是表示利用图1的图像处理装置对构成视频的图像帧执行3D影像用图像处理的流程图。

以下，根据图6的流程图，以图2～图5的图像帧为例对利用图1的图像处理装置执行的处理进行说明。

(步骤101：图像帧读入步骤)

图像处理装置1利用图像帧读入部15的功能从存储部11读入构成视频的一个或两个以上的图像帧。图像帧例如是图2所示的图像40。在图像40中主要存在背景41、歌手42、其他人物43、44、45。在背景41中，从距离图像40的观看者侧最近的位置开始依次存在歌手42、人物43、44、45(人物43、44、45之间的远近关系可以不详)。

(步骤102：区域边界线信息接收步骤)

在该例子中，图像处理装置1的操作者进行如下处理：即，使歌手42、人物43、44、45相对于背景41具有远近感(perspective)，并且，在歌手42这一目标物体内进一步使多个部位具有远近感。根据该宗旨，操作者将歌手42分为头部A、手臂B、胸部C这三个区域，对于人物43、44、45，为使其分别作为一个区域D、E、F，而描绘出区域边界线51、52、53、54、55、56、57、58、59(参照图3)。当操作者在图像40上描绘出这些区域边界线51～59时，图像处理装置1的区域边界线信息接收部16接收构成这些区域边界线51～59的点的坐标数据。

区域边界线51是临摹歌手42和人物44的轮廓50外侧的线。区域边界线51同时也是临摹胸部C的轮廓外侧一部分的线。区域边界线52是临摹歌手42的头部至肩的头部A的轮廓内侧的线。区域边界线52同时也是临摹手臂B的轮廓外侧一部分和人物44的轮廓外侧一部分的线。区域边界线53是临摹手臂B的轮廓内侧的线。区域边界线54是临摹胸部C的轮廓内侧的线。区域边界线55是临摹人物44的轮廓内侧的线。区域边界线56是临摹人物43的轮廓50外侧的线。区域边界线57是临摹人物43的轮廓50内侧的线。区域边界线58是临摹人物45的轮廓50外侧的线。区域边界线59是临摹人物45的轮廓50内侧的线。

(步骤103：起点生成步骤)

图像处理装置1的起点生成部21在区域边界线51～59上以规定间隔生成用于开始区域分割处理的起点60。在此，所谓的规定间隔，并不仅指间隔一定的距离，而是广义地解释为也包括间隔不同距离的意思。在图3中，为了便于理解，仅在区域边界线51、52各自的一部分上显示起点60，但是，起点60生成在所有的区域边界线51～59的全长上。起点60可以以如下方式生成：即，通过起点生成部21选出各区域边界线51等上的任意一点，并以该任意一点为标准连续不断地生成其他的起点60。另外，也可以由操作者选择各区域边界线51等上的任意一点，并由起点生成部21以该任意一点为标准连续不断地生成其他的起点60。如此，起点60的生成方法并不限定于一种，可以采用多种方法。

(步骤104：区域分割步骤)

图像处理装置1的区域分割部17以从起点60朝向各区域边界线51等的内侧和外侧扩张分割区域的方式，利用连接亮度近似点的分割线来分割区域边界线的内侧与外侧。图4是表示在图像40中形成有多条呈封闭状的分割线(白色的细线)70、75的状态。为了不与分割线70、75混淆，在图4中以与背景色大致相同的黑色表示区域边界线51等。分割线70、75能够根据分水岭算法适当地形成。以地形为例时，分割线70、75相当于等高线，是将亮度相同的像素连接起来的线。

从图4中明确可知，分割线70、75非常高精度地形成，细致精密地呈现了画面的凹凸。但是，从制作3D影像的观点来看，上述分割为过分割。因此，在下一处理及其之后，执行基于操作者描绘的区域边界线51～59的处理，从而对过分割进行修正。

(步骤105：开口处理步骤)

图像处理装置1的开口处理部18进行如下处理：即，使除了两条区域边界线51、52等所夹持区域之外的其他区域中的封闭状分割线75(也称为“第二分割线75”)开口的处理。其结果是，只有位于两条区域边界线51、52等所夹持的区域中、即歌手42的头部A、手臂B及胸部C的各轮廓50、进而人物43、44、45的轮廓50所存在的区域中的分割线70(也称为“第一分割线”)保留呈封闭状态。该开口处理是用于仅将由封闭状分割线70围成的区域使用于3D影像、而将其他区域(由分割线75围成的区域)从3D影像用处理对象中排除的处理。

(步骤106：利用封闭线进行分离的步骤)

图像处理装置1的分离部19对每一个由第一分割线70围成的区域进行目标物体的分离。其结果是，歌手42被分离为头部A(也称为“区域A”)、手臂B(也称为“区域B”)以及胸部C(也称为“区域C”)这三个区域。人物43、44、45分别成为区域D、区域E及区域F，并从背景41中分离。图5中仅将分离的区域A～F中的区域A、B以涂白表示。

(步骤107：第一深度值赋予步骤)

图像处理装置1的第一深度值赋予部20对由第一分割线70围成的区域A～F分别赋予表示各区域的远近程度的深度值。深度值只要是将相对于图像40画面深度方向的远近程度定量化的数值，便没有特别地限定。例如，深度值(depthvalue)能够以灰色标度信息(适宜为亮度)为标准而表示为0～255的数值。优选对于各区域A～F以从图像40的内侧朝向外侧而逐渐增大深度值的方式来赋予深度值。图5表示对区域A～F赋予了深度值后的状态。由于区域B的深度值最大，因此，手臂B位于图像40的最外侧(最前方)。另一方面，由于区域E、F的深度值最小，因此，人物44、45位于最内侧。

在本实施方式中，这些深度值是由操作者观察图像40手动地输入，并由接收到该输入的图像处理装置1的第一深度值赋予部20进行赋予。但是，深度值也可以无需操作者手动地输入，而是如后述那样自动地赋予。其详细情况之后叙述。

图7是表示利用图1的图像处理装置执行的应用例的流程。

图7所示的流程是表示将图像帧中的背景与背景以外的目标物体分开而执行图像处理的例子。图7中的步骤101(S101)至步骤107(S107)的处理与上述相同。但是，图7中的步骤102A(S102A)的处理是接收以背景之外的目标物体(人等)作为对象的区域边界线数据的处理，在这一点上，图7中的步骤102A(S102A)是相比上述步骤102(S102)更受限定的处理。当步骤107的处理结束后，图像处理装置1中的目标物体与背景分离部24将进行了至步骤107为止的处理的目标物体与其周围的背景进行分离，并除去背景(步骤108)。

(步骤201：图像帧读入步骤)

图像处理装置1执行上述步骤101～108的同时，利用图像帧读入部15的功能从存储部11中读入与步骤101中所读入的图像帧相同的图像帧。

(步骤202：背景边界线信息接收步骤)

接着，图像处理装置1中的背景边界线信息接收部22在所读入的图像帧内接收操作者以背景作为对象而指示的背景边界线的信息。背景边界线是操作者沿着背景、以及能够与该背景同等看待的区域(背景内区域)的周围临摹而成的线。例如，在以背景中存在云且在该背景中存在飞机的例子进行说明时，当将飞机设定为目标物体时，云相当于能够与背景同等看待的背景内区域。操作者在云的周围描绘背景边界线时，背景边界线信息接收部22接收该背景边界线的信息。

(步骤203：利用封闭状的背景边界线进行分离的步骤)

分离部19识别由封闭状的背景边界线划分而成的多个区域，并进行分离。经过之后的处理，背景变为多个深度不同的区域。

(步骤204：第二深度值赋予步骤)

第二深度值赋予部23对由背景边界线围成的区域赋予表示该区域的远近程度的深度值。深度值只要是将相对于画面深度方向的远近程度定量化的数值，便没有特别的限定。例如，深度值(depthvalue)能够以灰色标度信息(适宜为亮度)作为标准而表示为0～255的数值。例如，优选以从画面的内侧朝向外侧而逐渐增大深度值的方式赋予深度值。

在本实施方式中，深度值由操作者观察背景的情况手动地输入，并由接收到该输入的图像处理装置1的第二深度值赋予部23进行赋予。但是，深度值也可以无需由操作者手动地输入，而是自动赋予。

(步骤205：分离除去目标物体的步骤)

当步骤204的处理结束后，图像处理装置1中的目标物体与背景分离部24将进行了至步骤204为止的处理的背景与该背景之外的目标物体分离，并除去目标物体。

(步骤206：目标物体与背景合成步骤)

最后，目标物体与背景合成部25将执行了步骤108后的目标物体与执行了步骤205后的背景进行合成，从而重新形成一个图像帧。

图8是表示对利用图1的图像处理装置所执行的深度值自动赋予进行说明用的适宜图像帧的例子。图9是表示利用图1的图像处理装置自动赋予深度值的适宜处理的流程图。

以下，根据图9的流程图，以图8的图像帧为例对利用图1的图像处理装置执行的处理进行说明。

(步骤301：定位点有无判断步骤)

定位点有无判断部26根据例如背景内是否存在亮度急剧变化的部分这一标准，判断定位点的有无。另外，作为变形例，也可以在操作者指定了定位点后，由定位点有无判断部26判断所指定的定位点的有无。在图8所示的图像80中，以存在背景81和目标物体(该例子中为人)82～86的例子进行说明。背景81由地面和墙壁构成。在该例子中，在地面与墙壁的边界上存在亮度的差别。定位点有无判断部26将该差别认定为定位点87，从而判断为存在定位点87。作为其变形例，也可以由操作者观察图像80，将地面与墙壁的边界指定作为定位点87，并由定位点有无判断部26根据该指定判断为存在定位点87。

(步骤302：目标物体规定部位的位置确定步骤)

当在步骤301中判断为存在定位点87时，接着，目标物体规定部位的位置确定部27计算出目标物体82～86的脚(＝规定部位)82a～86a与定位点87之间的距离L1～L5，从而确定规定部位的位置。

(步骤303：深度值决定步骤)

接着，深度值决定部28根据由步骤302确定的位置来决定深度值。在图8所示的例子中，以从定位点87至各目标物体82～86的脚82a～86a的距离越短越位于画面深度方向内侧的方式，来决定深度值。

(步骤304：深度值赋予步骤)

接着，第一深度值赋予部20将由步骤303决定的各深度值赋予各目标物体82～86。在取代目标物体82～86而需要对多个背景内区域赋予深度值时，第二深度值赋予部23对各背景内区域赋予深度值。

(步骤305：手动指定的深度值的接收判断步骤)

在步骤301的判断结果是不存在定位点时，第一深度值赋予部20和/或第二深度值赋予部23判断是否接收了由操作者手动赋予的深度值。其结果是，当接收了由操作者手动赋予的深度值时，接着进入步骤304，由第一深度值赋予部20和/或第二深度值赋予部23将深度值赋予各目标物体和/或各背景内区域。另一方面，当未接收由操作者手动赋予的深度值时，返回步骤301。

2.图像处理用计算机程序和存储有该图像处理用计算机程序的信息记录媒介

本发明涉及的图像处理用计算机程序的实施方式是被图像处理装置1(称为“计算机”)读入并执行的程序，并且，是使计算机执行图像帧读入部15、区域边界线信息接收部16、区域分割部17、开口处理部18、分离部19以及第一深度值赋予部20的各功能的程序，其中，图像帧读入部15读入构成视频的多个图像帧内的一个或两个以上的图像帧，区域边界线信息接收部16在读入的图像帧内接收区域边界线的信息，区域分割部17以区域边界线上的规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧，开口处理部18将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线之外的第二分割线开口，分离部19对由第一分割线围成的区域的单位进行分离，第一深度值赋予部20对由第一分割线围成的区域赋予表示该区域的远近程度的深度值。

该计算机程序存储在信息记录媒介30中，能够与计算机分开独立流通。另外，也可以将该计算机程序事先存储在服务器内，由计算机经由网络等线路访问服务器并从服务器内下载该计算机程序，然后由计算机执行该计算机程序，从而使计算机作为图像处理装置1发挥功能。以下的计算机程序也是相同的。

另外，本发明涉及的图像处理用计算机程序的实施方式也可以是使计算机进一步执行在区域边界线上生成多个起点的起点生成部21的功能的程序。

另外，本发明涉及的图像处理用计算机程序的实施方式还可以是将区域边界线信息接收部16构成为接收以背景以外的目标物体作为对象而指示的区域边界线信息，并使计算机执行背景边界线信息接收部16、第二深度值赋予部23、目标物体与背景合成部25的各功能的程序，其中，背景边界线信息接收部16在图像帧内接收以背景作为对象而指示的背景边界线的信息，第二深度值赋予部23对由背景边界线围成的区域赋予表示该区域的远近程度的深度值，目标物体与背景合成部25将由第一深度值赋予部20赋予了深度值的目标物体与由第二深度值赋予部23赋予了深度值的背景进行合成。

另外，本发明涉及的图像处理用计算机程序的实施方式还可以是使计算机进一步执行定位点有无判断部26、目标物体规定部位的位置确定部27、深度值决定部28的各功能，并且通过第一深度值赋予部20和/或第二深度值赋予部23对目标物体和/或背景内区域赋予深度值的程序，其中，定位点有无判断部26判断定位点的存在情况，该定位点是指在图像帧内存在多个目标物体和/或构成背景的背景内区域且表示背景中目标物体的位置和/或背景内区域的位置，目标物体规定部位的位置确定部27在存在定位点时对多个目标物体和/或构成背景的背景内区域的规定部位的位置进行确定，深度值决定部28根据由该目标物体规定部位的位置确定部27确定的位置，决定表示目标物体和/或背景内区域的远近程度的深度值。

3.其他实施方式

本发明并不限定于上述实施方式涉及的图像处理装置、图像处理方法、图像处理用计算机程序以及存储有该计算机程序的信息记录媒介，能够进行各种变形实施。

例如，背景边界线信息接收部22、第二深度值赋予部23、目标物体与背景分离部24、以及目标物体与背景合成部25，对于图像处理装置1而言并不是必须的结构，也可以不设置在图像处理装置1中。该情况下，在需要对背景及背景内区域进行3D影像用的处理时，能够执行与目标物体相同的图像处理。另外，定位点有无判断部26、目标物体规定部位的位置确定部27以及深度值决定部28，对于图像处理装置1而言也并不是必须的结构，也可以不设置在图像处理装置1中。该情况下，对目标物体或背景内区域赋予的深度值，能够由操作者手动进行赋予。另外，各结构部16～28以及由这些结构部16～28执行的各步骤，仅对构成视频的一部分静止图像(也称作“关键帧(keyframe)”)根据操作者的手动输入执行功能，而不需要对所有的静止图像执行功能。

<B第二实施方式>

接下来，参照附图对本发明涉及的第二实施方式进行说明。

1.图像处理装置和图像处理方法

图10是表示本发明第二实施方式涉及的图像处理装置的模式图。

本实施方式涉及的图像处理装置100包括：第一实施方式所具备的输入部10、存储部11、外部存储器装填部12、通信部13、界面14、图像帧读入部15、区域边界线信息接收部16、区域分割部17、开口处理部18、分离部19、第一深度值赋予部20、起点生成部21、背景边界线信息接收部22、第二深度值赋予部23、目标物体与背景分离部24、目标物体与背景合成部25、定位点有无判断部26、目标物体规定部位的位置确定部27、以及深度值决定部28。

另外，图像处理装置100在上述各结构部的基础上，进而具备选择数据接收部150、第一特征点接收部151、第二特征点搜索部152、第二特征点确定部153、移动位置提取部154、区域边界线坐标值计算部155、区域边界线自动生成部156、以及第一帧数判断部157。但是，第二特征点搜索部152并不是必须的结构，也可以不设置。进而，第一帧数判断部157也不是必须的结构，也可以不设置。上述各结构部如在第一实施方式中所说明是按照功能的不同进行划分并显示，并不一定是指被物理划分的硬件。

图像处理装置100是能够进行如下处理的装置：即，在构成视频的多个图像帧内存在已生成区域边界线的第一图像帧时，在按时间序列存在于第一图像帧之后的第二图像帧内自动地生成区域边界线。

选择数据接收部150是对第一图像帧内的目标物体(例如人、手臂等人的一部分)生成领海边界线(也称为“RotoBrush”)后，接收由用户确定了被该区域边界线围成部分的信号的部分。作为任选项，选择数据接收部150兼具接收执行区域边界线自动生成功能的帧数指定的部分。

第一特征点接收部151是作为接收存在于第一图像帧区域边界线内的第一特征点的坐标值的第一特征点接收单元而发挥功能的部分。

第二特征点搜索部152是作为第二特征点搜索单元发挥功能的部分，其中，该第二特征点搜索单元在后述的第二特征点确定部153执行处理之前，根据像素的颜色和亮度中的至少一者的近似程度，搜索与第一特征点的坐标值相对应的第二特征点。以下述观点、即搜索第一特征点范围内的一个或两个以上像素的颜色和亮度中的至少一者最为近似的像素这一观点，进行第二特征点的搜索。以颜色和亮度两者的观点搜索最近似的像素是正确的，但是，根据情况为了迅速地搜索，也可以仅从颜色或仅从亮度的观点出发来搜索第二特征点。在第一特征点由多个像素构成时，综合该多个像素的信息，搜索最为近似的第二特征点。

第二特征点确定部153是作为第二特征点确定单元发挥功能的部分，其中，该第二特征点确定单元在第二图像帧中确定与第一特征点的坐标值相对应的第二特征点的坐标值。第二特征点确定部153根据上述第二特征点搜索部152的搜索来决定第二特征点。

移动位置提取部154是提取构成第二特征点的一个或两个以上像素的位置信息(优选为坐标，但也可以采用坐标以外的距离和方向)的结构部。另外，也可以使第二特征点确定部153具备移动位置提取部154的功能，从而无需另外设置移动位置提取部154。

区域边界线坐标值计算部155是如下部分：即，在构成第一图像帧内的区域边界线的多个像素坐标中加上由上述移动位置提取部154提取的位置信息，从而计算出构成第二图像帧内的新区域边界线(即，由第一图像帧内的区域边界线稍作改变后的区域边界线)的多个像素坐标这一部分。另外，也可以使区域边界线自动生成部156具备区域边界线坐标值计算部155的功能，从而无需另外设置区域边界线坐标值计算部155。

区域边界线自动生成部156是作为区域边界线自动生成单元发挥功能的部分，其中，该区域边界线自动生成单元根据从上述第一特征点向第二特征点移动的信息，在第二图像帧内自动生成与第一图像帧的区域边界线相对应的新的区域边界线。

第一帧数判断部157是作为帧数判断单元发挥功能的部分，其中，当选择数据接收部150中接收了执行区域边界线自动生成功能的帧数的指定时，帧数判断单元判断执行了自动生成新区域边界线的处理的图像帧数量是否达到指定的图像帧数。在第一帧数判断部157判断为已达到指定的图像帧数之前，至少第一特征点接收部151、第二特征点确定部153以及区域边界线自动生成部156执行各自的处理。

图11是表示对使用了图10的图像处理装置执行的处理的一例进行说明的图。图12是继图11之后的图。

图11中的11A表示在一个画面例160中对化学教师(目标物体之一)161生成领海边界线(RotoBrush)前的状态。图11中的11B是表示执行了RotoBrush(描边抠像)后的状态。在执行RotoBrush时，用户对画面例160内的复选框(checkbox)162执行勾选操作。接着，用户在化学老师161的外周手动进行RotoBrush(描边抠像)163。

接着，在画面例160中，当用户指到跟踪框(trackingwindow)165的键时，显示出图12所示的另一画面170。在画面170中，存在指定自动生成RotoBrush的图像帧数量的区域171。当在区域171中例如输入“3”时，能够对包括正在操作的画面例160在内直至第三幅图像帧为止执行RotoBrush的自动生成。接着，在画面170中，用户指定第一特征点(也称为“关心区域”)171。其结果是，图像处理装置100搜索与第一特征点171近似的第二特征点。对于该功能，接下来详细地进行说明。

图13是表示对使用了图10的图像处理装置的图像处理方法详细地进行说明的图。图14表示对使用了图10的图像处理装置的图像处理方法的处理流程进行说明用的流程图。

本实施方式的图像处理方法是能够进行如下处理的方法：即，在构成视频的多个图像帧内存在已生成区域边界线的第一图像帧时，在按时间序列存在于第一图像帧之后的第二图像帧内自动生成区域边界线这一方法，在图14中作为在图6的步骤102(S102)与步骤103(S103)之间执行的多个步骤而显示。

(步骤1020：接收图像帧数指定步骤)

该步骤是本实施方式中接收目标跟踪帧(targettrackingframe)的选择数据的步骤。更具体而言，该步骤包括之后详述的接收图像帧数指定步骤，并且相当于接收图12的区域171中所输入的数值的步骤，其中，接收图像帧数指定步骤是接收执行区域边界线自动生成步骤处理的图像帧数量的指定。

(步骤1021：第一特征点接收步骤)

第一特征点接收步骤是接收存在于第一图像帧区域边界线内的第一特征点(也称为“关心区域”)的坐标值的步骤。在图13的13A中，在作为关键帧的帧1中存在目标物体(人)181。在此，作为第一特征点，例示了鼻子182。帧1是用户手动进行了RotoBrush的帧，已在目标物体181的轮廓的外侧和内侧描绘出RotoBrush183、184(即，区域边界线183和区域边界线184)。在图13的13B中，显示了按照时间序列在帧1之后立即显示的帧2。在帧2中，存在帧1内的目标物体181(在13B中的帧2中以虚线表示)稍微向右移动后的目标物体181a(在13B中的帧2中以细实线表示)。

(步骤1022：第二特征点搜索步骤)

第二特征点搜索步骤是如下步骤：即，在后述的第二特征点确定步骤的处理之前，根据像素的颜色和亮度中的至少一者的近似程度，搜索与第一特征点(图13中为鼻子182)的坐标值相对应的第二特征点这一步骤。

(步骤1023：第二特征点确定步骤)

第二特征点搜索步骤是在第二图像帧(在图13的13B中相当于帧2)中确定与第一特征点的坐标值相对应的第二特征点的坐标值这一步骤。作为第一特征点的鼻子182在帧2中朝向箭头A方向移动。因此，第二特征点确定部153将帧2中的鼻子182a确定为第二特征点。

(步骤1024：移动位置提取步骤)

移动位置提取步骤是利用移动位置提取部154提取构成第二特征点(鼻子182a)的一个或两个以上像素的坐标这一步骤。

(步骤1025：新区域边界线坐标值计算步骤)

新区域边界线坐标值计算步骤是如下步骤：即，在构成第一图像帧(作为关键帧的帧1)内的区域边界线183、184的多个像素的坐标中加上通过上述移动位置提取步骤所提取的位置信息，计算出构成第二图像帧(成为下一帧的帧2)内的新区域边界线183a、184a的多个像素的坐标值这一步骤。在该步骤中，对构成区域边界线183、184的各像素的坐标加上鼻子182向鼻子182a移动的方向和距离，从而计算出构成新区域边界线183a、184a的各像素的坐标值。

(步骤1026：区域边界线自动生成步骤)

区域边界线自动生成步骤是如下步骤：即，根据从第一特征点(鼻子182)向第二特征点(鼻子182a)移动的信息，在第二图像帧(帧2)内自动生成与第一图像帧(帧1)的区域边界线183、184相对应的新区域边界线183a、184a这一步骤，并且，是将带有通过由新区域边界线坐标值计算步骤的计算而求出的新坐标的各像素执行连接处理的步骤。

(步骤1027：帧数判断步骤)

帧数判断步骤是判断执行了自动生成新区域边界线183、184的处理的图像帧数量是否达到指定的图像帧数这一步骤。当未达到指定的帧数时，转至步骤1021(S1021)，将关键帧切换为帧2并执行步骤1021(S1021)之后的相同处理。此时，关于步骤1021(S1021)中的第一特征点的指定，由于已经确定了作为第二特征点的鼻子182a的坐标，因此，第一特征点接收部151不等待来自用户的新指定而将鼻子182a作为第一特征点进行接收。对下一帧(图13的13C中的帧3)执行步骤1022(S1022)～步骤1027(S1027)的处理。

结果是，在目标物体(人)181b的外侧和内侧自动生成新区域边界线183b、184b。上述一连串的处理自动地执行，直至指定的帧数的处理完成为止。在此，在无需搜索第二特征点即可明确时，也可以由用户指定第二特征点而不执行第二特征点搜索步骤(S1022)。另外，在将步骤S1024包含在步骤S1023中且将步骤1025包含在步骤1026中时，也可以在完成步骤1023(S1023)之后转至步骤1026(S1026)。

因此，在通过帧数判断步骤判断为已到达指定的图像帧数之前，至少能够执行第一特征点接收步骤、第二特征点接收步骤以及区域边界线自动生成步骤。当在步骤1027(S1027)中完成了指定的帧数的处理后，转至步骤103(S103)。

2.图像处理用计算机程序和存储有该图像处理用计算机程序的信息记录媒介

本发明涉及的图像处理用计算机程序的实施方式是被图像处理装置100(称为“计算机”)读入并执行的程序，并且，是使计算机执行图像帧读入部15、区域边界线信息接收部16、区域分割部17、开口处理部18、分离部19、第一深度值赋予部20、进而第一特征点接收部151、第二特征点确定部153、以及区域边界线自动生成部156的各功能的程序，其中，图像帧读入部15读入构成视频的多个图像帧内的一个或两个以上的图像帧，区域边界线信息接收部16在读入的图像帧内接收区域边界线的信息，区域分割部17以区域边界线上的规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧，开口处理部18将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线以外的第二分割线开口，分离部19对由第一分割线围成的区域的单位进行分离，第一深度值赋予部20对由第一分割线围成的区域赋予表示该区域的远近程度的深度值，第一特征点接收部151接收存在于第一图像帧区域边界线内的第一特征点的坐标值，第二特征点确定部153在第二图像帧中确定与第一特征点的坐标值相对应的第二特征点的坐标值，区域边界线自动生成部156根据从第一特征点向第二特征点移动的信息，在第二图像帧内自动生成与第一图像帧的区域边界线相对应的新的区域边界线。

该计算机程序存储在信息记录媒介30中，能够与计算机分开独立地流通。另外，也可以将该计算机程序事先存储在服务器中，由计算机经由网络等线路访问服务器并从服务器内下载该计算机程序，并利用计算机执行该计算机程序，从而使计算机作为图像处理装置100发挥功能。以下的计算机程序也是相同的。

另外，本发明涉及的图像处理用计算机程序的的实施方式也可以是使计算机(图像处理装置100)进一步执行第二特征点搜索部152的功能的程序，其中，第二特征点搜索部152在第二特征点确定部153进行处理之前，根据像素的颜色和亮度中的至少一者的近似程度，搜索与第一特征点的坐标值相对应的第二特征点。

另外，本发明涉及的图像处理用计算机程序的实施方式是使计算机(图像处理装置100)进一步执行选择数据接收部150、第一帧数判断部157的各功能的程序，并且，在通过第一帧数判断部157判断为已到达指定的图像帧数之前，至少使第一特征点接收部151、第二特征点确定部153、以及区域边界线自动生成部156执行各处理，其中，选择数据接收部150作为接收图像帧数指定单元来接收执行区域边界线自动生成部156的处理的图像帧数量的指定，第一帧数判断部157判断执行了自动生成新区域边界线的处理的图像帧数量是否达到指定的图像帧数。

3.其他实施方式

本发明并不限定于上述实施方式涉及的图像处理装置、图像处理方法、图像处理用计算机程序以及存储有该计算机程序的信息记录媒介，能够进行各种变更实施。

例如，作为第二特征点搜索单元的第二特征点搜索部152也可以不根据像素的颜色和亮度中的至少一者的近似程度而是根据颜色的的浓淡等其他像素信息，搜索与第一特征点的坐标值相对应的第二特征点。另外，选择数据接收部150也可以不作为接收图像帧数指定单元发挥功能。该情况下，也可以不设置作为帧数判断单元发挥功能的第一帧数判断部157。但是，即使在选择数据接收部150不作为接收图像帧数指定单元发挥功能时，也可以具有第一帧数判断部157并以预先决定的数量的图像帧结束处理。

<C第三实施方式>

接着，参照附图对本发明涉及的第三实施方式进行说明。

1.图像处理装置和图像处理方法

图15表示本发明第三实施方式涉及的图像处理装置的模式图。

本实施方式涉及的图像处理装置200包括：第一实施方式所具备的输入部10、存储部11、外部存储器装填部12、通信部13、界面14、图像帧读入部15、区域边界线信息接收部16、区域分割部17、开口处理部18、分离部19、第一深度值赋予部20、起点生成部21、背景边界线信息接收部22、第二深度值赋予部23、目标物体与背景分离部24、目标物体与背景合成部25、定位点有无判断部26、目标物体规定部位的位置确定部27、以及深度值决定部28。另外，图像处理装置200在上述各结构部的基础上，进而还具有条件接收部191、像素深度值分配部192、像素移动位置跟踪部193、深度值自动生成部194、第二帧数判断部195。

另外，作为任选项也执行RotoBrush的自动生成时，也可以具备：第二实施方式涉及的图像处理装置100中所具有的选择数据接收部150、第一特征点接收部151、第二特征点搜索部152、第二特征点确定部153、移动位置提取部154、区域边界线坐标值计算部155、区域边界线自动生成部156、以及第一帧数判断部157。因此，在图15中，以虚线围成的区域表示第二实施方式特有的结构部150～157。另外，如第一实施方式和第二实施方式中所说明，上述各结构部按照功能的不同进行划分并显示，并不一定是指被物理划分的硬件。

图像处理装置200是能够进行如下处理的装置：即，在构成视频的多个图像帧内存在已对由第一分割线围成的区域赋予深度值的第一图像帧时，对按时间序列存在于第一图像帧之后的第二图像帧内的、与被第一分割线围成的区域相对应的区域自动地生成深度值。

条件接收部191是接收用于自动生成深度值的条件的部分，并且，也兼具接收执行深度值自动生成功能的帧数的指定的部分。

像素深度值分配部192是作为像素深度值分配单元发挥功能的部分，其中，像素深度值分配单元对第一图像帧内的由第一分割线围成的区域内所存在的一个以上的第一像素，分配第一分割线围成的区域所被赋予的深度值。例如，在第一分割线围成的区域内存在100个像素时，像素深度值分配部192对该100个像素分配第一分割线围成的区域所被赋予的深度值。

像素移动位置跟踪部193是作为像素移动位置跟踪单元发挥功能的部分，其中，像素移动位置跟踪单元对第一像素移动为第二图像帧内的哪一像素这一情况进行跟踪(tracking)。当第一分割线围成的区域内存在100个像素(第一像素)时，像素移动位置跟踪部193分别搜索该100个第一像素与第二图像帧内的哪一像素(第二像素)相对应。以针对每一个第一像素搜索颜色和亮度中的至少一者最为近似的第二像素这一观点，执行搜索。以考虑颜色和亮度两者的观点搜索与第一像素最为近似的第二像素这一方法是正确的，但是，根据情况的不同为了迅速地搜索，也可以以仅根据颜色或仅根据亮度的观点搜索第二像素。

通过该搜索也存在如下情况：即，不存在与第一像素相对应的第二像素，与100个第一像素相对应的第二像素的数量为99个这一情况。但是，根据对在时间序列上最为接近的的帧之间的像素的移动进行查询，帧之间的像素数的变化极小，因此并没有障碍。

深度值自动生成部194是作为深度值自动生成单元发挥功能的部分，其中，深度值自动生成单元对第二图像帧内的区域、且是由第一像素移动后的第二像素构成的区域，自动地生成利用像素深度值分配单元分配的深度值。由此，例如，在与第一图像帧中的100个像素相对应的第二像素为99个时，对该99个第二像素自动生成与第一像素相同的深度值。这是对由99个第二像素构成的区域赋予该相同的深度值。因此，在关键帧(例如，最开始第一个的图像帧)中作成利用分割线将目标物体内部或目标物体之间进行划分的区域，当对各区域赋予深度值时，对于在时间序列上紧接于关键帧之后的帧，就算不通过手动执行赋予区域边界线和深度值中的至少深度值的作业，也能够自动赋予深度值。

第二帧数判断部195是如下部分：即，在条件接收部191接收了执行深度值自动生成功能的帧数的指定时，判断执行了自动生成深度值处理的图像帧数量是否达到指定的图像帧数这一部分。在第二帧数判断部195判断为已到达指定的图像帧数之前，至少像素深度值分配部192、像素移动位置跟踪部193及深度值自动生成部193执行各处理。

图16是表示对使用了图15的图像处理装置执行的处理的一例进行说明的图。图17是表示对使用了图15的图像处理装置的图像处理方法的处理流程进行说明用的流程图。

本实施方式的图像处理方法是能够进行如下处理的方法：即，在构成视频的多个图像帧内存在已对由第一分割线围成的区域赋予深度值的第一图像帧时，对按时间序列存在于第一图像帧之后的第二图像帧内的、与被第一分割线围成的区域相对应的区域自动地生成深度值这一方法，在图17中，表示为在图6的步骤106(S106)之后执行的多个步骤。

另外，至图6的步骤106(S106)为止的处理及图17的步骤107(S107)的处理并不是针对构成视频的所有图像帧执行，而是仅对一个或两个以上的图像帧(称为“关键帧”)执行，对于关键帧之后的、或关键帧之间的图像帧，能够执行图17的步骤1070以后的处理。

图16中的16A是表示紧握的手201的图像帧202，并且，表示在按照时间序列位于之后的下一图像帧中，紧握的手201在以点(dot)表示的区域203内移动的情况(参照框204内的移动)。能够对构成紧握的手201的图像的各像素分别在下一图像帧中移动为哪一像素这一情况进行跟踪，从而确定其移动到区域203中。

图16B是表示帧1中描绘的圆柱205在下一帧(帧2)中移动至圆柱206的位置(右斜下)的情况。人用眼判断时能够容易地推测出圆柱205移动为圆柱206。但是，计算机没有任何线索的话，便无法进行推测。因此，利用光流(opticalflow)算法，判断构成帧1内的圆柱205的各像素在帧2中移动为哪一像素。该算法是如下程序：即，以构成圆柱205的各个像素的颜色或亮度这一像素信息为基础，与帧2内的所有像素进行对照，选择与该像素信息最为近似的像素这一程序。利用该程序能够掌握圆柱205移动到帧2中的何处。

在图16B的例子中，能够掌握圆柱205移动后的区域为圆柱206。由于对构成圆柱205的各像素赋予了深度值，因此也能够对构成圆柱206的各像素赋予相同的深度值。其结果是，能够自动地对圆柱206赋予深度值。例如，当圆柱205由10个分割区域构成时，圆柱206中也存在10个分割区域，对圆柱206的各分割区域能够赋予与圆柱206的各分割区域相同的深度值。

另外，使用第三实施方式涉及的图像处理装置200的图像处理方法的优点在于：对于关键帧之后的图像帧可以无需执行将目标物体内部或目标物体之间的区域进行分割的处理这一点。只要对关键帧执行区域分割和深度值的赋予，便能够在关键帧之后的图像帧中以像素单位搜索移动后的位置。因此，在图16B的例子中并不一定要预先将圆柱206内的区域进行修边。但是，在构成视频的静止图像的情况下，存在在图像帧之间图像被大幅转换的情况，因此，最好对时间序列上的各图像帧进行与关键帧之间的定位、区域分割及深度值的赋予。

在此，根据图17对适宜的图像处理方法的流程进行说明。

(步骤107：第一深度值赋予步骤)

在本实施方式中，该步骤是对作为关键帧的帧1中的各区域(目标物体的分割区域)赋予深度值的步骤。在该步骤中，根据第一实施方式中说明的要领，以人眼进行判断而赋予深度值。

(步骤1070：条件接收步骤)

该步骤是由条件接收部191执行的上述处理。

(步骤1071：像素深度值分配步骤)

该步骤是由像素深度值分配部192执行，对第一图像帧中的由第一分割线围成的区域内所存在的一个以上的第一像素分配第一分割线围成的区域所被赋予的深度值这一步骤。

(步骤1072：像素移动位置跟踪步骤)

该步骤是由像素移动位置跟踪部193执行，对第一像素移动为第二图像帧内的哪一像素这一情况进行跟踪的步骤。

(步骤1073：移动后像素深度值赋予步骤)

该步骤是对在第二图像帧内搜索出的新的像素赋予与之对应的第一图像帧内的像素深度值的步骤。该步骤能够由深度值自动生成部194执行，但是，也可以设置与深度值自动生成部194不同的其他结构部(移动后像素深度值赋予部)，由移动后像素深度值赋予部执行该步骤。

(步骤1074：深度值自动生成步骤)

该步骤是如下步骤：即，由深度值自动生成部194执行，对第二图像帧内的区域且是由第一像素移动后的第二像素构成的区域，自动生成由上述像素深度值分配步骤分配的深度值这一步骤。另外，在该步骤中，也能够根据经由上述移动后像素深度值赋予步骤而被赋予的第二像素的深度值，对由第二像素构成的区域赋予相同的深度值。即，深度值自动生成部194和由其执行的深度值自动生成步骤是根据分配至第一深度值的深度值执行，还是根据赋予第二像素的深度值执行，均毫无问题。

(步骤1075：第二帧数判断步骤)

第二帧数判断步骤是判断执行了自动生成深度值处理的图像帧数量是否到达指定的图像帧数这一步骤。当未到达指定的帧数时，转至步骤1071(S1071)，将关键帧从前一图像帧替换为时间序列上的下一图像帧，并执行步骤1071(S1071)以后的相同处理。在该情况下，由于已在之前的处理中执行了步骤1071(S1071)的深度值分配，因此，像素深度值分配部192直接接收之前处理中所确定的深度值。然后，对该下一图像帧执行步骤1072(S1072)～步骤1075(S1075)的处理。

上述一连串的处理自动地进行，直至指定的帧数的处理完成为止。因此，在第二帧数判断步骤判断为已到达指定的图像帧数之前，至少能够执行像素深度值分配步骤、像素移动位置跟踪步骤、移动后像素深度值赋予步骤(也存在包含在下一深度值自动生成步骤中的情况)、深度值自动生成步骤。当在步骤1075(S1075)中完成了指定的帧数的处理时，流程结束。

2.图像处理用计算机程序和存储有该图像处理用计算机程序的信息记录媒介

本发明涉及的图像处理用计算机程序的实施方式是被图像处理装置200(称为“计算机”)读入并执行的程序，并且，是使计算机执行图像帧读入部15、区域边界线信息接收部16、区域分割部17、开口处理部18、分离部19、第一深度值赋予部20、进而是像素深度值分配部192、像素移动位置跟踪部193、深度值自动生成部194的各功能的程序，其中，图像帧读入部15读入构成视频的多个图像帧内的一个或两个以上的图像帧，区域边界线信息接收部16在读入的图像帧内接收区域边界线的信息，区域分割部17以区域边界线上规定的点为起点使分割区域扩张，并利用连接亮度近似点的分割线分割区域边界线的内侧与外侧，开口处理部18将分割线中的存在于两条区域边界线之间的第一分割线保留，并使分割线中的第一分割线以外的第二分割线开口，分离部19对由第一分割线围成的区域的单位进行分割，第一深度值赋予部20对由第一分割线围成的区域赋予表示该区域的远近程度的深度值，像素深度值分配部192对第一图像帧中的由第一分割线围成的区域内所存在的一个以上的第一像素分配第一分割线围成的区域所被赋予的深度值，像素移动位置跟踪部193对第一像素移动为第二图像帧内的哪一像素这一情况进行跟踪，深度值自动生成部194对第二图像帧内的区域且是由第一像素移动后的第二像素构成的区域，自动生成由像素深度值分配部192分配的深度值。

该图像处理用计算机程序进而也能够使计算机执行条件接收部191、第二帧数判断部195、用于执行移动后像素深度值赋予步骤的移动后像素深度值赋予部的各功能。该计算机程序被存储在信息记录媒介30中，能够与计算机分开独立地流通。另外，也可以将该计算机程序预先存储在服务器内，由计算机经由网络等线路访问服务器并从服务器下载该计算机程序，并利用计算机执行该计算机程序，从而使计算机作为图像处理装置200发挥功能。

3.其他实施方式

本发明并不限定于上述实施方式所涉及的图像处理装置、图像处理方法、图像处理用计算机程序及存储有该计算机程序的信息记录媒介，能够进行各种变更实施。

例如，作为像素移动位置跟踪单元的像素移动位置跟踪部193和由其执行的像素移动位置跟踪步骤，也可以不根据像素的颜色、亮度而是根据像素颜色的浓淡等其他像素信息进行跟踪。另外，对于包括本实施方式在内的所有实施方式中的图像处理装置1、100、200内的各结构部，除去不可能的情况均可以进行任意组合。进而，对于由各结构部执行的各步骤，除去不可能的情况，也可以将顺序进行任意变更。例如，在第二实施方式中，也可以将步骤S1027(参照图14)移动到步骤S107之后，在完成至对帧单位赋予了深度值为止之后，返回下一步骤S1021。

(工业上的可利用性)

本发明能够利用于3D影像的制作。