内插图像生成装置、重构图像生成装置及生成内插图像的方法

摘要

本发明提供内插图像生成装置、重构图像生成装置和生成内插图像的方法。内插图像生成装置(30)中，由输入部(310)取得从多个视点得到的多个拍摄图像及其摄像设定信息，EPI生成部(321)从多个图像生成EPI，角度估计部(322)在EPI上估计各EPI的实际像素所对应的直线的角度，内插图像设置部(323)将内插图像设置在EPI上，对应检测部(324)检测实际像素与内插图像的像素(内插像素)之间的对应，对应检测部(324)评价实际像素与内插像素之间的对应关系的可靠性，像素值相加部(326)基于对应关系的可靠性来相加内插像素的像素值，由此生成内插图像。

说明书

技术领域

本发明涉及生成内插图像的技术、以及使用内插图像来生成重构图像 的技术。

本申请主张以2011年9月8日申请的日本国专利申请特愿2011- 196577为基础的优先权，并将该基础申请的内容全部引用到本申请中。

背景技术

通过取得从多个视点拍摄的被摄体的多个图像来取得从被摄体进入 照相机的镜头的全部光线的方向和光量的技术是公知的。将从不同的视点 拍摄被摄体而得到的多个图像的集合称作光场图像，将构成光场图像的一 个一个的图像称作子图像。

另外，取得由少量的高分辨率的子图像构成的光场图像并从该取得的 光场图像来对重对焦图像或景深不同的图像等进行重构的技术是公知的。 在该光场图像中，在相邻的子图像之间会产生与取得了两图像的视点的偏 离(视差)对应的像素缺陷。该像素缺陷在从光场图像重构新的图像时成 为周期性的噪声的原因。

为了解决上述问题，在特表2009-532993号公报中，提出了在2个 子图像之间生成被估计为是从位于与2个子图像对应的视点之间的视点拍 摄的内插图像，并使用该内插图像来对像素缺陷进行内插。但是，特表2009 -532993号公报仅提出了使用内插图像来进行重构的技术，并没有公开生 成内插图像的方法。

发明内容

本发明的第1观点所涉及的内插图像生成装置具备：图像取得部，其 取得从多个视点拍摄被摄体而得到的多个拍摄图像；实际像素提取部，其 (i)针对构成所述多个拍摄图像的每个实际像素，从与包含该实际像素的 拍摄图像不同的拍摄图像的像素中提取被估计为与被摄体的相同的部位 对应的实际像素来作为该实际像素的对应实际像素，(ii)进而针对各实 际像素来计算与所提取出的对应实际像素之间的可靠度；雏形定义部，其 定义与未包含在所述多个视点中的新的视点对应的内插图像的雏形；内插 像素提取部，其针对每个所述实际像素，基于(i)拍摄该实际像素的视点 的位置、(ii)拍摄该实际像素的对应实际像素的视点的位置、(iii)所 述新的视点的位置，来从构成内插图像的雏形的内插像素中提取被估计为 与该实际像素所对应的被摄体的部位对应的内插像素的候补；判别部，其 基于(i)所述实际像素的可靠度、或(ii)与所述内插像素的候补相邻的 内插像素所对应的实际像素的可靠度，来判别该内插像素的候补各自是否 与该实际像素对应；以及内插图像生成部，其通过基于所述实际像素的像 素值对所述判别部判别为与该实际像素对应的内插像素的像素值进行更 新，来生成所述内插图像。

本发明的第2观点所涉及的重构图像生成装置具备：图像取得部，其 取得使用多个微透镜来拍摄由主透镜成像的被摄体的光学像而得到的多 个拍摄图像；实际像素提取部，其(i)针对构成所述多个拍摄图像的每个 实际像素，从与包含该实际像素的拍摄图像不同的拍摄图像的像素中提取 被估计为与被摄体的相同的部位对应的实际像素来作为该实际像素的对 应实际像素，(ii)进而针对各实际像素来计算与所提取出的对应实际像 素之间的可靠度；雏形定义部，其定义与未包含在所述多个微透镜的光学 中心之中的新的视点对应的内插图像的雏形；内插像素提取部，其针对每 个所述实际像素，基于(i)拍摄该实际像素的视点的位置、(ii)拍摄该 实际像素的对应实际像素的视点的位置、(iii)所述新的视点的位置，来 从构成内插图像的雏形的内插像素中提取被估计为与该实际像素所对应 的被摄体的部位对应的内插像素的候补；判别部，其基于(i)所述实际像 素的可靠度、或(ii)与所述内插像素的候补相邻的内插像素所对应的实 际像素的可靠度，来判别该内插像素的候补各自是否与该实际像素对应； 内插图像生成部，其基于所述实际像素的像素值更新由所述判别部判别为 与该实际像素对应的内插像素的像素值，来生成所述内插图像；重构部， 其从由所述图像取得部取得的多个图像、和由所述内插图像生成部生成的 内插图像，重构重新对焦的图像；以及图像信息输出部，其对重构后的所 述图像的信息进行输出。

本发明的第3观点所涉及的内插图像生成方法具备：图像取得步骤， 取得从多个视点拍摄被摄体而得到的多个拍摄图像；对应实际像素提取步 骤，针对构成所述多个拍摄图像的每个实际像素，从与包含该实际像素的 拍摄图像不同的拍摄图像的像素中提取被估计为与被摄体的相同的部位 对应的实际像素来作为该实际像素的对应实际像素；可靠度计算步骤，针 对各实际像素来计算与所提取出的对应实际像素之间的可靠度；雏形定义 步骤，定义与未包含在所述多个视点中的新的视点对应的内插图像的雏 形；内插像素提取步骤，针对每个所述实际像素，基于(i)拍摄该实际像 素的视点的位置、(ii)拍摄该实际像素的对应实际像素的视点的位置、 (iii)所述新的视点的位置，来从构成内插图像的雏形的内插像素中提取 被估计为与该实际像素所对应的被摄体的部位对应的内插像素的候补；判 别步骤，基于(i)所述实际像素的可靠度、或(ii)与所述内插像素的候 补相邻的内插像素所对应的实际像素的可靠度，来判别该内插像素的候补 各自是否与该实际像素对应；以及内插图像生成步骤，基于所述实际像素 的像素值更新被判别为与该实际像素对应的内插像素的像素值，来生成所 述内插图像。

附图说明

结合附图考虑以下详细的记述，来获得对本发明更深的理解。

图1是表示本发明的实施方式1所涉及的数码照相机的构成的图。

图2是表示实施方式1所涉及的数码照相机的光学形成的构成的图。

图3是表示实施方式1所涉及的光场图像的示例的图。

图4A是表示实施方式1所涉及的内插图像生成装置的物理构成的图。

图4B是表示实施方式1所涉及的内插图像生成装置的功能构成的图。

图5A～图5C是表示实施方式1所涉及的实际图像与EPI的关系的图。

图6是表示实施方式1所涉及的直线估计处理的概要的图。

图7是表示实施方式1所涉及的直线估计处理的概要的图。

图8是表示实施方式1所涉及的实际像素信息列表的示例的图。

图9是表示实施方式1所涉及的内插像素插入处理的概要的图。

图10是表示实施方式1所涉及的内插像素列表的示例的图。

图11A～图11C是表示实施方式1所涉及的像素值相加处理的概要的 图。

图12是表示实施方式1所涉及的内插图像生成处理的流程图。

图13是表示实施方式1所涉及的角度θ登记处理的流程图。

图14是表示实施方式1所涉及的角度θ估计处理的流程图。

图15是表示实施方式1所涉及的像素值相加处理的流程图。

图16是表示实施方式1所涉及的基于关注实际像素的内插处理的流 程图。

图17A、图17B是表示实施方式1所涉及的二维内插图像生成处理的 概要的图。

图18是表示实施方式1所涉及的重构图像生成处理的流程图。

图19是表示实施方式2所涉及的光学装置的图。

图20是表示本发明的实施方式2所涉及的像素值相加处理的流程图。

具体实施方式

下面，参照附图来说明用于实施本发明的方式所涉及的内插图像生成 装置以及重构图像生成装置。另外，对在图中相同或相当的部分赋予相同 的符号。

(实施方式1)

实施方式1所涉及的内插图像生成装置30搭载于图1所示的数码照 相机1中。数码照相机1具备如下功能：i)拍摄被摄体来获得图像的功能； ii)生成用于填补信息缺陷(差距；gap)的内插图像的功能，该信息缺陷 因从多个视点拍摄相同的被摄体而得到的多个图像(子图像)间的视点的 偏离(视差)而产生；iii)使用子图像和内插图像来生成任意的重构图像 的功能。内插图像生成装置30承担这些功能中的生成内插图像的功能。

如图1所示，数码照相机1由摄像部10、包含内插图像生成装置30 的信息处理部20、存储部40、接口部(I/F)50构成。数码照相机1通过 这样的构成而取得光线信息，并显示表征光线信息的图像。

摄像部10由光学装置110、图像传感器120构成，并进行拍摄动作。

如图2所示，光学装置110由快门111、光圈112、主透镜ML、微透 镜阵列LA构成，并通过主透镜ML来捕捉来自外部的光线，将以各子透 镜SL的光学中心为视点而取得的光学像投影到图像传感器120上。

图像传感器120将光学装置110所投影的光学像变化为电信号并传输 给信息处理部20，例如由CCD(电荷耦合器件)或CMOS(互补金属氧 化物半导体)等摄像元件、以及将由摄像元件生成的电信号传输给信息处 理部20的传输部构成。

快门111对外部光到图像传感器120的入射和屏蔽进行控制。

光圈112对入射到图像传感器120的光的光量进行控制。

主透镜ML由1个或多个凸透镜构成，将被摄体OB的光作为光学像， 而使其成像于主透镜ML与微透镜阵列LA之间的虚拟的成像面IP上。

微透镜阵列LA由在平面上配置为格子状的M×N个子透镜(微透镜) SL构成。微透镜阵列LA将由主透镜ML成像于成像面IP上的光学像设 为以各个子透镜SL的光学中心为视点而观测出的光学像，并使其成像于 构成图像传感器120的图像传感器的摄像面IE上。将由主透镜ML所成 的平面以及摄像面IE所成的平面构成的空间称作光场。

摄像部10通过上述构成，对包含经过光场的全部光线的信息在内的 光场图像进行拍摄。

图3示出了拍摄块状的被摄体OB而得到的光场图像LF的一例。

该光场图像LF由与配置为格子状的M×N个子透镜SL分别对应的 图像(子图像S、S₁₁～S_MN)构成。例如，左上的子图像S₁₁相当于从左上 拍摄被摄体而得到的图像，右下的子图像S_MN相当于从右下拍摄被摄体而 得到的图像。

第i行的子图像(横向的1串子图像)S_i1～S_iN相当于将主透镜ML所 成像的像用微透镜阵列LA的横向排列的第i行的子透镜SL进行成像而得 到的立体图像。同样地，第j列的子图像(纵向的1串子图像)S_lj～S_Mj相当于将主透镜ML所成像的像用微透镜阵列LA的纵向排列的第j列的 子透镜SL进行拍摄而得到的立体图像。

另外，各子图像S是灰度图像，构成子图像的各像素具有像素值(标 量值)。

图1所示的信息处理装置20在物理上由CPU(中央处理单元)、RAM (随机存取存储器)、内部总线、I/O端口构成，作为图像处理部210、内 插图像生成装置30、图像重构部220、摄像控制部230而发挥功能。

图像处理部210从图像传感器120取得电信号，基于存储在存储部40 的摄像设定存储部410中的摄像设定信息，将所取得的电信号变换成图像 数据。图像处理部210将图像数据和摄像设定信息传输给内插图像生成装 置30。

摄像设定信息包括：与光场图像的各子图像对应的视点(子透镜SL 的光学中心)的位置信息、关于主透镜ML的对焦的信息、光圈(F值) 的信息、图像传感器120的设定信息等。

内插图像生成装置30根据由图像处理部210生成的图像数据和从存 储部40读取的摄像设定信息，来生成用于对构成由图像处理部210生成 的图像(光场图像)的子图像进行内插的内插图像。另外，关于内插图像 生成装置30的构成以及内插图像的生成方法，在后面叙述。

内插图像生成装置30将已生成的内插图像的图像数据以及内插图像 的设定信息与从图像处理部210传输来的光场图像的图像数据以及摄像设 定信息一起，传输给图像重构部220。

图像重构部220使用从内插图像生成装置30传输来的光场图像和内 插图像，来生成与存储在存储部40的重构设定存储部420中的重构设定 一致的重构图像。另外，重构图像的生成方法是任意的。

图像重构部220将生成的重构图像存储于存储部40的图像存储部 430。

摄像控制部230基于存储在存储部40的摄像设定存储部410中的摄 像设定信息来控制摄像部10。

存储部40由如下构成：由RAM(随机存取存储器)等构成的主存储 装置；以及由闪速存储器、硬盘等非易失性存储器构成的外部存储装置。

主存储装置加载存储在外部存储装置中的控制程序和信息，并被用作 信息处理部20的工作区域。

外部存储装置预先存储用于使信息处理部20进行后述的处理的控制 程序和信息，按照信息处理部20的指示将这些控制程序和信息传输给主 存储装置。另外，外部存储装置按照信息处理部20的指示来存储基于信 息处理部20的处理的信息和从接口部50传输来的信息。

存储部40在功能上由摄像设定存储部410、重构设定存储部420、图 像存储部430构成。

摄像设定存储部410存储摄像设定信息。摄像设定信息包括：构成微 透镜阵列LA的各子透镜SL的位置信息、微透镜阵列LA与图像传感器 120的摄像面IE的距离、主透镜ML与微透镜阵列LA的距离、和用于确 定曝光时间的信息。摄像设定信息还包括：从接口部50的操作部530输 入的拍摄的F值、快门速度、放大率等摄像参数。

摄像设定存储部410将摄像设定信息中的摄像参数传输给摄像控制部 230。

另外，摄像设定存储部410将表示摄像部10的物理特性的信息和摄 像设定信息传输给图像处理部210。

重构设定存储部420存储从操作部530输入的重构设定信息。重构设 定信息由表示重构处理的具体内容的信息和重构参数构成。

在此，说明对重对焦了光场图像LF后的图像进行重构的情况。此时， 重构设定信息包含：进行重对焦的意思的信息、以及确定新的图像的焦点 与透镜的距离的信息。

图像存储部430存储图像重构部220所重构的图像。图像存储部430 将已存储的图像传输给接口部50的I/O部510和显示部520。

接口部(在图中记述为I/F部)50是涉及数码照相机1与其使用者(用 户)或外部装置之间的接口的构成，由I/O部510、显示部520、操作部 530构成。

I/O部(输入/输出部)510在物理上由USB(通用串行总线)连接器 或视频输出端子、输入输出控制部构成。I/O部510将存储在存储部40中 的信息输出给外部的计算机，并将从外部传输来的信息传输给存储部40。

显示部520由液晶显示装置或有机EL(电致发光)显示器等构成， 对用于输入存储在摄像设定存储部410或重构设定存储部420中的设定信 息的画面、用于操作数码照相机1的画面进行显示。另外，显示部520对 存储在图像存储部430中的图像进行显示。

操作部530例如由在数码照相机1上所具备的各种按钮或在显示部 520中所具备的触控面板、以及检测在各种按钮或触控面板进行的操作的 信息并将检测结果传输给存储部40和信息处理部20的控制部构成，且输 入通过用户操作而输入的信息。

接下来，参照图4A、图4B来说明内插图像生成装置30的构成。

如图4A所示，内插图像生成装置30由信息处理部31、主存储部32、 外部存储部33、操作部34、显示部35、输入输出部36、内部总线37构 成。

信息处理部31由CPU(中央处理单元)、RAM(随机存取存储器) 构成。

主存储部32具有与存储部40的主存储装置相同的物理构成。外部存 储部33具有与存储部40的外部存储装置相同的物理构成，存储有程序38。 操作部34具有与操作部530相同的物理构成。显示部35具有与显示部520 相同的物理构成。输入输出部36具有与I/O部510相同的物理构成。内部 总线37将主存储部32、外部存储部33、操作部34、显示部35、输入输 出部36连接起来。

主存储部32、外部存储部33、操作部34、显示部35、输入输出部36、 内部总线37也可以是通过数码照相机1的信息处理部20的内部电路、存 储部40、和接口部50而实现的功能块。

内插图像生成装置30将存储在外部存储部33中的程序38以及数据 复制到主存储部32中，信息处理部31通过使用主存储部32来执行程序 38，从而执行后述的内插图像生成处理。

如图4B所示，内插图像生成装置30通过上述那样的物理构成而作为 输入部310、信息处理部320、存储部330、操作部340、输出部350发挥 功能。

输入部310由从图像处理部210取得光场图像LF的图像取得部311、 以及对在取得该光场图像LF时的摄像设定信息进行取得的图像设定取得 部312构成。

信息处理部320基于图像取得部311所取得的光场图像LF、图像设 定取得部312所取得的该光场图像LF的摄像设定信息、和存储于内插设 定存储部332中的内插设定，来生成内插图像。信息处理部320将已生成 的内插图像与图像取得部311所取得的图像一起，存储到存储部330的内 插信息存储部333中。

存储部330存储出厂时所存储的设定信息、用户使用操作部340而输 入的输入信息、信息处理部320的处理结果。存储部330将从信息处理部 320请求的信息传输给信息处理部320。另外，存储部330将存储的信息 传输给输出部350。

信息处理部320通过执行下述的处理，而作为EPI生成部321、角度 估计部322、内插图像设置部323、对应检测部324、对应评价部325、像 素值相加部326发挥功能。

EPI生成部321在分别从输入部310的图像取得部311接受光场图像 LF、从图像设定取得部312接受该通常图像LF的摄像设定信息时，生成 EPI(Epipolar Plane Image，极平面图像)。EPI生成部321将生成的EPI 传输给角度估计部322、内插图像设置部323。

在此，参照图5A～图5C来说明由EPI生成部321从光场图像LF生 成的EPI。

为了容易理解，在此，如图5A所示，说明基于从在横(X轴)方向 排列的4个子透镜(SL₁～SL₄)来拍摄位于无限远的背景B、和在Z轴方 向上离开透镜(子透镜)SL₁～SL₄距离z的物体A而得到的光场图像LF 来生成EPI的情况。

另外，设背景B由与彼此不同的像素对应的部分B₁～B₂₅构成。另外， 设物体A由与彼此不同的像素对应的部分A₁～A₇构成。

子透镜SL₁～SL₄分别使子图像S₁～S₄成像于图像传感器120的摄像 面IE上。换言之，子图像S₁～S₄是分别以子透镜SL₁～SL₄的光学中心为 视点对被摄体进行拍摄而得到的图像。

如图5B所示，子图像S₁～S₄分别将纵向(V轴方向)v个、横向(U 轴方向)u(在此设为25)个像素排列成格子状而构成。子透镜SL₁～SL₄的光学中心分别逐次隔开距离(视差)d₁～d₃。在此，设视差d₁～d₃为相 同的值d。在使用微透镜阵列LA来进行拍摄的情况下，视差d的值由微 透镜阵列LA的物理上的构成来确定。视差d的值包含在摄像设定信息中。

子图像S₁～S₄的纵(V轴)向相当于被摄体空间的Y轴方向，横(U 轴)向相当于被摄体空间的X方向。子图像S₁～S₄的相同行(例如第i 行)的各像素串是与同一极平面对应的像素串。极平面是被摄体的关注点、 拍摄被摄体的2个视点这3个点所形成的平面。

将与某极平面对应的像素串配置成相对应的视点的顺序而得到的图 像是EPI。下面，将构成EPI的实际所拍摄的图像(实际图像)的各串标 记为实际像素串，将实际像素串的各像素标记为实际像素。另外，在图5A～ 图5C的示例中，EPI能从子图像S₁～S₄中定义子图像的V轴方向的像素 串的数量V个。

图5C表示将图5B的子图像S₁～S₄的第i行的各像素串依次排列而生 成的EPI。

在此，EPI的纵向(图5C的X轴)与被摄体空间(图5A)的X轴对 应。另外，EPI的横向(图5C的U轴)与子图像(图5B)的U轴对应。 对构成EPI的U轴方向的各串的像素分配像素号(在此为1～25)。EPI 的各行在X轴方向上以与相应的视差d₁～d₃对应的间隔而进行配置。另外， 在视差d₁～d₃大致相同的情况下，也可以使各行间相邻地配置。

在图5C的EPI的各像素内，记载有表示与该像素对应的被摄体的部 分的符号(A₁～A₇、B₁～B₂₅)。

例如，与物体A的部分A₁对应的像素在实际像素串1(R₁)中表现 为像素号7的像素，在实际像素串2(R₂)中表现为像素号10的像素。实 际像素串1与实际像素串2中的像素号之差Δ₁为3。将各EPI的行间(实 际像素串1(R₁)与实际像素串2(R₂)之间、实际像素串2(R₂)与实际 像素串3(R₃)之间、实际像素串3(R₃)与实际像素串4(R₄)之间)产 生的像素号之差Δ(Δ₁～Δ₃)称作该被摄体的EPI视差。在视差d(＝d₁＝d₂＝d₃)相等的情况下，EPI视差(Δ₁～Δ₃)也相等。

实际像素串1(R₁)～实际像素串4(R₄)隔开与相应的子透镜SL₁～ SL₄之间的视差d₁～d₃对应的间隔来进行配置，因此，与同一被摄体对应 的EPI上的像素在EPI上排列于直线上。

具体地，例如与物体A的右端(A₇)的部分对应的像素在图5C的直 线L(A₇)上排列。在此，将直线L(A₇)称作被摄体部分A₇的EPI直线。

对应的被摄体越接近，EPI直线相对于EPI的X轴的角度越大。这是 因为，若被摄体(例如A₇)越接近，则从被摄体(A₇)进入到透镜L₁～ L₄的光的角度就因视差d₁～d₃而越大地变化，因此，对应的像素的位置(像 素号)就彼此越大地在U轴方向上偏离。

另一方面，例如在被摄体如背景B那样位于充分远离透镜L₁～L₄的 位置的情况下，由于光大致平行地进入到透镜L₁～L₄中，因此，对应的像 素的位置(像素号)在U轴方向上没有变化，如EPI直线L(B₁)那样， 与EPI的X轴平行。

与被摄体上的某点Q对应的EPI直线L(Q)与X轴的交叉角度θ(Q) 根据点Q与子透镜之间的距离Z_q、视差d、微透镜阵列LA与摄像面IE 之间的距离、摄像元件间的距离等来确定。

若EPI视差Δ(＝Δ₁＝Δ₂＝Δ₃)大，则在EPI的各行存在大的信息的 差距(像素缺陷)。该像素缺陷(信息差距)成为进行图像的重构时的噪 声的原因。为此，在本实施方式中，在子图像之间生成虚拟的内插图像， 并将其配置于EPI的实际像素串之间来用于重构图像的生成，由此减少因 像素缺陷而引起的噪声。

返回图4B，EPI生成部321将生成的EPI传输给角度估计部322和内 插图像设置部323。

在存在横向N个、纵向M个子图像S、且各个实际图像由纵向V个 像素串、横向U个像素串构成的情况下，总共能定义V·M+U·N个EPI。

EPI生成部321若取得由M·N个子图像S构成的光场图像LF，则生 成上述(V·M+U·N)个EPI全部。

角度估计部322若被EPI生成部321传输来EPI，则对EPI上的各实 际像素使用存储在内插设定存储部332中的内插设定，并估计EPI直线与 X轴所成的角度θ。

内插设定的信息包含：生成的内插图像的数量、设置内插图像的相对 位置、在角度估计中所使用的参数等。内插设定由用户使用操作部340来 定义，并存储在内插设定存储部332中。内插设定可以是出厂时预先存储 在内插设定存储部332中的信息。

说明针对成为处理对象的实际像素来估计EPI直线与X轴交叉的角度 θ的处理的概要。

将关注实际像素标记为像素Pxl(R_x，u)。R_x表示关注实际像素为实 际像素串R_x(第x列的实际像素串)的像素，u表示关注实际像素为实际 像素串R_x中的第u个的像素。然后，将经过关注实际像素Pxl(R_x，u) 的与X轴所成角度为角度θ的直线标记为Line(θ)。

在图6中示出将实际像素串2(R₂)的像素号16的像素Pxl(R₂，16) 作为了关注实际像素的、对角度θ进行估计的处理的示例。图6示出了针 对Pxl(R₂，16)而定义的、与多个θ对应的多条直线Line(θ)。

并且，对位于各直线Line(θ)上的R₁～R₄的实际像素，基于位于直 线上的像素值之差来计算Pxl(R_x，u)的直线Line(θ)为EPI直线的可 靠性(likelihood)的评价值C。

基于式(1)来计算评价值C。评价值C的值(C值)越小，则直线 Line(θ)上的实际像素的像素值的误差越小，该直线上的像素所对应的可 靠度就越高。导出评价值C的可靠度最高的角度θ，并将其设为针对该实 际像素而估计出的EPI直线的角度θ。

$C=\frac{1}{K}\underset{k\in \mathrm{EPI}}{\Sigma }|I_k-I|...\left(1\right)$

式(1)的I是关注实际像素的像素值，EPI是表征位于Line(θ)上 的关注实际像素以外的各像素的参数，I_k是位于直线上的关注实际像素以 外的各像素的像素值，K是位于直线上的关注实际像素以外的像素的数量。

另外，评价值C并不限于式(1)，也可以使用直线Line(θ)上的各 像素的像素值的误差越大则解就越大的任意的计算式来进行计算。例如， 例如，评价值C还可以使用如下计算式来计算：将关注实际像素的像素值 与直线上的像素值之差取平方后再相加，然后再除以K。

另外，通过以下的处理来提取存在于直线Line(θ)上的像素。

(1)求取Line(θ)与各像素串的中心线的交点P_c。

(2)在交点Pc位于像素串的像素A的中心与像素B的中心的中间 的情况下，像素A和像素B中中心更接近于交点Pc的像素被选择为该像 素串中存在于Line(θ)上的像素。

(3)在交点Pc为像素A的中心的情况下，选择像素A作为该像素 串中存在于Line(θ)上的像素。

(4)在交点Pc偏出了像素串的情况下(在图6的示例中，位于像素 号1或像素号25的外侧的情况)，该像素串中不存在Line(θ)上的像素。

图4B所示的角度估计部322将评价值C的可靠度最高的角度θ作为 该像素的估计EPI直线，若该C值为规定的阈值以下，则将该角度θ登记 到后述的实际像素信息列表中。例如，与图6的关注实际像素Pxl(R₂， 16)所对应的被摄体A7对应的像素存在于Line(θ₂)上，因此，对像素 (R₂，16)登记角度θ₂。

此时，存在难以估计EPI直线的像素。例如，与图6的像素Pxl(R₄， 13)对应的被摄体是图5A所示的背景B的部分B₁₃。若不存在物体A， 则与B₁₃对应的像素应当存在于与X轴平行的角度0的EPI直线(Pxl(R₄， 16)的Line(0))上。

但由于B₁₃在实际像素串1～3中被物体A遮蔽，因此与像素Pxl(R₄， 13)对应的像素并不存在于实际像素串1～3中。故而无法估计EPI直线。

另外，例如，与Pxl(R₄，8)对应的被摄体是背景B的部分B₈。与 部分B₈对应的像素虽然在实际像素串2～3中存在于Pxl(R₄，8)的Line (θ₀)上，但在实际像素串1中由于被物体A遮蔽，因此不存在。故而， 存在无法根据Pxl(R₁，8)的像素值来正确地估计直线Line(0)从而对 Pxl(R₄，8)登记与角度0不同的角度θ的可能性。

于是，内插图像生成装置30重复进行估计处理，将得到了可靠度高 的估计直线的像素在下一次重复的估计处理中从处理对象中排除来进行 估计处理。

参照图7来说明该处理。

首先，由于图7中以斜线或网状线所示的实际像素在EPI上的实际像 素串1～4的全部中都存在对应的实际像素，因此，若不考虑噪声的影响， 则能估计高的可靠度(小的C值)的EPI直线。

仅在C值为被预先设定为小的数值以使可靠度高的阈值以下的情况 下才登记角度θ，在这样的条件下来执行第1次的估计处理。其结果，仅 针对对应关系可靠的像素(斜线的像素以及网状线的像素)估计EPI直线， 登记角度θ。然后，在从下一次起以后的循环中，从计算对象中将登记了 角度θ的实际像素排除。

接下来，仅使用在第1次的估计处理中未登记角度θ的实际像素来进 行第2次的估计处理。此时，即使阈值与第1次的估计处理相同，式(1) 的作为计算对象的像素也减少了，因此，在第2次的估计处理中，能针对 椭圆所示的像素估计角度θ。例如，在第2次的估计处理中估计Pxl(R₄， 7)的直线时，从计算对象中排除Pxl(R₁，7)的像素值。故而，由于在 式(1)中不再相加Pxl(R₄，7)的像素值与Pxl(R₁，7)的像素值之差， 因此，角度0能不受Pxl(R₁，7)的像素值的影响地正确估计EPI直线。

以后，仅使用未登记角度θ的的实际像素来依次执行相同的动作。

根据本实施方式，通过对各直线计算评价值C，并将评价值C小的直 线设为估计EPI直线，得到了能在EPI上简便地估计与各实际像素对应的 实际像素这样的效果。另外，通过将登记了角度θ一次的像素在从下一次 开始的角度θ估计处理中从比较对象排除出去，并从与对应关系可靠(未 因遮挡而屏蔽)的被摄体对应的像素起依次登记角度θ，从而能进一步不 受与屏蔽的被摄体对应的像素的影响地来估计与因遮挡而屏蔽的被摄体 对应的像素的对应关系。

根据某像素是在第几次的估计处理中登记了角度θ，能评价与该像素 对应的被摄体因被遮挡而被屏蔽的程度。能将以越少的处理次数登记了角 度θ的像素评价为对应的被摄体因被遮挡而被屏蔽的可能性越低。于是， 将在第几次的处理(反复)中登记角度θ、和该次数(反复数)作为该像 素的角度θ的评价值IT，来与像素建立对应地进行存储。

另外，如图7中涂黑的Pxl(R₄，13)那样，还存在无对应的像素从 而无法进行角度的估计的(无法估计具有比规定的阈值(阈值的最大值) 小的C值的EPI直线)的像素。针对这样的像素，将角度θ存储为空 (NULL)。在因噪声而未能检测出C值比阈值低的直线的情况下也相同。

图4B所示的角度估计部322针对各像素，生成将估计出的EPI直线 的角度θ、和在EPI直线的估计过程中所计算出的该直线的评价值IT(反 复数)建立对应地进行了登记的实际像素信息列表，并将其存储在实际像 素信息存储部331中。

在此，参照图8来说明存储在实际像素信息存储部331中的实际像素 信息列表。

实际像素信息列表针对实际像素串上的各像素，将估计出的EPI直线 的角度θ、与角度θ的评价值IT(登记了角度θ的反复数)建立对应地进 行存储。

实际像素ID是唯一地表征在该行中所登记的像素的标识符。

实际像素串ID表示在该行中所登记的像素是哪个像素串的像素。像 素号表示该行中所登记的像素的像素号。

例如，某行的实际像素串ID为#01、像素号为1，示出了该行登记了 像素串R₁的第1个像素Pxl(R₁，1)的角度θ和评价值IT。

θ是针对该行的实际像素所估计的EPI直线与X轴的角度θ。

θ为0意味着被推测为：与该像素对应的被摄体距透镜较远(视同无 限远的程度)。

另一方面，θ大表示与该像素对应的被摄体存在于接近透镜的位置。θ 取从0起至根据照相机的性质而确定的最大值θ_max为止的任意的值。另外， θ_max的值存储在摄像设定存储部410中。

评价值IT是表示对该像素登记的角度θ是在第几次的反复中被登记 的数值。该数值越小，对该像素所登记的角度θ的可靠度就越高。

基于图4B来继续说明。

内插图像设置部323在从EPI生成部321传输来EPI时，基于内插设 定存储部332所存储的内插设定信息，来在EPI上定义内插图像的像素串。

在此，参照图9来说明在EPI上所定义的内插图像的像素串。

在从EPI生成部321传输来的EPI上，隔着与视差对应的间隔而配置 有所拍摄的图像的像素串。在图9中，沿袭上述的示例，示出隔着与视差 d对应的间隔而配置有实际像素串1～4(EPI的第1行、第4行、第7行、 第10行)的示例。

内插图像设置部323基于内插设定信息，在实际像素串之间配置规定 数量的内插像素串。在此，设根据内插补正信息而定义为在实际像素串之 间以每2串为一组均衡地插入内插像素串。在此情况下，按照内插设定信 息，在EPI上插入内插图像的像素串(内插像素串1～6、V₁～V₆)(EPI 的第2行、第3行、第5行、第6行、第8行、第9行)。

内插图像设置部323在实际像素串与实际像素串之间插入内插像素 串。此时所插入的内插像素串的各像素(内插像素)的像素值为零。

该处理等同于：在子透镜SL₁～SL₄(实际透镜)之间设置虚拟的透镜 (内插透镜)，并将被推测为从内插透镜得到的、图像的像素串的雏形配 置在EPI上。

例如，图9的内插像素串1是被估计为从存在于与实际图像S₁对应的 子透镜SL₁、和与实际图像S₂对应的子透镜SL₂之间的内插透镜SL_v1得到 的、虚拟的子图像(内插图像)S_v1的第v行的像素串。内插透镜SL_v1存 在于子透镜SL₁～SL₄所成的直线上的与子透镜SL₁离开虚拟视差d_v(＝ d₁/3)的位置。

插入内插像素串的EPI上的位置以及插入的像素串的数量能通过内插 设定来适当地确定。例如，可以将与实际像素串1离开虚拟视差d_v1＝d₁/5 的内插图像的内插像素串1、以及与实际像素串1离开虚拟视差d_v2＝d₁/2 的内插像素串2，插入到实际图像S₁的实际像素串1和实际图像S₂的实际 像素串2之间。另外，还能进行在实际像素串1和实际像素串2之间插入 3个内插像素串、在实际像素串2和实际像素串3之间不插入内插像素串 这样的设定。

返回图4B来继续说明。

内插图像设置部323将插入了内插像素串后的EPI传输给对应检测部 324。对应检测部324针对传输来的EPI的各实际像素，提取与该像素对 应的内插像素。

对应检测部324针对EPI上的各实际像素，将该实际像素、以及针对 该实际像素而登记的估计EPI直线上的内插像素作为对应的像素的集合进 行检测。该处理从可靠度高(所登记的评价值IT小)的实际像素起依次 进行。对各像素的集合，将实际像素的评价值IT设为其对应关系的可靠 度(评价值IT_r)。

对应检测部324在提取表示1个实际像素、与该实际像素对应的内插 像素的集合、其对应的评价值IT_r的信息(下面记作对应信息)时，将该 对应信息传输给对应评价部325。

对应评价部325在从对应检测部324传输来对应信息时，评价该对应 关系的可靠性。该评价基于其对应的评价值IT_r、以及存储在内插信息存 储部333中的后述的内插像素列表来进行。具体的评价方法在后面叙述。

对应评价部325在针对1个对应信息而完成对应的可靠性的评价后， 将对应信息和评价结果传输给像素值相加部326。

像素值相加部326基于所传输来的对应信息和评价结果，对EPI的内 插像素相加像素值。然后，将和值结果存储到存储于内插信息存储部333 中的内插像素列表中。

在此，参照图10来说明存储于内插信息存储部333中的内插像素列 表。

内插像素列表将唯一表示EPI上的各内插像素的内插像素ID(内插像 素串ID和像素号)、该内插像素的到目前为止的像素值、对该内插像素 相加了实际像素的像素值的次数(相加次数)、以及该内插像素的评价值 IT_r建立对应地进行了存储。

在像素值连一次都未相加的情况下，像素值和评价值IT_r为NULL。

在此，内插像素的评价值IT_r是与该像素对应的实际像素(到此为止 对该内插像素相加像素值而得到的实际像素)中的评价值IT最小(可靠 度最高)的实际像素的评价值。

在此，参照图11A～图11C来说明由对应检测部324、对应评价部325、 像素值相加部326进行的内插像素值相加处理的概要。

在图11A～图11C中，用内插像素串的内插像素内的数值来表示对该 内插像素相加了像素值的次数。另外，省略了相加次数0的标记。

首先，对应检测部324将图11A中斜线所示的实际像素Pxl(R₁，7) 作为关注实际像素，从存储于实际像素信息存储部331中的实际像素信息 列表读取所登记的角度θ，并基于角度θ检测Pxl(V₁，8)、Pxl(V₂，9)、 Pxl(V₃，11)、…，来作为对应的内插像素(所估计出的EPI直线上的 内插像素)。

接下来，对应评价部325评价Pxl(R₁，7)与Pxl(V₁，8)之间的对 应的可靠性。

即，参照内插像素列表来判别像素值是否已经从评价值IT比Pxl(R₁， 7)更低的(可靠度更高)的实际像素相加到Pxl(V₁，8)的两侧相邻的 像素上。在未将像素值从具有更低评价值IT的实际像素加到两侧相邻的 像素上的情况下，估计为对应是可靠(likely)的。

在图11A的情况下，由于在Pxl(V₁，8)的两侧相邻(Pxl(V₁，7) 和Pxl(V₁，9))上还未相加像素值，因此，对应评价部325判别为Pxl (R₁，7)与Pxl(V₁，8)之间的对应是可靠的。

然后，像素值相加部326将Pxl(R₁，7)的像素值相加到Pxl(V₁，8) 上。具体地，使内插像素列表的Pxl(V₁，8)的行的相加次数自增 (increment)，并加上像素值。进而，若该行的评价值为NULL，则将实 际像素Pxl(R₁，7)的评价值IT登记到评价值IT_r中。

在已经完成了一次以上的像素值相加的情况下，将使用下面的式(2) 而算出的数值登记为相加后的数值。

$V^{\prime }=\frac{(V·t)+\mathrm{Val}}{t+1}...\left(2\right)$

此时，V′为更新后的像素值，V为更新前的像素值，Va1为关注实际 像素的像素值，t为自增前的相加次数。

下面，对针对关注实际像素Pxl(R₁，7)而提取出的其它的内插像素 (Pxl(V₂，9)、Pxl(V₃，11)…)，也同样地进行判别处理、相加处理。

针对Pxl(R₁，7)的处理结束时，选择下一关注实际像素，同样地在 对应的内插像素上追加像素值。图11B示出了下一个关注实际像素是Pxl (R₂，10)的关注实际像素的情况下的处理结果。

处理进一步进行，在图11C中示出了在第n次的步骤中与背景B的部 分B₉对应的像素Pxl(R₂，9)被选为关注实际像素的情况下的处理。

登记在Pxl(R₂，9)中的θ值为0，提取Pxl(V₁，9)、Pxl(V₂，9)、 Pxl(V₃，9)…来作为对应的内插像素的候补。在图11B中，将Pxl(R₂， 10)的像素值加到Pxl(V₁，8)、Pxl(V₂，9)、Pxl(V₃，11)上。

对应评价部325针对该Pxl(R₂，9)与Pxl(V₁，9)、Pxl(V₂，9)、 Pxl(V₃，9)的每一个，评价对应的可靠性。

即，判别与提取出的对应候补像素的每一个相邻的内插像素是否为已 经被加上了具有更小的评价值IT的实际像素的像素值的内插像素(具有 比关注实际像素更小的ITr的内插像素)(图11C的×所示的像素)。

相邻的像素的两者都具有比关注实际像素小的ITr的内插像素(例如 Pxl(V₁，9))，被估计为是与因遮挡而被屏蔽的被摄体对应的像素(遮 挡像素)。故而，该内插像素判别为不与关注实际像素Pxl(R₂，9)对应， 不相加像素值。

另一方面，在相邻的内插像素的至少一者的IT_r为关注实际像素IT以 上的情况下(Pxl(V₂，9)以及Pxl(V₃，9))，基于该内插像素不是遮 挡像素的判别，相加关注实际像素Pxl(R₂，9)的像素值。

此时，在仅有相邻的内插像素的一者已经被相加了评价值IT更小的 实际像素的像素值的情况下，也相加Pxl(R₂，9)的像素值。认为这样的 内插像素相当于对应的被摄体因遮挡而隐藏的边缘部分。通过相加与比边 缘部分更远的被摄体对应的像素的像素值，能使边缘变得“圆润”。

通过判别是否登记有评价值IT比相邻的内插像素小(可靠度高)的 实际像素的像素值来简便地判别是否为遮挡像素，从而能生成保持了光场 图像的纵深信息的内插图像。

另外，在此，只有在相加了评价值IT小于相邻的内插像素的双方的 实际像素的像素值的情况下，才将该内插像素判别为遮挡像素。但是，是 否为遮挡像素的判别基准并不限于此。例如，也可以在相加了评价值小于 相邻的像素的至少1个的实际像素的像素值的情况下，将该内插像素判别 为是遮挡像素。

根据这样的判别方法，能更严密地判定实际像素与内插像素的对应。

另外，也可以不是相邻的像素，而是在该内插像素自身上已经被相加 了评价值IT更小的实际像素的像素值的情况下，将该像素判别为是遮挡 像素。

在像素值相加处理结束、登记在内插信息存储部333中的内插像素列 表被更新时，像素值相加部236将针对当前的关注实际像素而结束了处理 的情况传输给对应检测部324。然后，对应检测部324针对下一实际像素 来检测对应，同样地继续处理。在针对全部的实际像素进行了上述的处理 时，针对该EPI，结束内插图像的生成。

对EPI生成部321所生成的全部的EPI生成内插图像结束时，生成部 350对外部装置输出内插完成的EPI(内插图像和实际图像)。然后，内 插图像生成装置30结束处理。

接下来，参照图12～图19来说明具有上述构成的内插图像生成装置 30生成内插图像的处理。

内插图像生成装置30的信息处理部320在由输入部310取得光场图 像LF以及摄像设定信息时，开始图12所示的内插图像生成处理。

若开始内插图像生成处理，则从输入部310对EPI生成部321传输该 光场图像LF和该摄像设定信息(步骤S101)。

EPI生成部321根据已取得的光场图像LF、摄像设定信息来生成图 5C所示的EPI(步骤S102)。

EPI生成部321计算所生成的EPI的数量J，对照地用1～J的数值对 各个EPI进行编号。另外，将1代入到计数器j中(步骤S103)。

接下来，EPI生成部321对焦至第j个EPI。步骤S105～S108针对对 焦后的EPI而被执行(步骤S104)。

角度估计部322针对第j个EPI执行角度θ登记处理(步骤S105)。 关于角度θ登记处理在后面进行叙述。

在角度θ登记处理结束、对第j个EPI的各实际像素登记了角度θ、 并将实际像素信息列表存储到实际像素信息存储部331时，如图9所示， 内插图像设置部323将内插像素串插入到第j个EPI中(步骤S106)。

在内插像素串的插入结束时，对应检测部324、对应评价部325、像 素值相加部326进行图11A～图11C所示的像素值相加处理(步骤S107)。 关于像素值相加处理(像素值相加处理1)在后面叙述。

在像素值相加处理结束时，针对其EPI也结束处理。然后，将j与J 进行比较，来判别是否还剩余未处理的EPI(步骤S108)。在j小于J而 剩余未处理的EPI的情况下(步骤S108：否)，使j自增(步骤S109)， 重复步骤S104～步骤S108的处理。

另一方面，在j为J以上、未剩余未处理的EPI的情况下(步骤S108： 是)，信息处理部320结束内插图像生成处理。

在结束内插图像生成处理时，输出部350将存储在内插信息存储部 333中的、内插图像及实际图像传输给图像重构部220。关于之后的处理 在后面叙述。

接下来，参照图13来详细说明角度θ登记处理(步骤S105)。

在角度θ登记处理中，首先，角度估计部322对变量进行初始化(步 骤S201)。

具体地，将1代入it，将1代入计数器n，将最初的阈值TH₀代入th。 另外，取得EPI上的实际像素的数量N、总反复次数IT_max。在此，IT_max和TH₀是存储于内插设定存储部332中的数值。IT_max和TH₀既可以是通过 实验等而求取并在初始设定中确定的数值，也可以是由用户输入的任意的 数值。另外，角度估计部322用1～N的数字来在步骤S201中对EPI上的 实际像素进行编号。

在步骤S201结束时，接下来，角度估计部322选择第n个像素作为 关注实际像素(S202)。

然后，角度估计部322参照存储在实际像素信息存储部331中的实际 像素信息列表，判别是否已对关注实际像素登记了角度θ(步骤S203)。

在已经登记的情况下(步骤S203：是)，角度估计部322对该实际像 素结束处理。即，使n自增(步骤S209)，返回至步骤S202。

在还未对关注实际像素登记角度θ的情况下(步骤S203：否)，角度 估计部322针对关注实际像素进行角度θ估计处理(步骤S204)。关于角 度θ估计处理在后面叙述。

在角度θ估计处理结束、计算出针对关注实际像素所估计出的角度θ、 与角度θ的评价值C时，接下来，角度估计部322判别角度θ的评价值C 是否大于阈值th(步骤S205)。在角度θ的评价值C大于阈值th的情况 下(步骤S205：是)，由于该角度θ在本次的反复中未具有充分的的可靠 度，因此，针对该像素，不在本次的反复中登记角度θ。即，使n自增(步 骤S209)，返回至步骤S202。

另一方面，在角度θ的评价值C为阈值th以下的情况下(步骤S205： 否)，角度估计部322针对关注实际像素，将其角度θ、评价值IT(＝当 前的反复次数it)登记到实际像素信息存储部331的实际像素信息列表中 (步骤S206)。

然后，接下来，角度估计部322判别n是否为N以上(步骤S207)。 在n小于N的情况下(步骤S207：否)，由于在当前的反复中存在未处 理的实际像素，因此，角度估计部322使n自增(步骤S209)，返回至步 骤S202。

另一方面，在n为N以上的情况下(步骤S207：是)，由于在该反 复中结束了对全部实际像素的处理，因此，接下来角度估计部322判别反 复次数是否结束(步骤S208)。即，在it不足IT_max的情况下(步骤S208： 否)，由于规定的反复次数还未结束，因此使it自增，对n进行初始化， 将th更新为新的阈值TH_it(步骤S210)。然后使处理从S202起重复。

此时，阈值th的更新规则根据存储在内插设定存储部332中的内插设 定来确定。越对反复进行重复，则阈值th变得越大(直线的判别基准变得 宽松)。

在此，TH_it是在当前的th上加上规定的差Δth后得到的数值。

另外，尽管在此设为了在新的反复中必定更新阈值th，但在对反复进 行重复的情况下更新阈值的方法并不限于此。在该反复中对新的实际像素 登记了角度θ的情况下，由于在下一次的θ估计处理中排除掉该登记了角 度的像素后再进行估计处理，因此在下一次的反复中，即使利用相同的阈 值th也能将角度θ登记至新的实际像素。故而，在当前的反复中，在将角 度θ登记至新的实际像素的情况下，TH_it也可以与当前的th相同。

另一方面，在it为IT_max以上的情况下(步骤S208：是)，由于结束 了规定的反复次数，因此角度估计部322结束角度θ登记处理。

接下来，参照图14来说明角度θ登记处理在步骤S204所执行的角度 θ估计处理。

角度估计部322开始角度θ估计处理时，首先进行变量的初始化(步 骤S301)。即，将1代入计数器m，将空NULL代入针对关注实际像素 所估计的角度(成为角度θ估计处理的解的角度θ)即角度变量θ_ans以及 表示到目前为止的评价值的变量max，将初始值θ₀代入表示成为当前的处 理对象的角度的变量θ_m。另外，提取角度θ估计处理的重复次数M。

M和θ₀是存储在内插设定存储部332中的数值。M和θ₀既可以是通 过实验等而求取并在初始设定中确定的数值，也可以是由用户输入的任意 的数值。在此，将θ₀设为设计上的最大角度即θ_max。

在步骤S301结束时，角度估计部322接下来提取作为EPI上的实际 像素的、存在于经过关注实际像素的角度θ_m的直线上且还未登记角度θ 的像素(步骤S302)。

然后，角度估计部322在式(1)中使用步骤S302中提取出的像素的 像素值，来求取经过关注实际像素的直线Line(θ_m)。

角度估计部322接下来比较变量max和评价值C，来判别在步骤S303 中计算出的评价值C是否为以前的循环中针对关注实际像素而计算出的 评价值C中最小的值，即该直线Line(θ_m)是否为关注实际像素最可靠的 直线(步骤S304)。另外，在max的值为NULL的情况下，将NULL作 为无限大来进行计算。

在max≥评价值C的情况下(步骤S304：否)，由于θ_m是在当前时 间点的关注实际像素的最可靠的直线，因此将在步骤S303计算出的评价 值C代入变量max，将θ_m代入变量θ_ans(步骤S305)。

另一方面，在max＜评价值C的情况下(步骤S304：是)，由于在关 注实际像素中已经登记了可靠性更高的角度θ，因此，不登记角度θ_m，跳 过步骤S305。

接下来，角度估计部322比较m和M来判别规定的重复次数是否已 结束(步骤S306)。

在m≥M的情况下(步骤S306：是)，由于规定的重复次数M次处 理结束，因此角度估计部322结束角度θ估计处理，将θ_ans作为关注实际 像素的估计角度，将max的值作为其评价值C，来开始角度θ登记处理的 步骤S205。

另一方面，在m＜M的情况下(步骤S306：否)，由于处理还未结束 规定的重复次数，因此，角度估计部322使计数器m自增，将θ_m更新为 θ′，并从步骤S302起重复处理。

在此，θ_m的更新规则遵循内插设定存储部332中所存储的设定。在此， 设θ′是从更新前的θ_m中减去规定的数值Δθ而得到的值。

接下来，参照图15来说明图12所示的内插图像生成处理的像素值相 加处理(步骤S107)的第1具体例(像素值相加处理1)。

在像素值相加处理1中，首先，对应检测部324对变量进行初始化(步 骤S401)。

在步骤S401中，对应检测部324将1代入表示当前的反复次数的变 量it₂以及计数器变量k。另外，取得EPI上的实际像素的数量N、以及像 素值相加处理1的总反复次数IT_max。另外，取得在角度θ登记处理中所登 记的实际像素的编号信息。在此，各实际像素的编号根据该实际像素登记 在存储于实际像素信息存储部331中的实际像素信息列表的第几行来确 定。

在此，实际像素的数量N是在角度θ登记处理中所提取的实际像素的 数量N。另外，总反复次数IT_max与在角度θ登记处理中提取的IT_max相同。

在初始化结束时，对应检测部324选择第k个实际像素作为关注实际 像素(步骤S402)。具体地，提取登记在实际像素信息列表的第k行上的 实际像素的信息，并将该实际像素作为关注实际像素。

接下来，对应检测部324判别在关注实际像素中是否登记有角度θ(步 骤S403)。即，判别实际像素信息列表的第k行的角度θ的值是否不为 NULL，在为NULL的情况下，判别为未对关注实际像素登记角度θ(步 骤S403：否)。然后，针对该像素结束处理，跳到步骤S406。

另一方面，在实际像素信息列表的第k行的角度θ不为NULL、对关 注实际像素登记了角度θ的情况下(步骤S403：是)，接下来，对应检测 部324对关注实际像素的评价值IT和当前的反复次数it₂进行比较(步骤 S404)。

在关注实际像素的评价值IT与当前的反复次数it₂不同的情况下(步 骤S404：否)，由于该像素在本次的反复中不是处理对象，因此，对应检 测部324对该像素结束处理。

即，对应检测部324跳到步骤S406。

另一方面，在关注实际像素的评价值IT与当前的反复次数it₂相等的 情况下(步骤S404：是)，对应检测部324执行基于关注实际像素的内插 处理(步骤S405)。关于在步骤S405所执行的处理在后面叙述。

在此，关注实际像素的评价值IT是表示关注实际像素的角度θ是在 角度θ登记处理(图14)的第几次的反复中被登记的数值。如此，基于具 有与反复次数it₂相等的评价值IT的实际像素来执行内插处理，对反复进 行重复是从评价值小而被推测为由于遮挡而引起的对应关系的分歧的发 生可能性更小的实际像素起执行内插处理。

在基于关注实际像素的内插处理(步骤S405)结束时，对应检测部 324判别是否还剩余未处理的实际像素(步骤S406)。具体地，判别k是 否为N以上，在小于N的情况下(步骤S406：否)，对应检测部324判 别为在该反复中存在未处理的实际像素。然后，使k自增(步骤S407)， 将下一实际像素设为关注实际像素，从步骤S402起重复处理。

另一方面，在k为N以上、判别为在该反复中已对全部的实际像素进 行了处理的情况下(步骤S406：是)，对应检测部324结束该反复。然后， 比较it₂和IT_max，来判别反复是否被重复了规定的次数IT_max(步骤S408)。

在it₂小于IT_max时(步骤S408：否)，判别为未重复处理规定的反复 次数，对应检测部324移转到下一反复。

具体地，对应检测部324使it₂自增，将1代入k(步骤S409)，使处 理从步骤S402起重复。

另一方面，在it₂为IT_max以上的情况下(步骤S408：是)，对应检测 部324结束像素值相加处理1。

接下来，参照图16来说明在像素值相加处理1的步骤S405中所执行 的基于关注实际像素的内插处理。

在基于关注实际像素的内插处理中，首先，对应检测部324从实际像 素信息存储部331的实际像素信息列表中提取该关注实际像素的角度θ。

然后，基于所提取的角度θ来定义关注实际像素的估计EPI直线Line (θ)，提取位于EPI直线上的内插像素(步骤S501)。

接下来，对应检测部324取得所提取出的内插像素的数量I，将1代 入计数器变量i(步骤S502)。进而，对应检测部324用1至I来对在步 骤S502中提取出的各内插像素进行编号。

对应检测部324结束步骤S502时，接下来，对应评价部325参照存 储在内插信息存储部333中的内插像素列表，提取与第i个内插像素相邻 的内插像素(步骤S503)。即，对应评价部325从内插像素列表中提取第 i个内插像素的内插像素串ID(ID_i)和像素号(N_i)，提取内插像素串ID 为ID_i、像素号为N_i+1的内插像素和N_i-1的内插像素。

然后，对应评价部325判别第i个的内插像素是否为遮挡像素(步骤 S504)。

根据到前次为止的反复中，在步骤S503中提取出的相邻的内插像素 的两者上是否都被加上了像素值(对于相邻的内插像素，比当前的反复次 数it₂小的评价值IT_r是否被登记在内插像素列表中)来判别是否为遮挡像 素。

在相邻的2个内插像素的两者都登记有比it₂小的评价值IT_r的情况下， 能推测为第i个内插像素是遮挡像素，不与关注实际像素对应。即，能推 测为第i个内插像素是与位于关注实际像素所对应的被摄体的更前方的被 摄体对应的像素。故而，若对应评价部325判别为第i个内插像素为遮挡 像素(步骤S504：是)，则不对像素值相加部326指示像素值的相加，而 跳到步骤S506。

另一方面，若判别为第i个内插像素不是遮挡像素(步骤S504：否)， 则基于第i个内插像素与关注实际像素之间相对应的推测，对应评价部325 将对第i个内插像素相对关注实际像素值的情况传输给像素值相加部326。 像素值相加部326基于式(2)来相加第i个内插像素的像素值，并将相加 得到的像素值登记到与内插像素列表的第i个内插像素对应的行(步骤 S505)。另外，在步骤S505中，在当前的反复次数it₂为所登记的IT_r以 下的情况下，像素值相加部326将it₂作为该行的新的评价值IT_r而予以登 记。

在像素值相加部326将关注实际像素的像素值加到内插像素上而更新 了内插像素列表后，对应检测部324比较i和I来判别是否已对步骤S501 中提取出的全部内插像素结束了处理(S506)。

若i为I以上而判别为对全部的提取出的内插像素结束了上述处理(步 骤S506：是)，则对应检测部324结束基于关注实际像素的内插处理。

另一方面，在i小于I而判别为剩余未处理的内插像素的情况下(步 骤S506：否)，对应检测部324使i自增(步骤S507)，针对下一内插 像素从步骤S503起重复处理。在针对全部的像素而结束内插像素的相加 处理时，结束针对该EPI已结束内插图像的生成这样的判断的基础、基于 关注实际像素的内插处理。

内插图像生成装置30通过上述的一系列的处理来生成内插图像。内 插图像生成装置30通过重复执行上述处理，来相对于实际像素平面地生 成内插图像。参照图17A、图17B来说明该平面性的内插图像的生成处理。

首先，从图17A中的圆所示的实际图像(实₁₁～实₁₂…)纵横地生成 第1阶段的EPI的集合(EPI(纵1₁)、EPI(纵2₁)…EPI(横1₁)、EPI (横2₁)…)。横向的EPI的集合(EPI(横1₁)、EPI(横2₁)…)分别 由V个EPI构成，能定义微透镜LA的纵向的子透镜的数量(M个)。即， 横向的EPI能定义V·M个。同样地，纵向的EPI能定义N·U个。因此， EPI总共能定义V·M+N·U个。

内插图像生成装置30使用实际图像首先生成V·M+N·U个正方形 所示的第1阶段的内插图像(图17A)。另外，正方形的内部的数字为1 表示正方形是第1阶段的内插图像。

接下来，将第1阶段的内插图像作为虚拟的实际图像，来生成第2阶 段的EPI集合(EPI(纵1₂)、EPI(纵2₂)、EPI(纵3₂)…)。然后， 生成第2阶段的内插图像(图17B)。另外，正方形的内部的数字为2表 示该正方形为第2阶段的内插图像。

如此，通过分为2个阶段来平面地生成内插图像，本实施方式的内插 图像生成装置30不用增加透镜或摄像元件就能虚拟地提升捕捉被摄体的 平面性的采样数。

另外，尽管在此使用了纵向的EPI集合来生成第2阶段的内插图像， 但第2阶段的EPI的生成方法并不限于此。也可以用横向的EPI集合来生 成第2阶段的内插图像。另外，也可以对在纵向生成的中间阶段的内插图 像与在横向生成的中间阶段的内插图像取平均而生成的内插图像作为第2 阶段的内插图像。

在生成上述全部的内插图像时，内插图像生成装置30将在图像重构 部220生成的图像、以及实际透镜和内插透镜的位置信息输出给图像重构 部220，并结束处理。

实施方式1所涉及的内插图像生成装置30通过上述处理，能仅基于 被估计为与更近前的被摄体对应的实际像素来决定被估计为发生了遮挡 的内插像素的像素值，因此，能生成与遮挡对应的内插图像。

另外，实施方式1所涉及的内插图像生成装置30使登记角度θ的阈 值按每次反复而可变，最初使角度θ的估计基准严格，越到后面越宽松。 由此，在初始的反复中，不会产生遮挡，对对应关系可靠的像素登记角度 θ，在之后的反复中，在因遮挡或噪声而对应关系不可靠的像素中也定义 对应关系。故而，在被估计为与内插像素对应的实际像素有多个的情况下， 能挑选对应关系更可靠的实际像素，并基于挑选出的实际像素的像素值来 决定内插像素的像素值。

接下来，使用图18、19来说明由图像重构部220从内插图像生成装 置30所生成的光场图像LF(内插完成的EPI)重构图像的处理。在此， 设从光场图像LF重构在重对焦至相隔主透镜ML距离a1的地点后的图 像。

图像重构部220在从内插图像生成装置30传输来内插完成的EPI、以 及实际透镜及内插透镜的位置信息时，执行图18所示的重构图像生成处 理。

在开始图18的重构图像生成处理时，图像重构部220首先进行初始 化处理(步骤S601)。

在步骤S601中，图像重构部220从存储部40的重构设定存储部420 中取得重构图像的设定。此时，重构图像的设定包含重对焦的距离a1的 信息。另外，从摄像设定存储部410取得摄像设定信息。进而，将1代入 作为计数器变量的l和p。进而，将0代入表示对像素p(第p个像素)相 加了像素值的次数的变量t_p。

进而，取得内插图像的实际透镜和内插透镜的合计数L、以及重构图 像的总像素数P。

另外，用1～P的数字来对重构图像的各像素进行编号。进而，用1～ C的数字来对实际透镜和内插透镜合起来进行编号。

在结束上述的初始化处理(步骤S601)时，图像重构部220从取得的 图像中选择与第l个透镜(透镜l)对应的子图像S(步骤S602)。

接下来，在从与重构图像上的关注像素p对应的位置PS发出了光的 情况下，图像重构部220使用该光经过包含在微透镜阵列LA中的子透镜 l而到达摄像面IE为止的轨迹透镜l(对应的第l个子透镜)的位置信息来 确定该光，确定沿着特定的轨迹的光到达了摄像元件的表面IE的到达点 PE上所在的子图像上的像素(步骤S603)。

具体地，设图19所示的X轴方向上的关注像素的OB上的对应的位 置PS与光轴OA的距离为x，设到达点PE与光轴OA的距离为x″。

在此，在步骤S601中所取得的摄像设定中包含：主透镜ML的焦距 f_ML、从主透镜ML起到微透镜阵列LA为止的距离c1、从微透镜阵列LA 起到摄像面IE为止的距离c2。另外，对从基于透镜位置信息而算出的光 轴OA起到透镜l的光学中心为止的距离d进行计算。另外，以在步骤S601 中所取得的距离信息来表征的距离是从主透镜ML起到焦点位置为止的被 摄体距离a1。

图像重构部220将焦距f_ML以及被摄体距离a1用到以下的式(3)中， 来计算从主透镜ML起到主透镜的成像面IP为止的距离b1。

$b1=\frac{a1\times f_{\mathrm{ML}}}{a1-f_{\mathrm{ML}}}...\left(3\right)$

接下来，图像重构部220将被摄体距离a1和使用上述式(3)而计算 的距离b1用在下面的式(4)中，来计算从光轴OA起到主透镜ML的成 像点PF为止的距离x′。

$x^{\prime }=x\times \frac{b1}{a1}...\left(4\right)$

之后，图像重构部220将从主透镜ML起到微透镜阵列LA为止的距 离c1、和使用上述式(3)而计算出的距离b1用在以下的式(5)中，来 计算从主透镜ML的成像面起到第l个透镜为止的距离a2。

a2＝c1-b1…(5)

接下来，图像重构部220将从光轴OA起到第l个透镜L的主点为止 的距离d、使用上述的式(4)而算出的距离x′、从微透镜阵列LA起到摄 像元件的表面IE为止的距离c2、以及使用上述式(3)而算出的距离a2 用在以下的式(6)中，来计算到达点PE与光轴OA的距离x″。

$x^{\prime \prime }=(d_l-x^{\prime })\times \frac{c2}{a2}+d_l...\left(6\right)$

另外，Z轴方向的计算式(3)以及(5)根据高斯成像公式来导出。 另外，X轴方向的计算式(4)以及(6)根据三角形的相似关系而导出。 在上述(4)以及(6)中，使用符号x、x′以及x″来计算X轴方向上的关 注像素的位置PS与光轴OA的距离、从光轴OA起到主透镜ML的成像 点PF为止的距离、以及到达点PE与光轴OA的距离。与此相同，在上述 式(5)以及(7)中，通过使用符号y、y′以及y″，能计算与X轴以及Z 轴的两者垂直的Y轴方向上的、关注像素的位置PS与光轴OA的距离、 从光轴OA起到主透镜ML的成像点PF为止的距离、以及到达点PE与光 轴OA的距离。

若到达点PE确定，则确定与子图像上的PE对应的对应像素，其中该 子图像与透镜l对应。然后，在图18的步骤S603中确定了对应像素后， 图像重构部220取得所确定的像素的像素值。

然后，图像重构部220判别是否存在与PE对应的像素值(在子图像 上存在对应的像素、且像素值不为NULL)(步骤S604)。

在没有对应的像素值的情况下(步骤S604：否)，针对该子图像，不 对重构图像的像素p追加像素值。

通过在内插像素的像素值为NULL的情况下不追加像素值，能从重构 图像中排除因噪声或遮挡而对应变得不清楚的内插像素的像素值的信息。

另一方面，在具有对应的像素值的情况下(步骤S604：是)，对重构 图像的像素p相加对应像素的像素值(步骤S605)。

此时，使用式(7)来计算相加后的像素值Vp′。

$V_p^{\prime }=\frac{(V_p·t_p)+V_{\mathrm{PE}}}{t_p+1}...\left(7\right)$

另外，Vp是相加前的p像素的值，V_PE是对应像素的像素值，t_p是到 此为止对像素p相加了像素值的次数。

在步骤S605中使t_p进一步自增。

另外，重构图像的关注像素p的像素值在重构图像生成处理的开始时 被初始化为了值“0”。

之后，图像重构部220比较l和L，判别是否针对与全部的透镜对应 的子图像结束了相加处理(步骤S606)。

在l小于L的情况下(步骤S606：否)，判别为存在未处理的子图像， 图像重构部220使l自增(步骤S607)，对下一透镜重复从步骤S602起 的处理。

另一方面，在l为L以上而判别为对与全部的透镜对应的子图像都结 束了处理的情况下(步骤S606：是)，接下来，图像重构部220比较p 和P，来判别是否处理了重构图像上的全部的像素(步骤S608)。

在p小于P的情况下(步骤S608：否)，判别为存在未处理的像素， 从而图像重构部220对下一像素执行处理。即，使p自增，将1代入l， 将0代入t_p(步骤S609)，重复从步骤S602起的处理。

另一方面，在p为P以上而判别为对全部的像素都结束了处理的情况 下(步骤S608：是)，接下来，图像重构部220结束重构图像生成处理。

之后，数码照相机1将重构后的重构图像OB的图像数据输出给图1 的显示部520。另外，可以经由图1的I/O部510而将重构图像OB的图 像数据容纳到存储介质中，另外也可以将重构图像OB的图像数据输出给 其它的装置。

实施方式1所涉及的数码照相机1通过使用微透镜阵列LA来进行拍 摄，能以1个光学设备从以大致相同的间隔而配置成格子状的视点同时拍 摄M×N个子图像。

数码照相机1能使用由内插图像生成装置30生成的内插图像来生成 比现有技术的噪声少的重构图像。

(实施方式2)

接下来，说明本发明的实施方式2。实施方式2的特征在于，在像素 值相加处理中，使所登记的角度θ大的实际像素优先，来对内插像素相加 像素值。

实施方式2所涉及的数码照相机1以及内插图像生成装置30具有与 实施方式1所涉及的数码照相机1相同的构成。

实施方式2所涉及的内插图像生成装置30执行图12所示的内插图像 生成处理。在此，实施方式2所涉及的内插图像生成装置30在内插图像 生成处理的步骤S107中不是进行像素值相加处理1，而是进行像素值相加 处理2。

在图12所示的内插图像生成处理的步骤S106结束时，对应检测部324 开始像素值相加处理2。

参照图20来说明对应检测部324、对应评价部325、像素值相加部326 所执行的像素值相加处理2。

在像素值相加处理2中，首先对应检测部324对变量进行初始化(步 骤S701)。

即，对应检测部324在步骤S701中，将1代入表示当前的反复次数 的变量it₃。另外，将作为初始值θ₀而登记到实际像素信息列表中的角度θ 中的最大的数值代入表示在该反复中成为处理对象的角度的变量θ_it3(步 骤S701)。

所登记的角度θ更大的实际像素是与存在于更接近数码照相机1的场 所的被摄体对应的像素，能估计为是应被更优先地相加到内插像素上的实 际像素。于是，在实施方式2中，通过在前面的反复中对所登记的角度θ 大的实际像素进行处理，从而按照在遮挡像素上仅加上与更近前的被摄体 对应的实际像素的像素值的方式进行处理。

即，在步骤S701中，对应检测部324以所登记的角度θ的降序(值 从大到小的顺序)对图8所示的实际像素列表进行排序。然后，从上起依 次对排序后的实际像素信息列表中所登记的实际像素执行下述处理。此 时，排除角度θ为NULL的像素。

另外，取得像素值相加处理2的总反复次数IT₃。此时，IT₃是登记于 实际像素信息列表中的角度θ的列中的数值的数量。例如，设在实际像素 信息列表的角度θ的列，登记有5个0、3个10、4个20。此时，由于在 角度θ的列中登记有0、10、20这3个数值，因此IT₃为3。

在初始化结束时，对应检测部324从登记于实际像素信息列表中的实 际像素中提取角度θ的列的数值为在当前的反复中成为处理对象的角度 θ_it3的实际像素(步骤S702)。

接下来，对应检测部324取得在步骤S702中提取出的实际像素的数 量P，将1代入计数器变量P_it3(步骤S703)。另外，用1～P来对提取出 的实际像素进行编号。

然后，对应检测部324将提取出的实际像素中的第p_it3个实际像素(像 素p_it3)设为关注实际像素(步骤S704)。

在决定关注实际像素后，对应检测部324与实施方式1同样地执行图 16所示的基于关注实际像素的内插处理(步骤S705)。

在基于关注实际像素(像素p_it3)的内插处理结束时，对应检测部324 判别在步骤S702中提取出的像素中是否还剩余未处理的实际像素。具体 地，判别p_it3是否为P_it3以上，在小于P_it3的情况下(步骤S706：否)，对 应检测部324判别为在该反复中存在未处理的实际像素。然后，使p_it3自 增(步骤S707)，将下一实际像素作为关注实际像素来从步骤S704起重 复处理。

另一方面，在p_it3为P_it3以上而判别为对在该反复中所提取出的全部的 实际像素都进行了处理的情况下(步骤S706：是)，对应检测部324结束 该反复。然后，比较it₃和IT₃，判别是否重复了规定次数IT₃的反复(步 骤S708)。

在it₃小于IT₃时(步骤S708：否)，判别为未进行规定次数的反复， 对应检测部324移转到下一反复。

具体地，对应检测部324使it₃自增，将θ′代入θ_it3来更新(步骤S709)， 从步骤S702起重复处理。

此时，θ′是登记于实际像素信息列表中的角度θ中的仅次于在前面紧 挨θ′的θ_it3的第二大的值。

另一方面，在it₃为IT₃以上的情况下(步骤S708：是)，对应检测部 324结束像素值相加处理2。

在像素值相加处理2结束时，返回图12来进行与步骤S108相同的处 理，针对全部的EPI来生成内插图像，然后内插图像生成装置30结束内 插图像生成处理。然后，数码照相机1使用内插图像生成装置30所生成 的内插图像，与实施方式1同样地生成重构图像。

如上所述，在实施方式2中，在像素值相加处理2中按照角度θ从大 到小的顺序来执行反复处理。然后，在图16的基于关注像素的内插处理 的步骤S504中，根据在到前一次为止的反复中两侧相邻的内插像素是否 被追加了像素值，来判别第i个内插像素是否为遮挡像素。

即，将与角度θ大的实际像素建立了对应的(被相加了像素值)的内 插像素所夹持的内插像素判别为遮挡像素，不对该内插像素相加角度θ更 小的实际像素的像素值。

若使用实施方式2所涉及的内插图像生成装置30，则能不用对遮挡像 素相加被估计为被位于更近前的被摄体遮挡的像素的像素值地来生成内 插图像。故而，能从光场图像生成与遮挡对应的内插图像。

另外，实施方式2所涉及的数码照相机1能使用内插图像生成装置30 所生成的内插图像来生成比现有技术噪声更少的重构图像。

<变形例>

尽管以上说明了本发明的实施方式1以及2，但本发明的实施方式并 不限定于此，例如能有如下的变形。

在上述的实施方式1以及实施方式2中，当提取位于直线上的像素时， 将在最接近直线与像素串的交点的场所具有中心点的像素判别为位于该 直线上，并提取该像素。而在本发明中，提取位于直线上的像素的方法并 不限于此。作为其它的提取方法，还能是在直线与像素串的交点位于2个 像素的中心点之间的情况下，认为该2个像素位于线上来进行提取的方法。

另外，在实施方式1以及实施方式2中，分别针对各实际像素来估计 了角度θ。故而，例如在对像素1估计了角度θ的情况下，对位于像素1 的Line(θ)的线上的像素2也再次估计角度θ。但是，本发明所涉及的角 度θ登记方法并不限于此，在对1个像素估计了角度θ的情况下，还能进 行一次性地对该像素的Line(θ)上的全部像素登记角度θ的处理。根据 该构成，能更高速地进行角度θ估计处理。

另外，尽管在上述实施例中将图像设为灰度图像来进行了说明，但本 发明的成为处理对象的图像并不限于灰度图像。例如，图像也可以是在各 像素定义了R(红色)、G(绿色)、B(蓝色)的3个像素值的RGB图 像。在此情况下，可以将像素值设为RGB的矢量值，在计算像素值间的 差的情况下，通过矢量计算来求取差。另外，也可以将图像设为使R、G、 B的各值分别独立的灰度图像，分别进行上述处理。根据该构成，对于彩 色图像也能生成内插图像，另外，能使用该内插图像来生成比现有技术噪 声更少的重构图像。

另外，尽管在上述实施例中信息处理部20等是数码照相机1的一部 分，但信息处理部20、存储部40和接口部50也可以用与数码照相机独立 的物理构成来实现。

另外，尽管内插图像生成装置30是数码照相机1的信息处理部20的 一部分，但内插图像生成装置30也可以用与信息处理部20独立的物理构 成来实现。

此时，内插图像生成装置30所取得的光场图像LF并不限于通过摄像 部10的微透镜阵列LA而取得的图像。内插图像生成装置30所取得的图 像可以是通过多个照相机同时从不同的视点取得的图像，也可以是通过1 个照相机从不同的视点依次取得的图像。

另外，在获得各图像和视差的信息来作为摄像设定的情况下，构成光 场图像LF的各子图像的视差也可以不同。另外，内插图像生成装置30也 可以构成为：不是取得光场图像，而是取得其它设备所生成的EPI，并根 据EPI来生成内插图像。

另外，执行用于由信息处理部20、存储部40、接口部50等构成的数 码照相机1的处理的作为中心的部分、或进行用于由信息处理部320、存 储部330、输出部350等构成的内插图像生成装置30的处理的作为中心的 部分也可以不依赖于专用的系统，而是使用通常的计算机系统来实现。例 如，可以将用于执行所述的动作的计算机程序容纳在计算机可读取的存储 介质(软盘、CD-ROM、DVD-ROM等)中并分发，通过将该计算机程序 安装在计算机中，来构成执行所述处理的数码照相机的信息处理部或内插 图像生成装置。另外，也可以通过在英特网等通信网络上的服务器装置所 具有的存储装置中容纳该计算机程序，并由通常的计算机系统进行下载 等，来构成信息处理部和内插图像生成装置。

另外，在通过OS(操作系统)和应用程序的分担、或OS和应用程序 的联动来实现数码照相机的信息处理部和内插图像生成装置的功能等情 况下，也可以仅将应用程序部分容纳在记录介质和存储装置中。

另外，还能将计算机程序重叠于载波，并经由通信网络来分发。而且， 可以构成为：启动该计算机程序，通过在OS的控制下与其它的应用程序 同样地执行，能执行前述的处理。

尽管以上说明了本发明的优选的实施方式，但本发明不限于所涉及的 特定的实施方式，在本发明中还包含权利要求所记载的发明以及与其等同 的范围。