包括级联照相机和/或校准特征的详细捕获大区域图像的系统和方法

摘要

本发明提供一种方法和系统，其中图像由概览和详细成像装置捕获，以便产生具有第一程度的冗余的概览图像，并捕获具有较少重叠和第二程度的冗余的详细图像。

说明书

相关申请的交叉引用

本申请为2008年4月11日提交的名为“包括级联照相机和/校准特征的 详细捕获大区域图像的系统和方法”的美国专利申请No.12/101,167、的部分继 续申请。该文的全部内容在此全部包含作为引用。

版权和授权

在本专利文件中的文档部分包括受到版权保护的材料。版权拥有者尽管对 任何人进行的在专利和商标局文献或记录中的专利文件和专利披露的传真复 制无异议，但是除此之外任何情况都保留版权。

附图说明

后续的详细描述部分当与附图结合阅读时将会得到更好地理解，附图中展 示了本发明的一个或多个实施例。但是，可以理解，本申请的多个实施例不限 于附图中所展现的精确布置和装置。

在附图中：

图1是捕获概览和详细图像的示例系统的框图；

图2A-2B是捕获概览和详细图像的另外的示例系统的框图；

图3是捕获概览和详细图像的又一个示例系统的框图；

图4为相机支架系统的表示性框图；

图5A说明包括安装在小型单引擎飞机上的外部支架的示例性实施方式；

图5B说明在外部支架内安装的图像捕获子系统的示例性实施方式；

图5C说明用于概览和详细图像的数据采集的飞机的示例性应用；

图5D说明用于概览和详细图像的采集的示例性飞行计划；

图6A-6B是示例性说明概览和详细图像表示的框图；

图7A-7B是进一步示例性说明概览和详细图像表示的框图；

图8A-8C是说明用于捕获概览和详细图像的示例系统的两个实施例的说 明性照相机配置的表格；

图9说明装配有计算/处理系统、导航/飞行计划系统、飞行计划显示器， 和照相支架系统的飞机；以及

图10说明一个实施例中所描述的笔记本/膝上型计算机与控制器和GPS 系统相结合工作的框图。

具体实施方式

在这里仅为方便所采用的某些术语不应当被认为本发明所披露的实施例 的限制。在附图中，在多个附图中始终使用相同的参考字母和数字来指示相同 的元件。

词语“右”、“左”、“较低”、“较高”表示附图中的参考方向。词语“向前”、“横 向”涉及相对于大地可平移的汽车、飞机、飞船、潜水艇或其它平台的移动方 向。术语包括前述特别提到的词语，其衍生词以及表义类似的词语。

关于图像这里所使用的术语的“分辨率”涉及区分成像物体的能力，分辨率 典型地以厘米为单位并参考地面上的物体。当在上下文中使用时，把分辨率不 同地称做地面采样距离、分辨率单元、地面分辨率或地面像素分辨率。当关于 相机或其它成像装置使用时，分辨率可以涉及成像装置的像素密度。本领域技 术人员将会理解，图像的分辨率(地面采样距离、分辨率单元、地面分辨率或 地面像素分辨率)取决于多个参数，不仅包括相机的分辨率还包括图像系统(例 如透镜组)的无界限变量和图像捕获所处操作条件(例如海拔高度)变量。

地球的航空和卫星图像在军事、商业和日常消费领域广泛应用。一些新兴 应用包括在因特网上提供照片影像地图，和基于这些照片地图产生的服务(例 如地图和方向、不动产评价)。通常，对影像图像地图和最近更新影像地图存 在快速的需求。但是，用于生成影像地图的已有系统通常包括过度复杂的组件， 需要高的资金支出和/或有高的操作成本以及其它缺点。它们在短的时间段内 和操作体制下不能产生图像或另外提供高分辨率的当前需求。

通常，已有的摄影制图法图像解决方案由于在以有效方式捕获足够数量的 合适的高分辨率数据方面不具有能力，因而不能满足更及时和更高分辨率图像 日益增长的需求。根据符合与此方面创新相关的某些方面的原则，用于航空摄 影制图的照相系统必须处理两种相互矛盾的需求。

第一，照相机系统的透镜和聚焦系统参数(已知为内部定位)是至关重要 的，并且其在空间内的位置和观察角(已知为外部定位)被精确计算。已知为 束调节(bundle adjustment)的摄影制图解决方案可以用来为照相机和照相机 所拍摄的每幅照片计算外部和内部定位信息。这种计算通常表示能够将单独的 照片合并为无缝影像地图的预先条件。实现所需等级精度的一种方式为拍摄多 个图像，其带有照片间巨大数量的冗余数据。共同特征、共同要素、共同点或 在众多照片中可见的图像要素可以被随后识别并用于计算相机的内部和外部 参数。但是，即使在照片间具有多个冗余信息，但是如果照片是在不同时间或 在不同条件(例如，不同海拔高度、一天的不同时间)下拍摄，则识别共同点 和图像要素也是困难的，因为共同点或图像要素可能移动或在外表上有不同 (例如因照明改变而产生的不同阴影)，使那些共同点或图像要素之间的联系 困难。

第二，期望航空调查快速完成，这提供几个优势，例如降低了操作成本并 且最小化了由例如恶劣天气的不利环境或调查条件导致的延迟。增加捕获的以 平方千米每小时测量的地面区域量的有效方式是使随后用于产生影像地图的 详细高分辨率照片之间的冗余量最小化。

如此，增加照片之间的冗余以使得能够进行照片的精确照相测量定位的需 求必须与降低照片之间冗余的需求相平衡从而以较低成本完成调查。

航空照相地图数据的采集可以通过装备有航空成像装置(例如相机)的飞 机按照包括飞行相对直线路径、倾斜并使飞机180°转弯来以具有相对于初始 路径有侧面移位的平行返回路径以及在地面指定区域被拍摄前重复图像的飞 行计划飞行来完成。本领域技术人员将会理解，沿着飞行计划的直的部分以周 期间隔获取图像和照片来产生纵向重叠的照片，并且飞行计划被设计为使所捕 获的图片侧向重叠。

图像中的重叠可以由若干机构产生。例如，沿着轴平移或在运载工具(例 如，一架飞机)中在地面之上逐渐移动的成像系统能够周期性地捕获图像。捕 获的图像(照片)间的定时可以被安排为使得照片在行进方向上有重叠。由行 进的前进方向导致的重叠通常涉及纵向重叠。在这样系统中一张接一张拍摄以 及具有之前提到的纵向重叠的照片涉及序列照片或相邻照片。在具备向前路径 和返回路径的飞行计划中，通过间隔前进路径和返回路径来产生侧向重叠，以 致于沿着这些路径获得的图像具有需要的重叠度。在飞行中前进路径和返回路 径的间隔造成的重叠涉及侧向重叠。最终，通过有由图像捕获(例如，照相机) 系统的机械装置产生的所捕获的图像之间的重叠，成像系统或相机可以被安置 在图像捕获系统中，以使得它们指向下面地面的不同区域，。

虽然纵向和侧向重叠的数目在各种应用中有变化，但是目前航空测绘系统 通常的重叠是80/30，表示沿着航线的连续照片具有80％纵向重叠，相邻平行 航线中的照片具有30％的侧向重叠。在这样的构形中，在一条飞行航线的前向 (forward)平移过程中捕获连续图像将会产生仅20％的图像中的每个图像包 括新信息。以这种方式收集数据允许在大约5张照片中被识别的特征、图像要 素或共同点。依据之前提到的例子中的冗余，在共同区域中的任何点、像素、 像素组、要素、像元、物体或特征具有为4的冗余(该点或物体的原物加上四 个更易识别的图像)。这样，具有80％重叠的一组连续的图像可被认为具有冗 余4。通常，冗余可以被描述为点出现的平均值的图像的数目减去1。被冗余 地捕获的点可能或可能不被用作图像要素，但是这样的点或像素出现在该组中 的多幅图像中。本领域技术人员将会理解，由于冗余的高的值，点平均(n) 出现的图像的数量近似于为冗余(n-1)。在图像组中的冗余信息的数量将会通 过侧向重叠进一步增加，产生仅大约14％的图像中的每张图像包括新的信息， 大约86％的图像信息在最终影像地图方面是冗余的。本领域技术人员将会理解， 增加的重叠，无论是纵向重叠、侧向重叠或其它操作或机械构形产生的重叠都 将会在所述图像组中增加冗余。

在目前的系统和方法的一个实施例中，最少两个图像系统/子系统被用来 捕获概览图像和详细图像。在另一个实施方式中，最少两个系统/子系统被用 来以第一等级分辨率捕获概览图像，以第二等级分辨率捕获详细图像，第二等 级分辨率高于第一等级分辨率(更多的图像细节)。如附图1所示，详细图像 122、124、126被第二系统120捕获，部分或全部落在被第一系统110捕获的 概览图像112的捕获区域内。所述第一和第二系统110和120能够代表性地沿 着轴115平移。附图5C和5D分别阐明了从飞机沿着典型的调查路径捕获详 细和概览图像。图像被如此收集以致多个的重叠存在于概览图像中，但是在详 细图像中的重叠就在概览图像中的重叠数量而言显著地被降低或缩小。相似地， 在本发明系统和方法中的一个或多个实施例中的详细图像的重叠数目在其它 传统影像地图图像系统中获得的图像而言被大大降低。通过在概览图像中包含 多个的重叠，高冗余存在于那些低分辨率图像中，那些冗余被用在与影像地图 的产生相关的图像处理中。具有影像地图所需要的分辨率的所述详细图像具有 更低量的冗余，因此，为这些图像降低了存储和处理的要求。

更大等级的冗余或重叠使照相机系统精确计算外部和内部定位能力增加， 但是，在产生最终影像地图时增加的冗余被极大地浪费，因为在产生最终图像 中，比所需要的多得多的图像数据被获得。这些过量数据的收集使得在飞行调 查中所包含的时间和成本增加。例如，若常规航空成像系统以足够产生使用 80/30重叠的10cm地面像素大小影像地图的高度飞行，图像数据的大约100 兆兆字节(TB)将需要被收集以产生大学14TB大小的最终影像地图。如此， 10cm地面像素分辨率的图像将会具有大约6(相当于在每个图像中只有大约 14％新信息)的冗余，那些图像将会对照相机系统的外部和内部计算以及最终 影像地图的产生有作用。

可选择地，使用本发明的方法和系统将会允许使用以占每张照片(大约 1％)很低的独特区域的高冗余(例如为98)提供100cm的地面像素大小的第 一相机系统，以及以占每张照片80％的高的独特区域的提供10cm的高分辨率 的第二照相机系统。对于小于30TB的总的存储要求，采用这种技术和系统将 会为高冗余照片集需要大约15TB并为低冗余照片集需要大约15TB。而且， 由于在低分辨率照片中的高冗余(98)，之前的处理能够实现更高鲁棒性(较 少误差)并且与更高分辨率下的低冗余图像相比具有更高精确性。例如，若传 统系统具有0.5像素均方根(RMS)差，绝对地面误差将会为5cm(0.5*10cm)。 采用本发明的方法和系统，对于绝对地面误差0.1*100cm＝10cm，高冗余照片 将能够提供0.1像素的加速处理(post processing)RMS，。这能够通过定位具 有高冗余图像的高详细图像得到进一步改善，作为结果实现绝对地面误差等级 的能力与之前的系统可比或更低。

在一个实施例中，本发明的方法和系统采用使用多个照相机组，每个照相 机组潜在地包括多个相机。这样，分辨率不限于现有照相机系统的分辨率。例 如，当前照相机系统例如Vexcel公司提供的能够具有300万像素的分辨率， 但是这是通过使用安装在极为严格的平台和进行过预对准的多个相机来实现 的。采用本发明的方法和系统能够产生具有极高分辨率(例如10兆像素)的 虚拟照相机系统。

由于航空摄像的需求，照相机系统一般定位用于特有的航空照相应用。常 规系统不能利用商务现货供应(COTS)部件，这样不能容易地利用数字摄影 方面的优点，例如专业数字单反相机(D_SLR)的相对低成本(且在不断降低)。 需要采用传统方法的照相机系统的大重量和高成本鼓励或需要采用进一步抬 高操作成本的双引擎涡桨飞机，这种飞机操作起来比普通单引擎商用飞机例如 Cessna 210明显地更昂贵。另外，使用常规系统一般需要为安装相机对飞机进 行常规的改装。与之相比，本发明的方法和系统允许，在某些实施例中，采用 单引擎飞机的能力具有比双引擎飞机更低的操作成本，且不需要在飞机框架上 进行改装。

采用本发明的方法和系统，能够为航空或太空影像地图调查的大区域获得 高分辨率数字图像。数据采集次数相对现有系统能够大大减少。这样，资本和 操作成本能够降低，飞行调查在天气允许的情况下能够很快实施。在某些实施 方式中，从高空能够获得高分辨率调查，因此减少了对飞行交通控制的影响， 为飞行调查人员提供了更平滑的飞行条件，通常减少了飞行员的工作量。

此外，不同型号的照相机，或采用不同角度的照相机，能够用于收集不同 分辨率的图像和具有不同等级的冗余。例如，在摄影制图应用的图像数据的收 集中，上空的摄像机能够用于以具有高等级冗余的相对低分辨率数据来收集概 览图像，倾斜相机能够被用于收集具有低等级冗余的高分辨率数据。相机、分 辨率和冗余的其它组合是可能的，既能用于摄影制图应用也能用于其它应用。 采用本发明的方法和系统，不同类型的照相机能够组合起来产生最低点影像地 图、倾斜影像地图或其它由调查需求指示的其它组合。

虽然在这里被描述为作为详细和概览相机的系统，但是附加照相机(或其 它类型的图像捕获设备)组能够合并用于形成具有不同分辨率和不同冗余量操 作的图像捕获系统的级联。通过与更高分辨率图像相比在低分辨率图像具有更 高等级的冗余，在更高分辨率图像中缩小冗余量的同时获得图像处理(例如， 束调节，数字高程地图产生)的合适数量的冗余是可能的。例如，这里所描述 的所述方法和系统可以采用三个照相机组，第一组照相机以具有高冗余的低分 辨率操作，第二组照相机以具有中等冗余的中等分辨率操作，第三组照相机以 具有低冗余的高分辨率操作。通常，级联可以用于以重叠、分辨率或冗余等级 的不同来捕获图像的多照相机组，以致更低分辨率图像的所产生的组比以高分 辨率拍摄的图像组具有更高的冗余。本领域技术人员将会明了，照相机的级联 能够被扩展为n个照相机或n个照相机组，而无特定物理布置。照相机的级联 能够用于产生具有分辨率光谱和符合在高分辨率图像中的低冗余。一个照相机 组，无论组织为线性式、阵列(行列格式)式，还是能被认为以结果是以具有 不同地面分辨率的多个捕获图像的级联方式所组织的放大层级。作为一个例子， 由于四个照相机的一个组排列成能被组织成通过以不同地面分辨率、或具有不 同放大率的不同地面分辨率来捕获图像的级联方式的阵列。若照相机被组织为 覆盖相同的或重叠的地面区域，则在捕获的图像之间就将会有冗余图像数据。

本领域技术人员明了，当获得图像后，不论通过这些还是通过现有技术方 法，采用来产生例如影像地图或数字高程地图的许多应用的影像制图工具都是 能够处理的。用于上述处理的常规软件程序包括但不限于一个或多个以下程序： Inpho公司销售的Match-AT三角测量软件，在BAE系统的商标Socet Set下 销售的数字地图软件；被GIPmbH以“BINGO”销售的Socet Set软件与影像 制图束调节软件的结合；由ERDAS销售的ERDAS ER Mapper图像处理软件。 此外，由众多销售商所销售的广泛多样的图像处理行业三角测量软件能够用于 处理数据。

用于概览和详细图像捕获的本成像系统/子系统能够被安装在用于图像捕 获的合适的运载工具(例如，飞机、太空船、潜艇、气球)或者被安装在分离 的平台上。在一些实施方式中，概览和详细图像系统被安装在连接在小型飞机 的壳体中(例如支架)。在一个或多个实施方式中，概览和详细图像被实质上 同时捕获。图像捕获信号能够产生于为详细和概览图像的接近同时捕获提供便 利的定时系统/子系统(例如系统控制器)。

在本发明的系统和方法的一个或多个实施方式中，概览图像被收集以致在 前进方向上有大于或等于50％的连续捕获概览图像(之后称为连续概览图像) 的重叠。在一个可选的实施方式中，在前进方向上连续概览图像的重叠最少为 90％。在一个实施方式中，前进方向上连续概览图像的重叠在0％-20％的范围 内。具有其它重叠结合的另外的实施方式能够被本领域技术人员理解，与在连 续详细图像中的具有重叠等级一致，大大低于连续概览图像中的重叠等级。

在本发明方法和系统的一个实施方式中，第一图像捕获系统用于捕获概览 区域的概览图像，第二图像捕获系统实质上在相同时间捕获概览图像最少一个 部分的详细图像，冗余存在于概览图像之间和冗余存在于详细图像之间来。

就冗余而言，在一个实施方式中概览图像中的冗余高于10，然而在详细 图像中的冗余少于或等于10。在另一个实施方式中详细图像的冗余接近于零。 在再一个实施方式中，详细图像的冗余偶尔小于零(负值)表明在捕获图像中 的间隙。由于在概览图像中的高冗余，因此在详细图像中的间隙能够被再次产 生或在连续图像处理过程中被填满。

本领域技术人员可以理解，冗余的等级取决于图像被收集时所处的环境或 条件而变化。在能见度较差或快速变化的环境中，冗余等级将需要极其高。例 如，在雾多/灰尘多的条件下或在水下应用时，解决方式将偏向于更高的冗余。 这能够通过包括使用更多的概览照相机或具有更多频繁的图像捕获(甚至接近 视频帧率)的不同机制来实现。在水下应用的情况下，以接近视频率工作的多 个270°传感器能够用于收集具有很高冗余的概览类型图像，而单相机能够被 用于拍摄很高分辨率/低冗余图像。相反地，在随时间改变较少的环境(例如 从太空中观看整个星球)中，在概览图像中的冗余等级能够被降低。

在一种应用中，概览和详细图像被同时地采集，因此确保冗余图像包括充 分数目的潜在共同特征、共同要素、共同像点或图像要素，降低在照射过程中 的物体移动或变化的影响。在另一个实施方式中，概览和详细图像被从大概相 同的位置捕获。在另一个实施方式中，概览和详细图像被同时从相同的位置捕 获。

在本发明的系统和方法的一个或多个实施方式中，图像捕获系统/子系统 采用数码相机。在一个或多个实施方式中，数码相机是基于CMOS的相机或 传感器。在一个可选择的实施方式中使用了一个推帚式传感器，在另一个实施 方式中使用了小扫帚(whisk broom)传感器来捕获图像。用于捕获包括概览 和详细图像的图像捕获机制被使用，包括但不限于模拟胶片系统、点或线扫描 器、CCD成像阵列、其它基于III-V或II-VI的成像装置、超声成像器、红外 (热成像)成像器。成像器按照接收电磁射线原理起作用，可以在红外、可见、 或其它电磁光谱段部分工作。大篇幅和多透镜、多探测器、多探测器/透镜系 统例如Gruber等在美国专利号7,009,638，Tanka等在美国专利号5757423中 的描述，在这里全文内容引入作为参考也能够被用于捕获概览和详细图像。此 外，例如TRACK’AIR公司所提供的多相机整合数字获得系统(MIDAS)，和 被配置以提供详细公制倾斜视野的的多图像收集系统能被采纳和结合于本发 明的方法和系统。

在本发明的系统和方法的一个或多个实施方式中，一个计时系统/子系统 被用于产生提供给图像捕获系统/子系统的图像捕获信号并引起概览和详细图 像的捕获。在一个或多个实施方式中，计时系统基于具有适当软件、固件以及 产生经由电缆或通过空间(无线)与图像系统/子系统可传输的电子或光学信 号的伴随硬件的微控制器或微处理器。可选择地，与例如基于GPS的导航系 统的导航系统结合工作或单独工作的一个专用电子硬件设备能够作为产生图 像捕获信号的计时系统/子系统。在一个或多个实施方式中，图像捕获信号在 以计算机(笔记本电脑或耐震计算机)为形式的系统控制器中产生，经由用于 形成概览和详细照相机的图像系统的数字相机接收。在信号经由电缆(典型具 有不同长度)传输过程存在固有偏差和数码相机特有的延迟，以致虽然在图像 的大体同时捕获中使用一个或多个同步成像捕获信号，在图像的实际捕获时间 上也存在变化。

在一个或多个实施方式中，图像捕获信号是一种出自定时系统/子系统的 单向信号，不需要来自图像捕获系统/子系统的返回信号。类似地，图像捕获 数据能够在本地被储存在成像装置(例如数码相机)中，并且没有图像数据需 要从成像装置返回到控制器或其它数字存储设备。用于图像储存的数据储存器 包括，但不限于：固态存储设备例如闪存、静态随机存储存储器(SRAM)、 动态随机存取存储器(DRAM)；磁存储设备(其包括但不限于：磁鼓、磁芯 存储器、磁线存储器、薄膜存储器、磁扭线存储器和磁泡存储器)；电磁存储 设备(其包括但不限于：硬盘驱动器、光盘驱动器)；光学存储设备(其包括 但不限于：摄影胶片、全息存储设备、全息图，和光盘)；以及磁光驱动器和 数字存储设备。

图1是与本发明相关的某些方面一致的示例系统100的框图。参考图1， 系统100可以包括获取至少一个概览图像112的第一系统110，以及获取详细 图像122、124、126的第二系统120。系统可以如图1所示以x-y坐标系统定 向，其中x轴115轴，y轴114。在一个实施方式中，图像捕获设备(例如照 相机)被布置为沿着详细轴130捕获为条形的详细图像122、124、126，详细 轴130通常与y轴114平行。

第一和第二系统110、120可以各个包括一个或多个图像捕获设备，例如 照相机(在本文中，广义术语“图像捕获设备”经常涉及“照相机”，这是处于方便 的目的而不是限制)。此外，成像阵列能够通过用于捕获图像的独立传感器的 布置而产生，能够作为独立图像捕获设备或照相机。独立照相机或图像捕获设 备能被布置成线性排列，沿着轴排列或以变化的角度设置以捕获地面不同区域， 或布置成矩阵或阵列(行和列)。如此布置以使得图像捕获设备捕获相邻的或 接近的图像区域，无论重叠还是非重叠，该设备可被认为以相邻方式布置。

在一个实施方式中，第一系统110和第二系统120在x方向上平移，周期 性地捕获图像，从而在被第一系统110捕获的连续概览图像中产生高程度的重 叠，在被第二系统120捕获的连续详细图像中产生较低程度的重叠。在一些实 施方式中，概览图像比详细图像具有更低的分辨率，以在不产生不必要数据储 存和处理需求的情况下在概览图像中产生高的冗余。

如图1所示，由于成像系统或相机的物理布置，在详细轴130的方向上详 细图像122与详细图像124具有一些重叠，详细图像124与详细图像126有一 些重叠。如本领域技术人员将会理解，第一系统110和第二系统120沿着x轴 115的平移以周期性捕获图像考虑到要被成像为详细图像122、124、126的地 面的列或条，重叠确保详细图像捕获与地面列一致的相邻的条。第一系统110 和第二系统120平移周期性图像捕获导致具有在详细图像位置(level)上的第 一等级的纵向重叠的相邻条/列的捕获，以及具有第二等级的纵向重叠的概览 图像的捕获，第二等级的重叠高于第一等级的重叠。

在可选择的实施方式中，第一系统110和第二系统120沿着y轴114平移， 在另一个实施方式中，第一系统与第二系统120分离地平移。在又一个实施方 式中，概览图像112和详细图像122、124、126在不同时间各自从第一系统 110和第二系统120被捕获。

此外，第一和第二系统110，120可以包括数字图像捕获设备的阵列，例如 以在固定(rigid)或半固定(semi-rigid)底座上安装的多个照相机的级联或邻近组。 本领域普通技术人员将理解这样的安装细节仅是示例。例如，固定或半固定安 装系统能够描述能够精确地限定单照相机或多相机的相对位置的任何装置。这 样的安装系统可以通过多种布置来体现，例如，可以包括物理固定(rigid)结构， 例如将照相机安装到支架盒中，可以包括将独立但是互相精确定位的照相机， 例如安装在多个不同的航空或卫星系统中的照相机，该系统具有本地参考系统 以限定卫星之间的相对照相机定位。可选择地，第一系统110可以包括低分辨 率成像阵列，第二系统120可以包括一个或多个高分辨率成像阵列，所选择的 阵列如此排列或成像以使得第一系统110的低分辨率成像阵列捕获概览图像 112，高分辨率成像阵列捕获详细图像122，124，126。

对于在系统110、120和/或它们的图像捕获设备之间存在的各种配置，图 1的系统100也是示例的。例如，图2A-2B是说明与和这里所揭示的系统和方 法相一致的第一系统110和第二系统120的不同布置的框图。在图2A和2B 中，成像系统210A和220A分别与第一系统110和第二系统120一起使用。 图2A示出了一种实施方式，其中第一系统110和第二系统120位于一个固定 的位置，例如在空中平台上、在包括但不限于固定翼飞机和直升机的飞机之内 或之上、在卫星内、基于高空或者空间的观察平台或者在海洋船舶例如轮船、 潜艇或其它是水下船舶之内或之上。在这个实施方式中，第一系统110和第二 系统120相邻彼此定位且一起移动。在其它应用中，相邻定位的第一系统110 和第二系统120用于地面观察、地-天观察、水下成像或显微成像。

图2B示出了一种实施例，其中第一系统110与第二系统120分离地定位。 在该示例实施中，第一和第二系统被独立保持但是两个(或更多个)系统的位 置相对彼此是准确知道或计算的。这里，在物理结构中这能够通过例如在一个 支架盒中固定安装来完成。可选择地，在第一系统110和第二系统120之间的 相对位置的轨迹将会允许使用两个完全独立的平台。在一个实施方式中，第一 飞机或其它类型的交通工具可能使用第一系统110产生概览图像，第二飞机或 其它类型的交通工具使用第二系统120产生详细图像。能够利用导航或惯性指 示系统来决定系统的相对位置。再一个实施方式中系统安装在具有用于在卫星 间定义相对相机定位的本地参考系统的多个独特卫星系统。

图3是与和这里的创新相关的特定方面一致的另一个示例系统的框图。如 图3所示，单独的平台或模块310可以包括或实现第一系统110和第二系统 120。单独平台可以是第一系统和第二系统固定连接、能够一起平移或移动的 任何布置或配置。根据另外的实施，平台310也可以包括第一和第二图像捕获 设备或照相机的各种布置和/或阵列。关于图3，图像捕获系统210A和210A’ 表示以第一分辨率捕获概览图像的第一成像系统。以第一分辨率捕获概览图像 的图像捕获系统的数目能够如图像捕获系统210AM所示那样进行扩展，这样 多个相机和其它成像装置能够被用于产生概览图像112。在一个实施例中，第 一成像系统210A的每一个，210A’到210A^M用于拍摄完整概览图像112，在 另一个实施方式中，第一成像系统210A，210A’到210A^M被布置成拍摄概览 图像112的部分这样来支持全部概览图像的组装。在一个实施方式中，第一成 像系统210A，210A’到210A^M沿着详细轴130布置。在可选择地实施方式中， 第一成像系统210A，210A’到210A^M沿着x轴115、阵列格式或在概览图像 112中提供被捕获的概览区域的重叠的其它任何布置方式布置。正如之前所言， 成像装置的布置和/或阵列能够被配置成产生分辨率范围的成像系统的级联， 随着分辨率的上升而冗余逐渐降低。

再次参考附图3，由第二成像系统220A，220A’，220AN分别捕获的详细 图像122，123，126，具有比概览图像112更高的分辨率。在一个实施方式中， 详细图像122，124，126是沿着详细轴130对准的重叠的详细图像，详细轴 130基本上与y轴114相平行。在另一个实施方式中，第二成像系统220A、 220A’、和220A^N均沿着x轴115以阵列格式或以允许例如详细图像122，124 和126的详细图像的捕获的任何其它重叠或非重叠格式来设置。

在一个实施方式中，第一成像系统210A，210A’到210A^M和第二成像系 统220A，220A’，和220A^N均基于相同类型的成像系统，例如在光谱的可见部 分工作的数码相机。在一个可选的实施方式中，在第一成像系统210A，210A’ 到210A^M以及第二成像系统220A，220A’，和220A^N中的独立成像系统不同。 例如第一成像系统220A可能在光谱的可见区域工作，而第二成像系统的220A’ 能够在光谱的红外部分工作。类似地，第二成像系统220A，220A’，和220A^N可以为不同类型(例如可见和红外)和能够被组织为使得详细图像122被捕获 两次或更多次，两个或更多个成像系统每个一次。本领域技术人员将会理解， 详细图像122，124，126能够被多种类型的成像系统(例如可见或红外)捕获， 或者每个详细图像被单一类型成像系统捕获。

参考图4，披露了包括具有第一概览相机视野411A的第一概览相机410A、 具有第二概览相机视野411B的第二概览相机(图4中未示出)、具有第一详 细视野421A的第一详细相机420A、具有第二详细相机421B的第二详细相机 420B、具有第三详细相机视野421C的第三详细相机420C、具有第四三详细 相机视野421D的第四详细相机420D、具有第五详细相机视野421E的第五详 细相机420E、具有第六详细相机视野421F的第六详细相机420F、具有第七 详细相机视野421G的第七详细相机420G、具有第八详细相机视野421H的第 八详细相机420H、具有第九详细相机视野421I的第九详细相机420I、具有第 十详细相机视野421J的第十详细相机420J、具有第十一详细相机视野421K 的第十一详细相机420K的单独模块400。本地数据存储可以用于每个相机， 因此消除了写入返回到中央存储器或存储位置的需求。本地数据存储能够包括 任何类型的数字存储器包括但不限于闪存或其它类型的非易失存储器，易失存 储器和用于在存储器中保留信息的关联系统，磁盘驱动器，或其它类型的数字 存储介质或系统。可选择地，相机可以分享本地存储。至于后者，在此的一些 创新包括压缩和/或储存与每个相机而不是捕获被传输到和储存到中央存储系 统中的照片的要求相关的图像特征。每一相机的平行压缩和照片储存增加了允 许以更快速率飞行调查以使更多数据被储存和飞行时间能够增加的相机系统 的最大产量和最大存储量。每一相机的这样的平行压缩和存储也增加了储存可 靠性，因为这允许每个相机使用紧凑式闪存或其它固体介质。

现有的数字成像系统通常将原始(raw)线性存储器的数据作为存储到中 央储存系统中的12-16比特数据来进行存储。相反，通过并行地为每个相机执 行压缩，数据能够被转化为例如YcbCr伽玛色彩空间。这允许数据被储存为8 位数据，因为增加的位深度典型地仅对于原始线性数据需要，进一步允许在每 个照相数据存储之前进行图像压缩。转化为伽玛颜色空间以及压缩能够在存储 空间需求方面约减少10倍。例如，在具有14个相机的系统中，每个相机具有 各自的32GB的紧凑式闪存卡，全部448GB储存量能够与多于大约4500GB 或4.5TB的原始未压缩照片数据的存储量相等。并行操作消除了传送图像数据 或从相机到飞行控制计算机系统的任何其它信号的需求，从而通过减少布线和 发信号需求减少了后加工需求并增加了鲁棒性。

飞行计划和图像捕获定时子系统能够被用于产生一个或多个被送到例如 图4中所示相机的捕获信号。在一个实施方式中，单一捕获信号从飞行计划和 图像捕获定时子系统发送至每一相机。但是，电缆长度上的不同、相机之间的 延迟、和其它变量可以导致照片被在轻微不同的时间被拍摄。进而，相机的本 地时钟可能不精确或者表现出漂移。

在一个实施方式中，典型地包含CMOS成像传感器阵列的数码相机被用 于捕获概览和详细图像。在一个可选择的实施方式中，由光学传感器的线性阵 列构成的推帚式传感器能够用于捕获详细图像和作为详细图像捕获系统。在又 一个实施方式中，小扫帚或聚光传感器能够被用于产生详细图像。当使用小扫 帚传感器时，基于反射镜的或其它类型的扫描系统通过将单一斑点成像到传感 器来产生图像。所述扫描系统能够与计时和导航系统相结合，以使得扫描率与 运载照相系统的运载工具的向前移动适当地同步，以及产生适当分辨率的详细 图像。

本领域普通技术人员将会认识到详细相机的数量(即照相机的数量和阵列 的数量)可以被调节以提供所需的图像结果。与这样的实施方式相一致的优点 包括配置和/或再配置单元400以瞄向不同调查需求，例如垂直或倾斜(高或 低)图像或其结合的能力。本领域技术人员理解，垂直图像或照片是以指向为 几乎尽可能垂直的照相机轴拍摄的，而倾斜图像或照片涉及以远离垂直有意倾 斜的照相机轴拍摄的图像或照片。同样，本领域技术人员将会理解，高倾斜图 像和照片一般包括水平方向，而低倾斜图像或照片一般不包括水平方向。

参见图4，多个相机能够布置在单个模块400中，以使得相机一般沿着模 块轴450对准。在一个实施方式中，模块轴450几乎与图3中典型的处于飞机 或其它的运载工具的向前行进的方向的x轴115相平行。在该实施方式中详细 轴130(图4未示出)基本上垂直于模块轴450，详细相机被布置为产生基本 上平行于图3中y轴114的图像列。

图8A和图8B提供了可以被用于一个实施方式中的相机排列细节的例子。 在此揭示的该特定例不是被作为限制也不是以其它任何方式限制在此所揭示 的能够被应用为成像系统的许多类型和配置的方法和系统的使用。例如，虽然 示例布置细节涉及佳能或尼康设备，但其它类型的成像装置或其组合，或相机 组、画幅或透镜的不同组合也可以采用。在一个实施方式中，相机被如此分组 以致概览相机(佳能或尼康品牌的相机)包括图8A中表格I中注解的以28mm 透镜指向垂直向下的相机的形式的一个垂直概览相机，和具有28mm以相对垂 直方向35度的角指向尾部(或飞机或其它载具运动相反方向)的后概览相机。 在该实施方式中，佳能高分辨率相机包括由5个具有200mm透镜组成的组间 距为-19°、-9.5°、0°、9.5°、19°、和28.5°的垂直组；包括由3个具有200mm 透镜组成的组间距为38°、47.5°、57°的侧倾斜组；包括由3个具有135mm透 镜组成的具有以相对垂直方向倾斜50°且组间距为-14.5°、0°、14.5°的后倾斜 组；在尼康高分辨率相机的情形下，6个具有180mm透镜的相机且组间距为 -21°、-10.5°、0°、10.5°、21°、31.5°的垂直组；3个具有180mm透镜的相机 且组间距为42°、52.5°、63°的侧倾斜组；3个具有135mm透镜的相机以相对 垂直方向倾斜50°且组间距为-14.5°、0°、14.5°的后倾斜组。

在一个可选择的实施方式中，第一套相机安装成广角透镜和被用于捕获具 有巨多个重叠例如50/99(50％侧向99％前向)的照片。被这些相机捕获的照 片每个照片重叠很大的区域，高程度的重叠和冗余导致共同特征、共同元、共 同点或图像要素点在比之前系统的更多的照片中可见，因此在甚至不利用稳定 平台的情况下使内部的和外部定向的精确测定成为可能。第二套相机能够安装 成具有更长焦距的透镜和被用于捕获为调查产生详细影像地图的详细像。低量 重叠被用在这些相机中来最小化冗余和最大化用于详细调查的照片像的使用， 大大降低了全部调查所需要的一切成本和时间。

图5阐述了包括安装在小型单引擎飞机510上的外部支架的一个示例性实 施方式。参见图5A，在本发明的一个实施方式中，用于相机系统的相机安装 在作为单独模块400的支架或可移除壳体520内。同样，不需要对飞机进行改 装的情况下在标准小型飞机510上例如Cessna 210上使用该相机系统是可能的。 图5B阐述了图像捕获系统的一个示例性实施方式。如图5B所示，支架或可 移除壳体520可以包括成组或被布置成关于图4，8A和8B之前描述的多个概 览和详细相机410和420。图5A和5B所示的实施方式提供无需稳定安置平 台的高精确度，也使充足的重量和体积减少能够允许照相系统安装在无人航空 载具(UAV)中。

飞行调查能够在不同高度和不同飞行时间执行并具有不同结果的分辨率。 例如，与图8A和8B中所说明的相机构形相一致，飞行调查以1个具有28mm 焦距透镜的垂直佳能1Ds MkIII相机和5个具有200mm焦距的垂直佳能1Ds MkIII相机在8000英尺高度来执行，能够产生具有7.5cm分辨率的最终影像地 图数据。在该例子中，典型的50km×40km的城市以330km2/hr的捕获速率能 够在6小时的飞行时间内被捕获。

在另一个实施方式中，与图8C所示的相机的构形一致，以1个具有28mm 焦距垂直概览佳能1Ds MkIII相机和9个具有300mm焦距的垂直佳能1Ds MkIII在10000英尺高度，产生于4个小时飞行时间来捕获6.5cm的结果分辨 率的典型的50km×40km城市能够得到捕获速率为500km2/hr。

更高的分辨率能够通过使用以上讨论过的相同的实施方式获得，或者在以 更低高度使用更长飞行时间(例如3.5cm分辨率在9小时的飞行调查中捕获) 的其它实施方式获得。之前提到的飞行调查只是表示性的例子，而不是为了限 制在各种广泛条件下可以实施的本发明的范围。对于水下应用，高度能够被理 解为被与之上的水平面的距离相比较。

本领域技术人员将会领会，成像系统的许多构形能够与在高度和分辨率之 间的不同关系一起使用，所有这些构形都处于本发明的精神和范围内。在一个 实施方式中，每1000英尺高度产生1cm的分辨率(例如3000英尺高度具有 3cm分辨率，7000英尺高度具有7cm分辨率)。在第二个实施方式中，以cm 表示的地面点分辨率就是以英尺表示的高度除以900。在第三个实施方式中， 以cm表示的地面点分辨率就是以英尺表示的高度除以800。在第四个实施方 式中，以cm表示的地面点分辨率就是以英尺表示的高度除以2000。

参见图5C，在一个实施方式中该方法和系统的使用被阐释，其中飞机510 装备了支架或可移除壳体520，以速度v 532、给定高度h 530(表现为沿着z 轴117)行进，该行进通常在由x轴115和y轴114所定义的x-y平面内执行。

图5D为在x-y平面内的调查的飞行计划，该飞行计划具有第一长段560， 接着是转弯564，接着是返回长段568。重复长段，转弯和返回长段的组合能 够被用于产生调查区域的飞行计划。

这里所描述的方法和系统也能包括产生用于产生特殊区域的影像地图的 信号和捕获指明表示图像应当被捕获的概览和详细图像捕获系统的捕获信号 的合适飞行计划的飞行计划和定时系统/子系统。在一个实施方式中，飞行计 划包括例如高度、行进方向、空气速度、路径点和转回地点的变量。本领域技 术人员将会理解，飞行计划指引飞行员(或无人或自动控制飞船情况下的载具) 来以允许具有合适等级侧面重叠图像的产生的图案飞行。虽然在前行方向上的 重叠由图像捕获信号控制，但在侧向的重叠主要由在飞行中与之前平行的路径 相关的飞机/载具的路径所控制。

在一个实施方式中，飞行计划和定时系统/子系统接收来自包括基于地面 (例如VOR，LORAN)和卫星系统(例如GPS和WAAS)的导航系统输入 信号来确定位置。从惯性系统产生的信号能够用于与定位信号相结合来确定速 度的改变、节距的改变，以及飞机的偏航和摇晃。在一个实施方式中，方向上 的快速改变可以使用微机电系统(MEMS)。与预期飞行计划短期和长期的偏 离能够由飞行计划和图像捕获定时子系统包括，以指明对飞行计划的修正，或 调节被送到概览和详细图像捕获系统的捕获信号。

在一个实施方式中，飞行计划和图像捕获定时子系统基于具有附加导航设 备(例如，GPS，DGPS)、显示器和程序编制的个人计算机，其使飞行计划能 够被研发并产生与需要的重叠一致的图像捕获的定时信号。在一个可选的实施 方式中，专用硬件被用于飞行计划研发和图像捕获信号产生。

图6A-6B为阐释示范的概览和详细图像的表示图。图6A示出了一个示例 性表示，多个相机被配置来最大化在多个详细相机的使用过程中获得的独有区 域(非重叠)中的详细图像数据610的量，同时确保足够的重叠存在于概览图 像612之间以产生所需冗余以能够成功处理成影像地图。

图6A的表示可以实现，例如采用一个概览相机(参看，例如，其中的表 示性的图像612，616，620，624)来捕获内部和外部定位，以相邻方式配置 的9个相机的一个组来捕获一条详细照片610，614，618，622或以比所述概 览分辨率高的分辨率的每个概览照片的子部分。如前所述，这里创新的方面可 能包括相机系统中相机固定或部分可调的对准，这允许照片在形成条的详细图 像之间以最小重叠拍摄。进一步地，照片可以被足够多拍摄来确保重叠存在于 沿着航线拍摄的连续图像之间，航线能够被组织以确保重叠存在于沿着相邻航 线拍摄的详细图像的条中。不像已存在系统中需要多个重叠来执行精确束调节， 本创新使最小的重叠量的使用能够存在于只对随后执行产生无缝影像地图详 细图像足够的随后的、连续的、相邻的条。作为结果，详细相机的相片的一条 冗余需要来自远远少于已有系统，大大减少了调查时间和成本。

此外，和需要的一样多的附加详细相机可以被构形为相邻或级联样式，以 便为例如天底上层(垂直)图像或来自不同视角的倾斜图像的特定视图捕获概 览图像的详细子部分。这些图像能被随后处理以产生相应的天底上层的影像照 片或倾斜照片。由于单个详细相机可能不具备为所需调查以足够分辨率来捕获 足够分辨率的子部分，因此用于特定视图透视图的一组详细相机可以被组织为 捕获所需透视图的较宽列的一条。图7A-7B阐明了进一步的实施示例概览和 详细图像表示。图7A阐明了5个相机产生与详细垂直视图(例如像730，730A-E) 相应的详细相机的3个相邻组的结果，4个相机产生与从可选择的航线的详细 左和右倾视图相应的图像(例如，图像740)，3个相机产生与从可选择的航线 (例如像750，750A-C)相应的详细前和后倾斜视图。图7B阐示了多个倾斜 视图通过在交互方向上飞行航线被提供的飞机或载具的移动过程中的图像捕 获，例如，通过来自2组倾斜相机的4个倾斜视图。

正如之前关于图8A，8B，8C中所讨论的，特殊类型的相机能被几何布置 以完成图7A-7B中所阐示的成像构形。本领域技术人员将能测定这里所揭示 的适于捕获来自各种空中载具或飞机的航空数据或者在海床地图绘制的情况 下来自航海载具的交互配置。

采用本申请的方法和系统收集到的图像彼此之间具有重叠，造成在两个或 更多个照片中所共有的点的出现。这样的点可以涉及共同特征、共同元素、共 同点或像元、地面点、特征点、地面特征点、接合点、立体像对或其它涉及在 多个图像中一个点或物体的重复出现的项。在一些情况下，所述点可以包括已 知位置的物体，一般把这些物体称为控制点。共同点能够被用于研发一个合适 的分析立体模型，通过内部定位、相关定位和绝对定位的步骤。内部定位一般 再次产生当拍摄图像或照片时存在于相机(或其它成像系统)中的几何学。分 析相关定位是当照片被拍摄时存在于照片间的相关的空间方位角和位置移动 的确定过程。分析绝对立体定向的过程导致控制点的相关坐标与它们在基于地 面的系统中的三维坐标相关。

一般说来，考虑到从不同视角描绘一些点的一组图像，束调节的常规处理 能够被用于在单一解决方式中调节所有影像制图测量至地面控制值(地面点或 共同点)。束调节能够包括确定所有物体点的物体空间坐标和所有照片的外部 定向参数。束调节同时提炼地面点位置的评估，和对于每一照片外部和内部定 向的评估。地面点位置被识别为每张照片中的特征。束调节的要求是最大化其 中地面点能被识别的照片的平均数和最大数。如果地面点在太少照片中被识别， 那么解决方案不是特别严格并因精确误差和束的增加风险而损害，其中不正确 识别的地面点已经在束解决方案中使用。束调节能够提炼具有不同姿态的照片， 例如照片可以具有不同倾斜角或可以垂直定向。关于束调节的进一步信息对于 本领域技术人员而言是已知的并且可以在下述参考文献中找到：Paul Wolf和 Bon Dewitt(McGraw Hill，2000)的“Elements of Photogrammetry with  Applications in GIS，3rd edition”，Zhang等人的美国专利号6,9962,54，以及 Bill Triggs，Philip McLauchlan，Richard Hartley and Andrew Fitzgibbon在 Computer Science第1882期(Springer Verlag，January 2000)的讲义中出现的 “Bundle adjustment-a modern synthesis”，所有这些文献在这里引入全部内容并 作为参考。

在一个实施例中，成像捕获系统被安装在飞机内或上，以采用这里所描述 的该方法和系统来拍摄合适的原像和以将飞机飞行员引导至正确的坐标上。图 9阐示了根据本实施例的配备有必要设备的示例性飞机。准备飞机510使其具 有支架或固定安装在飞机510上的可拆卸壳体520。在一个实施例中，该安装 通过乘客侧飞机门的移除以及具有门/支架底座的门的替换来执行。

支架或可拆卸壳体520包括多个如之前的图4中所描述的相机。在一个实 施例中，一系列可拆卸门覆盖支架或可移除壳体520中的相机以在包括起飞和 降落的飞行部分过程中保护相机。在一个实施例中，传感器被包含在相机门中， 以便该门的状态能够被监控。在一个实施例中，相机和支架或可拆卸壳体520 的门被连接至计算机1000。在这个实施例中，计算机1000运行为在飞行中控 制和操作系统的元件而研发的软件。虽然以笔记本电脑图示，但是计算机1000 可以为包括笔记本电脑、加强型个人电脑、嵌入到飞机内的系统、专用计算机、 例如个人数字助理或蜂窝电话等便携式设备的任何计算机。

再次参见图9，计算机1000被连接到产生反馈以追踪该飞机当前的位置 和将该当前的位置记录存储到计算机1000上的全球定位系统(GPS)单元1010。 相机控制单元1030控制在支架或可拆卸壳体520中的相机阵列，包括发射自 聚焦的信号和拍照。在图10中阐示的该实施方式中，GPS单元1010起导航系 统/子系统的作用，而计算机1000起定时系统/子系统的作用。在一个可替换的 实施例中，计算机1000包含了导航系统的功能并能够包括GPS单元1010。在 再一个实施例中，一个专用单元具有提供导航和定时功能的子系统。

飞行显示器1020被连接到计算机1000上以及在一个实施例中显示飞行的 细节。在一个可替换的实施例中，飞行显示器1020显示了系统的状态，总的 来说包括门的状态和在获取图像中相机的活动。该飞行显示器1020可以是来 自个人计算机1000的监视器，附加外部监视器或嵌入到飞机中的监视器。飞 行显示器1020可以为触敏监视器并允许命令输入到系统中。可选择地，鼠标， 键盘或其他输入设备(未显示)可以被用于接收使用者的输入。

在一个实施例中，该系统向飞机510的飞行员显示各种信息。该信息可以 被显示到飞行显示器1020上、计算机1000的显示器上或飞行员可用的其它显 示器上。该系统显示计划区域，定义几何区域和在该地图中定义实际区域来捕 获的调查数据的航线。

图10阐示了与控制器1120和GPS设备1122一起联同工作的计算机1000 的框图。在一个实施例中，计算机1000包括至少一个连接到USB集线器1112 上的通用串行总线(USB)接口1110。USB集线器1112具有允许设备与计算 机1110连接和通信的多个附加USB接口。USB接口114被连接到控制器1120 上。本领域技术人员将会理解，其它总线类型、有线或无线、串行或并行能被 用于图10的部件的相互联系。在一个实施例中，控制器1120是一个相机控制 单元(例如相机控制单元1030)，其控制在支架和可拆卸壳体520中的相机， 制定在该相机(或该多个相机)中的自聚焦命令1130和快门命令1132。该控 制器1120也从门传感器1134读取以测定门是否保护在支架或可拆卸壳体520 中的相机的打开或关闭。该门可以响应读取门传感器1134的控制器1120视情 况打开或关闭。GPS设备1122通过USB口1116，1118连接到USB集线1112。 GPS设备1122读取该设备的当前的几何坐标并将该数据传送给计算机1000。 控制器1120能够发送使得从可拆卸壳体520拍摄照片的信号。

本文前披露的实施方式可以与任何硬件和软件结合实施。若实施为计算机 实施设备，本文的实施采用之前描述的执行所有步骤和功能的设备。

本文的实施方式可以包括制造(例如，一个或多个计算机程序产品)包括 例如计算机可用或可读媒介的物品。媒介在前文中已作体现，例如，用于提供 和便于本文前披露实施原理的包括计算机可执行指令的计算机可读程序编码 方法，制造的产品可以包括部分计算机系统或单独售卖。

虽然特定的实施例已经在之前的发明内容部分详细描述和在伴随的附图 阐述过，本领域技术人员将会领会那些细节之处根据所揭示的全部教导及其广 阔的发明概念的许多修改和改变均可以发展。可以理解的是，因此，目前披露 的范围不局限于特定实施例和在这方面披露的实施方式，而是要重叠通过所附 的权利要求书及其等价方式所定义的精神和范围内。