一种多分辨率大视场角高精度摄影测量装置

摘要

本申请公开了一种多分辨率大视场角高精度摄影测量装置，装置包括：立体视觉系统，其包括至少两个大视场摄像机，其视场的交集覆盖被测区域，用于测量被测区域内的被测对象的靶标的低精度的三维位置；多个小视场摄像机，其视场的并集覆盖被测区域，用于对被测对象进行成像；以及数据处理部件，其连接到立体视觉系统和多个小视场摄像机，用于根据所述立体视觉系统测出的被测对象的低精度的三维位置，确定被测对象位于所述小视场摄像机中的哪些的视场内，进一步根据被测对象在这些小视场摄像机中的图像位置，确定被测对象高精度的三维位置。

说明书

技术领域

本发明属于立体视觉摄影测量领域，涉及多分辨率大视场角高精度摄影测量装置及测量方法，特别涉及基于不同空间分辨率而布置组合相机的多分辨率大视场角高精度摄影测量装置及测量方法。

背景技术

物体空间三维坐标测量能够应用在多个领域。物体三维坐标测量可以使用三坐标仪、激光测量以及立体视觉测量等途径实现。其中三坐标仪与激光测量比传统摄影测量的测量精度高。与摄影测量相比，三坐标仪与激光测量一般不能对多个点进行同时测量，顺序测量的效率很低，更重要的是，不能对动态系统进行测量。

现有的立体视觉测量方法在测量场布置多台相机(摄像机)，相机与被测物体之间的相对角度不同(各个相机的光轴方向不同)，被测物体在不同相机图像投影形成相差。立体视觉算法可以利用相差计算被测物体的空间三维坐标。传统的立体视觉测量仪器大多受制于其装备的摄影测量工作台，不能对大型目标进行测量。

现有摄影测量系统的测量精度取决于摄影仪器的分辨率、仪器与被测物体之间的空间相对位置。在需要进行多站交会测量的摄影测量系统中，测量基站的分布也对测量精度有很大影响。为了提高测量精度，可以通过提高摄影仪器的图像分辨率来实现。然而，图像分辨率的提高受到诸多方面因素的限制。首先，提高图像分辨率需要更高分辨率的图像传感器。其次，高图像分辨率还受到光学系统的限制。更重要的是，高图像分辨率将导致摄影测量系统需要处理的数据量激增。在动态测量中，海量数据的处理需要专门的硬件系统，仪器成本显著增加，经济性不好。

另一方面，传统的摄影测量装置和方法难以同时实现大视场角和高精度测量。通过减小相机镜头的焦距，能够增加相机的视场角。与此同时，相机的空间分辨率下降，导致测量精度降低。反之，增大相机镜头的焦距可以提高空间分辨率，但相机的视场角将会减小。使用高分辨率的相机还存在海量数据难以传输、存储和计算处理等问题。这是制约大型构件和设备的动态视觉测量的主要技术难点。在对大型测量场进行监测的过程中，尽管指示测量点的测量靶标仅仅是图像的一小部分，但是传统测量系统仍需要对所有的图像投影进行采样，这样将产生大量冗余数据，导致计算机处理数据量大、工作效率低下等问题。使用大视场角立体视觉相机计算获得的三维坐标为高精度测量极大地缩小了图像投影采样范围，降低了系统的数据量。

发明内容

针对实际应用对高精度大视场角测量的需求，本发明致力于解决摄影测量中大视场角与空间分辨率之间的矛盾，并能够提供大视场角、高分辨率、高测量精度的能力。本发明能够减小高精度摄影测量系统需要处理的数据量，降低高精度摄影测量系统面临的数据采集、传输和处理的压力。根据本发明的实施例的多分辨率大视场角高精度摄影测量装置包括各自具有不同焦距的镜头的多个相机，能够对大型测量场内的多个被测点进行同时测量，适用于大型工件生产、大型产品装配以及大型产品试验测试等。在基本原理保持不变的同时改变大视场角相机和小视场角高分辨率的镜头参数，也可实现近距离超高精度测量。

有鉴于此，本发明的主要目的在于提供一种多分辨率大视场角高精度摄影测量装置及测量方法。

本发明的主要目的是在大视场范围内进行高精度测量。装置主要由大视场角立体视觉系统以及小视场角摄像机组成。立体视觉系统能够通过计算得到低精度的被测靶标的三维坐标。根据被测靶标的三维坐标，计算其在某个或者某几个小视场角摄像机中的图像投影。在多个小视场角摄像机的靶标图像投影中计算获得靶标在高分辨率图像中的二维图像坐标和靶标描述。随后，利用靶标匹配结果进行立体视觉计算，获得高精度的靶标空间三维坐标。在测量过程中，对不同的小视场角摄像机可以根据测量场内的光照情况和靶标深度信息进行不同的曝光设置，获得高动态的二维图像。

根据本发明的实施例，提供了一种多分辨率大视场角高精度摄影测量装置，包括：立体视觉系统，其包括至少两个大视场摄像机，其视场的交集覆盖被测区域，用于测量被测区域内的被测对象的靶标的低精度的三维位置；多个小视场摄像机，其视场的并集覆盖被测区域，用于对被测对象进行成像；以及数据处理部件，其连接到立体视觉系统和多个小视场摄像机、和/或其它的多分辨率大视场角高精度摄影测量装置，用于根据所述立体视觉系统测出的所述靶标的低精度的三维位置，确定所述靶标位于哪个或哪些小视场摄像机的视场内，其中，所述数据处理部件被配置为：如果所述靶标仅位于所述小视场摄像机中的一个的视场内，则确定所述靶标位于另一个多分辨率大视场角高精度摄影测量装置中的哪个或哪些小视场摄像机的视场内，其中所述另一个多分辨率大视场角高精度摄影测量装置中的多个小视场摄像机的视场的并集也覆盖被测区域，之后，在所述靶标处于其视场内的小视场摄像机所获得的高分辨率图像中进行高精度的靶标检测，获得靶标的高精度二维图像坐标、以及靶标描述，并根据靶标描述进行靶标匹配，根据匹配结果，获得所述靶标的高精度的三维位置。

本发明的有益效果主要在于：由于不需要研制超高分辨率的单个相机，该装置的生产成本较低，多个相机可以采用同样型号的产品，批量采购进一步降低了装置的成本。在测量过程中，经过标定的装置可以顺利地进行测量。

附图说明

图1是根据本发明的实施例的多分辨率大视场角高精度摄影测量装置的单台装置示意图。

图2示出了根据本发明的实施例的两台立体视觉相机的基线。

图3示出了根据本发明的实施例的立体视觉相机的视场范围。

图4是根据本发明的实施例的多台装置对测量场进行高精度测量的示意图。

图5是根据本发明的实施例的单台装置对测量场进行低精度测量的示意图。

图6是根据本发明的实施例的利用一个平面对三维空间进行分割的示意图。

图7是根据本发明的实施例的利用4个平面可以确定某个三维空间点是否在高分辨率相机的视场范围的示意图。

图中的附图标记说明如下：1大视场角立体视觉左相机；2-6小视场角高分辨率相机；7大视场角立体视觉右相机；8-17小视场角高分辨率相机。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

实现上述目标的基本途径是采用多空间分辨率的相机系统，其包括具有相同的成像平面的多个相机。假设各个相机的图像传感器的像素数目相同，在安装不同焦距的镜头后，相机的空间分辨率将发生变化。简而言之，安装较短焦距镜头的相机的空间分辨率较低，但是其视场角较大；安装较长焦距镜头的相机的空间分辨率较高，然而其视场角较小。

装置使用安装短焦距镜头的两台相机形成立体视觉系统，以获得较大的视场角，能够对整个测量场内的被测物体进行采样(拍摄)；其它相机安装较长焦距的镜头，每个相机覆盖测量场的一部分，对其覆盖的测量点进行测量。安装短焦距镜头的立体视觉相机系统能够计算得到被测点的三维空间坐标。尽管这些坐标的计算精度不高，但是可以为小视场角高分辨率相机提供高精度测量的基础。由于被测点的三维坐标大致已知，可以将这些测量点投影在相应的小视场角高空间分辨率相机图像中，根据图像坐标进行高精度的二维图像中的靶标检测，这些靶标检测结果与测量场内其它装置的小视场角高分辨率相机图像中检测得到的靶标进行匹配，匹配成功的靶标基于立体视觉的原理能够计算出高精度的靶标三维坐标。

两台大视场角的立体视觉相机相对安装位置固定；而其它小视场角高分辨率相机与立体视觉系统的安装位置也固定。在测量之前，首先需要对立体视觉相机进行标定；随后可以标定各个小视场角高空间分辨率相机本身的内参数、以及表示每个小视场角相机与立体视觉相机系统相对关系的外参数。为了方便计算，装置的基本坐标原点可以被确定为立体视觉系统的左相机(短焦距相机)的投影中心点，其它相机(长焦距相机)与立体视觉系统的空间关系表示在各个相机的外参数中。

每一台相机覆盖的测量场都是一个三维锥体。根据标定得到的小视场角相机的内外参数，可以计算相机三维锥体覆盖的空间范围。覆盖范围可以用参数化的形式表示。根据这些参数表达形式，可以直接计算某个三维空间坐标点是否能被某个相机覆盖。如果某个空间测量点同时可以在多台小视场角高空间分辨率的相机图像上获得投影，这种情况下将选择投影点接近图像中心的相机作为测量依据的相机。这种选择的优势有两个方面：首先，根据光学系统的基本原理，接近图像中心的投影变形较小；其次，在测量运动中的空间测量点时，运动后的测量点投影仍然有较大可能停留在同一相机中。在空间测量点的投影接近某个相机的图像边缘时，如果其它相机中的空间点图像投影更接近图像中心，可以计算使用其它相机中的投影。

在测量系统中，每个相机有相机坐标系和图像坐标系。相机坐标系的原点在相机的光心；传感器平面对应于x-y平面，光轴作为坐标系z轴。图像坐标系是二维坐标系，坐标系的原点设定在图像左上角。在立体视觉系统中，不失一般性，可将系统坐标系设定为与立体视觉系统左相机的相机坐标系重合。

使用立体视觉技术进行摄影测量，首先需要对各个相机进行内外参数标定。相机内参数由内参数矩阵描述。如上所述，相机的传感器平面与相机坐标系的z轴垂直，z轴与传感器平面的交点的在相机坐标系内的坐标为其中为相机坐标系尺度，c为相机光心与传感器平面在z轴方向的距离，是相机的焦距；此交点在图像坐标系的坐标为x＝s·[u_c,v_c,1]^T，其中s为图像坐标系的尺度。根据投影关系，利用下式，相机坐标系可以转换为图像坐标系为相机内参数矩阵(参见参考文献1)。

在实际相机投影过程中，不同方向的投影并非完全一致。为了更准确地描述投影关系，相机内参数矩阵可以增强为

其中(1+m)与k分别描述投影的横向变形情况(参见参考文献3)。

可以在测量场内选择坐标系作为被测物体坐标系。根据测量理论，物体坐标系可以任意选择。在实际测量过程中，往往选择方便于测量的坐标系，例如，可以选择某不动点作为坐标系的原点。如果物体坐标系与相机坐标系不同，需要利用外参数矩阵描述坐标转换关系(参见参考文献1)。令物体坐标系的某点的坐标为X^e＝[X^e,Y^e,Z^e]^T，而相机坐标系的原点在物体坐标系中的坐标为外参数矩阵包括一个旋转矩阵R和一个平移向量。物体坐标系与相机坐标系的转换由下式表示

不同相机坐标系进行坐标转换，转换过程与上式相同，只是需要把物体坐标系换为与当前相机不同的另外一台相机的相机坐标。

首先对两台立体视觉相机进行内外参数标定，获得立体视觉计算所需的基本参数。内参数的求解使用基于平面特征点的先验知识的方法(参见参考文献4)。外参数求解过程中，可以使用DirectLinearTransform(DLT)方法解方程获得(参见参考文献2)。由于DLT方法求得的外参数并非几何意义上最优，因此需要在此基础上使用迭代的方法进行外参数优化(参见参考文献3)。此基础上，可以标定其它小视场角相机的内参数、以及它们相对于立体视觉相机系统的外参数。

在摄影测量过程中，图像分辨率和空间分辨率有密切联系，又有重要的区别。为了实际计算正交投影模型下的测量精度，首先计算空间分辨率。装置的空间分辨率A_s简化计算为

其中S_F为最小特征尺寸；N_F为最小特征在图像上的投影分辨率。图像分辨率A_C简化计算为

其中V_C为视场内物体尺寸。结合以上两式，仪器的图像分辨率可以计算为

根据上述公式，可以计算在测量过程中的空间分辨率和图像分辨率。

在三维测量过程中，深度方向的测量精度不仅与图像分辨率相关，还与两台相机之间的基线距离、深度距离等因素相关。基线距离越长，测量精度越高。在使用单台装置(包括多个相机)进行测量时，基线距离取决于两台立体视觉相机光心之间的距离(两台相机的光轴不一定平行)。而在多台装置协同工作时，两台装置之间的距离可以灵活布置，获得更长的基线距离，提高装置的测量精度。

其中，所述装置安装配有短焦距大视场镜头的立体视觉相机、以及配有长焦距小视场镜头的高分辨率相机。首先，通过立体视觉相机，能够获取大视场角图像，计算测量场内各个靶标的大致三维空间坐标；确定这些坐标落入哪几个高分辨率相机的视场内，利用这些高分辨率相机之间形成的立体视觉，可以计算得到高精度测量结果。该装置结合了大视场角和高分辨率等优点，能够为大型工程装配、大型工件生产以及大型装置的试验测试等领域。

下面，参照附图来说明本发明的实施例。

图1是根据本发明的实施例的多分辨率大视场角高精度摄影测量装置的单台装置示意图。

如图1所示，在实际测量中，多台摄像机在测量场内灵活配置，利用立体视觉的原理进行高精度测量。系统包括高分辨率和低分辨率两种类型的摄像机。低分辨率摄像机包括至少两台摄像机，用于计算低精度的三维空间点的坐标。低分辨率摄像机使用较小焦距的镜头，因此，低分辨率摄像机组合具有较大的视场角。高分辨率摄像机使用较长焦距的镜头，并使用具有较高分辨率的图像传感器，单个相机的视场角较小，多台高分辨率摄像机相互配合，能够获得较大的视场角。每个高分辨率相机的视场角较小，多个高分辨率摄像机组合，可以获得较大视场角的测量场信息。高分辨率摄像机的数目取决于其与低分辨率摄像机的焦距之比，高分辨率相机的视场范围需要覆盖低分辨率相机的立体成像范围，数目可以通过优化以下公式得到：

minC_number

subjectto

其中C_number是高分辨率相机的数目；V_stereo是立体视觉相机的视场范围；是单台高分辨率相机的视场范围；为高分辨率相机视场范围最小探测深度；为立体视觉相机系统最小探测深度(这里设定大于等于是为了立体视觉系统视场范围内的被测点都能够被高分辨率相机的视场范围所覆盖)。在不同的应用场景里，对整个系统的视场范围要求不同。可以根据两台立体视觉相机的位置关系确定(如图2所示)；亦可以根据被测点的分布确定即根据与立体视觉系统距离最近的被测点确定这里的求和公式是对多台高分辨率相机的视场范围进行叠加，使其覆盖整个立体视觉相机的视场范围。

如图6和图7所示，每个相机的视场范围可以用四个平面对空间的分割来确定。令n_c为某一平面的法线方向，为平面上某一确定点，X^c为欧几里得三维空间任意点，当时，X^c与平面上任意点的连线与法线n_c成锐角，亦即X^c在n_c方向的半空间中；反之当时，X^c与平面上任意点的连线与法线n_c成钝角，亦即X^c在n_c相反方向的半空间中。平面法线可以根据光心与相机传感器的两个(相邻)角点之间连线的叉积计算。例如，如图7所示，相机视场范围的左平面法线n_{c_l}＝O_ca_c×O_cd_c。

优化过程可以通过以下步骤进行：

a)不失一般性，高分辨率相机的布置从左上开始，根据的要求，设置高分辨率相机与立体视觉系统的相对位置关系。高分辨率相机的左侧视场范围由平面n_{c_l}所确定，此平面应该在立体视觉系统视场范围左平面，或者与立体视觉视场范围的左平面平行。立体视觉系统的左平面指的是两台立体视觉系统的视场范围的交集形成类似于图7中所示的几何形状，从光心面向立体视觉的视场范围，左侧的平面既是其左平面)的外侧(平面外侧指的是与视场范围方向反向的区域。如果此平面在立体视觉视场范围的外侧，那么在立体视觉视场范围内两个平面不相交；换言之，高分辨率相机的视场范围完全覆盖立体视觉的视场范围。为满足以上要求，如图3所示，系统最左侧的高分辨率相机的左视场范围平面设置为与立体视觉视场范围左平面平行。最左侧的高分辨率相机的右视场范围平面与相邻高分辨率相机的左视场范围平面存在交线。由此交线所确定。同理可以确定其它高分辨率相机与立体视觉系统的位置关系以及高分辨率相机视场范围上下平面与立体视觉系统视场范围的上下平面之间的关系。

根据立体视觉系统的视场范围可以确定(如图2)。如果测量点的分布远离相机，可以依据被测点的分布增大可以设定其中最近测量点与立体视觉系统的深度距离，k_measure为系数。k_measure的作用是确保被测量点可以被高分辨率相机视场范围所覆盖，一般可设为0.5-0.8。

b)在确定左上相机的位置后，随即向右方向确定各个高分辨率相机的布置位置。当高分辨率相机已经覆盖立体视觉系统的视场范围后，确定最右侧高分辨率相机的布置需要考虑其右视场范围平面与立体视觉右视场范围平面之间的关系，至少为平行关系，即，两平面的法线夹角大于等于0(顺时针方向)。同理可以确定高分辨率相机上视场范围与立体视觉相机系统的上视场范围之间的关系。

c)在布置了第一行高分辨率相机后，可以根据上述两步骤中的原则布置其它行的高分辨率相机，直至完成多分辨率高精度测量系统的建立。

2.在建立多分辨率高精度测量系统后，根据以下步骤进行测量。

a)首先，对立体视觉系统的低分辨率(短焦距)相机进行标定。首先进行内参数标定，随后进行外参数标定。内参数由Ks表示，外参数由Ps表示，下标s表示相机的识别码。随后，对高分辨率相机进行标定，也包括内参数标定和外参数标定。在对高分辨率相机的外参数标定过程中，不失一般性，以立体视觉系统左相机光心作为欧几里得坐标原点，可以计算每个高分辨率相机的4个视场范围平面几何法线，法线计算是根据高分辨率相机的传感器两个(相邻)角点与光心的连线之间的叉积计算。根据4条法线的计算结果，可以获得高分辨率相机的视场范围：

其中为高分辨率相机的视场范围左平面的法线；为高分辨率相机的视场范围右平面的法线；为高分辨率相机的视场范围上平面的法线；为高分辨率相机的视场范围下平面的法线；X为低分辨率立体视觉计算得到某被测点的三维坐标；O_c为高分辨率相机的光心坐标。

以上公式描述了某个高分辨率相机的视场范围。在计算过程中任意约束不能被满足即可确定此空间点不在视场范围内。因此，这种计算降低了计算复杂度。

b)在测量过程中，低分辨率立体视觉系统的两个低分辨率相机各自获取一幅对应的大视场角的图像；

c)在两幅低分辨率图像上进行靶标检测。在摄影测量系统中，可以使用自然靶标或者人工靶标作为匹配对象。自然靶标检测可以采用参考文献7或者参考文献8中的方法。自然靶标检测可采用参考文献9中的方法。靶标检测后，进行靶标匹配。自然靶标和人工靶标的匹配方法分别参见参考文献6、参考文献7和参考文献8。根据靶标匹配的结果，进行立体视觉计算，获取靶标的低分辨率的三维坐标，由Xj表示，其中下标j表示靶标识别码；

d)根据每个靶标的三维坐标X_j，计算每个靶标在高分辨率相机上的图像投影坐标。根据外参数标定结果，计算靶标在高分辨率相机上的图像投影坐标。为了降低计算复杂度，在实际测量过程中，利用4个平面描述每个高分辨率相机的视场范围。为了确定某个空间点是否在某个高分辨率相机的视场范围内，进行4次向量运算即可确定此空间点是否在某个高分辨率相机的视场范围内。具体而言，计算4次即可确定此空间点在高分辨率相机的视场范围内。

e)根据每个靶标在高分辨率相机上的图像投影坐标，在相应高分辨率图像上进行靶标检测。由于靶标在高分辨率图像上的投影坐标已知，利用三维坐标的偏差量确定高分辨率图像上的靶标检测范围。不需要对整个图像进行遍历检测，因此靶标检测时间复杂度较低。三维坐标的偏差量与立体视觉系统的图像成像误差、基线距离、立体视觉相机的焦距以及被测点的深度等因素相关。三维坐标的偏差量的具体计算使用参考文献6中的方法。三维坐标的偏差量投影至高分辨率相机的图像中，可以得到靶标的范围。偏差量的投影主要与被测量点的深度相关。为了降低计算复杂度，不同深度的被测点的投影偏差可以在测量之前根据参考文献6的计算方法确定。

f)根据高分辨率图像上的靶标检测结果(靶标检测结果为靶标在多个高分辨率相机各自的图像上的二维图像坐标。此外，为了进行靶标匹配，需要计算靶标描述向量。如果测量过程使用自然靶标，可以使用参考文献7等中的方法进行描述；如果是人工靶标，可以使用参考文献9中介绍的方法等进行描述。)，匹配分布在测量场不同位置的装置高分辨率图像上的靶标。

g)根据靶标匹配结果采用立体视觉方法计算靶标的高精度三维坐标(参考文献3)。如果某被测点在多个相机内形成投影，可以使用迭代的方法提高此测量点的坐标计算精度(参考文献5)。

综上所述，本领域的技术人员能够理解，对本发明的上述实施例能够做出各种修改、变型、以及替换，其均落入如所附权利要求限定的本发明的保护范围。

参考文献列表

1、Hartley,R.,Zisserman,A.:Multipleviewgeometryincomputervision.CambridgeUniversityPress(2004)

2、Abdel-Aziz,YI.,Karara,HM.:Directlineartransformationfromcomparatorcoordinatesintoobjectspacecoordinnatesincloserangephotogrammetry.ProceedingsoftheSymposiumonClose-RangePhotogrammetry,AmericanSocietyofphotogrammetry(1971)

3、McGlone,JC.:ManualofPhotogrammetry.AmericanSocietyforPhotogrammetryandRemoteSensing(2013)

4、Zhang，Z.:Aflexiblenewtechniqueforcameracalibration.IEEETransactionsonPatternAnalysisandMachineIntelligence,22(11):1330–1334,(2000)

5、Hartley,RI.,Sturm,P.:Triangulation.ComputerVisionandImageUnderstanding68(2),(1997)

6、Weng,J-Y.,Huang,T-S.,Ahuja,N.:Motionandstructurefromtwoperspectiveviews:algorithms,erroranalysis,anderrorestimation.IEEETransactionsonPatternAnalysisandMachineIntelligence,11(5):451–465,(1989)

7、Matas,J.,Chum,O.,Urban,M.,andPajdla,T.:Robustwide-baselinestereofrommaximallystableextremalregions.ImageandVisionComputing,22:761-767,(2004)

8、Bay,H.,Ess,A.,Tuytelaars,T.,Gool,L.V.:Speeded-UpRobustFeatures(SURF).ComputerVisionandImageUnderstanding,110(3):346-359,(2008)

9、AhnS.J.,Rauh,W.:Circularcodedtargetforautomationofoptical3D-measurementandcameracalibration.InternationalJournalofPatternRecognitionandArtificialIntelligence,15(6):905-919,(2001)。