首页> 中国专利> 多台摄像机的初始位置和姿势的计量方法

多台摄像机的初始位置和姿势的计量方法

摘要

本发明的多台摄像机的初始位置和姿势的计量方法是,先在适当位置设置视标,把需要测量初始位置的各个活动摄像机的光轴同时对准此视标,然后测量光轴与初始位置之间的旋转角度和摄像机到视标间的距离,上述工序对不同位置的视标要重复4次以上,利用测量到的光轴旋转角度和摄像机到视标间的距离的数据推导出各个活动摄像机的初始坐标系之间的关系,利用这个关系,可以把空间任意点在某一个摄像机的初始坐标系中的坐标转换成在其他摄像机的初始坐标系中的坐标。

著录项

  • 公开/公告号CN102692183A

    专利类型发明专利

  • 公开/公告日2012-09-26

    原文格式PDF

  • 申请/专利权人 比比威株式会社;

    申请/专利号CN201110070605.4

  • 发明设计人 张晓林;谷宇章;傅湘国;

    申请日2011-03-23

  • 分类号G01B11/00(20060101);G01B11/26(20060101);

  • 代理机构上海思微知识产权代理事务所(普通合伙);

  • 代理人郑玮

  • 地址 日本神奈川县横滨市绿区长津田街4259号

  • 入库时间 2023-12-18 06:37:32

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2014-10-22

    授权

    授权

  • 2012-11-21

    实质审查的生效 IPC(主分类):G01B11/00 申请日:20110323

    实质审查的生效

  • 2012-09-26

    公开

    公开

说明书

技术领域

本发明是一种多台摄像机的初始位置和姿势的计量方法。具体来说,是一 种为了得到多台活动摄像机或者是固定摄像机的相对位置,而对初始位置和姿 势进行计量的方法。

背景技术

现在存在一些关于通过计量多个摄像机之间的相对位置来得到摄像机的初 始位置的方法。例如专利文献1(特开2009-094724号公报),在各个 摄像机上安装能发射和接收电波、超声波、红外线等的装置,在各个摄像机之 间传递相互的距离、倾斜度等数据,以此来求得相对位置。然而,如专利文献1 所示的技术中,用来通信的电波、超声波、红外线等会由于摄像机的安装位置 的影响而被遮断,从而导致不能使用。

再如专利文献2(特开2008-209354号公报),利用多个摄像机 拍摄的图像的对应点,求出各个摄像机的初始位置和初始方向,再得出摄像机 之间的相对位置。但是,利用对应点进行相对位置计量的精度不高,实际应用 中会出现问题,特别是当摄像机的拍摄方向相差很大时,由于拍摄到的是视标 的不同侧面,很难找到对应点。

发明内容

本发明的目的在于提供一种多台摄像机的初始位置和姿势的计量方法,简 单而且精度高。

为了达到上述的目的,本发明提供一种多台活动摄像机的初始位置和姿势 的计量方法,包括以下步骤:在不同位置提供视标的过程;在要求位置安装的 多台被测活动摄像机同时对准所提供的同一个视标并进行摄像的过程;各个活 动摄像机的光轴对于各个视标进行对准的过程;基于活动摄像机的初始位置和 初始光轴角度建立各个活动摄像机的初始坐标系,测量各个活动摄像机的光轴 从初始位置旋转的角度的过程;测量各个活动摄像机的位置到各个视标的距离 的过程;利用上述活动摄像机的光轴的旋转角度和活动摄像机到视标之间的距 离,计算出各个活动摄像机的初始坐标系的相互关系的计算过程;利用上述各 个活动摄像机的初始坐标系之间的相互关系,计算出各个视标在某一个活动摄 像机的初始坐标中的坐标转换成其他活动摄像机的初始坐标系中的坐标的过 程。

上述多台活动摄像机的初始位置和姿势的计量方法,其中,上述在不同位 置提供视标的过程中,至少在3个以上的不同位置提供视标。

上述多台活动摄像机的初始位置和姿势的计量方法,其中,上述坐标转换 过程利用以下转换行列式:l0Tr0loroP-1,其中,l0P是指某一个活动摄像机的初 始坐标系中的各个视标的坐标,r0P是指其他活动摄像机的初始坐标系中的各个 视标的坐标,loTro是指某一个活动摄像机的初始坐标系中的坐标向其他活动摄像 机的初始坐标系转换的转换行列式。

上述多台活动摄像机的初始位置和姿势的计量方法,其中,各个活动摄像 机带有变焦镜头,上述视标的摄像过程中,先在变焦镜头的广角状态下识别出 视标,将光轴对准被识别出的视标,再在变焦镜头的望远状态下再次识别出视 标,再次将光轴对准被识别出的视标,最后通过转角传感器测量活动摄像机的 旋转转角。

上述多台活动摄像机的初始位置和姿势的计量方法,其中,带有变焦镜头 的各个活动摄像机在不同的变焦位置上测出光轴的偏差。

本发明提供的另一技术方案是,一种多台固定摄像机的初始位置和姿势的 计量方法,该方法包括以下步骤:在不同位置提供视标的过程;在要求位置安 装的多台被测固定摄像机对同一个视标的摄像过程;通过各个固定摄像机拍摄 的图像,识别视标在图像上的位置的过程;分别计量各个视标到各个固定摄像 机的距离的过程;利用图像上的视标位置及测出的视标到摄像机的距离,在由 固定摄像机的位置和视线角度所建立的坐标系中,计量各个视标与各个固定摄 像机的视线间角度的过程;利用得到的角度和从视标到固定摄像机的距离,计 算出各个固定摄像机的初始坐标系之间的关系的过程;利用各个初始坐标系之 间的关系,把各个视标在某一个固定摄像机的初始坐标系中的坐标,转换成在 其他固定摄像机的初始坐标系中的坐标的过程。

本发明提供的又一技术方案是,一种多台活动摄像机以及固定摄像机的初 始位置和姿势的计量方法,该方法包括以下步骤:在不同位置提供视标的过程; 在要求位置安装的多台活动摄像机以及固定摄像机对同一个视标的摄像过程; 与活动摄像机有关的,各个活动可旋转摄像机对各个视标的对准过程;与各个 活动摄像机有关的,由各个活动摄像机的初始位置和初始光轴角度建立初始坐 标系,在这个坐标系中,计量对准视标后的各个活动摄像机的光轴的旋转角度 的过程;与活动转摄像机有关的,从各个视标到各个活动摄像机的距离的分别 计量的过程;与各个固定摄像机有关的,从各个固定摄像机拍摄的图像上识别 视标位置的过程;与各个固定摄像机有关的,分别计量各个视标到各个固定摄 像机的距离的过程;与各个固定摄像机有关的,利用图像上的视标位置及测出 的视标到摄像机的距离,在由固定摄像机的位置和视线角度所建立的坐标系中, 计量各个视标与各个固定摄像机的视线间角度的过程;利用得到的角度和从视 标到各个活动摄像机以及固定摄像机的距离,计算出各个活动摄像机的初始坐 标系以及固定摄像机的初始坐标系之间的关系的过程;利用各个初始坐标系之 间的关系,把各个视标在某一个活动摄像机或固定摄像机的初始坐标系中的坐 标,转换成在其他活动摄像机或固定摄像机的初始坐标系中的坐标的过程。

本发明提出的多台摄像机的初始位置和姿势的计量方法能够简单而且精度 地计量多个摄像机之间相对位置。

附图说明

本发明的多台摄像机的初始位置和姿势的计量方法由以下的实施例及附图 给出。

图1是本发明多台摄像机的初始位置和姿势的计量方法中两台活动摄像机 的初始坐标系的示意图。

图2是本发明多台摄像机的初始位置和姿势的计量方法中将两台活动摄像 机的初始坐标系的Z轴当成光轴,并将Z轴对准视标时的坐标系的示意图。

具体实施方式

以下将结合图1~图2对本发明的多台摄像机的初始位置和姿势的计量方法 作进一步的详细描述。

本发明的多台摄像机的初始位置和姿势的计量方法包括以下步骤:

在要求位置安装多台活动摄像机,让这些摄像机对不同位置的视标进行拍 摄,其中,视标可以是把多个任意物体安放在不同位置,也可以是把任意一个 物体依次放在不同位置,或者是把已经存在的物体当作视标,另外,要测量活 动摄像机的相对位置,要把同一视标设置在各摄像机都能拍摄到的位置上;

各个活动摄像机的光轴要分别对准各个视标,这里说的光轴,一般是指镜 头的光学中心轴,通常与镜头的回转对称轴重合;

基于活动摄像机的初始位置和初始光轴角度建立初始坐标系,在这个坐标 系中,计量已经对准视标的各个活动摄像机的光轴角度,其中,所谓初始位置 及初始光轴角度是指,在指定位置安装活动摄像机时,每台摄像机的基准位置 坐标和摄像机正对的方向,在此基础上确定活动摄像机的初始坐标系(个别坐 标系);

分别计量各个视标到各个活动摄像机的距离,其中,计量时可使用通常的 激光式或超声波式的测距仪,或者通过测出活动摄像机的调焦机构的相位差和 对比度来求距离,所谓到活动摄像机的距离,具体而言是从视标到各个活动摄 像机的光学中心的距离;

利用计量出的各光轴角度和视标到各个活动摄像机的距离,计算出各个活 动摄像机初始坐标系之间的关系,各个初始坐标系之间的关系在后面会详细说 明;

利用各个初始坐标系之间的关系,把各个视标在某一个活动摄像机的初始 坐标系中的坐标,转换成在其他活动摄像机的初始坐标系中的坐标,这样的话, 即使不知道活动摄像机之间的距离,也能求出活动摄像机之间的相互位置(把 一个坐标系转换成其他坐标系)。

接下来对初始坐标系之间的关系进行更具体的说明:

在指定的位置安装两台活动摄像机,根据三角测量原理对视标或目标的位 置进行计量时,活动摄像机之间的距离(基线)的精度会对视标位置的计量产 生较大的影响。如果几台摄像机相距不远,完全能够测量摄像机之间的距离的 话,还不会产生太大问题。但当摄像机相距很远,又比如说在建筑物的背面, 不能精确的测量距离时,用基于基线的三角测量原理来计量视标位置的方法就 行不通了。本发明中采用的方法是,通过活动摄像机的安装位置和安装角度确 定初始坐标系之间的关系,进行坐标转换。

首先,对各坐标系的转换矩阵进行说明:图1所示的是两个活动摄像机的 坐标系,图1中,左边是第一摄像机的坐标系,右边是第二摄像机的坐标系, 设第一摄像机的初始坐标系为∑lo,第二摄像机的初始坐标系为∑ro,设视标P 在第一摄像机的坐标系∑lo中的坐标值为l0P,在第二摄像机的坐标系中的坐标值 为r0P,这样的话,视标P的位置矢量就能如下表示:

【公式1】

l0P=[l0xp l0yp l0zp 1]T

r0P=[r0xp r0yp r0zp 1]T

其中,上式中的T表示矩阵的转置;

另外,坐标系∑lo的原点Oro在坐标系∑lo上表示如下:

为让坐标系∑ro的原点Oro与坐标系∑lo的原点Olo一致,把∑ro平移后得到的 新坐标系设为∑′ro,此时,∑′ro相对于∑lo的欧拉角设为(α,β,γ),l0P和 r0P有以下的关系:

【公式2】

l0P=l0Tr0·r0Pz

其中,转换矩阵loTro表示如下:

Tr0l0

=cosαcosβcosγ-sinαsinγ-sinαcosγ-cosαcosβsinγcosαsinγxOr0lsinαcosβcosγ+cosαsinγcosαcosγ-sinαcosβsinγsinαsinγyOr0l-sinβcosγsinβsinγcosβzOr0l0001

用这个转换矩阵loTro就能把一个坐标系转换成其他坐标系,因此,各个活动摄像 机的初始位置和姿态也能进行测量了。

以下详细说明转换矩阵:

视标设为Pn(n=1,2,3...),两台活动摄像机对同一视标Pn进行拍摄时,各个 活动摄像机的光轴要分别对准视标。把各个活动摄像机的坐标系的Z轴设为光 轴,转动第一摄像机,使第一摄像机的Z轴对准视标Pn时,这个坐标系设为∑it, 转动第二摄像机,使第二摄像机的Z轴对准视标Pn时,这个坐标系设为∑rt,此 时的坐标系如图2所示,图2中,初始坐标系∑lo、∑ro用实线表示,Z轴与视标Pn对 准后的坐标系∑it、∑rt用点划线表示;

这样,视标Pn的位置向量就可以分别表示成如下形式:

【公式3】

ltP=[0 0 ltzp 1]T

rtP=[0 0 rtzp 1]T

与上述公式2一样,ltP和rtP与loP和roP有以下关系:

【公式4】

l0P=l0Tlt·ltP

r0P=r0Trt·rtP

这里loTltroTrt是转换矩阵;

把公式4代入公式2,用公式3变形后,得到以下的式子:

【公式5】

Tltl000zlt1=Tr0l0·Trtr000zrt1

这里loTltroTrtroTro分别定义如下:

【公式5】

Tltl0=tlt-11l0tlt-12l0tlt-13l00tlt-21l0tlt-22l0tlt-23l00tlt-31l0tlt-32l0tlt-33l000001

Trtr0=trt-11r0trt-12r0trt-13r00trt-21r0trt-22r0trt-23r00trt-31r0trt-32r0trt-33r000001

Tr0l0=tr0-11l0tr0-12l0tr0-13l0tr0-14l0tr0-21l0tr0-22l0tr0-23l0tr0-24l0tr0-31l0tr0-32l0tr0-33l0tr0-34l00001

这时,公式5会变成以下形式:

【公式7】

tlt-13l0Zlttlt-23l0Zlttlt-33l0Zlt1=tr0-11l0tr0-12l0tr0-13l0tr0-14l0tr0-21l0tr0-22l0tr0-23l0tr0-24l0tr0-31l0tr0-32l0tr0-33l0tr0-34l00001trt-13l0Zrttrt-23l0Zrttrt-33l0Zrt1

由公式7可知,一个视标可得到三个方程式,由公式2可知,要求的未知数 有六个,即α、β、γ、由此,从理论上来说,对两个视标拍 摄的话,两个活动摄像机的初始坐标系之间的关系就可以求得。

但是,为了简化演算过程,所以考虑对更多视标进行拍摄,来求出初始坐 标系之间的关系。

这里假设视标Pn有四个,分别是(P1,P2,P3,P4),各个视标的位置向量 如下所示:

【公式8】

rtP1=[0  0 rtzp1 1]T    ltP1=[0 0 ltzp1 1]T

rtP2=[0  0 rtzp2 1]T    ltP2=[0 0 ltzp2 1]T

rtP3=[0  0 rtzp3 1]T    ltP3=[0 0 ltzp3 1]T

rtP4=[0  0 rtzp4 1]T    ltP4=[0 0 ltzp4 1]T

用这些式子将公式7变形如下:

【公式9】

tl1-13l0Zl1tl2-13l0Zl2tl3-13l0Zl3tl4-13l0Zl4tl1-23l0Zl2tl2-23l0Zl2tl3-23l0Zl3tl4-23l0Zl4tl1-33l0Zl3tl2-33l0Zl2tl3-33l0Zl3tl4-33l0Zl41111

=tr0-11l0tr0-12l0tr0-13l0tr0-14l0tr0-21l0tr0-22l0tr0-23l0tr0-24l0tr0-31l0tr0-32l0tr0-33l0tr0-34l00001tr1-13r0Zr1tr2-13r0Zr2tr3-13r0Zr3tr4-13r0Zr4tr1-23r0Zr1tr2-23r0Zr2tr3-23r0Zr3tr4-23r0Zr4tr1-33r0Zr1tr2-33r0Zr2tr3-33r0Zr3tr4-33r0Zr41111

这个式子能变形成以下形式:

tr0-11l0tr0-12l0tr0-13l0tr0-14l0tr0-21l0tr0-22l0tr0-23l0tr0-24l0tr0-31l0tr0-32l0tr0-33l0tr0-34l00001

=tl1-13l0Zl1tl2-13l0Zl2tl3-13l0Zl3tl4-13l0Zl4tt1-23l0Zl2tl2-23l0Zl2tl3-23l0Zl3t14-23l0Zl4tl1-33l0Zl3tl2-33l0Zl2tl3-33l0Zl3tl4-33l0Zl41111tr1-13r0Zr1tr2-13r0Zr2tr3-13r0Zr3tr4-13r0Zr4tr1-23r0Zr1tr2-23r0Zr2tr3-23r0Zr3tr4-23r0Zr4tr1-33r0Zr1tr2-33r0Zr2tr3-33r0Zr3tr4-33r0Zr41111

如果公式10的右边已知,第一摄像机和第二摄像机的相对关系,也就是转 换矩阵loTro就可以求出了。如果第一摄像机和第二摄像机对准视标P1,P2,P3,P4时的光轴角度以及从各个视标到各摄像机的距离知道的话,公式10的右边用公 式4就可以求得,这样的话,公式10左边的转换矩阵loTro也能求出。这个转换矩 阵就是各个活动摄像机的初始坐标系之间的关系。

这样就求出了各初始坐标系之间的关系,用这个关系,可以把视标在某一 个活动摄像机的初始坐标系上的坐标值转换成在其他摄像机的初始坐标系上的 坐标值。通过这样的转换,就可以把各个活动摄像机在同一个坐标系下进行操 作,就可以测出各个活动摄像机的初始位置和姿态了。

另外,本发明的初始位置和姿态计量方法并不只限于对四个视标进行拍摄。 用本发明的方法,如果能提供更多的视标、求出各自的光轴角度及到视标的距 离的话,用最小二乘法进行拟合,就能得到更高精度的初始位置和姿态。

这里用到的多个活动摄像机,并不限于单焦点镜头,变焦镜头也可以。如 果用的是变焦镜头,对视标拍摄的时候,先用变焦镜头的广角部分识别视标, 再把光轴对准视标,然后用变焦镜头的望远部分再一次识别视标,把光轴对准 识别出的视标就可以了,通过这样的操作,可使光轴更精确的对准视标。

另外,用变焦镜头的时候,由于变焦位置的不同,会出现光轴有偏差的情 况,为了补偿这个偏差,把与变焦位置相应的移动光轴的偏差测量出来,在测 量与视标对准后的光轴的角度时,如果考虑这个偏差的话,就能得到更精确的 初始位置和姿态。

另外,上述示例是以活动摄像机为对象,阐述了初始位置和姿态的计量方 法,其实,本发明不仅限于此,用同样的方法,还可以计量固定摄像机的初始 位置和姿态,也就是说,用本发明的初始位置及姿态计量方法,能求出多个固 定摄像机的相对位置。

以下对求多个固定摄像机的相对位置的情况进行说明:

提供视标,让几个固定摄像机对同一个视标拍摄,这与活动摄像机的情况 一样,虽然固定摄像机的光轴不能对准视标,但用图像处理方法,可在固定摄 像机的初始坐标系中,计量出各个固定摄像机的视线(光学中心轴)与视标间 的角度,也就是,基于固定摄像机设置时的初始位置和初始视线角度,建立初 始坐标系,求出拍摄的图像上的视标在此坐标系上位置,然后,测出各个视标 到各个固定摄像机间的距离,接着,利用图像上的视标的位置和视标到摄像机 的距离,在以各个固定摄像机的初始位置和初始视线角度建立的初始坐标系上, 计量出视标与各个固定摄像机视线间的角度;

接下来的处理与活动摄像机的情况相同,用已知的视标的角度和到视标的 距离,推导出各初始坐标系间的关系,求出转换矩阵,然后,用表示初始坐标 系间关系的转换矩阵,把视标在某一个摄像机的初始坐标系上的坐标值转换成 在其他摄像机的初始坐标系上的坐标值,多个固定摄像机的初始位置和姿态也 就能计量出来了。

更进一步的,活动摄像机和固定摄像机也可以组合使用,也就是说,可以 求出多个活动摄像机以及固定摄像机的相对位置,利用这个关系,把视标在各 个初始坐标系上进行转换。这和上述活动摄像机以及固定摄像机的情况一样, 利用视标对光轴或视线的角度和各个视标到摄像机的距离,能求出初始坐标系 间的关系,然后用这个关系,把一个活动摄像机或固定摄像机的初始坐标系上 的坐标进行转换就可以了。

还要说明的是,本发明提出的多个摄像机的初始位置及姿态计量方法,不 仅限于上述的示例,只要不超出本发明的主旨范围,可以有很多变化的应用, 这是自不待言的,例如,可以在旋转台上安装摄像机和激光测距仪,来测量出 旋转台的初始位置和姿态。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号