外参确定方法、外参确定装置及电子设备

摘要

公开了一种外参确定方法、外参确定装置及电子设备。该外参确定方法包括：通过第一传感器获取可移动设备的第一位姿信息；通过第二传感器获取可移动设备的第二位姿信息；获取第一传感器与第二传感器之间预先标定的第一位姿转换关系；根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系；根据第二位姿转换关系及图像采集设备的第一外参信息，确定图像采集设备的第二外参信息，其中，图像采集设备安装于可移动设备上。与现有图像采集设备的外参确定方法相比，本公开实施例提供的外参确定方法具备计算方式简单以及计算效率高等诸多优势，能够实现实时确定图像采集设备的外参的目的。

说明书

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种外参确定方法、外参确定装置及电子设备。

背景技术

在计算机视觉技术领域，图像采集设备作为采集图像的传感器，其重要性不言而喻。众所周知，图像采集设备的外参能够表征相机坐标系与世界坐标系之间的转换关系，是求解图像的特征信息(比如消失点信息)的重要参数。然而，现有的外参确定方法计算方式复杂，且计算效率非常低。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种外参确定方法、外参确定装置及电子设备。

在一方面，本公开实施例提供了一种外参确定方法，该外参确定方法包括：通过第一传感器获取可移动设备的第一位姿信息；通过第二传感器获取可移动设备的第二位姿信息；获取第一传感器与第二传感器之间预先标定的第一位姿转换关系；根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系；根据第二位姿转换关系及图像采集设备的第一外参信息，确定图像采集设备的第二外参信息，其中，图像采集设备安装于可移动设备上。

在另一方面，本公开实施例提供了一种外参确定装置，该外参确定装置包括：第一位姿信息获取模块，用于通过第一传感器获取可移动设备的第一位姿信息；第二位姿信息获取模块，用于通过第二传感器获取可移动设备的第二位姿信息；第一位姿转换关系获取模块，用于获取第一传感器与第二传感器之间预先标定的第一位姿转换关系；第二位姿转换关系确定模块，用于根据第一位姿转换关系、第一位姿信息和第二位姿信息，确定第二位姿转换关系；第二外参信息确定模块，用于根据第二位姿转换关系及图像采集设备的第一外参信息，确定图像采集设备的第二外参信息。

在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的外参确定方法。

在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的外参确定方法。

本公开实施例提供的外参确定方法，通过基于第一传感器和第二传感器分别获取可移动设备的第一位姿信息和第二位姿信息，然后获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，并根据根据第二位姿转换关系及图像采集设备的预先标定的外参信息确定图像采集设备的经修正后的新的外参信息的方式，实现了基于可移动设备的位姿信息确定图像采集设备的外参的目的。由于本公开实施例能够基于可移动设备的位姿信息以及传感器之间的位姿转换关系确定图像采集设备的外参，因此，与现有图像采集设备的外参确定方法相比，本公开实施例提供的外参确定方法具备计算方式简单以及计算效率高等诸多优势，能够实现实时确定图像采集设备的外参的目的。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1所示为本公开所适用的场景图。

图2所示为本公开一示例性实施例提供的外参确定方法的流程示意图。

图3所示为本公开一示例性实施例提供的根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系的流程示意图。

图4所示为本公开另一示例性实施例提供的外参确定方法的流程示意图。

图5所示为本公开一示例性实施例提供的基于第二外参信息计算图像采集设备采集的图像的消失点坐标的流程示意图。

图6所示为本公开又一示例性实施例提供的外参确定方法的流程示意图。

图7所示为本公开再一示例性实施例提供的外参确定方法的流程示意图。

图8所示为本公开再一示例性实施例提供的外参确定方法的流程示意图。

图9所示为本公开一示例性实施例提供的外参确定装置的结构示意图。

图10所示为本公开一示例性实施例提供的外参确定装置的第二位姿转换关系确定模块的结构示意图。

图11所示为本公开另一示例性实施例提供的外参确定装置的结构示意图。

图12所示为本公开一示例性实施例提供的外参确定装置的消失点坐标计算模块的结构示意图。

图13所示为本公开又一示例性实施例提供的外参确定装置的结构示意图。

图14所示为本公开再一示例性实施例提供的外参确定装置的结构示意图。

图15所示为本公开再一示例性实施例提供的外参确定装置的结构示意图。

图16所示为本公开一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

众所周知，图像采集设备的外参能够表征相机坐标系与世界坐标系之间的转换关系，基于图像采集设备的外参能够确定图像采集设备在三维空间中的位置和朝向。因此，图像采集设备的外参是求解图像的特征信息的重要参数，其重要性不言而喻。尤其是图像的消失点信息，在辅助驾驶领域，图像的消失点对于可行驶区域的路径规划具有非常重要的作用。

然而，在现有技术中，针对于图像采集设备的外参确定方法计算方式复杂，且计算效率非常低，进而不能实现实时确定图像采集设备的外参的目的。现有外参确定方法的上述缺陷导致求解图像的特征信息的过程亦十分艰难。

针对上述技术问题，本公开的基本构思是提出一种外参确定方法、外参确定装置及电子设备。该外参确定方法通过基于第一传感器和第二传感器分别获取可移动设备的第一位姿信息和第二位姿信息，然后获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，并根据根据第二位姿转换关系及图像采集设备的预先标定的外参信息确定图像采集设备的经修正后的新的外参信息的方式，实现了基于可移动设备的位姿信息确定图像采集设备的外参的目的。由于本公开实施例能够基于可移动设备的位姿信息以及传感器之间的位姿转换关系确定图像采集设备的外参，因此，与现有外参确定方法相比，本公开实施例提供的外参确定方法具备计算方式简单以及计算效率高等诸多优势，能够实现实时确定图像采集设备的外参的目的。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

图1所示为本公开所适用的场景图。如图1所示，本公开所适用的场景为可移动设备中所安装的图像采集设备的外参确定场景。其中，该外参确定场景中包括服务器1和可移动设备2，可移动设备2上装载有第一传感器21、第二传感器22和图像采集设备23。服务器1与可移动设备2上装载的第一传感器21、第二传感器22和图像采集设备23之间存在通信连接关系。

具体而言，第一传感器21用于获取可移动设备2的第一位姿信息，第二传感器22用于获取可移动设备2的第二位姿信息，服务器1用于获取可移动设备2的第一位姿信息和第二位姿信息，并获取第一传感器21与第二传感器22之间预先标定的第一位姿转换关系，然后根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，并根据第二位姿转换关系及图像采集设备23的第一外参信息，确定图像采集设备23的第二外参信息。通过该场景，能够有效降低可移动设备2的计算量。

需要说明的是，本公开还适用于另一场景。具体地，该外参确定场景中包括可移动设备2，并且，可移动设备2上装载有第一传感器21、第二传感器22和图像采集设备23。

具体而言，第一传感器21用于获取可移动设备2的第一位姿信息，第二传感器22用于获取可移动设备2的第二位姿信息，可移动设备2用于获取第一位姿信息和第二位姿信息，并获取第一传感器21与第二传感器22之间预先标定的第一位姿转换关系，然后根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，并根据第二位姿转换关系及图像采集设备23的第一外参信息，确定图像采集设备23的第二外参信息。通过该场景，能够保证所确定的图像采集设备的外参的实时性。

上述应用场景中提及的可移动设备2，包括但不限于为车辆、无人机、物流小车、扫地机器人等具备移动能力的设备。此外，应当理解，本公开实施例提供的外参确定方法，不局限于上述提及的可移动设备的应用场景，只要涉及到包括移动的图像采集设备的应用场景，均属于本公开实施例的适用范围。

图2所示为本公开一示例性实施例提供的外参确定方法的流程示意图。如图2所示，本公开实施例提供的外参确定方法包括如下步骤。

步骤10，通过第一传感器获取可移动设备的第一位姿信息。

在步骤10中，第一传感器可以为全球导航卫星系统(Global NavigationSatellite System,GNSS)、惯性测量单元(Inertial Measurement Unit,IMU)等能够确定可移动设备位姿信息的传感器中的任意一种。其中，可移动设备的位姿信息包括位置信息和姿态信息，具体地，位置信息包括可移动设备的地理位置信息，姿态信息包括可移动设备的方位角信息、俯仰角信息和翻滚角信息。

示例性地，将GNSS传感器或IMU传感器装载到可移动设备上，然后借助GNSS传感器或IMU传感器测量可移动设备的位置信息和姿态信息，从而生成可移动设备的位姿信息。

步骤20，通过第二传感器获取可移动设备的第二位姿信息。

同理，在步骤20中，第二传感器亦为能够确定可移动设备位姿信息的传感器中的任意一种。但是，步骤20中提及的第二传感器，是与步骤10中提及的第一传感器不同类型的传感器。比如，第一传感器为GNSS传感器，第二传感器为IMU传感器。又比如，第一传感器为IMU传感器，第二传感器为GNSS传感器。

步骤30，获取第一传感器与第二传感器之间预先标定的第一位姿转换关系。

具体地，第一位姿转换关系能够表征第一传感器采集的位姿信息和第二传感器采集的位姿信息之间的转换关系。即，借助第一位姿转换关系，能够实现第一传感器采集的位姿信息和第二传感器采集的位姿信息之间的双向转换。比如，第一传感器为GNSS传感器，第二传感器为IMU传感器，且第一传感器和第二传感器均需要安装到可移动设备上以采集可移动设备的位姿信息。那么，在将GNSS传感器和IMU传感器安装到可移动设备的过程中，需要基于GNSS传感器自身的参数确定GNSS传感器对应的GNSS坐标系信息，并基于IMU传感器自身的参数确定IMU传感器对应的IMU坐标系信息，然后确定GNSS坐标系信息和IMU坐标系信息之间的坐标转换关系，并根据确定的坐标转换关系标定GNSS传感器和IMU传感器之间的转换关系，以最终生成预先标定的第一位姿转换关系。

步骤40，根据第一位姿转换关系、第一位姿信息和第二位姿信息，确定第二位姿转换关系。

需要说明的是，第二位姿转换关系既可以指的是第一传感器自身对应的位姿变换关系，又可以指的是第二传感器自身对应的位姿变换关系。举例说明，第二位姿转换关系为第一传感器自身对应的位姿变换关系。由于第一位姿转换关系为第一传感器和第二传感器之间的预先标定的位姿转换关系，第二位姿信息为通过第二传感器获取的可移动设备的位姿信息，因此，基于第一位姿转换关系和第二位姿信息能够计算第一传感器对应的第三位姿信息，进而基于所确定的第三位姿信息和预先基于第一传感器获取的第一位姿信息能够确定第一传感器自身对应的位姿变换关系。

步骤50，根据第二位姿转换关系及图像采集设备的第一外参信息，确定图像采集设备的第二外参信息，其中，图像采集设备安装于可移动设备上。

在步骤50中，第一外参信息可以表征图像采集设备的预先标定的外参信息，第二外参信息可以表征图像采集设备的经修正后的外参信息。

在实际应用过程中，首先通过第一传感器获取可移动设备的第一位姿信息，然后通过第二传感器获取可移动设备的第二位姿信息，并获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，最后根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息。

本公开实施例提供的外参确定方法，通过基于第一传感器和第二传感器分别获取可移动设备的第一位姿信息和第二位姿信息，然后获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，并根据根据第二位姿转换关系及图像采集设备的预先标定的外参信息确定图像采集设备的经修正后的新的外参信息的方式，实现了基于可移动设备的位姿信息确定图像采集设备的外参的目的。由于本公开实施例能够基于可移动设备的位姿信息以及传感器之间的位姿转换关系确定图像采集设备的外参，因此，与现有外参确定方法(比如同心圆求解等确定方法)相比，本公开实施例提供的外参确定方法具备计算方式简单以及计算效率高等诸多优势，进而能够实现实时确定图像采集设备的外参的目的。

需要说明的是，上述图2所示实施例中的步骤50提及的第一外参信息不局限于表征图像采集设备的预先标定的外参信息。

比如，在本公开一实施例中，图像采集设备安装到可移动设备上，为保证所确定的图像采集设备的外参信息的精准度，则每间隔预设时间段就重新计算图像采集设备的外参信息，那么，在本公开实施例中，第一外参信息可以表征图像采集设备的前一时刻的外参信息。应当理解，在实际应用过程中，在计算当前时刻的图像采集设备的外参信息时，可基于当前时刻对应的前一时刻所确定的图像采集设备的外参信息(即前一时刻对应的图像采集设备的第二外参信息)作为当前时刻的图像采集设备的第一外参信息，并进行当前时刻的图像采集设备的新的外参信息(即当前时刻对应的图像采集设备的第二外参信息)的计算操作。本公开实施例通过每间隔预设时间段就基于前一时刻的图像采集设备的外参信息重新计算图像采集设备的新的外参信息的方式，实现了持续迭代修正图像采集设备的外参信息的目的。因此，与图2所示实施例相比，本公开实施例能够进一步提高所确定的图像采集设备的外参信息的精准度。

图3所示为本公开一示例性实施例提供的根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图3所示，在本公开实施例提供的外参确定方法中，根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系步骤，包括如下步骤。

步骤41，根据第一位姿转换关系及第一位姿信息，确定可移动设备的第三位姿信息。

在步骤41中，第三位姿信息指的是基于第一传感器和第二传感器之间预先标定的第一位姿转换关系以及基于第一传感器确定的第一位姿信息，所确定的第二传感器对应的可移动设备位姿信息。应当理解，在本公开实施例中，第三位姿信息与第二传感器对应。

步骤42，根据第二位姿信息和第三位姿信息，确定第二位姿转换关系。

需要说明的是，在本公开实施例中，第二位姿转换关系指的是第二传感器自身对应的位姿变换关系。

在实际应用过程中，首先通过第一传感器获取可移动设备的第一位姿信息，然后通过第二传感器获取可移动设备的第二位姿信息，并获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，然后根据第一位姿转换关系及第一位姿信息确定可移动设备的第三位姿信息，并根据第二位姿信息和第三位姿信息确定第二位姿转换关系，最后根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息。

本公开实施例提供的外参确定方法，通过基于第一位姿转换关系和第一位姿信息确定可移动设备的第三位姿信息，并根据第二位姿信息和第三位姿信息确定第二位姿转换关系的方式，实现了根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系的目的。在本公开实施例中，由于可移动设备的第三位姿信息与第二传感器对应，而第二位姿信息亦与第二传感器对应，因此，基于第二位姿信息和第三位姿信息能够确定第二位姿转换关系(即第二传感器自身对应的位姿变换关系)。又由于第二位姿转换关系是基于第二位姿信息和第三位姿信息确定的，因此，本公开实施例所确定的第二位姿转换关系充分利用了第一传感器的姿态信息，进而进一步保证了所确定的第二位姿转换关系的稳定性和精准性。

图4所示为本公开另一示例性实施例提供的外参确定方法的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图4所示实施例，下面着重叙述图4所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图4所示，本公开实施例提供的外参确定方法中，在根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息步骤后，还包括如下步骤。

步骤60，基于第二外参信息计算图像采集设备采集的图像的消失点坐标。

图像的消失点可以理解为空间直线上无穷远处的点投影在图像上所形成的像点。在计算机视觉中，图像的消失点对于确定图像场景中的空间几何结构关系具有重要意义。那么，又由于图像是利用图像采集设备拍摄的，而图像采集设备的外参信息(即第二外参信息)能够表征图像采集设备对应的相机坐标系信息以及相机坐标系和世界坐标系之间的转换信息，因此，基于图像采集设备的外参信息能够确定图像采集设备采集的图像的消失点坐标。

在实际应用过程中，首先通过第一传感器获取可移动设备的第一位姿信息，然后通过第二传感器获取可移动设备的第二位姿信息，并获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，最后根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息，并基于第二外参信息计算图像采集设备采集的图像的消失点坐标。

本公开实施例提供的外参确定方法，通过根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息，进而基于第二外参信息计算图像采集设备采集的图像的消失点坐标的方式，实现了计算图像采集设备采集的图像的消失点坐标的目的。在本公开实施例中，由于所计算的消失点坐标是基于图像采集设备的第二外参信息确定的，而基于图2所示实施例可知，第二外参信息的确定方法具备计算方式简单、计算效率高及实时性好等诸多优势，因此，本公开实施例提供的能够确定图像的消失点坐标的外参确定方法，能够有效简化消失点坐标的计算方式，提高消失点坐标的预测效率，进而实现实时预测消失点坐标的目的。

图5所示为本公开一示例性实施例提供的基于第二外参信息计算图像采集设备采集的图像的消失点坐标的流程示意图。在本公开图4所示实施例的基础上延伸出本公开图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图5所示，本公开实施例提供的外参确定方法中，基于第二外参信息计算图像采集设备采集的图像的消失点坐标步骤，包括如下步骤。

步骤61，基于第二外参信息确定图像的图像坐标信息。

在步骤61中，图像坐标信息指的是图像在图像坐标系中的坐标信息。由于图像采集设备的外参信息(即第二外参信息)能够表征图像采集设备对应的相机坐标系信息以及相机坐标系和世界坐标系之间的转换信息，而相机坐标系和图像坐标系之间又具有成像投影关系，因此，基于图像采集设备的外参信息能够确定图像的坐标信息，即图像坐标信息。

步骤62，基于图像坐标信息确定图像的消失点坐标。

也就是说，在本公开实施例中，图像的消失点坐标是基于图像在图像坐标系中的坐标信息所确定的。

在实际应用过程中，首先通过第一传感器获取可移动设备的第一位姿信息，然后通过第二传感器获取可移动设备的第二位姿信息，并获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，最后根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息，并基于第二外参信息确定图像采集设备采集的图像的图像坐标信息，进而基于图像坐标信息确定图像的消失点坐标。

本公开实施例提供的外参确定方法，通过基于第二外参信息确定图像采集设备采集的图像的图像坐标信息，并基于图像坐标信息确定图像的消失点坐标的方式，实现了基于第二外参信息计算图像采集设备采集的图像的消失点坐标的目的。与现有图像的消失点坐标的计算方式相比，本公开实施例提及的消失点坐标的计算方式充分利用了图像采集设备的外参，因此，本公开实施例能够有效简化消失点坐标的计算方式，提高消失点坐标的计算效率，进而实现实时预测图像的消失点坐标的目的。

图6所示为本公开又一示例性实施例提供的外参确定方法的流程示意图。在本公开实施例中，第一传感器为GNSS传感器，第二传感器为IMU传感器。具体地，如图6所示，本公开实施例提供的外参确定方法包括如下步骤。

步骤71，预先标定GNSS传感器和IMU传感器之间的位姿转换矩阵T

应当理解，步骤71中提及的位姿转换矩阵T

步骤72，基于位姿转换矩阵T

在步骤72中，IMU

步骤73，计算IMU传感器的位姿变化矩阵T

在步骤73中，IMU

步骤74，根据IMU传感器的位姿变化矩阵T

步骤75，根据图像采集设备的位姿变化矩阵T

应当理解，步骤75中提及的修正后的外参可对应上述实施例提及的第二外参信息。

步骤76，基于修正后的外参计算图像采集设备采集的图像中的消失点坐标。

在实际应用过程中，预先标定GNSS传感器和IMU传感器之间的位姿转换矩阵T

由于IMU传感器能够确定可移动设备的精准的瞬时姿态信息，GNSS传感器能够提供相对平稳的可行驶区域的道路姿态信息。因此，本公开图6所示实施例能够提高外参的计算效率，进而能够实现实时预测图像的消失点坐标的目的。

在本公开一实施例中，图6所示实施例提及的基于修正后的外参计算图像采集设备采集的图像中的消失点坐标步骤可基于下述计算过程实现。

第一，确定世界坐标系和相机坐标系之间的关系。

设定世界坐标为(X,Y,Z)，相机坐标为(X

由于在外参确定过程中，位移变换T不会对需要确定的外参产生影响，因此，为简化计算，可将上述公式(1)简化为下述公式(2)。

第二，确定相机坐标系和平面坐标系之间的成像投影关系。

设定相机坐标系为：O-X

在公式(3)中，f表征相机坐标系的原点O与图像坐标系的原点O1之间的距离。

第三，从平面坐标系确定图像坐标系。

假设图像中的每一个像素在X轴和Y轴方向上的物理尺寸分别为dx和dy。那么，基于平面坐标系和图像坐标系之间的转换关系可得知，平面坐标系和图像坐标系之间的关系可基于下述公式(4)确定。

在公式(4)中，u

结合上述公式(1)至(4)所记载的变换关系能够得知，对于空间中的任一点(X

在公式(5)中，AR为变换矩阵，假设M＝AR，则可基于上述公式(5)得出下述公式(6)。

在公式(6)中，矩阵M表征图像采集设备的外参矩阵。如前所述，矩阵M中省略了位移变换矩阵T。

将公式(6)展开，并限定Z

由于消失点可以认为是空间直线上无穷远处的点投影在图像上所形成的像点。对于空间中某一直线L，方向为(dx,dy,dz),给定直线上坐标(ax,ay,az)，所以直线上任一点A可利用下述公式(9)表示。

X(λ)＝A+λD (9)

应当理解，在公式(9)中，当λ＝0时，点X(λ)与点A重合；当λ→∞时，点X(λ)趋近于无穷远点。

基于上述公式(9)对上述公式(7)和(8)进行变换，可对应得到下述公式(10)和(11)。

由于消失点可以认为是空间直线上无穷远处的点投影在图像上所形成的像点，因此，基于上述公式(10)和(11)能够得到下述消失点坐标计算公式(12)和(13)。

图7所示为本公开再一示例性实施例提供的外参确定方法的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图7所示实施例，下面着重叙述图7所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图7所示，在本公开实施例提供的外参确定方法中，通过第一传感器获取可移动设备的第一位姿信息步骤，包括如下步骤。

步骤11，对第一传感器对应的历史位姿信息进行均值滤波平滑，得到第一位姿信息。

步骤11中提及的均值滤波平滑操作能够有效抑制历史位姿信息中的噪声，从而有效提高得到的第一位姿信息的精确度，进而有效提高最终确定的外参的精确度。

需要说明的是，基于第一传感器对应的历史位姿信息得到第一传感器对应的第一位姿信息，能够有效提高所得到的第一位姿信息的准确度。举例说明，当第一传感器为GNSS传感器时，由于GNSS传感器融合了GPS信息和IMU信息，因此GNSS传感器能够提供相对平稳且具备时间延续性的姿态信息。基于此，当基于第一传感器对应的历史姿态信息确定第一传感器对应的第一位姿信息时，能够充分利用历史姿态信息中包括的相关关联信息，进而进一步提高所得到的第一位姿信息的准确度。

在实际应用过程中，首先对第一传感器对应的历史位姿信息进行均值滤波平滑以得到第一位姿信息，然后通过第二传感器获取可移动设备的第二位姿信息，并获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，最后根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息。

本公开实施例提供的外参确定方法，通过对第一传感器对应的历史位姿信息进行均值滤波平滑以得到第一位姿信息的方式，实现了通过第一传感器获取可移动设备的第一位姿信息的目的。由于第一传感器对应的历史位姿信息能够表征第一传感器的历史位姿变化，且均值滤波平滑操作能够有效抑制历史位姿信息中的噪声，因此，本公开实施例能够进一步提高所确定的外参的精准度。

图8所示为本公开再一示例性实施例提供的外参确定方法的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图8所示实施例，下面着重叙述图8所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图8所示，在本公开实施例提供的外参确定方法中，在通过第一传感器获取可移动设备的第一位姿信息步骤之前，还包括如下步骤。

步骤5，将第一传感器和第二传感器的时间戳同步。

步骤5中提及的时间戳同步，指的是第一传感器和第二传感器需要在时间维度上对齐，从而保证通过第一传感器获取的第一位姿信息和通过第二传感器获取的第二位姿信息在时间维度上对齐。

需要说明的是，由于将第一传感器和第二传感器的时间戳同步后，能够实现第一位姿信息和第二位姿信息的时间戳同步，因此，与图2所示实施例相比，本公开实施例能够进一步提高所确定的外参的精准度。

在实际应用过程中，首先将第一传感器和第二传感器的时间戳同步，并通过第一传感器获取可移动设备的第一位姿信息，然后通过第二传感器获取可移动设备的第二位姿信息，并获取第一传感器和第二传感器之间预先标定的第一位姿转换关系，继而根据第一位姿转换关系、第一位姿信息和第二位姿信息确定第二位姿转换关系，最后根据第二位姿转换关系及图像采集设备的第一外参信息确定图像采集设备的第二外参信息。

本公开实施例提供的外参确定方法，通过将第一传感器和第二传感器的时间戳同步，然后在基于同步后的第一传感器和第二传感器确定图像采集设备的外参的方式，进一步提高了所确定的外参的精准度。

图9所示为本公开一示例性实施例提供的外参确定装置的结构示意图。如图9所示，本公开实施例提供的外参确定装置包括：

第一位姿信息获取模块100，用于通过第一传感器获取可移动设备的第一位姿信息；

第二位姿信息获取模块200，用于通过第二传感器获取可移动设备的第二位姿信息；

第一位姿转换关系获取模块300，用于获取第一传感器与第二传感器之间预先标定的第一位姿转换关系；

第二位姿转换关系确定模块400，用于根据第一位姿转换关系、第一位姿信息和第二位姿信息，确定第二位姿转换关系；

第二外参信息确定模块500，用于根据第二位姿转换关系及图像采集设备的第一外参信息，确定图像采集设备的第二外参信息，其中，图像采集设备安装于可移动设备上。

图10所示为本公开一示例性实施例提供的外参确定装置的第二位姿转换关系确定模块的结构示意图。在本公开图9所示实施例的基础上延伸出本公开图10所示实施例，下面着重叙述图10所示实施例与图9所示实施例的不同之处，相同之处不再赘述。

如图10所示，在本公开实施例提供的外参确定装置中，第二位姿转换关系确定模块400包括：

第三位姿信息确定单元410，用于根据第一位姿转换关系及第一位姿信息，确定可移动设备的第三位姿信息；

第二位姿转换关系确定单元420，用于根据第二位姿信息和第三位姿信息，确定第二位姿转换关系。

图11所示为本公开另一示例性实施例提供的外参确定装置的结构示意图。在本公开图9所示实施例的基础上延伸出本公开图11所示实施例，下面着重叙述图11所示实施例与图9所示实施例的不同之处，相同之处不再赘述。

如图11所示，本公开实施例提供的外参确定装置还包括：

消失点坐标计算模块600，用于基于第二外参信息计算图像采集设备采集的图像的消失点坐标。

图12所示为本公开一示例性实施例提供的外参确定装置的消失点坐标计算模块的结构示意图。在本公开图11所示实施例的基础上延伸出本公开图12所示实施例，下面着重叙述图12所示实施例与图11所示实施例的不同之处，相同之处不再赘述。

如图12所示，在本公开实施例提供的外参确定装置中，消失点坐标计算模块600包括：

图像坐标信息确定单元610，用于基于第二外参信息确定图像的图像坐标信息；

消失点坐标确定单元620，用于基于图像坐标信息确定图像的消失点坐标。

图13所示为本公开又一示例性实施例提供的外参确定装置的结构示意图。如图13所示，本公开实施例提供的外参确定装置包括：

标定模块710，用于预先标定GNSS传感器和IMU传感器之间的位姿转换矩阵T

位姿信息计算模块720，用于基于位姿转换矩阵T

第一位姿变化矩阵计算模块730，用于计算IMU传感器的位姿变化矩阵T

第二位姿变化矩阵计算模块740，用于根据IMU传感器的位姿变化矩阵T

修正模块750，用于根据图像采集设备的位姿变化矩阵T

消失点确定模块760，用于基于修正后的外参计算图像采集设备采集的图像中的消失点坐标。

图14所示为本公开再一示例性实施例提供的外参确定装置的结构示意图。在本公开图9所示实施例的基础上延伸出本公开图14所示实施例，下面着重叙述图14所示实施例与图9所示实施例的不同之处，相同之处不再赘述。

如图14所示，在本公开实施例提供的外参确定装置中，第一位姿信息获取模块100包括：

第一位姿信息获取单元110，用于对第一传感器对应的历史位姿信息进行均值滤波平滑，得到第一位姿信息。

图15所示为本公开再一示例性实施例提供的外参确定装置的结构示意图。在本公开图9所示实施例的基础上延伸出本公开图15所示实施例，下面着重叙述图15所示实施例与图9所示实施例的不同之处，相同之处不再赘述。

如图15所示，本公开实施例提供的外参确定装置还包括：

时间戳同步模块50，用于将第一传感器和第二传感器的时间戳同步。

应当理解，图9至图15提供的外参确定装置中的时间戳同步模块50、第一位姿信息获取模块100、第二位姿信息获取模块200、第一位姿转换关系获取模块300、第二位姿转换关系确定模块400、第二外参信息确定模块500和消失点坐标计算模块600，以及第一位姿信息获取模块100中包括的第一位姿信息获取单元110，以及第二位姿转换关系确定模块400中包括的第三位姿信息确定单元410和第二位姿转换关系确定单元420，以及消失点坐标计算模块600中包括的图像坐标信息确定单元610和消失点坐标确定单元620，以及外参确定装置中的标定模块710、位姿信息计算模块720、第一位姿变化矩阵计算模块730、第二位姿变化矩阵计算模块740、修正模块750和消失点确定模块760的操作和功能可以参考上述图2至图8提供的外参确定方法，为了避免重复，在此不再赘述。

下面，参考图16来描述根据本申请实施例的电子设备。图16所示为本公开一示例性实施例提供的电子设备的结构示意图。

如图16所示，电子设备80包括一个或多个处理器801和存储器802。

处理器801可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备80中的其他组件以执行期望的功能。

存储器802可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器801可以运行所述程序指令，以实现上文所述的本公开的各个实施例的外参确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如点云数据等各种内容。

在一个示例中，电子设备80还可以包括：输入装置803和输出装置804，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置803可以包括例如键盘、鼠标等等。

该输出装置804可以向外部输出各种信息，包括确定出的外参信息等。该输出装置804可以包括例如显示器、通信网络及其所连接的远程输出设备等等。

当然，为了简化，图16中仅示出了该电子设备80中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备80还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的外参确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的外参确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。