一种智能靠泊辅助方法、系统、计算机设备及存储介质

摘要

本发明提供了一种智能靠泊辅助方法、系统、计算机设备及存储介质，其方法包括步骤：获取安装在船只周围的若干个摄像头采集的图像；对所述摄像头采集的图像进行拼接，获得船只周围360°的实时图像；建立碗状投影模型；将所述实时图像映射到所述碗状投影模型中，并在所述碗状投影模型中标定靠泊位置；根据所述靠泊位置，以及所述实时图像中的障碍物信息在所述碗状投影模型中模拟船只靠泊路径。该方案不需要人工参与，且能够使船只靠泊的精度更高，有利于保证船只靠泊时的安全。

说明书

技术领域

本发明涉及船只靠泊技术领域，尤指一种智能靠泊辅助方法、系统、计算机设备及存储介质。

背景技术

在船只靠泊时，常采用人工瞭望的方式，瞭望员位于驾驶舱内，向船舶前方以及左右两翼瞭望。但是由于驾驶舱能提供的视角有限，且视野范围内也有船体结构物遮挡，因此，人工瞭望的视野盲区相当大且无法避免，容易使船只发生碰撞，或靠泊位置出现偏差。还有一种常见的辅助靠泊的方式是在船只的四周安装摄像头，瞭望员通过显示屏查看船只四周的情况，但是，该方式受人为主观的影响同样较大，需要瞭望员时刻保持警惕，很容易因瞭望员分心而增加风险。因此，需要一种靠泊警精度更高，且不需要人工参与的船只靠泊辅助方法。

发明内容

本发明的目的是提供一种智能靠泊辅助方法、系统、计算机设备及存储介质，该方案不需要人工参与，且能够使船只靠泊的精度更高，有利于保证船只靠泊时的安全。

本发明提供的技术方案如下：

本发明提供一种智能靠泊辅助方法，包括步骤：

获取安装在船只周围的若干个摄像头采集的图像；

对所述摄像头采集的图像进行拼接，获得船只周围360°的实时图像；

建立碗状投影模型；

将所述实时图像映射到所述碗状投影模型中，并在所述碗状投影模型中标定靠泊位置；

根据所述靠泊位置，以及所述实时图像中的障碍物信息在所述碗状投影模型中模拟船只靠泊路径。

通过在船只的四周设置周若干个摄像头，并获取各个摄像头采集的图像，能够对各图像进行拼接，获得船只周围360°的实时图像，同时，通过建立建立碗状投影模型，并将实时图像映射到碗状投影模型中，能够便于根据船只的航行信息，以及标定的靠泊位置，在碗状投影模型中模拟船只的靠泊路径，并实时避开各种障碍物，使得船只靠泊的精度更高，且不需要人工参与，有利于保证船只航行的安全。

具体的，在本方案中，摄像头为鱼眼摄像头，各鱼眼摄像头的摄像范围在90°-180°之间，同时，为了便于图像拼接，各摄像头均匀设置，且相邻的摄像头的视角之间存在一定的重叠区域。

进一步地，所述的对所述摄像头采集的图像进行拼接，获得船只周围360°的实时图像，具体包括：

依次获取所述摄像头采集的图像的边缘区域的第一特征位置；

通过所述第一特征位置获取相邻的两个所述摄像头采集的图像的重叠区域；

比对所述重叠区域的第二特征位置；

若所述第二特征位置相同，则依次对相邻的两个所述摄像头采集的图像进行拼接，获得船只周围360°的实时图像；

若所述第二特征位置不相同，则标记所述第二特征位置对应的两个所述摄像头。

具体的，在进行图像拼接时，为了划分拼接区域，可以在摄像头采集的图像的边缘区域设置一个第一特征位置，第一特征位置可以为障碍物、小岛等具有标志性的位置，通过第一特征位置能够获取相邻的两个摄像头采集的图像之间的重叠区域，从而能够重叠区域进行相邻两个图像的拼接。

此外，为了保证图像拼接的精度，在获得重叠区域后，可以再选定一个标志性的第二特征位置，检测相邻的两个图像的第二特征位置是否重合，若重合，表明重叠区域没有问题，可以进行拼接；若不重合，表明重叠区域存在偏差，可能是对应的摄像头出现故障，此时，可以标记对应的两个摄像头，以便之后进行故障查询。

进一步地，所述的依次获取所述摄像头采集的图像的边缘区域的第一特征位置之前，还包括：

对所述摄像头采集的图像进行内参标定，输出内参数；

进行若干个所述摄像头采集图像拼接的外参标定，输出环视拼接外参数；

根据所述内参数和所述环视拼接外参数进行图像拼接。

由于摄像头，特别是广域摄像头拍摄的图像存在一定畸变，因此，为了进行图像的拼接，需要依次进行摄像头的内参标定和外参标定，以消除图像的畸变。

进一步地，所述的将所述实时图像映射到所述碗状投影模型中，具体包括：

标定所述实时图像中的若干个参考点；

通过船载雷达获取所述参考点的位置坐标；

根据所述位置坐标获取所述实时图像与外界环境的第一映射关系；

根据所述碗状投影模型与外界环境的第二映射关系，获得所述实时图像与所述碗状投影模型的第三映射关系；

根据所述第三映射关系将所述实时图像映射到所述碗状投影模型中。

在将实时图像映射到碗状投影模型中时，需要确定映射关系，可以先在实时图像中标定若干个参考点，再借助船载雷达获取参考点的实际位置坐标，根据实际位置坐标能够获取实时图像与外界环境的第一映射关系；同时，碗状投影模型在建立时，本身能够确定碗状投影模型与外界环境的第二映射关系，因此，以外界环境作为中介，便能获得实时图像与碗状投影模型的第三映射关系，之后根据第三映射关系便能将实时图像映射到碗状投影模型中。

进一步地，所述的根据所述靠泊位置，以及所述实时图像中的障碍物信息在所述碗状投影模型中模拟船只靠泊路径，具体包括：

实时获取所述障碍物的位置信息；

根据所述障碍物的位置信息模拟所述障碍物的移动轨迹；

根据所述靠泊位置和所述障碍物的移动轨迹模拟船只的靠泊路径，以及规划船只航行速度。

在船只靠泊行时，所遇到的危险不只是与固定障碍物的碰撞，还有可能与其它船只等移动障碍物碰撞因此，可以通过实时获取障碍物(包括固定的物体，或移动的物体)的位置信息，模拟障碍物的移动轨迹，从而根据靠泊位置和障碍物的移动轨迹模拟船只的靠泊路径，以及规划船只航行速度。

进一步地，所述的根据所述障碍物的位置信息模拟所述障碍物的移动轨迹之后，还包括：

根据所述障碍物的移动路径和船只的实时位置进行风险分析，当存在风险时，进行预警。

另外，在模拟出障碍物的移动轨迹，还可以对障碍物的移动路径和船只的实时位置进行实时风险分析，当存在碰撞风险时，进行预警，以帮助船员提前做出应对。

另外，本发明还提供一种智能靠泊辅助系统质，包括：

图像获取模块，用于获取安装在船只周围的若干个摄像头采集的图像；

图像拼接模块，与所述图像获取模块连接，用于对所述摄像头采集的图像进行拼接，获得船只周围360°的实时图像；

模型建立模块，用于建立碗状投影模型；

映射模块，与所述图像拼接模块和所述模型建立模块连接，用于将所述实时图像映射到所述碗状投影模型中，并在所述碗状投影模型中标定靠泊位置；

模拟模块，与所述映射模块连接，用于根据所述靠泊位置，以及所述实时图像中的障碍物信息在所述碗状投影模型中模拟船只靠泊路径。

通过在船只的四周设置周若干个摄像头，并通过图像获取模块获取各个摄像头采集的图像，能够再通过图像拼接模块对各图像进行拼接，获得船只周围360°的实时图像，同时，通过模型建立模块建立建立碗状投影模型，并通过映射模块将实时图像映射到碗状投影模型中，能够便于根据船只的航行信息，以及标定的靠泊位置，在碗状投影模型中通过模拟模块模拟船只的靠泊路径，并实时避开各种障碍物，使得船只靠泊的精度更高，且不需要人工参与，有利于保证船只航行的安全。

进一步地，所述图像拼接模块包括：

第一获取单元，用于依次获取所述摄像头采集的图像的边缘区域的第一特征位置；

第二获取单元，用于通过所述第一特征位置获取相邻的两个所述摄像头采集的图像的重叠区域；

比对单元，用于比对所述重叠区域的第二特征位置；

拼接单元，用于在所述第二特征位置相同时，依次对相邻的两个所述摄像头采集的图像进行拼接，获得船只周围360°的实时图像；

标记单元，用于在所述第二特征位置不相同时，标记所述第二特征位置对应的两个所述摄像头。

另外，本发明还提供一种计算机设备，包括：

存储器，用于存放运行程序；

处理器，用于执行所述存储器内存放的运行程序，实现上述的智能靠泊辅助方法所述执行的操作。

另外，本发明还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述的智能靠泊辅助方法所执行的操作。

根据过本发明提供的一种智能靠泊辅助方法、系统、计算机设备及存储介质，通过在船只的四周设置周若干个摄像头，并获取各个摄像头采集的图像，能够对各图像进行拼接，获得船只周围360°的实时图像，同时，通过建立建立碗状投影模型，并将实时图像映射到碗状投影模型中，能够便于根据船只的航行信息，以及标定的靠泊位置，在碗状投影模型中模拟船只的靠泊路径，并实时避开各种障碍物，使得船只靠泊的精度更高，且不需要人工参与，有利于保证船只航行的安全。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对本方案的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明实施例的整体流程示意图；

图2是本发明实施例的系统结构示意图；

图3是本发明实施例的计算机设备结构示意图。

图中标号：1-图像获取模块；2-图像拼接模块；21-第一获取单元；22-第二获取单元；23-比对单元；24-拼接单元；25-标记单元；3-模型建立模块；4-映射模块；5-模拟模块；100-存储器；200-处理器；300-通信接口；400-通信总线；500-输入/输出接口。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

实施例1

本发明的一个实施例，如图1所示，本发明提供一种智能靠泊辅助方法，包括步骤：

S1、获取安装在船只周围的若干个摄像头采集的图像。

具体的，在本方案中，摄像头为鱼眼摄像头，各鱼眼摄像头的摄像范围在90°-180°之间，同时，为了便于图像拼接，各摄像头均匀设置，且相邻的摄像头的视角之间存在一定的重叠区域。

S2、对摄像头采集的图像进行拼接，获得船只周围360°的实时图像。

S3、建立碗状投影模型。

S4、将实时图像映射到碗状投影模型中，并在碗状投影模型中标定靠泊位置。

S5、根据靠泊位置，以及实时图像中的障碍物信息在碗状投影模型中模拟船只靠泊路径。

通过在船只的四周设置周若干个摄像头，并获取各个摄像头采集的图像，能够对各图像进行拼接，获得船只周围360°的实时图像，同时，通过建立建立碗状投影模型，并将实时图像映射到碗状投影模型中，能够便于根据船只的航行信息，以及标定的靠泊位置，在碗状投影模型中模拟船只的靠泊路径，并实时避开各种障碍物，使得船只靠泊的精度更高，且不需要人工参与，有利于保证船只航行的安全。

实施例2

本发明的一个实施例，在实施例1的基础上，对摄像头采集的图像进行拼接，获得船只周围360°的实时图像，具体包括：

S21、依次获取摄像头采集的图像的边缘区域的第一特征位置。

S22、通过第一特征位置获取相邻的两个摄像头采集的图像的重叠区域。

S23、比对重叠区域的第二特征位置。

S24、若第二特征位置相同，则依次对相邻的两个摄像头采集的图像进行拼接，获得船只周围360°的实时图像。

S25、若第二特征位置不相同，则标记第二特征位置对应的两个摄像头。

具体的，在进行图像拼接时，为了划分拼接区域，可以在摄像头采集的图像的边缘区域设置一个第一特征位置，第一特征位置可以为障碍物、小岛等具有标志性的位置，通过第一特征位置能够获取相邻的两个摄像头采集的图像之间的重叠区域，从而能够重叠区域进行相邻两个图像的拼接。

此外，为了保证图像拼接的精度，在获得重叠区域后，可以再选定一个标志性的第二特征位置，检测相邻的两个图像的第二特征位置是否重合，若重合，表明重叠区域没有问题，可以进行拼接；若不重合，表明重叠区域存在偏差，可能是对应的摄像头出现故障，此时，可以标记对应的两个摄像头，以便之后进行故障查询。

优选的地，依次获取摄像头采集的图像的边缘区域的第一特征位置之前，还包括：对摄像头采集的图像进行内参标定，输出内参数；进行若干个摄像头采集图像拼接的外参标定，输出环视拼接外参数；根据内参数和环视拼接外参数进行图像拼接。

由于摄像头，特别是广域摄像头拍摄的图像存在一定畸变，因此，为了进行图像的拼接，需要依次进行摄像头的内参标定和外参标定，以消除图像的畸变。

实施例3

本发明的一个实施例，在实施例1或2的基础上，将实时图像映射到碗状投影模型中，具体包括：

S41、标定实时图像中的若干个参考点。

S42、通过船载雷达获取参考点的位置坐标。；

S43、根据位置坐标获取实时图像与外界环境的第一映射关系。

S44、根据碗状投影模型与外界环境的第二映射关系，获得实时图像与碗状投影模型的第三映射关系。

S45、根据第三映射关系将实时图像映射到碗状投影模型中。

在将实时图像映射到碗状投影模型中时，需要确定映射关系，可以先在实时图像中标定若干个参考点，再借助船载雷达获取参考点的实际位置坐标，根据实际位置坐标能够获取实时图像与外界环境的第一映射关系；同时，碗状投影模型在建立时，本身能够确定碗状投影模型与外界环境的第二映射关系，因此，以外界环境作为中介，便能获得实时图像与碗状投影模型的第三映射关系，之后根据第三映射关系便能将实时图像映射到碗状投影模型中。

优选的地，根据靠泊位置，以及实时图像中的障碍物信息在碗状投影模型中模拟船只靠泊路径，具体包括：

S51、实时获取障碍物的位置信息。

S52、根据障碍物的位置信息模拟障碍物的移动轨迹。

S53、根据靠泊位置和障碍物的移动轨迹模拟船只的靠泊路径，以及规划船只航行速度。

在船只靠泊行时，所遇到的危险不只是与固定障碍物的碰撞，还有可能与其它船只等移动障碍物碰撞因此，可以通过实时获取障碍物(包括固定的物体，或移动的物体)的位置信息，模拟障碍物的移动轨迹，从而根据靠泊位置和障碍物的移动轨迹模拟船只的靠泊路径，以及规划船只航行速度。

进一步优选的地，根据障碍物的位置信息模拟障碍物的移动轨迹之后，还包括：根据障碍物的移动路径和船只的实时位置进行风险分析，当存在风险时，进行预警。

具体的，在模拟出障碍物的移动轨迹，还可以对障碍物的移动路径和船只的实时位置进行实时风险分析，当存在碰撞风险时，进行预警，以帮助船员提前做出应对。

实施例4

本发明的一个实施例，如图2所示，本发明还提供一种智能靠泊辅助系统质，包括图像获取模块1、图像拼接模块2、模型建立模块3、映射模块4和模拟模块5。

图像获取模块1用于获取安装在船只周围的若干个摄像头采集的图像。

具体的，在本方案中，摄像头为鱼眼摄像头，各鱼眼摄像头的摄像范围在90°-180°之间，同时，为了便于图像拼接，各摄像头均匀设置，且相邻的摄像头的视角之间存在一定的重叠区域。

图像拼接模块2与图像获取模块1连接，用于对摄像头采集的图像进行拼接，获得船只周围360°的实时图像.

模型建立模块3用于建立碗状投影模型；映射模块4与图像拼接模块2和模型建立模块3连接，用于将实时图像映射到碗状投影模型中，并在碗状投影模型中标定靠泊位置。

模拟模块5与映射模块4连接，用于根据靠泊位置，以及实时图像中的障碍物信息在碗状投影模型中模拟船只靠泊路径。

通过在船只的四周设置周若干个摄像头，并通过图像获取模块1获取各个摄像头采集的图像，能够再通过图像拼接模块2对各图像进行拼接，获得船只周围360°的实时图像，同时，通过模型建立模块3建立建立碗状投影模型，并通过映射模块4将实时图像映射到碗状投影模型中，能够便于根据船只的航行信息，以及标定的靠泊位置，在碗状投影模型中通过模拟模块2模拟船只的靠泊路径，并实时避开各种障碍物，使得船只靠泊的精度更高，且不需要人工参与，有利于保证船只航行的安全。

优选的，图像拼接模块2包括第一获取单元21、第二获取单元22、比对单元23、拼接单元24和标记单元25。

第一获取单元21用于依次获取摄像头采集的图像的边缘区域的第一特征位置；第二获取单元22用于通过第一特征位置获取相邻的两个摄像头采集的图像的重叠区域；比对单元23用于比对重叠区域的第二特征位置；拼接单元24用于在第二特征位置相同时，依次对相邻的两个摄像头采集的图像进行拼接，获得船只周围360°的实时图像；标记单元25用于在第二特征位置不相同时，标记第二特征位置对应的两个摄像头。

具体的，在进行图像拼接时，为了划分拼接区域，可以在摄像头采集的图像的边缘区域设置一个第一特征位置，第一特征位置可以为障碍物、小岛等具有标志性的位置，通过第一特征位置能够获取相邻的两个摄像头采集的图像之间的重叠区域，从而能够重叠区域进行相邻两个图像的拼接。

此外，为了保证图像拼接的精度，在获得重叠区域后，可以再选定一个标志性的第二特征位置，检测相邻的两个图像的第二特征位置是否重合，若重合，表明重叠区域没有问题，可以进行拼接；若不重合，表明重叠区域存在偏差，可能是对应的摄像头出现故障，此时，可以标记对应的两个摄像头，以便之后进行故障查询。

实施例5

另外，如图3所示，本发明还提供一种计算机设备，包括存储器100和处理器200，存储器100用于存放运行程序，处理器200用于执行存储器内存放的运行程序，实现实施例1至实施例3任一所述的智能靠泊辅助方法所执行的操作。

具体的，计算机设备还可以包括通信接口300、通信总线400和输入/输出接口500，其中，处理器200、存储器100、输入/输出接口500和通信接口300通过通信总线400完成相互间的通信。

通信总线400是连接所描述的元素的电路并且在这些元素之间实现传输。例如，处理器200通过通信总线400从其它元素接收到命令，解密接收到的命令，根据解密的命令执行计算或数据处理。存储器100可以包括程序模块，例如内核(kernel)，中间件(middleware)，应用程序编程接口(Application Programming Interface，API)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口500转发用户通过输入输出设备(例如感应器、键盘、触摸屏)输入的命令或数据。通信接口300将该计算机设备与其它网络设备、用户设备、网络进行连接。例如，通信接口300可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种：无线保真(WiFi)，蓝牙(BT)，近距离无线通信技术(NFC)，全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种：通用串行总线(USB)，高清晰度多媒体接口(HDMI)，异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。计算机设备可以通过通信接口300连接网络，计算机设备和其它网络设备通信所用的协议可以被应用、应用程序编程接口(API)、中间件、内核和通信接口至少一个支持。

实施例6

另外，本发明还提供一种存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现实施例1至实施例3任一所述的智能靠泊辅助方法所执行的操作。例如，计算机可读存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。