图像标注方法和图像标注装置

摘要

一种图像标注方法和图像标注装置，该方法包括：获取待标注图像，所述待标注图像中包括已被用户标注的参考车道和待标注的辅助车道；获取所述参考车道的边界线信息和所述辅助车道的属性信息，所述属性信息至少包括宽度信息；基于所述参考车道的边界线信息和所述辅助车道的宽度信息确定所述辅助车道的边界线信息；基于所述辅助车道的边界线信息对所述辅助车道进行车道线标注，并显示标注后的图像。根据本申请实施例的图像标注方法和装置能够基于待标注图像中已被用户标注的参考车道实现对待标注图像中其他车道的自动标注，减少用户手动标注的工作量，提高车道标注效率。

说明书

技术领域

本申请涉及图像标注技术领域，更具体地涉及一种图像标注方法和图像标注装置。

背景技术

近年来，为推动交通设施数字化，我国持续引导自动驾驶行业发展。随着计算机视觉技术的兴起，自动驾驶为提升交通安全和效率提供了新的解决方案。车道线识别是自动驾驶系统感知和决策的关键，而准确的车道线识别算法训练又依赖于大量的车道线标注数据。因此，基于3D点云数据的高效车道线标注工具成为自动驾驶发展过程中一项不可或缺的需求。由于3D点云图具有稀疏性、不连续性和不规则性，各个独立的点所形成的道路位置不易辨别。此外，道路自身可能存在的破损和各地交通情况的差异性，也加大了标注用户快速评估路况、辨别车道位置的难度。诸如此类的众多因素导致车道线标注的整体效率不高，耗费大量人力成本投入其中。

为了提升标注效率，现有的车道线标注工具使用多路传感器融合标注、智能调整标注等方法减轻人工操作的负担。多路传感器融合标注是指将多类传感器收集到的不同信息进行融合，例如将相机拍摄的2D图和由3D扫描仪获取的3D图进行联动映射，使标注时可从多维度评估路况。自动调整标注是指通过人工智能方法对人工标注的点、线、框等进行自动调整，缩短手动微调的时间。这些方法可在一定程度上提升车道线标注效率，但整个过程仍然主要依赖于人工辨别、手动标注。当需要标注的车道数量较多、存在多条车道并列或连续帧存在相同车道时，都需要逐帧、逐条车道进行手动标注，过程中有大量繁琐的重复操作，在耗时上依旧有较大缩减空间。

因此，现有自动驾驶车道线标注工具能达到的整体标注效率仍然亟待提升。

发明内容

根据本申请一方面，提供了一种用于图像标注方法，所述方法包括：获取待标注图像，所述待标注图像中包括已被用户标注的参考车道和待标注的辅助车道；获取所述参考车道的边界线信息和所述辅助车道的属性信息，所述属性信息至少包括宽度信息；基于所述参考车道的边界线信息和所述辅助车道的宽度信息确定所述辅助车道的边界线信息；基于所述辅助车道的边界线信息对所述辅助车道进行车道线标注，并显示标注后的图像。

在本申请的实施例中，所述边界线信息包括左边界线信息和/或右边界线信息；所述基于所述参考车道的边界线信息和所述辅助车道的宽度信息确定所述辅助车道的边界线信息，包括：基于所述参考车道的左边界线信息和所述参考车道左侧的辅助车道的宽度信息获取所述左侧的辅助车道的边界线信息；和/或基于所述参考车道的右边界线信息和所述参考车道右侧的辅助车道的宽度信息获取所述右侧的辅助车道的边界线信息。

在本申请的实施例中，所述基于所述参考车道的左边界线信息和所述参考车道左侧的辅助车道的宽度信息获取所述左侧的辅助车道的边界线信息，包括：以所述参考车道的左边界线信息作为所述参考车道左侧第一条辅助车道的右边界线信息，结合所述左侧第一条辅助车道的宽度信息，计算得到所述左侧第一条辅助车道的左边界线信息；以所述左侧第一条辅助车道的左边界线信息作为所述参考车道左侧第二条辅助车道的右边界线信息，结合所述左侧第二条辅助车道的宽度信息，计算得到所述左侧第二条辅助车道的左边界线信息；以此类推，得到所述参考车道左侧的所有辅助车道的边界线信息；所述基于所述参考车道的右边界线信息和所述参考车道右侧的辅助车道的宽度信息获取所述右侧的辅助车道的边界线信息，包括：以所述参考车道的右边界线信息作为所述参考车道右侧第一条辅助车道的左边界线信息，结合所述右侧第一条辅助车道的宽度信息，计算得到所述右侧第一条辅助车道的右边界线信息；以所述右侧第一条辅助车道的右边界线信息作为所述参考车道右侧第二条辅助车道的左边界线信息，结合所述右侧第二条辅助车道的宽度信息，计算得到所述右侧第二条辅助车道的右边界线信息；以此类推，得到所述参考车道右侧的所有辅助车道的边界线信息。

在本申请的实施例中，所述左边界线信息包括左线段集合，所述右边界线信息包括右线段集合；所述以所述参考车道的左边界线信息作为所述参考车道左侧第一条辅助车道的右边界线信息，结合所述左侧第一条辅助车道的宽度信息，计算得到所述左侧第一条辅助车道的左边界线信息，包括：以所述参考车道的左线段集合作为所述左侧第一条辅助车道的右线段集合，以所述左侧第一条辅助车道的宽度作为第一左侧位移量，计算所述左侧第一条辅助车道的右线段集合中每条线段向左侧垂直方向平移所述第一左侧位移量后的线段位置，得到所述左侧第一条辅助车道的左线段集合；所述以所述参考车道的右边界线信息作为所述参考车道右侧第一条辅助车道的左边界线信息，结合所述右侧第一条辅助车道的宽度信息，计算得到所述右侧第一条辅助车道的右边界线信息，包括：以所述参考车道的右线段集合作为所述右侧第一条辅助车道的左线段集合，以所述右侧第一条辅助车道的宽度作为第一右侧位移量，计算所述右侧第一条辅助车道的左线段集合中每条线段向右侧垂直方向平移所述第一右侧位移量后的线段位置，得到所述右侧第一条辅助车道的右线段集合。

在本申请的实施例中，所述方法还包括：对计算得到的所述参考车道左侧的辅助车道的左线段集合中每条线段的起始点位置和终止点位置进行微调；和/或对计算得到的所述参考车道右侧的辅助车道的右线段集合中每条线段的起始点位置和终止点位置进行微调。

在本申请的实施例中，对计算得到的所述参考车道左侧的辅助车道的左线段集合中每条线段的起始点位置和终止点位置进行微调，包括：依次获取所述参考车道左侧的辅助车道的左线段集合中的线段，将当前线段延长，取所述当前线段或其延长线与下一条线段或其延长线相交的交点作为所述当前线段的新的终止点位置，并以该点作为所述下一条线段的起始点位置，直至所述左线段集合中最后一条线段的终止点位置微调完成；对计算得到的所述参考车道右侧的辅助车道的右线段集合中每条线段的起始点位置和终止点位置进行微调，包括：依次获取所述参考车道右侧的辅助车道的右线段集合中的线段，将当前线段延长，取所述当前线段或其延长线与下一条线段或其延长线相交的交点作为所述当前线段的新的终止点位置，并以该点作为所述下一条线段的起始点位置，直至所述右线段集合中最后一条线段的终止点位置微调完成。

在本申请的实施例中，所述参考车道的左右两侧包括数目相同或相近的辅助车道。

在本申请的实施例中，所述属性信息还包括方向信息和/或速度信息，所述方法还包括：将所述辅助车道的边界线信息和所述属性信息作为所述辅助车道的标注信息显示在所述待标注图像中。

在本申请的实施例中，所述方法还包括：在所述待标注图像被标注完成后，获取所述待标注图像的下一帧图像；当所述下一帧图像为顺延帧图像时，获取所述待标注图像的车道线标注信息，以作为所述顺延帧图像的至少部分标注信息。

在本申请的实施例中，所述下一帧图像是否为顺延帧图像是通过切帧规则确定的，当所述切帧规则为顺延切帧时，所述下一帧图像为顺延帧图像，且所述待标注图像的车道线标注信息被保存到缓存中，以用于被获取为所述顺延帧图像的至少部分标注信息。

根据本申请另一方面，还提供了一种图像标注装置，所述装置包括：图像获取模块，用于获取待标注图像，所述待标注图像中包括已被用户标注的参考车道和待标注的辅助车道；信息获取模块，用于获取所述参考车道的边界线信息和所述辅助车道的属性信息，所述属性信息至少包括宽度信息；边界线确定模块，用于基于所述参考车道的边界线信息和所述辅助车道的宽度信息确定所述辅助车道的边界线信息；标注显示模块，用于基于所述辅助车道的边界线信息对所述辅助车道进行车道线标注，并显示标注后的图像。

根据本申请再一方面，还提供了一种图像标注装置，所述装置包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行上述图像标注方法。

根据本申请又一方面，还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在被运行时，执行上述图像标注方法。

根据本申请实施例的图像标注方法和图像标注装置能够基于待标注图像中已被用户标注的参考车道实现对待标注图像中其他车道的自动标注，减少用户手动标注的工作量，提高车道标注效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的图像标注方法和图像标注装置的示例电子设备的示意性框图。

图2示出根据本申请实施例的图像标注方法的示意性流程图。

图3示出根据本申请一个实施例的图像标注装置的示意性框图。

图4示出根据本申请另一个实施例的图像标注装置的示意性框图。

具体实施方式

为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。

近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。

车道线标注工具的工作流程通常是，首先接收各个传感器获取的图片、点云图等信息，将其进行解析、融合后渲染到页面上，然后对用户在当前帧标注的车道线、交通标志等信息进行保存后，切换到下一帧，继续获取并保存下一帧标注数据，直至标注完成。但是，受限于3D点云图的稀疏性、不规则性和交通情况的复杂性、差异性等因素，车道线整体标注效率不高。尤其在车道数量众多、多条类似车道并列或同一车道多帧出现的情况下，用户需要手动的逐帧、逐条道路进行辨别和标注，繁杂重复的过程更为操作增添了负担。

基于此，本申请提供了一种新的图像标注方案。下面结合附图来描述。首先，参照图1来描述用于实现本发明实施例的图像标注方法和图像标注装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外，所述输入装置106也可以是任何接收信息的接口。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。此外，所述输出装置108也可以是任何其他具备输出功能的设备。

示例性地，用于实现根据本发明实施例的图像标注方法和图像标注装置的示例电子设备可以被实现诸如智能手机、平板电脑、摄像头等终端。

下面，将参考图2描述根据本申请实施例的图像标注方法200。如图2所示，图像标注方法200可以包括如下步骤：

在步骤S210，获取待标注图像，待标注图像中包括已被用户标注的参考车道和待标注的辅助车道。

在步骤S220，获取参考车道的边界线信息和辅助车道的属性信息，属性信息至少包括宽度信息。

在步骤S230，基于参考车道的边界线信息和辅助车道的宽度信息确定辅助车道的边界线信息。

在步骤S240，基于辅助车道的边界线信息对辅助车道进行车道线标注，并显示标注后的图像。

在本申请的实施例中，先由用户在待标注图像中选定至少一个车道作为参考车道，对该参考车道进行标注，例如至少标注参考车道的边界线信息。接着，获取该待标注图像，基于该待标注图像中的已标注的参考车道，对图像中的其他车道(称为辅助车道，为了与参考车道彼此区分而如此命名)进行车道标注。具体地，可以基于该参考车道的边界线(车道线)信息和辅助车道的宽度信息(该宽度信息例如也可以是用户标注的)，来确定辅助车道的边界线信息，从而对辅助车道进行车道线自动标注。这可以减少用户手动标注的工作量，尤其对于车道数量众多或多条类似车道并列的情况，使得用户无需逐条车道进行标注，可大大提高标注效率。最后，可以将辅助车道的车道线标注信息显示在待标注图像中，以供用户查看，使得用户确认这样的标注结果是否准确，从而进一步确保车道标注的精确度。而且，包括这样标注信息的待标注图像展现在用户面前，起到了辅助车道一键渲染的效果，也可为用户提供参考，辅助判断路况、辨认车道等其他事宜。

因此，根据本申请实施例的图像标注方法能够基于待标注图像中已被用户标注的参考车道实现对待标注图像中其他车道的自动标注，减少用户手动标注的工作量，提高车道标注效率。

在本申请的实施例中，边界线信息可以包括左边界线信息和/或右边界线信息；步骤S230中的基于参考车道的边界线信息和辅助车道的宽度信息确定辅助车道的边界线信息，可以包括：基于参考车道的左边界线信息和参考车道左侧的辅助车道的宽度信息获取左侧的辅助车道的边界线信息；和/或，基于参考车道的右边界线信息和参考车道右侧的辅助车道的宽度信息获取右侧的辅助车道的边界线信息。

此处，之所以用“和/或”这样的表述，是因为，用户所选定的参考车道可能是任意的车道。例如，在待标注图像中，用户选定的参考车道可能是中间的车道，此时，参考车道左侧和右侧均包括辅助车道，可基于参考车道的左边界线信息和参考车道左侧的辅助车道的宽度信息获取左侧的辅助车道的边界线信息，并基于参考车道的右边界线信息和参考车道右侧的辅助车道的宽度信息获取右侧的辅助车道的边界线信息。又如，在待标注图像中，用户选定的参考车道可能是最左边的车道，此时，参考车道的左侧不包括辅助车道，右侧包括辅助车道，可基于参考车道的右边界线信息和参考车道右侧的辅助车道的宽度信息获取右侧的辅助车道的边界线信息。再如，在待标注图像中，用户选定的参考车道可能是最右边的车道，此时，参考车道的右侧不包括辅助车道，左侧包括辅助车道，可基于参考车道的左边界线信息和参考车道左侧的辅助车道的宽度信息获取左侧的辅助车道的边界线信息。一般地，用户通常在待标注图像中选择中间的车道作为参考车道，也即，参考车道的左右两侧包括数目相同或数目相近的辅助车道。这样，参考车道左侧的辅助车道基于参考车道的左边界线而确定，参考车道右侧的辅助车道基于参考车道的右边界线而确定，相对于所有辅助车道仅基于左边界线或右边界线确定而言，标注结果更准确。一般地，当参考车道的左右两侧包括数目相同的辅助车道时，该参考车道也可称为中心车道。

在本申请的实施例中，基于参考车道的左边界线信息和参考车道左侧的辅助车道的宽度信息获取左侧的辅助车道的边界线信息，可以包括：以参考车道的左边界线信息作为参考车道左侧第一条辅助车道的右边界线信息，结合左侧第一条辅助车道的宽度信息，计算得到左侧第一条辅助车道的左边界线信息；以左侧第一条辅助车道的左边界线信息作为参考车道左侧第二条辅助车道的右边界线信息，结合左侧第二条辅助车道的宽度信息，计算得到左侧第二条辅助车道的左边界线信息；以此类推，得到参考车道左侧的所有辅助车道的边界线信息。类似地，基于参考车道的右边界线信息和参考车道右侧的辅助车道的宽度信息获取右侧的辅助车道的边界线信息，可以包括：以参考车道的右边界线信息作为参考车道右侧第一条辅助车道的左边界线信息，结合右侧第一条辅助车道的宽度信息，计算得到右侧第一条辅助车道的右边界线信息；以右侧第一条辅助车道的右边界线信息作为参考车道右侧第二条辅助车道的左边界线信息，结合右侧第二条辅助车道的宽度信息，计算得到右侧第二条辅助车道的右边界线信息；以此类推，得到参考车道右侧的所有辅助车道的边界线信息。

在该实施例中，从参考车道到参考车道左侧的每一条辅助车道，逐次以前一条车道的左边界线信息作为当前车道的右边界线信息，结合当前车道的宽度信息，计算当前车道的左边界线信息，直到左侧所有车道的边界线信息计算完成；从参考车道到参考车道右侧的每一条辅助车道，逐次以前一条车道的右边界线信息作为当前车道的左边界线信息，结合当前车道的宽度信息，计算当前车道的左边界线信息，直到右侧所有车道的边界线信息计算完成。该方案能够快速获取辅助车道的边界线信息，实现对辅助车道的高效车道线自动标注。

在本申请的实施例中，前述的左边界线信息包括由一段或多条线段组成的左线段集合，前述的右边界线信息包括由一段或多条线段组成的右线段集合。基于此，以参考车道的左边界线信息作为参考车道左侧第一条辅助车道的右边界线信息，结合左侧第一条辅助车道的宽度信息，计算得到左侧第一条辅助车道的左边界线信息，可以包括：以参考车道的左线段集合作为左侧第一条辅助车道的右线段集合，以左侧第一条辅助车道的宽度作为第一左侧位移量，计算左侧第一条辅助车道的右线段集合中每条线段向左侧垂直方向平移第一左侧位移量后的线段位置，得到左侧第一条辅助车道的左线段集合。然后，可以以左侧第一条辅助车道的左线段集合作为左侧第二条辅助车道的右线段集合，以左侧第二条辅助车道的宽度作为第二左侧位移量，计算左侧第二条辅助车道的右线段集合中每条线段向左侧垂直方向平移第二左侧位移量后的线段位置，得到左侧第二条辅助车道的左线段集合。以此类推，可以得到参考车道左侧所有辅助车道的左线段集合和右线段集合。

类似地，以参考车道的右边界线信息作为参考车道右侧第一条辅助车道的左边界线信息，结合右侧第一条辅助车道的宽度信息，计算得到右侧第一条辅助车道的右边界线信息，可以包括：以参考车道的右线段集合作为右侧第一条辅助车道的左线段集合，以右侧第一条辅助车道的宽度作为第一右侧位移量，计算右侧第一条辅助车道的左线段集合中每条线段向右侧垂直方向平移第一右侧位移量后的线段位置，得到右侧第一条辅助车道的右线段集合。然后，以右侧第一条辅助车道的右线段集合作为右侧第二条辅助车道的左线段集合，以右侧第二条辅助车道的宽度作为第二右侧位移量，计算右侧第二条辅助车道的左线段集合中每条线段向右侧垂直方向平移第二右侧位移量后的线段位置，得到右侧第二条辅助车道的右线段集合。以此类推，可以得到参考车道右侧所有辅助车道的左线段集合和右线段集合。

在该实施例中，将每条车道的边界线以线段集合来表示，能够进一步提高车道线标注的准确性。

在本申请的实施例中，方法200还可以包括(未示出)：对计算得到的参考车道左侧的辅助车道的左线段集合中每条线段的起始点位置和终止点位置进行微调；和/或，对计算得到的参考车道右侧的辅助车道的右线段集合中每条线段的起始点位置和终止点位置进行微调。在该实施例中，可对计算得到的辅助车道的左线段集合和/或右线段集合中每条线段的起始点位置和终止点位置进行调整，以使得其与实际车道线更为符合。该微调步骤可以在步骤S240之后进行，也可以在步骤S230之后、步骤S240之前进，还可以将调整后的线段集合作为步骤S230的最终结果。

在本申请的实施例中，对计算得到的参考车道左侧的辅助车道的左线段集合中每条线段的起始点位置和终止点位置进行微调，可以包括：依次获取参考车道左侧的辅助车道的左线段集合中的线段，将当前线段延长，取当前线段或其延长线与下一条线段或其延长线相交的交点作为当前线段的新的终止点位置，并以该点作为下一条线段的起始点位置，直至左线段集合中最后一条线段的终止点位置微调完成。类似地，对计算得到的参考车道右侧的辅助车道的右线段集合中每条线段的起始点位置和终止点位置进行微调，可以包括：依次获取参考车道右侧的辅助车道的右线段集合中的线段，将当前线段延长，取当前线段或其延长线与下一条线段或其延长线相交的交点作为当前线段的新的终止点位置，并以该点作为下一条线段的起始点位置，直至右线段集合中最后一条线段的终止点位置微调完成。上述微调过程仅是示例性的，在其他示例中，还可以通过任何其他合适的方式进行微调。

在本申请的实施例中，除了辅助车道的宽度信息，步骤S220中获取的属性信息还可以包括方向信息(即该辅助车道是执行车道、左转车道、右转车道、掉头车道等等)、速度信息(即该辅助车道是快车道、慢车道、机动车道、非机动车道等等)等其他属性信息。在该实施例中，方法200还可以包括(未示出)：将辅助车道的边界线信息和属性信息作为辅助车道的标注信息显示在待标注图像中。在该实施例中，可以将待标注图像中所有车道的相关信息(包含车道线信息和其他信息)一并显示在待标注图像中，从而使得用户能够查看完整的道路标注信息。

在本申请的实施例中，方法200还可以包括(未示出)：在待标注图像被标注完成后，获取待标注图像的下一帧图像；当下一帧图像为顺延帧图像时，获取待标注图像的车道线标注信息，以作为顺延帧图像的至少部分标注信息(顺延帧图像中可能还包括其他待标注车道或者其他待标注物，针对它们可生成新的标注信息)。在该实施例中，当前帧待标注图像中的标注信息可以顺延到下一帧待标注图像中，以作为下一帧待标注图像标注的有效参考，可进一步提高标注效率。这对于同一车道多帧出现的场景，能够大幅度提高标注效率。

在本申请的实施例中，下一帧图像是否为顺延帧图像是通过切帧规则确定的，当切帧规则为顺延切帧时，下一帧图像为顺延帧图像，且待标注图像的车道线标注信息被保存到缓存中，以用于被获取为顺延帧图像的至少部分标注信息。在该实施例中，可根据切帧规则来确定下一帧图像是否为顺延帧图像。在其他实施例中，还可以通过其他方式诸如用户交互来确定下一帧图像是否为顺延帧图像。

以上示例性地示出了根据本申请实施例的图像标注方法200，下面结合一个具体示例来描述上述图像标注方法200可能包括的更具体过程。步骤一：接收各个传感器获取的2D、3D数据，渲染待标注数据，标注开始。步骤二：检测当前帧是否有新的标注信息提交，有则执行步骤三，无则执行步骤九。步骤三：检测标注类型是否为车道线，是则执行步骤四，否则进行其他类型的标注信息保存后执行步骤八。步骤四：获取中心车道(即参考车道)的边界线位置信息和左右两侧的辅助车道信息，将中心车道的左边界线和右边界线分别转换为由一条或多条线段组成的集合，即左线段集合与右线段集合。步骤五：以中心车道为参考车道，确定与中心车道左方相邻的第一条辅助车道的左线段集合和右线段集合；以第一条左辅助车道为参考车道，获取第二条左辅助车道的左右线段集合；依此类推，直至确定完左侧所有辅助车道的边界线信息。步骤六：以中心车道为参考车道，确定与中心车道右方相邻的第一条辅助车道的左线段集合和右线段集合；以第一条右辅助车道为参考车道，获取第二条右辅助车道的左右线段集合；依此类推，直至确定完右侧所有辅助车道的边界线信息。步骤七：根据两侧所有辅助车道的左、右线段集合和各辅路的方向、属性标记信息，对每条辅路生成完整的道路标注信息。步骤八：单次标注结束，跳转执行步骤二。步骤九：检测是否有下一帧数据，是则继续执行步骤十，否则标注结束，生成全部标注信息。步骤十：接收切帧命令，判断切帧规则是否为顺延切帧，是则将用户提交数据保存为当前帧标注数据，保存车道线顺延数据到缓存，完成帧切换，加载新一帧的文件导入数据，并从缓存中获取上一帧保存的数据，跳转到步骤二；否则将用户提交数据保存为当前帧标注数据后，完成帧切换，加载新一帧的文件导入数据，跳转到步骤二。

基于上面的描述，根据本申请实施例的图像标注方法能够基于待标注图像中已被用户标注的参考车道实现对待标注图像中其他车道的自动标注，减少用户手动标注的工作量，提高车道标注效率。

下面结合图3到图4描述根据本申请另一方面提供的图像标注装置，其可以用于执行前文所述的根据本申请实施例的图像标注方法。本领域技术人员可以结合前文所述的内容理解根据本申请实施例的图像标注装置的结构及其具体操作，为了简洁，此处不再赘述具体的细节，仅描述一些主要操作。

图3示出了根据本申请一个实施例的图像标注装置300的示意性框图。如图3所示，图像标注装置300包括图像获取模块310、信息获取模块320、边界线确定模块330和标注显示模块340。其中，图像获取模块310用于获取待标注图像，待标注图像中包括已被用户标注的参考车道和待标注的辅助车道。信息获取模块320用于获取参考车道的边界线信息和辅助车道的属性信息，属性信息至少包括宽度信息。边界线确定模块330用于基于参考车道的边界线信息和辅助车道的宽度信息确定辅助车道的边界线信息。标注显示模块340用于基于辅助车道的边界线信息对辅助车道进行车道线标注，并显示标注后的图像。

在本申请的实施例中，边界线信息包括左边界线信息和/或右边界线信息；边界线确定模块330基于参考车道的边界线信息和辅助车道的宽度信息确定辅助车道的边界线信息，包括：基于参考车道的左边界线信息和参考车道左侧的辅助车道的宽度信息获取左侧的辅助车道的边界线信息；和/或基于参考车道的右边界线信息和参考车道右侧的辅助车道的宽度信息获取右侧的辅助车道的边界线信息。

在本申请的实施例中，边界线确定模块330基于参考车道的左边界线信息和参考车道左侧的辅助车道的宽度信息获取左侧的辅助车道的边界线信息，包括：以参考车道的左边界线信息作为参考车道左侧第一条辅助车道的右边界线信息，结合左侧第一条辅助车道的宽度信息，计算得到左侧第一条辅助车道的左边界线信息；以左侧第一条辅助车道的左边界线信息作为参考车道左侧第二条辅助车道的右边界线信息，结合左侧第二条辅助车道的宽度信息，计算得到左侧第二条辅助车道的左边界线信息；以此类推，得到参考车道左侧的所有辅助车道的边界线信息。边界线确定模块330基于参考车道的右边界线信息和参考车道右侧的辅助车道的宽度信息获取右侧的辅助车道的边界线信息，包括：以参考车道的右边界线信息作为参考车道右侧第一条辅助车道的左边界线信息，结合右侧第一条辅助车道的宽度信息，计算得到右侧第一条辅助车道的右边界线信息；以右侧第一条辅助车道的右边界线信息作为参考车道右侧第二条辅助车道的左边界线信息，结合右侧第二条辅助车道的宽度信息，计算得到右侧第二条辅助车道的右边界线信息；以此类推，得到参考车道右侧的所有辅助车道的边界线信息。

在本申请的实施例中，左边界线信息包括左线段集合，右边界线信息包括右线段集合。边界线确定模块330以参考车道的左边界线信息作为参考车道左侧第一条辅助车道的右边界线信息，结合左侧第一条辅助车道的宽度信息，计算得到左侧第一条辅助车道的左边界线信息，包括：以参考车道的左线段集合作为左侧第一条辅助车道的右线段集合，以左侧第一条辅助车道的宽度作为第一左侧位移量，计算左侧第一条辅助车道的右线段集合中每条线段向左侧垂直方向平移第一左侧位移量后的线段位置，得到左侧第一条辅助车道的左线段集合。边界线确定模块330以参考车道的右边界线信息作为参考车道右侧第一条辅助车道的左边界线信息，结合右侧第一条辅助车道的宽度信息，计算得到右侧第一条辅助车道的右边界线信息，包括：以参考车道的右线段集合作为右侧第一条辅助车道的左线段集合，以右侧第一条辅助车道的宽度作为第一右侧位移量，计算右侧第一条辅助车道的左线段集合中每条线段向右侧垂直方向平移第一右侧位移量后的线段位置，得到右侧第一条辅助车道的右线段集合。

在本申请的实施例中，装置还包括微调模块(未示出)，微调模块用于：对计算得到的参考车道左侧的辅助车道的左线段集合中每条线段的起始点位置和终止点位置进行微调；和/或对计算得到的参考车道右侧的辅助车道的右线段集合中每条线段的起始点位置和终止点位置进行微调。

在本申请的实施例中，微调模块对计算得到的参考车道左侧的辅助车道的左线段集合中每条线段的起始点位置和终止点位置进行微调，包括：依次获取参考车道左侧的辅助车道的左线段集合中的线段，将当前线段延长，取当前线段或其延长线与下一条线段或其延长线相交的交点作为当前线段的新的终止点位置，并以该点作为下一条线段的起始点位置，直至左线段集合中最后一条线段的终止点位置微调完成。微调模块对计算得到的参考车道右侧的辅助车道的右线段集合中每条线段的起始点位置和终止点位置进行微调，包括：依次获取参考车道右侧的辅助车道的右线段集合中的线段，将当前线段延长，取当前线段或其延长线与下一条线段或其延长线相交的交点作为当前线段的新的终止点位置，并以该点作为下一条线段的起始点位置，直至右线段集合中最后一条线段的终止点位置微调完成。

在本申请的实施例中，参考车道的左右两侧包括数目相同或相近的辅助车道。

在本申请的实施例中，属性信息还包括方向信息和/或速度信息，标识显示模块340还用于：将辅助车道的边界线信息和属性信息作为辅助车道的标注信息显示在待标注图像中。

在本申请的实施例中，图像获取模块310还用于：在待标注图像被标注完成后，获取待标注图像的下一帧图像；当下一帧图像为顺延帧图像时，标注显示模块340获取待标注图像的车道线标注信息，以作为顺延帧图像的至少部分标注信息。

在本申请的实施例中，下一帧图像是否为顺延帧图像是通过切帧规则确定的，当切帧规则为顺延切帧时，下一帧图像为顺延帧图像，且待标注图像的车道线标注信息被标注显示模块340保存到缓存中，以用于被获取为顺延帧图像的至少部分标注信息。

基于上面的描述，根据本申请实施例的图像标注装置能够基于待标注图像中已被用户标注的参考车道实现对待标注图像中其他车道的自动标注，减少用户手动标注的工作量，提高车道标注效率。

图4示出了根据本申请另一个实施例的图像标注装置400的示意性框图。如图4所示，根据本申请实施例的图像标注装置400可以包括存储器410和处理器420，存储器410存储有由处理器420运行的计算机程序，所述计算机程序在被处理器420运行时，使得处理器420执行前文所述的根据本申请实施例的图像标注方法。本领域技术人员可以结合前文所述的内容理解根据本申请实施例的图像标注装置400的具体操作，为了简洁，此处不再赘述具体的细节。

此外，根据本申请实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本申请实施例的图像标注方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

基于上面的描述，根据本申请实施例的图像标注方法和图像标注装置能够基于待标注图像中已被用户标注的参考车道实现对待标注图像中其他车道的自动标注，减少用户手动标注的工作量，提高车道标注效率。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。