一种针对高分辨率SAR影像解译的基于Web的语义标注系统及方法

摘要

本发明提供一种针对高分辨率SAR影像解译的基于Web的语义标注系统及方法，目的在于为复杂难懂的SAR影像构建数据集提供有效手段。针对SAR影像解译不同应用的需求，设计实现不同的标注方式，以降低标注难度，这里提出了一种基于区域与分块的网格标注方式；同时，利用Web技术，在网页上实现跨系统的标注系统，将标注结果有效地共享，使利用率最大化，达到减轻人力成本的效果。另外，本发明提供专门研究分析通道，供验证、实验使用，是一个简易的SAR影像解译研究平台。

说明书

技术领域

本发明涉及影像解译领域，更具体的涉及一种基于Web网页技术的针对高分辨率SAR影像场景解译与目标检测的标注系统及方法。

 

背景技术

合成孔径雷达（Synthetic Aperture Radar, SAR）是一种全天候、全天时的对地观测手段，能够获得地表高分辨、大场景的影像以及详细的测绘信息，在军事及民用等诸多场合都有广泛的应用。近年来载有高分辨率SAR的卫星逐步增多，更是增加了SAR影像的场景解译方法发展的需求。研究高分辨率SAR影像场景解译，是检测目标与识别的基础性工作，利用目标与场景间的关联信息，提升目标识别的效果；是构建智能数据库，管理海量数据SAR影像的基础；同时也为解决实际问题提供数据处理模型及方案，例如城市发展变化检测、自然灾害应急、反恐维稳等。现有诸多SAR影像场景解译方法较少考虑影像像素之外的信息，对于影像高分辨率带来的更多信息处理不是十分有效，加之手动标注正负样本工作在影像解译领域难以高效解决，因此很难扩展到海量数据复杂类别的应用中。

标注是指第三方对原文档创建和增加数据。这些数据可以是笔记、符号、图片、语音片段等。现有的标注方法，主要关注直观的、肉眼易于判断的自然影像，使用多边形标注方式对小场景内的事物进行标注，构建海量的自然影像标注数据集。而本发明中提及的标注指的是，在SAR影像上通过对描述对象添加图形标记与语义描述作为注释，使复杂难懂的SAR影像易于被判读人员解读，同时为计算机进行SAR影像解译提供样本。

 

发明内容

本发明目的在于针对SAR影像构建数据集的迫切需求但是标注难度与人力成本巨大的现状，提出一种基于Web网页技术的针对高分辨率SAR影像场景解译与目标检测的标注系统及方法，为复杂难懂的SAR影像构建数据集提供有效手段。

本发明针对高分辨率SAR影像解译的特点，要求拥有处理大场景影像的能力，针对SAR影像解译不同应用的需求，设计实现不同的标注方式，以降低标注难度，这里改进了标注方法，提出了一种基于区域与分块的网格标注方式；同时，利用Web技术，在网页上实现跨系统的标注系统，将标注结果有效地共享，使利用率最大化，达到减轻人力成本的效果。另外，本发明提供专门研究分析通道，供验证、实验使用，是一个简易的SAR影像解译研究平台。

本发明提出了一种针对高分辨率SAR影像解译的基于Web的语义标注系统，包括以下四个单元：

(1)影像浏览单元，用于大场景SAR影像的分块关联浏览与随机场景切换，同时同步更新影像标注信息；

(2)标注单元，用于对该影像浏览单元所示的SAR影像进行标注操作；

(3)存储单元，影像与标注生成的信息送入该存储单元进行存储，同时提供影像上传和下载接口及标注信息下载接口；

(4)通讯单元，用于实现远程通讯，所述该标注系统架设服务器，服务器利用该通讯单元访问该存储模块，提供SAR影像与相关标注信息，且影像与标注文档通过该通讯单元默认存储于服务器的存储单元中，同时服务器将影像与标注信息等资源通过网络最大化共享；

而且，标注单元完成标注信息的XML格式写入，影像浏览单元完成标注信息XML文档的解析，并且图形化显示，定位并跟踪显示在原始影像上，根据标注的语义信息提供色彩鲜明的线条，帮助直观判读。

其中，影像浏览单元进一步包括网页界面设计子单元、网页功能实现子单元以及影像获取子单元。

所述网页界面设计子单元进一步包括影像模块、功能模块以及标注信息模块。所述影像模块用于显示原始影像与标注，标注色彩根据标注语义选用反差较大且鲜艳的颜色，从而标注能够在黑白的SAR影像上凸显出来，类别鲜明；所述功能模块用于放置各类功能按键，包括“放大”、“缩小”、“复原”、“标注模式切换（多边形/网格）”、“影像切换”、“用户登录”、“影像上传”等；所述标注信息模块用于按语义标注类别树状显示标注信息，可伸缩，提供“XML下载”与“影像下载”接口。

所述网页功能实现子单元进一步包括浏览模块与处理模块。所述浏览模块主要用于影像的缩放、复原与切换，用户通过点选网页功能区域的按键或者滚动滑鼠可以对影像进行缩放与复原，用户点击“影像切换”，服务器根据用户模式及当前影像信息，选择关联影像或者随机影像，并且关联选择标注信息。所述处理模块主要用于标注方式切换与用户模式选择，影像模块与标注信息模块同时更新。以上网页功能实现子单元与标注单元、存储单元及通讯单元相关。

所述标注方式切换是根据高分辨率SAR影像解译不同背景的需求进行标注方式选择，所述标注方式包括多边形标注方式和网格标注方式，通过点击“标注模式切换”，选择设有针对“目标检测”的“多边形标注”或者针对“场景解译”的“网格标注”，影像区域根据选择做出响应，进行变化。

所述多边形标注，是使用多边形描绘目标的轮廓，使用语义关键词进行像素级的标注。这种标注方式能够精细地选择目标，为后续研究提供便利。

所述网格标注，是针对SAR影像解译中的场景解译研究设计的，根据用户需求，将原始影像分割成为固定大小的矩形区域，利用标注对局部区域的语义描述，使用一个或多个语义关键词进行标注，可通过关联语义网实现从上而下的场景解译。其网格大小可根据用户需求，针对不同分辨率下、不同职能区域描述进行更改。如，在三米分辨率下，描述城市职能区，选择32*32大小的网格进行标注，生成的标注为1公顷大小的城市职能区描述，能够从宏观上对场景进行划分，然后根据不同场景特点，对更加细致的地物进行划分。因此，其主要适用人群为研究人员。这种标注方式主要服务于SAR影像大场景解译中地物分类研究，相对于多边形标注，它大大降低了标注的人力成本。

所述用户模式包括判读标注模式与标注生成模式。所述判读标注模式是利用丰富的网络资源，对随机对象进行标注，主要针对标注正确性及可靠性的验证，该模式下，所有标注可见；所述标注生成模式是为后续研究人员设立接口，通过用户名的键入，隐去他人标注，标注后生成专用的XML文档，便于导入，进行验证性研究。

其中，标注单元进一步包括标注读取子单元、标注鼠标手势控制子单元以及标注信息同步定位与显示子单元。

所述标注读取子单元进一步包括标注信息获取和标注信息解析。标注信息获取是利用通讯模块，访问存储模块，提取相关标注信息XML文档；标注信息解析是根据预定义的关键词，如“Object”、“pt”等，解析XML文档。

所述标注鼠标手势控制子单元进一步包括点击、滑过与键鼠合作三部分。根据鼠标手势，判断鼠标位置与当前标注状态，如：“是否位于标注上”、“是否为多边形方式”、“多边形是否闭合”等，完成标注工作，及相关逻辑功能——弹窗、填充、写入、更新等操作。为了完成复杂的标注操作与显示，本发明对网页上影像区域使用五层设计，由下而上分别为“影像层”、“网格层”、“标注展示层”、“标注层”、“等待层”。“影像层”存放SAR影像；“网格层”用于标注方式切换；“标注展示层”展示已有标注；“标注层”用于标注操作；“等待层”用于默认显示状态，为透明层，保护标注层。以上五层，根据鼠标手势进行上下移动。

所述标注信息同步定位与显示子单元，是通过标注信息XML文档的解析以及对当前网页与网页浏览器状态的判断，将标注定位在影像上，同时完成相应的缩放，使标注对象与标注始终保持一一对应。

以上所有网页界面与功能实现都使用html语言与JavaScript语言实现。其中，html语言用于网页布局，JavaScript语言用于实现逻辑功能及部分网页图形设计。

其中，存储单元进一步包括标注写入子单元、标注下载子单元和影像上传及下载子单元。

所述标注写入子单元进一步包括标注解析与标注信息写入。所述标注解析为，用于根据网页与浏览器状态，将鼠标手势解析为标注信息；所述标注信息写入为，用于解析获得的标注信息送至服务器，以预定义的格式和关键词写入相关XML文档中，置于合适的位置。修改标注时，完成相关信息修改。

所述标注下载子单元，用于当用户点击“XML下载”按键时，服务器根据用户权限及网页当前状态，提供标注信息XML文档的下载功能。

影像上传与下载子单元，用于当用户选择“影像上传”，服务器根据访问权限及影像内容审核该影像，并执行分块、切割、归类等操作；位于标注信息区域的“影像下载”按键支持用户对当前浏览的影像进行下载。

其中，通讯单元进一步包括服务器架设子单元、访问权限设定子单元以及影像与标注信息寻址子单元。

所述服务器架设子单元，本系统是在Linux操作系统下实现的，使用Apache工具与Perl语言实现远程通讯功能，网页设计时考虑到各种浏览器的兼容性，适用于各种核心的网页浏览器，是一款跨平台的SAR影像语义标注系统。

所述访问权限设定子单元，主要用于对进行个人研究即“标注生成模式”的用户信息进行保护，其他信息都是透明的。

所述影像与标注信息寻址子单元，是使用文本的模式对可访问影像/标注信息、用户信息进行分类、关联，同时建立访问规则，使本发明成为开放合作SAR解译标注系统的同时，为个人研究的数据准备提供服务。

本发明中，除了原始影像数据外，其他信息包括标注信息、影像信息、用户信息等，全部使用XML文档进行一体化存储管理，并且以文件名形式与原始影像进行关联。

本发明还提供了一种针对高分辨率SAR影像解译的基于Web的语义标注方法，包括以下步骤：

(1) 用户浏览网页，通过是否点击“登录”选择用户模式，输入用户名进行登录，进入“标注生成模式”，仅显示当前用户的标注，同时SAR影像浏览切换模式为“关联切换”； “登出”则进入“判读标注模式”，是显示当前SAR影像所有用户标注，同时SAR影像浏览切换模式为“随机切换”；

(2)对原影像进行标注添加操作，用户通过选择标注方式，可选择多边形标注方式或者网格标注方式，对SAR影像进行标注添加；

(3) 标注生成后，该标注信息以多边形的形式显示于网页界面的影像顶层，划过该多边形边框时，多边形将被填充，并且显示该标注语义描述；点选该多边形边框将弹出标注修改与删除框，可对原影像进行标注修改和标注删除操作；

(4) 标注操作完成后，以XML格式将标注信息写入服务器，用户可通过接口从服务器中下载SAR影像与标注信息XML文档。

其中在步骤(2)中所述的标注方式，若选择“多边形标注”，用户通过点击鼠标依次选择多边形角点，构成封闭多边形后，弹出语义描述框，输入描述关键词后，完成对标注的添加。若选择“网格标注”，系统自行对影像进行网格化分块，在某区域内点击鼠标即形成该区域的封闭四边形，弹出语义描述框，输入描述关键词后，完成对标注的添加。所述网格标注，是针对SAR影像解译中的场景解译研究设计的，根据用户需求，将原始影像分割成为固定大小的矩形区域，利用标注对局部区域的语义描述，使用一个或多个语义关键词进行标注，可通过关联语义网实现从上而下的场景解译。

其中在步骤(3)中所述的标注的语义描述，是根据语义分类，树状显示于标注列表区。划过语义描述树时，相关标注多边形将被填充；点选语义描述树的叶子（单个标注）将弹出标注修改与删除框。

所述标注修改操作为，在特定操作权限下，对标注的区域或者语义描述进行修改。标注被修改后，其“是/否修改过”属性修改为1。

所述标注删除操作为，在特定操作权限下，对标注进行删除。标注被删除后，XML中原标注被保留，其“是/否删除”属性修改为1。

本发明是针对高分辨率SAR影像解译的基于Web的语义标注系统及方法。设置不同的标注方式，降低了SAR影像标注的人力成本；充分利用互联网资源，提高标注利用率，减少重复性劳动；建立研究人员通道，信息一体化（XML），为后续分析研究提供便利。本发明在建立SAR影像解译数据集的同时，提供了一个开放合作的SAR影像解译研究平台。

 

附图说明

图1本发明的应用方式示意图；

图2本发明的网页界面示意图；

图3A-3B本发明的XML文档结构示意图；

图4本发明的访问连接示意图；

图5本发明的使用过程示意图。

为让本发明的上述内容能更明显易懂，下文配合所示附图作详细说明。

 

具体实施方式

本发明所要实现的应用方式如图1所示，用户浏览网页，服务器提供SAR影像与相关标注信息（XML），用户通过模式选择特定标注方式，通过标注系统，产生标注信息（XML），同步展示于网页上。网页提供原始影像与标注信息下载，同时设有影像上传接口。

本发明提出了的一种针对高分辨率SAR影像解译的基于Web的语义标注系统，包括以下四个单元：

(1)影像浏览单元，用于大场景SAR影像的分块关联浏览与随机场景切换，同时同步更新影像标注信息；

(2)标注单元，用于对该影像浏览单元所示的SAR影像进行标注操作；

(3)存储单元，影像与标注生成的信息送入该存储单元进行存储，同时提供影像上传和下载接口及标注信息下载接口；

(4)通讯单元，用于实现远程通讯，所述该标注系统架设服务器，服务器利用该通讯单元访问该存储模块，提供SAR影像与相关标注信息，且影像与标注文档通过该通讯单元默认存储于服务器的存储单元中，同时服务器将影像与标注信息等资源通过Web最大化共享；

而且，标注单元完成标注信息的XML格式写入，影像浏览单元完成标注信息XML文档的解析，并且图形化显示，定位并跟踪显示在原始影像上，根据标注的语义信息提供色彩鲜明的线条，帮助直观判读。

其中，影像浏览单元进一步包括网页界面设计子单元、网页功能实现子单元以及影像获取子单元。

所述网页界面设计子单元如图2所示，进一步包括影像模块、功能模块以及标注信息模块。所述影像模块用于显示原始影像与标注，标注色彩根据标注语义选用反差较大且鲜艳的颜色，从而标注能够在黑白的SAR影像上凸显出来，类别鲜明；所述功能模块用于放置各类功能按键，包括“放大”、“缩小”、“复原”、“标注模式切换（多边形/网格）”、“影像切换”、“用户登录”、“影像上传”等；所述标注信息模块用于按语义标注类别树状显示标注信息，可伸缩，提供“XML下载”与“影像下载”接口。

所述网页功能实现子单元进一步包括浏览模块与处理模块。所述浏览模块主要用于影像的缩放、复原与切换，用户通过点选网页功能区域的按键或者滚动滑鼠可以对影像进行缩放与复原，用户点击“影像切换”，服务器根据用户模式及当前影像信息，选择关联影像或者随机影像，并且关联选择标注信息。所述处理模块主要用于标注方式切换与用户模式选择，影像模块与标注信息模块同时更新。以上网页功能实现子单元与标注单元、存储单元及通讯单元相关。

所述标注方式切换是根据高分辨率SAR影像解译不同背景的需求，所述标注方式包括多边形标注方式和网格标注方式，通过点击“标注模式切换”，选择设有针对“目标检测”的“多边形标注”或者针对“场景解译”的“网格标注”，影像区域根据选择做出响应，进行变化。

所述“多边形标注”为，使用多边形描绘目标的轮廓，使用语义关键词进行像素级的标注。这种标注方式能够精细地选择目标，为后续研究提供便利。

所述“网格标注”为，根据用户需求，将原始影像分割成为固定大小的矩形区域，使用一个或多个语义关键词进行标注。这种标注方式主要服务于SAR影像大场景解译中地物分类研究，相对于“多边形标注”，它大大降低了标注的人力成本。

所述用户模式包括“判读标注模式”与“标注生成模式”。所述“判读标注模式”是利用丰富的网络资源，对随机对象进行标注，主要针对标注正确性及可靠性的验证，该模式下，所有标注可见；所述“标注生成模式”是为后续研究人员设立接口，通过用户名的键入，隐去他人标注，标注后生成专用的XML文档，便于导入，进行验证性研究。

其中，标注单元进一步包括标注读取子单元、标注鼠标手势控制子单元以及标注信息同步定位与显示子单元。

所述标注读取子单元进一步包括标注信息获取和标注信息解析。标注信息获取是利用通讯模块，访问存储模块，提取相关标注信息XML文档；标注信息解析是根据预定义的关键词，如“Object”、“pt”等，解析XML文档。其中XML文档结构示意图如图3所示。

所述标注鼠标手势控制子单元进一步包括点击、滑过与键鼠合作三部分。根据鼠标手势，判断鼠标位置与当前标注状态，如：“是否位于标注上”、“是否为多边形方式”、“多边形是否闭合”等，完成标注工作，及相关逻辑功能——弹窗、填充、写入、更新等操作。为了完成复杂的标注操作与显示，本发明对网页上影像区域使用五层设计，由下而上分别为“影像层”、“网格层”、“标注展示层”、“标注层”、“等待层”。“影像层”存放SAR影像；“网格层”用于标注方式切换；“标注展示层”展示已有标注；“标注层”用于标注操作；“等待层”用于默认显示状态，为透明层，保护标注层。以上五层，根据鼠标手势进行上下移动。

所述标注信息同步定位与显示子单元，是通过标注信息XML文档的解析以及对当前网页与网页浏览器状态的判断，将标注定位在影像上，同时完成相应的缩放，使标注对象与标注始终保持一一对应。

以上所有网页界面与功能实现都使用html语言与JavaScript语言实现。其中，html语言用于网页布局，JavaScript语言用于实现逻辑功能及部分网页图形设计。

其中，存储单元进一步包括标注写入子单元、标注下载子单元以及影像上传与下载子单元。

所述标注写入子单元进一步包括标注解析与标注信息写入。所述标注解析为，用于根据网页与浏览器状态，将鼠标手势解析为标注信息；所述标注信息写入为，用于解析获得的标注信息送至服务器，以预定义的格式和关键词写入相关XML文档中，置于合适的位置。修改标注时，完成相关信息修改。

所述标注下载子单元，用于当用户点击“XML下载”按键时，服务器根据用户权限及网页当前状态，提供标注信息XML文档的下载功能。

影像上传与下载子单元，用于当用户选择“影像上传”，服务器根据访问权限及影像内容审核该影像，并执行分块、切割、归类等操作；位于标注信息区域的“影像下载”按键支持用户对当前浏览的影像进行下载。

其中，通讯单元进一步包括服务器架设子单元、访问权限设定子单元以及影像与标注信息寻址子单元。具体通讯访问方式如图4所示，所述该标注系统架设服务器，服务器利用该通讯单元访问该存储模块，提供SAR影像与相关标注信息，且影像与标注文档默认存储于服务器中，同时将影像与标注信息等资源通过Web最大化共享。

所述服务器架设子单元，本系统是在Linux操作系统下实现的，使用Apache工具与Perl语言实现远程通讯功能，网页设计时考虑到各种浏览器的兼容性，适用于各种核心的网页浏览器，是一款跨平台的SAR影像语义标注系统。

所述访问权限设定子单元，主要用于对进行个人研究即“标注生成模式”的用户信息进行保护，其他信息都是透明的。

所述影像与标注信息寻址子单元，是使用文本的模式对可访问影像/标注信息、用户信息进行分类、关联，同时建立访问规则，使本发明成为开放合作SAR解译标注系统的同时，为个人研究的数据准备提供服务。

本发明中，除了原始影像数据外，其他信息包括标注信息、影像信息、用户信息等，全部使用XML文档进行一体化存储管理，并且以文件名形式与原始影像进行关联。

本发明还提供了一种针对高分辨率SAR影像解译的基于Web的语义标注方法，如图5所示，该方法包括以下步骤：

(1) 用户浏览网页，通过是否点击“登录”选择用户模式，输入用户名进行登录，进入“标注生成模式”，仅显示当前用户的标注，同时SAR影像浏览切换模式为“关联切换”； “登出”则进入“判读标注模式”，是显示当前SAR影像所有用户标注，同时SAR影像浏览切换模式为“随机切换”；

(2)对原影像进行标注添加操作，用户通过选择标注方式，可选择多边形标注方式或者网格标注方式，对SAR影像进行标注添加；

(3) 标注生成后，该标注信息以多边形的形式显示于网页界面的影像顶层，划过该多边形边框时，多边形将被填充，并且显示该标注语义描述；点选该多边形边框将弹出标注修改与删除框，可对原影像进行标注修改和标注删除操作；

(4) 标注操作完成后，以XML格式将标注信息写入服务器，用户可通过接口从服务器中下载SAR影像与标注信息XML文档。

其中在步骤(2)中所述的标注方式，若选择“多边形标注”，用户通过点击鼠标依次选择多边形角点，构成封闭多边形后，弹出语义描述框，输入描述关键词后，完成对标注的添加。若选择“网格标注”，系统自行对影像进行网格化分块，在某区域内点击鼠标即形成该区域的封闭四边形，弹出语义描述框，输入描述关键词后，完成对标注的添加。

其中在步骤(3)中所述的标注的语义描述，是根据语义分类，树状显示于标注列表区。划过语义描述树时，相关标注多边形将被填充；点选语义描述树的叶子（单个标注）将弹出标注修改与删除框。

所述标注修改操作为，在特定操作权限下，对标注的区域或者语义描述进行修改。标注被修改后，其“是/否修改过”属性修改为1。

所述标注删除操作为，在特定操作权限下，对标注进行删除。标注被删除后，XML中原标注被保留，其“是/否删除”属性修改为1。

本发明是针对高分辨率SAR影像解译的基于Web的语义标注系统及方法。设置不同的标注方式，降低了SAR影像标注的人力成本；充分利用互联网资源，提高标注利用率，减少重复性劳动；建立研究人员通道，信息一体化（XML），为后续分析研究提供便利。本发明在建立SAR影像解译数据集的同时，提供了一个开放合作的SAR影像解译研究平台。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视申请专利范围所界定者为准。