基于多模态深度学习的城市功能区遥感智能解译

摘要

城市功能区是指根据各种人类活动和社会服务的分布划分的城市空间,也是城市规划和资源分配的基本单元,获得精确和最新的城市功能区空间分布可以为城市政策制定和城市规划提供支持。城市功能区解译是根据人类活动和社会服务将城市空间映射到不同的功能区类别,是一个关乎城市管理、可持续发展和规划的重要任务,能够为城市管理、规划等提供数据基础、提升对城市的认知水平、为城市空间的优化和可持续发展提供理论支持。当前,城市功能区智能解译存在“标注样本少、异质性强难分类、区域混合难分割”的难点。具体来说,在城市地区,特别是大型城市,城市范围大,区域广,导致功能区可标注样本相对于研究区域体量小,当前基于完全监督的功能区提取方法,城市功能区提取的准确性很难得到保证。其次,城市功能区及其子类别在不同的空间位置具有不一致的空间特征,呈现出较强的空间异质性。另外,由于历史规划(比如政策、新旧城区改造等)和地理因素(水资源、地形地势等)的原因,城市场景具有一定的破碎性,具有“区域混合”的特点,即在同一个区域内,通常也会包含多种功能类型。功能区“区域混合难分割”的特点导致了混合功能区中很难对城市功能区及其子类别的位置和边界进行进一步的细粒度语义分割。在此背景下,将以深度学习为代表的人工智能算法,与遥感大数据、地理空间大数据相结合,是提升城市功能区解译的一种有效的方法。本文针对上述问题,本文的主要研究内容总结如下:(1)提出了有限样本情况下基于半监督学习策略的城市功能区解译方法。针对“标注样本少”的难点,提出一种自动从大量无标注样本中选择伪样本的半监督学习策略,同时考虑到城市功能区的强空间异质性,仅使用遥感或社会遥感数据很难充分反映功能区的特征。本文提出了一种双分支神经网络模型,通过综合利用遥感图像和社会感知数据的不同特征,提升城市功能区解译的准确率。(2)提出了融合遥感图像、时序人口和街景数据的非正规居住区图像分类方法。针对“异质性强难分类”的难点,本文以功能区中居住区的子类别(非正规居住区)为例,结合多种模态数据和多模态深度学习,提出一种融合遥感图像和时序人口数据的城市非正规居住区提取模型和一种融合遥感图像和街景数据的城市非正规居住区提取模型。(3)提出了基于多模态深度学习的城市功能区子类别语义分割方法。针对“区域混合难分割”的难点,本文以城市功能区中居住区的子类别(非正规居住区)和公共服务区的子类别(城市开放空间)为例,结合遥感图像数据和建筑物面数据等多模态数据,提出了一种基于多模态深度学习的城市非正规居住区语义分割方法和一种基于多模态深度学习的城市开放空间语义分割方法。本文以多模态深度学习为基本方法,以遥感大数据和地理空间大数据为基本数据,在城市功能区解译、城市功能区子类别图像分类和城市功能区子类别语义分割三个方面开展研究,为城市功能区及其子类别解译提供新的方法和新思路,具有重要的科学意义和社会价值。

目录

摘要

Abstract

第一章 绪论

1.1 研究背景

1.2 核心科学问题

1.3 研究内容

1.4 论文的组织结构

第二章 国内外研究现状

2.1 引言

2.2 城市功能区基本概念

2.2.1 城市功能区的定义

2.2.2 城市功能区划分的基本单元

2.2.3 城市功能区子类别划分

2.3 城市功能区解译方法

2.3.1 基于遥感图像的方法

2.3.2 基于社会感知数据的方法

2.3.3 基于多源数据融合的方法

2.4 城市功能区细粒度识别方法

2.4.1 基于机器学习的方法

2.4.2 基于深度学习的方法

2.5 混合类型功能区提取

2.5.1 混合类型城市功能区定义

2.5.2 混合类型城市功能区提取方法

2.6 多模态深度学习

2.6.1 多模态的概念

2.6.2 多模态深度学习

2.7 本章小结

第三章 有限样本情况下基于半监督学习策略的功能区提取方法

3.1 引言

3.2 模型构建

3.2.1 基于OSM的样本获取

3.2.2 半监督学习策略

3.2.3 双分支神经网络

3.3 实验结果与分析

3.3.1 研究区域

3.3.2 功能区分类体系

3.3.3 实验数据

3.3.4 评价指标

3.3.5 实验结果分析和比较

3.4 本章小结

第四章 基于多模态深度学习的城市功能区子类别图像分类方法

4.1 引言

4.2 融合遥感图像和时序人口数据的城市非正规居住区提取

4.2.1 遥感图像空间特征提取分支

4.2.2 动态人口数据时序特征提取分支

4.2.3 基于 Transformer 的自适应时空特征融合层

4.2.4 实验结果与分析

4.3 融合遥感图像和街景数据的城市非正规居住区提取

4.3.1 遥感图像特征提取分支

4.3.2 街景图像特征提取分支

4.3.3 多层次空间通道特征融合模块

4.3.4 实验结果与分析

4.4 本章小结

第五章 基于多模态深度学习的城市功能区子类别精细语义分割方法

5.1 引言

5.2 基于多模态深度学习的城市非正规居住区语义分割

5.2.1 多模态数据特征提取模块

5.2.2 空间通道特征融合模块

5.2.3 实验结果与分析

5.3 基于多模态深度学习的城市开放空间语义分割

5.3.1 金字塔 Transformer 编码器

5.3.2 自适应特征对齐解码器

5.3.3 多级特征融合模块

5.3.4 实验结果与分析

5.4 本章小结

第六章 总结与展望

6.1 总结

6.1.1 论文的主要工作总结

6.1.2 论文的主要创新点

6.2 展望

参考文献