三维影像侦测、编修及重建系统

摘要

一种三维影像侦测、编修及重建系统，包含：一输入及撷取单元、一训练及判释单元、一展示与编修单元以及一重建单元。输入及撷取单元接收一数字影像与一空载光达数据并撷取一第一参数以制作一三维影像，训练及判释单元在三维影像中选取一标的并撷取该标的一第二参数，计算第二参数以得到产生标的一门槛值，根据门槛值在三维影像中侦测并选取与标的性质相似的区域，该展示与编修单元根据门槛值建立用以扩张搜寻的一圈选工具，圈选工具可用于增加、删除及编辑训练及判释单元的一侦测结果，重建单元在已选取标的周围建立一缓冲区并撷取缓冲区的一第三参数，根据第三参数进行一曲面密合计算以重建该标的一先前状态。

说明书

技术领域

本发明是有关于一种影像侦测、编修及重建系统，尤指一种用于三维影像侦测、编修及重建系统。

背景技术

中国台湾有百分的六十以上的地区属于山区与山坡地地形，尤其是山区地形陡峭、溪流湍急、地质构造复杂、岩性脆弱、土壤松软，平均年降雨量达2，500毫米，为全球平均的3倍。尤其是在1999年921集集大地震后，造成浅层土壤松动，因此每逢台风或豪雨，极易触发土石崩塌。土石崩塌对集水区直接的影响是土壤沿着山沟与河流冲刷到下游地区，并堆积于水库底层，造成水库蓄水量下降，同时也造成水质污浊而影响供水，导致民生困境与经济损失。而崩塌地若未能尽早复原，雨水将逐渐冲刷表层土石，进一步降低水库蓄水功能，而减少水库寿命。因此为了协助水库、森林与山坡地进行有效管理，包括崩塌地复育工作，并提供防救灾决策支持，因此有必要进行有效且精确的调查工作。

传统上进行调查的方式主要为派员到现地调查与测量，或利用遥测数据以自动化方式侦测或以人工判识地表变迁范围。其中现地调查的方式，容易受到地形、气候与交通等因素的影响而无法有效的进行，虽然最为精确可靠，但效率低且费用相当高。而利用航空摄影与资源卫星影像，以遥测技术对地表观测，其拍摄的涵盖面积大，具有广域揽要、低观测死角及多时性重复观测的能力等特性，让使用者可以超越感官及时空的限制，快速地侦测到地表的信息。目前最广泛使用的航遥测数据来源包括航空相片(立体对或正射影像)、光学卫星影像(正射影像)、雷达影像(Synthetic Aperture Radar，SAR)、地面式与空载式光达(Light Detection And Ranging，LiDAR)等。以下就数据面与技术面来探讨利用遥测技术进行调查的相关技术。

航空相片

采用的技术为利用航空相片立体对，以人工进行立体量测的方式来进行判释。此方法虽可获得小面积与高精度的地表变迁范围，但需耗费相当多的人力与时间，无法迅速有效的提供相关数据协助灾害调查与灾情评估。根据相关文献与经验汇整，人工判释的辨识准则，包括色调、区位、形状、方向、坡度及阴影等六项，如表1所示。从自动化的角度来探讨这些辨识准则的适用性，其中“色调”部份可以通过航空相片的色彩信息以自动化方式萃取得到可能的范围。“区位”部份则必须利用其它辅助数据，例如道路、山脊与河川向量图，以便制作缓冲区，并以叠合方式萃取可能的地表变迁处。“形状”部份需要利用地形的型态学，但此部份是最难以自动化方式来进行侦测的工作。对于“方向”的判断则可以利用数值高程模型(Digital Elevation Model，DEM)计算坡向，同时配合河川信息来侦测可能发生地表变迁的所在。“坡度”则同样的可以通过数值高程模型来计算。“阴影”是视觉感官因子，主要目的为判断地形起伏，不易以自动化达到此目的，因此在人为判释过程中，通常会采用立体观测，或以正射影像配合数值高程模型(Digital Elevation Model，DEM)仿真三维景观。因此上述各种判释准则，并不适合完全用来作为自动化判释的必然条件。

表1

 

判释因子内容色调土褐色、深褐色、淡褐色、绿褐色。区位靠近山脊、河谷冲击坡、道路。形状长条型、汤匙型、树枝状河流汇集处，河谷旁可能成三角形或矩形。方向边坡重力方向与河流流向成正交关系。坡度倾斜坡地。阴影阴影效果可用以看出河谷与山脊，得到3D的感觉。

卫星影像

利用卫星正射影像判释崩塌地，与利用航空相片的技术大致相似，但由于卫星影像在空间分辨率上的限制，更依赖使用不同时期的变迁分析，比较两种技术，利用卫星影像自动侦测得的崩塌地数量与面积都远比利用航空相片以人工判释的结果少，就工程上的应用仍有不足的地方。但因为卫星具有较高的时间分辨率与相当大的拍摄范围，因此在灾后可以快速的进行地表变迁侦测调查，以协助灾后灾情调查工作。此外，上述方法在利用单一幅卫星影像进行地表判识时，由于欠缺第三维的空间信息，因此要配合数值高程模型以三维立体视觉仿真方式辅助人工判识及编修，以避免误判地形平坦的裸露地为崩塌地。

空载式光达

有研究利用空载光达扫描921地震造成的崩塌地，经实地验证扫描成果的高程精度可达12公分，然此项报告并未探讨崩塌地侦测与量测相关的课题。利用空载光达产生高分辨率数值高程模型(DEM)，利用三维分析来获取地表粗糙度(Roughness)，进而得以分析崩塌地表面型态(Morphology)，通过此种地形学分析，可进一步了解崩塌地特征，崩塌地行为机制，以及评估活动中的崩塌地。利用此高分辨率数值高程模型，分析地表粗糙度、坡度、坡向、半变异数(Semi-Variance)与碎型尺度(Fractal Dimension)等，用来分析崩塌地的表面型态、成分与活动。

上述研究利用点云密度为每平方公尺一个点的空载光达产生1.8公尺网格式数值高程模型，及阴影起伏立体图(Shaded Relief Map)、坡度图、地形等高线图，地形剖面等，通过地表面形态，分析地表变迁在空间与时间尺度上的变化机制，进而分析地表面型态并判释得到崩塌地范围，数据中估计约有三分之一的光达点云会侦测到树底下的地形面，因此相较于利用航空相片以影像匹配及人工编修所产生的DEM，光达DEM较有利于历史崩塌地的判释。但是对于土壤裸露的地表变迁而言，利用航空相片则可以测绘得较精确的地表变迁边界。此外，相关文献中尚无利用空载光达以自动化方式侦测地表变迁范围的研究。

遥测数据于地表变迁调查的适用性

综观上述利用各种遥测数据进行地表变迁调查的方法，可将其适用性汇整成表2。其中“精确度”部分是指变迁范围边界平面坐标的定位精度，其大小主要取决于数据的空间分辨率，因此高精确度表示可达公寸等级，中精确度表示可达1公尺等级，而低精确度则约为10公尺等级。光达影像在高程变化的侦测精度可达公分甚至毫米等级，然而在水平面的定位精度则相对较低，因此预估针对地表边界的定位精确度低。

表2中所谓“调查范围”主要是以地面或高空获取数据来区分。而关于“小面积的地表变迁”的定义目前并未严格的规范，目前是以变迁处的长轴小于五十公尺为基准，而现有的技术则是以所使用的SPOT卫星多光谱正射影像三个像元的面积来定义，也就是约468.75m²(＝12.5×12.5×3)。

表2中的“实时性”是指当发生灾害后，提供全面灾害范围或地表变迁现况的时间多寡，所花时间越多则实时性越低。然而影响此实时性的最大变量为天气状况，因此先不考虑天气因素，以及卫星影像排程及数据传递时间，就全面性地表变迁调查而言，地面式遥测数据的获取较不易达到实时性的需求，而卫星影像又比航空摄影具有较高的时间分辨率，因此卫星影像的实时性较高。

表2

 

精确度  调查范围    侦测小面积崩塌地实时性  自动化程度  航空相片立体对          高大范围可中低航空相片正射影像        高大范围可中高SPOT卫星正射影像   低大范围否高高SAR卫星影像低大范围否低高高解析卫星正射影像      中大范围可高高空载光达(根据地形形态以人为判释)   高大范围可中低

在“自动化程度”部份，主要是根据数据特性是否可以达到某种程度的自动化，其程度与数据处理技术及人为介入的多寡相关。其中航空相片立体对，人为介入的程度较高，而且立体对影像与空间坐标的直接对应关系较弱，因此自动化程度较低。其它正射影像与空载光达部份，则因为数据已经与地理坐标套合，所以可以通过适当的算法快速侦测得到地表变迁范围，达到某种程度的自动化。然而我们知道自动化的程度高，并不表示成果精确度与可靠度高，因此后续人为的判释工作将无法避免，然人工介入的程度乃视算法的能力而定，在此无法一一比较。

因此，为了减少人工介入的程度以提高自动化程度、实时性以及判释的准确度，本发明鉴于已知技术的缺失，乃经悉心地试验与研究并一本锲而不舍的创作精神，终创作出本发明“三维影像侦测、编修及重建系统”。

发明内容

本发明是欲提供一种三维影像侦测、编修及重建系统，使用三维影像图中标的影像的特征参数做大规模自动化的侦测、对侦测结果的编修以及对侦测标的的影像重建。根据本发明的主要目的，提供一种三维影像侦测方法，其步骤包含：接收一数字影像与一空载光达数据(Light Detection And Ranging，LiDAR)并撷取一第一参数；根据该第一参数制作一三维影像；在该三维影像中选取一标的并撷取该标的的一第二参数；计算该第一及该第二参数以得到产生该标的的一门槛值；以及根据该门槛值在该三维影像中侦测并选取与该标的性质相似的区域。

依据上述构想的三维影像侦测方法，其中该第一参数包括一可见光波段、一数值地表模型(DigitalSurface Model，DSM)、一数值高程模型(DigitalElevation Model，DEM)以及一地物高度模型(ObjectHeight Model，OHM)。

依据上述构想的三维影像侦测方法，其中该第二参数包括一地表粗糙度、一坡度、一地物高以及一可见光波段。

依据上述构想的三维影像侦测方法，其中该数字影像是选自一数字航空摄影影像或一数字卫星摄影影像其中之一。

依据上述构想的三维影像侦测方法，其中该标的是一山崩影像。

根据本发明的另一主要目的，提供一种三维影像编修方法，其步骤包含：接收一数字影像与一空载光达数据以制作一三维影像；在该三维影像中选取一标的并撷取该标的的一参数；根据该参数建立用以扩张搜寻的一圈选工具；以及使用该圈选工具增加、删除及编辑该标的。

依据上述构想的三维影像编修方法，其中该参数包括一地表粗糙度、一坡度、一地物高以及一可见光波段。

依据上述构想的三维影像编修方法，其中该圈选工具是一仙女棒。

依据上述构想的三维影像编修方法，其中该标的是一山崩影像。

根据本发明的又一主要目的，提供一种三维影像自动重建方法，其步骤包含：接收一数字影像与一空载光达数据以制作一三维影像；在该三维影像中选取一标的；在该标的周围建立一缓冲区并撷取该缓冲区的一参数；以及根据该参数进行一曲面密合(SurfaceFitting)计算以重建该标的的一先前状态。

依据上述构想的三维影像自动重建方法，其中该参数包括一数值高程模型(Digital Elevation Model，DEM)及一地边界向量数据。

依据上述构想的三维影像自动重建方法，其中该曲面密合计算是利用一曲面函数进行的。

依据上述构想的三维影像自动重建方法，其中该曲面函数是选自一平面函数(Planar surface)、一双线性曲面函数(Bi-linear surface)、一二次曲面函数(Quadratic Surface)、一双二次曲面函数(Bi-quadratic Surface)、一立方曲面函数(Cubicsurface)以及一双立方曲面函数(Bi-cubic surface)其中之一。

依据上述构想的三维影像自动重建方法，其中该数字影像是选自一数字航空摄影影像或一数字卫星摄影影像其中之一。

依据上述构想的三维影像自动重建方法，其中该标的是一山崩影像。

根据本发明的又一主要目的，提供一种三维影像侦测、编修及重建系统，包含：一输入及撷取单元，用以接收一数字影像与一空载光达数据，并撷取一第一参数以制作一三维影像；一训练及判释单元，与该输入及撷取单元连接，用以在该三维影像中选取一标的并撷取该标的的一第二参数，并计算该第一及该第二参数以得到产生该标的的一门槛值，并根据该门槛值在该三维影像中侦测并选取与该标的性质相似的区域；一展示与编修单元，与该训练及判释单元相连，用以根据该门槛值建立用以扩张搜寻的一圈选工具，该圈选工具可用于增加、删除及编辑与该标的性质相似的区域；以及一重建单元，与该训练及判释单元连接，用以在该已选取标的周围建立一缓冲区并撷取该缓冲区的一第三参数，并根据该第三参数进行一曲面密合(Surface Fitting)计算以重建该标的的一先前状态。

依据上述构想的三维影像侦测、编修及重建系统，其中该第一参数包括一可见光波段、一数值地表模型(Digital Surface Model，DSM)、一数值高程模型(Digital Elevation Model，DEM)以及一地物高度模型(Object Height Model，OHM)。

依据上述构想的三维影像侦测、编修及重建系统，其中该第二及该第三参数分别包括一地表粗糙度、一坡度、一地物高以及一可见光波段。

依据上述构想的三维影像侦测、编修及重建系统，其中该数字影像是选自一数字航空摄影影像或一数字卫星摄影影像其中之一。

依据上述构想的三维影像侦测、编修及重建系统，其中该标的是一山崩影像。

依据上述构想的三维影像侦测、编修及重建系统，其中该曲面密合计算是利用一曲面函数进行的。

依据上述构想的三维影像侦测、编修及重建系统，其中该曲面函数是选自一平面函数(Planar surface)、一双线性曲面函数(Bi-linear surface)、一二次曲面函数(Quadratic Surface)、一双二次曲面函数(Bi-quadratic Surface)、一立方曲面函数(Cubicsurface)以及一双立方曲面函数(Bi-cubic surface)其中之一。

附图说明

为使审查员能对本发明的特征、目的及功能有更进一步的认知与了解，下文特将本发明的相关结构附图以及设计的理念原由进行说明，以使得审查员可以了解本发明的特点，详细说明陈述如下，其中：

图1为本发明的三维影像侦测、编修及重建系统的第一步骤的流程图，数据输入及三维图像制作。

图2为本发明的三维影像侦测、编修及重建系统的第二步骤的流程图，标的判释的训练及自动化侦测标的。

图3为本发明的三维影像侦测、编修及重建系统的第三步骤的流程图，编修侦测结果。

图4为本发明的三维影像侦测、编修及重建系统的第四步骤的流程图，原地形重建。

图5为本发明的三维影像编修的扩张选取的工具，仙女棒，选取方法的示意图。

图6为本发明的三维影像重建系统所使用的曲面多项式函数的范例。

具体实施方式

本发明乃利用已经过分类处理的空载光达数据，配合彩色航空正射相片，以三维景观仿真的方式，建立自动化侦测相关技术，以提升大规模调查工作的效率与准确性。然而，在进行自动化侦测时难免有漏授(Omission)或误判(Commission)的现象，故乃再开发一人机操作接口，供人为判释及编修自动化侦测的结果。

本发明将可由以下的实施例说明而得到充分了解，使得熟习本技术的人士可以据以完成之，然本发明的实施并非可由下列实例而被限制其实施型态。

请参阅图1，其为本发明三维影像侦测、编修及重建系统的第一步骤的流程图，数据输入及三维图像制作。首先，先接收数字航空照片从高空对地表面进行观测数据(步骤11)，其具有大范围与低死角的观测能力，于平时(routine)或发生变化(灾害)后，可针对大面积的兴趣区进行全面性的调查工作。接下来撷取信息(步骤12)，使用波谱分析对航照正射影像做地表覆盖物分析，利用其不同的可见光波段以明确定义不同地物的边界，同时进行三维空间信息萃取，同时使用爬升及滑行算法(简称CAS)，对所取得的光达数据中提供的高密度及高精度的三维点云信息进行自动化分类，将光达分成地面与地形两类，同时内插成一公尺网格的数值地表模型(Digital SurfaceModel，DSM)与数值高程模型(Digital ElevationModel，DEM)并计算DSM与DEM差值，得到地上物高度模型(Object Height Model，OHM)，用以提供地表面粗糙度分析、地形面坡度计算与地物第三轴的空间信息，也就是高程变化。

组成DSM、DEM及OHM规则三角网，并制作多层次精细度(LOD)几何数据结构，以制作得到实时动态三维影像(步骤13)。并可依照目标物与观测者的距离远近，选择适当精细度的三角网进行绘图，减少绘图三角网数，达到实时动态展示的目的。

请参阅图2，其为本发明三维影像侦测、编修及重建系统的第二步骤的流程图，标的判释的训练及自动化侦测标的。在第一步骤中所制作的三维影像中选择一个标的做为训练区(步骤21)，系统自动撷取并统计此训练区的各种属性的参数，包括粗糙度、坡度、地物高以及可见光波段(步骤22)。统计这些属性参数的平均值及标准偏差，再以平均值+/-某一倍率的标准偏差当作门槛值(步骤23)。接着系统根据此参数门槛值通过布尔(Boolean)逻辑运算在三维影像中以机率式判释做大规模的快速搜寻到达此参数门槛值的影像区域的位置及范围(步骤24)。最后将侦测的结果标示出来并储存(步骤25)。

请参阅图3，其为本发明三维影像侦测、编修及重建系统的第三步骤的流程图，编修侦测结果。在系统中展示第二步骤的侦测结果(步骤31)，系统中具有一个增加、删除、及编修边界的功能以提供使用者对侦测结果中漏授或误判的结果加以编修。在此增加、删除、及编修边界的功能中，使用者除了可以使用如一般图像编辑功能的图像编修工具对侦测结果中将误判的区域点选并删除(步骤32)以及将被选定的区域范围的边界做伸缩式的调整(步骤34)，还有一项扩张选取的工具，仙女棒，其可以对特定兴趣点自动展延至目标区的边界，可用于对侦测结果中漏授的区域做大面积的快速增加动作(步骤33)，其方法如图5：以兴趣点为中心，统计中心点附近5×5窗口范围共25个像元的四种属性参数，计算其平均值及标准偏差，并以三倍的标准偏差当作区块成长的门槛值的指定窗口内属性参数的统计值，按照每一步骤所侦测得的崩塌地外形逐渐向外的8个方向的邻近点向外扩张搜寻，持续针对新增加的同属性像元的邻近8方向搜寻，直至无新点发现为止，其中该属性参数的统计值亦可以直接套用第二步骤中训练区的属性参数统计值。编修结束后将编修结果储存。

请参阅图4，其为本发明三维影像侦测、编修及重建系统的第四步骤的流程图，原地形重建。使用者先在三维影像中选取一目标区域(步骤41)，该目标区域的表面形状与周围的区域的表面形状有落差。接着以区块成长法自动产生目标区域附近的缓冲区(步骤42)(Buffer-Zone)，以曲面密合(SurfaceFitting)方式预估原先的地形，假设该目标区域的表面形状可以数值高程模型(Digital Elevation Model，DEM)及地边界向量数据然后由z＝f(x，y)的曲面函数来描述，然后撷取缓冲区内的DEM数据当作参考点来求解曲面函数各个系数(步骤43)，再以最小二乘法进行密合得到各系数，接着以所求得的系数计算目标区域的“原始”表面形状(步骤44)，最后显示出目标区域的原始表面形状(步骤45)。

如何决定缓冲区大小是件重要的课题，也就是参考点数量与目标区域点数两者的比重，对密合后的地形曲面的代表性。本发明目前是依照目标区域面积的某个倍率来决定缓冲区的大小，例如0.5倍，1倍或2倍等。此倍率可由使用者决定，在本发明的案例中，我们利用现有一般地形，来仿真目标区域变化前的地形，以研究不同的变化该如何选择适当的曲面函数，以及设定适当的缓冲区大小。

关于曲面函数，本发明以多项式函数进行测试，表3为六种多项式函数所使用的系数，分别为平面函数Planar、双线性曲面函数Bi-linear、二次曲面函数Quadratic、双二次曲面函数Bi-quadratic、立方曲面函数Cubic到双立方曲面函数Bi-cubic等六种，其多项式项次分别从一阶到三阶。而图6分别为这六种多项式区面的范例。

表3

 

1xyxyx²y²x²y xy²x²y²x³y³x³y xy³x³y²x²y³x³y³平面函数VVV双线性曲面函数VVVV二次曲面函数VVVVVV双二次曲面函数VVVVVVVVV立方曲面函数VVVVVVVVVV双立方曲面函数VVVVVVVVVVVVVVVV

本发明的三维影像侦测、编修及重建系统适用于对地表作大规模的监测，监测的范围包括了山崩的监测及林木族群的监测等等。应用于山崩的监测时，本系统由空载光达及数字航空照片的数据中得到DSM、DEM、OHM及不同可见光波段等数据，利用这些数据描绘出三维影像地图。在中国台湾，常见的崩塌地的状况为土壤有裸露现象、附近林木茂密且地形陡峭，其中土壤的裸露使地表粗造度增加，地形陡峭所以坡度大以及附近林木茂密所以会有绿色的强烈对比。因此，由使用者在三维影像地图上找出已崩塌的区域作为选定的训练区，系统会分析并统计训练区中的地表粗糙度、坡度、地物高以及可见光波段(绿度)等属性参数的平均值及标准偏差以设定侦测判别的门槛，然后就根据各参数的门槛值通过布尔逻辑运算在三维影像地图上以机率式的判释作大规模的自动侦测搜寻并将侦测到的区域标示出来以供纪录崩塌发生的状况。然后利用本系统的编修工具，以人工方式对自动侦测结果作增加/删除区域及伸缩式调整边界的编修，以增加侦测结果的准确度。最后可以原地形重建的功能在崩塌区域周围产生缓冲区，并选取此缓冲区内的数值高程模型(Digital Elevation Model，DEM)当作参考点，再以曲面密合(Surface Fitting)方式预估崩塌前的地形，最后以相减方式得到崩塌地的土石流失量或堆积量。如此便能评估崩塌区域内土石的流失量进一步评估崩塌对下游地区的影响，如对水库淤积的影响。

在林木族群的监测方面，由于不同种类的林木之间叶绿素及型态的表现各不相同，所以较着重在可见光波段的分辨，用以作不同族群分布的快速调查，其调查结果同样可以做人工编修以及原貌重建，其中原貌重建可用于林木材积量的评估。此调查结果可以作为森林资源或木材资源的评估，若再配合其它地形属性的调查，如坡度、地物高等，便可用于土地开发的规划的用。

综上所述，本发明设计的三维影像侦测、编修及重建系统可以准确而快速的判断是否有地表变迁的产生，同时还可以预估变化或灾害(如山崩)的严重性，进而对地震、台风或豪雨所造成的影响达到实时侦测及警示的功能，达到比已知技术更佳的侦测效果。实属难能的创新设计，深具产业价值，爰依法提出申请。

本发明得由熟悉技术的人任施匠思而为诸般修饰，然皆不脱离本发明的千里眼范围所欲保护的内容。