基于深度学习的卫星云图检测算法

Jacob Hoslash;xbroe Jeppesen,⁎,Rune Hylsberg Jacobsen,Fadil Inceoglu,Thomas Skjoslash;deberg Toftegaard

关键词：云探测 光学卫星图像 深度学习 开放数据

摘要：云的可靠探测是光学卫星遥感的关键预处理步骤。目前，大多数方法是基于从光谱特征中对不可见像素进行分类，因此它们不合并空间模式。这通常会导致对高反射表面（如人类）的错误分类造结构或雪/冰。多时态方法可以用来缓解这个问题，但是这些方法引入新的问题，例如需要场景的无云图像。在本文中，我们将介绍遥感网络，一个用于探测光学卫星图像中云的深度学习模型，基于U-net架构。利用Landsat 8生物群和SPARCS对模型进行训练和评估。数据集，显示了最先进的性能，尤其是在风景难以分辨的生物群落中，如冰雪地区的云层。特别是，仅使用RGB的模型的性能波段得到了显著改善，显示了用小型卫星在有限的多光谱进行云探测的良好结果能力。此外，我们还展示了如何根据现有的云掩蔽方法被视为噪声数据，与原始方法。通过使用Fmask算法对Landsat 8数据集进行注释，然后使用这些注释作为正则化RS-Net模型的训练数据，然后显示改进的性能与Fmask算法相比。最后，一个完整的Landsat 8产品的分类时间为18.0plusmn;2.4s最大的RS网络模型，从而使其适合于生产环境。

引言

在过去的十年里，遥感得到了极大的关注特别是遵循来自2008年美国宇航局。欧空局通过哥白尼计划进一步提高了卫星数据的开放数据可用性，哥白尼计划开始提供免费卫星数据，包括光学图像和雷达测量地球表面和化学成分的测量对流层。预计这些数据将与现代数据分析工具，刺激创新和经济成长。哥白尼计划的一个愿景是扩大普通民众的遥感，很像全球定位系统如今在普通智能手机上使用过度。除了公开的高质量数据，其他的促进者降低了使用卫星数据的成本，例如互联网带宽、存储容量、处理能力，以及尖端开源软件工具的开发。虽然很大数据预处理和分析软件的改进最近开展的一系列工作中，仍有一些问题需要解决地区。特别是，自动分类在许多应用中至关重要案例，如收获量估算（Prasad等人，2006；Ferencz等人，2004），变更检测（Verbesselt等人，2010；Sakamoto等人。以及灾害管理（Voigt等人，2007；Tralli等人，2005；乔伊斯等人，2009年）。云覆盖经常干扰分析，并且全球年平均云量估计约为66%（Zhang等人，2004年）。因此，在卫星图像能够被用于进一步分析。目前的方法主要依靠单像素基于分类算法，因此主要关注光谱签名。这导致了具有相似光谱的像素的错误分类签名，例如，高度反光的人造结构，沙子在沙漠和冰雪中。空间模式经常被忽略，或者仅用于简单的后处理步骤，主要是由于有效的分析方法。近年来，深度学习算法在分类任务的空间模式和光谱模式的结合方面取得了巨大的进展，使其非常适合远程应用感知分类任务。改进的根本原因在性能上是指将特征提取包含在优化循环，因此与早期手工制作的特征提取方法。结果是一个更大的机器学习模型，它对输入数据应用一系列非线性变换，使得最优数据表示为作为实际分类器的输入，构成模型。然而，深度学习模式会带来新的障碍，例如需要大量的训练数据集来实现高性能的模型。在本文中，我们介绍了遥感网络（RS-Net）基于U-net架构的云分类深度学习模型，展示了Landsat 8的最新性能BIOME和SPARCS云覆盖验证数据集。捐款包括一个云检测算法，该算法包含模式，从而实现高性能，即使分类基于单个谱带。我们提供了一种简单的ap方法，由于使用了完全卷积神经，因此对预处理、快速收敛、快速推理有一些要求网络方法，和最先进的表现。对Landsat 8的评价介绍了陆地卫星8号数据集，并对遥感网的性能进行了分析与Fmask算法相比。随后，我们将展示正则RS网络模型可以训练由Fmask算法，然后显示出比上述算法更好的性能算法。最后，一个简短的时序分析展示了如何处理分类时间为18.0plusmn;2.4 s/Landsat 8产品普通的prosumer PC。用于所有实验在第3节中给出，并在附录A中详细说明代码是公开的（https://github.com/JacobJeppesen/RS Net）。我们计划将RS网络扩展到云检测之外，包括用于半监督和多时相分类，以及提高分类可解释性的方法。

背景

美国国家航空航天局陆地卫星8号卫星是一颗11波段多光谱卫星，分辨率低至15毫米，回访时间16天。它由两个仪器组成，分别是运行中的陆地成像仪（OLI）和热红外传感器（TIRS）。该卫星提供了11个波段中的9个波段，波长从0.435mu;m到2.294mu;m，有一个宽的全光波段，提供15米的分辨率，相比于剩余波段的30米分辨率。波段9是专门用来探测卷云的，卷云经常以其半透明的性质污染卫星图像。TIRS仪器覆盖其余两个波段10.60mu;m到12.51mu;m的波长，提供表面温度。与多光谱能力相结合的高空间分辨率在监测环境中被证明是非常有价值的，而且NASAHAS的数据政策极大地增加了卫星数据在学术界的使用以及他们的行业。除了美国航天局的卫星外，欧空局还决定通过启动卫星项目来完成独立政策，其主要目的是为政府、学术界和工业界提供高质量的卫星数据。欧空局哨兵2号卫星是两颗分辨率低至10毫米的同频13波段多光谱卫星，在轨道的另一侧运行，提供5天的回访时间。这些卫星为已经超过25PB的大型公共数据集提供了基础（Zhu等人，2017年）当使用光学卫星数据去处理云层时所需的第一个预处理步骤之一，在该步骤中检测场景中的每个像素，因为它对于进一步分析至关重要。随着数据可用性和处理能力的不断提高，不需要人工操作的卫星数据的自动分析越来越受到重视，使得错误分类变得更加重要。比较了最广泛使用的云检测方法（Fogaetal.，2017年），在这些方法中，有几种是通过手动评估的，而不是通过7和8个数据集进行评估的。最佳方法被创建为Fmaskalgorithm（Zhuandwoodock，2012年；Zhuetal.，2015年），在C编程语言中实现这些方法可以在运行时减少90%。它根据光谱特征对云进行分类，然后使用云（包括高度）和非云（包括高度）的估计物理量和基于几何体的云阴影检测。它首先利用一个规则区域确定两个潜在的云层，它们组合在一起产生一个最终的云蒙版。它将单个像素错误分类为滤镜，这样每个像素就可以被归类为3times;3像素邻域中的像素。然后添加围绕所有云的缓冲区，因为最好是丢失数据，而不是意外地在分析中包含云。重要的是，（Foga et al.，2017）中指出（Scaramuzza et al.，2012）如何在人类分析师之间的手动注释中发现7%的错误。下面的问题是云通常是半透明的，构成云的透明度级别的定义因人而异。他们的解决方案是在创建和8个生物数据集时单独分析，因此他们预计定义云的离散度在数据集之间的地面真值注释中有所不同。现有的基于机器学习的方法，如在中调查的欧洲网络（Hughes和Hayes，2014年），与Fmask算法相比，其性能低于标准值（Zhu，2017）。深度学习（Deeplearning，简称deepartificialneuralnetworks）是机器学习的一个分支，其特征提取已经实现了自动化，近年来得到了迅速发展。卷积神经网络（CNNs）在不完全计算机视觉的情况下具有良好的效果，是目前云检测的主要任务，其主要改进是以前的人工任务自动特征提取。实际上，CNN构建了一个数据重新呈现的层次结构，这样分类器的输入就是它的最佳重新呈现。语义段是指将输入图像的每个像素分配给特定的类，这是一个深度学习显示出特别好结果的区域。这些方法特别适用于遥感领域，并且通常在较短的处理时间内显示出较高的准确性。此外，在不同的照明条件下，这些方法都是非遥感的主要来源。尽管深度学习方法并没有被遥感领域广泛采用，与此相关的研究数量也相应增加（Zhu等人，2017）。深度学习已用于各种遥感任务，如道路探测（Zhang等人，2018）、海陆探测（Li等人，2018a）和土地覆盖图绘制（Karakizietal，2018）。在Landsat 8 Biome数据集上使用基于AdeeLearning Method的DonpCanet执行云层探测（Zi等人，2018）。他们将数据集分成24幅用于训练的图像和72幅用于开始、获得准确度、精度、召回率和F1分数的图像，分别为91.16、89.14、89.33和89.23。他们在Matlab中完成了方法，为其最终提出的框架报告了每颗陆地卫星8个产品12.8分钟的导航云探测时间。在（Mateo Garciacute;a等人，2018年）中，在本文部署的同一个陆地卫星8号数据集上测试了一种多时间云掩蔽方法，显示了与efmaskalgorithm相比的改进。因此，云探测任务已被定义为变化探测任务，作为分析的一部分，他们在陆地卫星8号生物群落数据集上报告了94.13的准确度。一种基于CNNs的多层次云检测识别算法被提出来（Chen等人，2018年）。首先将输入图像分割为具有相似光谱特征的像素簇组成的超像素。然后将这些数据输入多个cnn以对超级混合体进行分类。（Droacute;nner et al.，2018）使用基于U-net架构的方法，对在Caffe中实现的Meteosat第二代卫星图像进行云检测，报告高性能和低推断时间。在（Le Goff等人，2017年）中，CNN用于SPOT6图像上的云检测，显示出比传统方法更好的性能。关于深度学习的一个技术挑战，J.H.Jeppesen等人。环境遥感229（2019）247–259248然而，是不受数据限制的分类机构。通过EMI监督学习解决这一挑战的一个方向，即提供无标签数据的前提条件。先进的方法已经被证明能够提高利用高光谱数据进行多光谱分类训练的性能（Hongetal.，2019）

RS-Net架构

部分将简要介绍应用的深度学习算法，然后概述网络架构、数据集、实现和培训过程。对深度学习的全面介绍超出了本文的范围，但是，下一节旨在提供对算法的足够详细的概述，以获得对底层机制的理解。

3.1深度学习模型

我们要将输入图像Xisin;wtimes;htimes;c映射到像素级分类图Yisin;wtimes;htimes;1，其中，Y是输入通道的宽度，his是输入通道的高度，cis是输入通道的数目。输出分类为出现的云提供从0到1的像素级置信度度量。完全卷积网络可以描述为映射函数f

其中theta;是映射函数的参数。通过从两个函数f1和f2的组合中形成函数，我们可以将参数分组，这样

因此，映射函数成为更小的子函数的组合，或者layers.AsseeninFig.1，finalmodel是任意层的组合，从而构成一个deepmodel。最重要的是转换层，它通过将输入与特定数量的核卷积而生成特征图

其中，输入被NbyKernel指定。kernel的数量d取决于输出特征映射的深度，并且它在表示网络体系结构时是手动指定的。它应该在空间上使用小区域上的内核，但总是在输入特征映射的累加上使用。内核执行线性转换，然后是非线性，称为激活函数。其中一个例子是常用的整流线性单元（ReLU）函数，它将所有负值归零，例如

其中，权重Wd和偏差bd是theta;中可训练的参数。然而，在最终卷积层中，乙状窦函数用作激活函数，因为它用于输出预测的云概率。为了训练模型，在真云和预测云屏蔽上使用二元交叉熵函数进行局部计算

其中，_a是真实云掩模和预测云掩模。然后，使用此损耗通过反向传播算法计算theta;中每个参数的梯度（Rumelhart等人。，1986）在采用梯度下降算法进行优化之前.卷积神经网络的优点是在整个输入中重复使用核参数，这使得最终模型中的参数明显少于传统多层感知器所知的完全连通层。连续卷积层分层建立了一个改进的数据表示，可训练核有效地学习最优特征提取策略。，作为可训练的内核可以有效地学习最优的特征提取策略。这使得网络的后一部分性能最佳，这一部分对实际分类负责。虽然损失函数是非凸的，但经验结果表明梯度下降算法收敛于高性能的局部极小值，并且全局最小值往往导致过度拟合（Choromanskaetal。，（2015年），它应该注意将样本变为多类预测因子是直接的，只需要将最终卷积层的激活函数变为asoftmax函数，将损失函数变为分类交叉熵。

除了卷积层外，最大池层还用于降采样特征映射。这只需将特征地图在空间上划分为2times;2块并传递最大值即可，从而丢弃75%的特征地图。在图一中，可以看出，在模型的前半部分中，空间大小是如何减小的，参考编码器，作为hemax池操作的结果。在模型的后半部分中，参考解码器，这些特征图是上样图，简单地将每个值在空间上复制到2乘2的网格中。模型的设计参考了网络体系结构。像素级分类有多种解决方案，如Fcn（Longtal.，2015）、SegNet（Badrinarayanetal.，2017）和U net（Ronnebergeretal.，2015）。其他解决方案都是基于U netarchitecture，最初是为生物医学应用设计的（Ronneberger et al.，2015）。值得注意的是，旋回层深度通常为双TereachMax汇集层，并且在每个上采样层之后减半。编码器分为卷积层和最大池层两个阶段，直到第四阶段，在第四阶段之后，由编码器开始采样处理。每个阶段的编码都与前一阶段的特征映射的一个采样相关联，并由编码器中等效阶段的特征映射连接，以补偿最大池层中的地层损失。该模型通过L2正则化层、漏失层和批正规化层进行正则化以避免过度拟合。L2正则化将权重的平方和添加到lossFunction中，即通过预防单个神经元（Ng，2004）和使用所有卷积层。DropOut是一种方法，其中神经元的输出随机设置为零（Srivastavaet al.，2014）。这有效地迫使数据在网络中采用不同的路径，从而防止过度拟合。批量规格化是一种在整个网络中进行特征规格化的方法（Iofffeandszegedy，2015），该方法在编码器中应用了快速卷积层。与原

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[239507]，资料为PDF文档或Word文档，PDF文档可免费转换为Word