可见光遥感二Domain Adaptation via a Task-Specific ClassifierFramework for Remote SensingCross-Scene Cl

论文：Domain Adaptation via a Task-Specific Classifier Framework for Remote Sensing Cross-Scene Classification

1.motivation

最近提出的基于深度卷积神经网络(cnn)的场景分类方法，由于训练数据和验证数据没有遵循独立相同分布的假设，仍然存在域漂移问题。使用生成对抗网络已被发现是弥合领域转移/差距的有效方法。然而，现有的跨场景分类方法没有利用目标域的分类信息，并且针对不同的场景分类任务，域分类器是任务独立的。为了解决这一问题，本文提出了基于特定任务分类器(DATSNET)框架的领域自适应HSR图像场景分类。特定于任务的分类器以及分类器差异的最小化和最大化(即最小化)都集成在DATSNET框架中。提出了任务特定分类器，利用目标域中的任务特定决策边界来对齐源域特征和目标域特征的分布。为了对齐两个特定任务分类器的特征分布，提出了一种对抗方式最小化不同分类器之间定义的差异，以获得更好的目标域特定任务分类器边界和更好的两个域特征分布对齐。在不同遥感跨场景分类任务下的实验结果表明，与现有的遥感跨场景分类算法相比，本文方法的分类性能有了显著提高。

2.introduce

近年来，人们提出了一种领域自适应方法，利用已有的标记数据集对训练好的模型进行自适应。

对于场景分类任务，已经设计了许多基于深度学习的领域自适应方法用于跨领域分类[43]-[50]。在遥感跨场景分类中，最常见的现象是源域和目标域之间的特征空间不同，并且在无监督域自适应(UDA)中目标域中没有标记数据。在此基础上，结合遥感领域已有的跨场景分类方法，现有方法可分为两类:1)基于统计的跨场景分类方法和2)基于生成对抗网络(GANs)的跨场景分类方法。

基于统计的方法通过在特征层中添加基于统计的散度的损失项(如最大平均差异[43]-[48]或CORAL损失[49])来对齐源域和目标域的特征分布，从而实现迁移学习。然而，这些方法建立在对特征分布的强假设基础上，统计准则只应用于特征层面，而没有利用目标域的分类信息。基于gan的方法通过在特征层的顶部添加域分类器以对抗的方式实现特征分布对齐，从而避免了这一问题[50]。然而，领域分类器只起到判断样本是否来自源领域的作用。综上所述，现有的跨场景分类方法没有充分利用目标域的分类信息，并且对于不同的任务，域分类器是任务独立的。

为了充分利用目标领域的分类信息，实现跨场景分类的任务专用性，本文提出了基于任务专用性分类器(DATSNET)框架的领域自适应解决跨场景分类问题。在DATSNET中，将特定任务分类器与特定任务分类器差异的最小化和最大化(即“最小最大化”)相结合，为跨域遥感图像生成更具判别性的特征表示。在特定任务分类器框架中，使用两个cnn作为特定任务分类器来利用目标域中的分类信息。通过最小化定义的差异阶段，优化特征生成器和分类器以对齐两个域的特征分布。本文的主要贡献如下。

1) DATSNET框架:提出学习可转移的图像特征，对齐源域和目标域遥感图像之间的特征分布。基于任务分类器和对抗学习方法，通过最小最大化两个不同分类器之间的差异，实现源域和目标域图像之间特征分布的对齐，以对抗的方式优化网络。

2)针对UDA的特定任务分类器:提出了特定任务分类器，通过利用特定任务的类边界来对齐源域特征和目标域特征的特征表示分布。与以往的方法不同，该方法利用两个特定任务分类器，通过最小最大化两个特定任务分类器的差异，通过对抗性学习来改善不同领域分布的一致性。在特征学习过程中，源域和目标域的特征空间逐渐自适应对齐。针对UDA的特定任务分类器的关键在于不同分类器的“差异”定义。为了更好地捕捉不同分类器之间的差异，引入L1距离、Kullback-Leibler (KL)散度和Wasserstein距离来度量不同分类器的输出。不同差异度量的比较为不同的跨场景任务提供了另一种选择。

3)通过最小最大化定义差异，有效对齐不同分类器的特征分布，以对抗的方式优化网络。在该方法中，通过以对抗的方式最小化和最大化不同分类器之间的定义差异，对特征生成器和分类器进行优化。因此，可以在目标域中获得更好的任务特定分类器边界，并在两个域中获得更好的对齐特征分布。

3.面向任务的遥感跨场景分类器框架

在以往的研究中，没有利用目标域的分类，导致特征生成器可能在分类边界附近生成模糊的特征。

随后，分类器的性能显著下降。为了有效利用目标域的分类器信息，提出了一种DATSNET框架来解决遥感跨场景分类问题。需要解决三个问题:1)场景/任务特定分类器的领域适应;2)任务分类器差异;3)对抗性训练。

A.场景/任务特定分类器的领域适应

在现实场景分类应用中，由于遥感成像区域和条件的不同，可以得到不同的目标域。目标域的光谱、地貌、纹理等特征不同，场景的分类数量也不同，这就导致了不同的跨场景分类任务。特定于任务的分类器意味着为每个特定的跨场景分类任务训练的分类器是不同的。特定于任务的分类器意味着对不同的应用程序有不同的场景任务分类器。

例如，对于城市场景分类任务，需要对商业、住宅、学校等类进行分类。对于农村地区，需要对草地、森林、农田和其他类别进行分类。在实际应用中，可能面临不同的领域自适应分类任务。比如从武汉到上海的迁移学习，从纽约到华盛顿的迁移学习。对于不同的任务，分类系统会有所不同。用于不同场景分类任务的分类器被称为特定于任务的分类器。源域和目标域共享相同的类别空间。与使用特定于领域的分类器相比，使用特定于场景/任务的分类器使我们能够在目标领域中利用分类，并保留特定目标领域的特征。

在该框架中，使用两个cnn作为特定于任务的分类器来改善特征分布的一致性。如图3所示，两个特定于任务的分类器使用共享网络从生成器生成特征表示。这两个分类器输出两个域共有的所有类。源域和目标域共享相同的类别空间。这两个特定于任务的分类器试图使用不同的超参数对源域样本进行良好的分类，并被训练以在目标域中找到靠近分类决策边界的样本，这些样本的分类输出不一致。提出的框架的主要目的是通过最小化两个分类器之间的差异来对齐不同域之间的特征分布。对于这两个分类器，使用基于VGG或ResNet-50的预训练CNN作为基础网络。

B.场景/任务特定分类器差异

在DA TSNET框架中，如何定义场景/任务特定分类器之间的差异仍然是一个悬而未决的问题。在数理统计中，有几种方法可以用来表示两个不同分布之间的距离:1)曼哈顿距离;2) KL散度;(3) Wasserstein距离。

1)曼哈顿距离:曼哈顿距离，也称为L1距离或L1范数，在机器学习研究中被广泛使用。它是两个矢量分量的绝对差的和[51]。在优化领域，L1距离可以得到最稀疏的解。对于HSR图像跨场景分类任务，曼哈顿距离可表示为:

2)KL散度:在概率论领域，KL散度是f -散度的一种特殊情况，是用来度量两个不同概率分布之间的统计差异的函数。KL散度于1951年首次引入信息处理领域[52]，目前广泛用于表征信息系统中的相对熵和统计领域的信息增益。

p1(x)和p2(x)表示两种不同任务分类器对跨场景VHR遥感图像的softmax概率，则两种不同任务分类器的KL散度表示为:

3)沃瑟斯坦距离(Wasserstein Distance):是另一种广泛使用的度量概率分布之间距离的度量[53]。Wasserstein距离将源域分布视为源域空间中的一组地球，将目标域分布视为目标域空间中的一组孔洞。沃瑟斯坦距离测量了用源域地球群填充这些目标域洞所需的功的量。它测量从一个概率分布转移到另一个概率分布的最小代价。由于考虑了不同分布之间的几何特征，Wasserstein距离引起了机器学习界许多研究者的关注[53]。

如果考虑两个不同的概率分布p1(x)和p2(x)，则Wasserstein距离可以表示为:

方程解释了将一个概率分布p1(x)转移到另一个概率分布p2(x)的最小成本，对于这种情况，最常见的成本矩阵选择是欧氏距离矩阵。

C.对抗训练

定义的差异。该方法的训练步骤如下:

步骤A:训练场景分类器和场景图像特征生成器对源域训练样本进行分类。在步骤A中训练生成器和两个分类器以最小化交叉熵损失，从而获得特定于任务的分类器和特定于任务的特征表示。步骤A的目标可以说明如下:

在这一步中，损失函数相对于G和F应该是最小的。

步骤B:在此步骤中，固定场景图像特征生成器中的权重，并使固定场景分类器对目标域图像中未标记样本的差异最大化。在步骤B中训练两个分类器以最大化差异损失，以检测不受分类器决策边界支持的目标域未标记样本。加入源域样本的分类损失，使网络训练过程收敛，因为不加入源域损失，网络不会收敛。步骤B的目标可以说明如下: