SAR(Synthetic Aperture Radar)是海上溢油业务化监测的一种有效手段, 近年来随着深度学习技术的不断发展, 越来越多的深度学习模型被应用于SAR溢油检测, 较传统机器学习方法取得了更好的效果, 成为当前SAR溢油检测领域的研究热点。

U-NET^[1]在2015年提出, 能够实现只用很少的图像进行端到端的训练同时获得较高的精度, 被广泛应用于遥感图像分类中。ResU-Net^[2-3]采用ResNet网络代替U-NET中的编码器, ResNet中的残差模块增加了跳跃连接, 将输入与输出直接进行相加, 补充了卷积过程中损失的特征信息。R2U-Net在编码器阶段用循环卷积层(RCLs)和带有残差单元的循环卷积层代替原有的正向卷积层, 使得网络在不增加参数量的同时具有优于U-Net和ResU-Net的分割性能。除采用残差模块对U-NET网络的编码器进行改进外, 空间注意力模块与通道注意力模块被运用于U-NET的编码器中来捕捉空间特征与通道特征之间的非线性关系, 增强局部相关特征^[4]。针对U-NET的深度连接模块, Attention U-NET^[5]通过使用注意力门结构替代U-NET原有的深度连接模块, 在保持计算效率的同时, 能够提高U-NET的预测性能。

以往的U-NET网络大多采用特征通道叠加的方式输入多特征数据进行训练学习^[6]。而多特征数据中往往包含多种不同类型的特征, 例如统计学特征、形状特征、纹理特征、极化特征等^[7], 特征堆叠会导致网络计算复杂性增加, 容易造成维数灾难问题^[8-9], 为此有学者提出了特征融合与特征优选的方法来减少特征维度的输入^[10-14], 但会损失部分特征信息。

本文提出了一种基于U-NET和注意力门的海上溢油SAR检测模型(Attention W-net, 简写AW-net), 利用双分支编码器分别提取纹理特征信息与灰度信息, 再通过注意力门对多尺度纹理信息与灰度信息进行融合, 得到包含信息更加全面的特征, 在此基础上开展溢油检测。

1 原理与方法

本文提出的AW-net模型是一种用于SAR溢油检测的双分支卷积神经网络, 模型采用双分支编码器代替U-NET原本的编码器, 使其能够同时处理输入的溢油纹理特征与溢油灰度特征, 在训练过程中模型的反向传播能够同时对这两个分支进行参数调整, 提取更精细的纹理信息与灰度信息, 并采用注意力门对双分支编码器中提取的多尺度纹理信息与灰度信息进一步捕获上下文信息, 并进行融合, 获取更加显著的特征信息。AW-net的模型结构如图 1所示。

1.1 双分支编码器

AW-net设计了双分支编码器, 其包括灰度图像编码器与纹理编码器, 目的是分别提取灰度图像与纹理特征的深层特征信息。U-NET中的编码器能够提取不同尺度的特征, 小尺度的特征可以得到更多的细节, 大尺度的特征可以获取完整的语义特征^[15]。双编码器的结构由10个卷积层和4个池化层组合而成, 各卷积层中的卷积核尺寸为3×3, 步长为1; 最大池化层的核大小为2×2, 步长为2。双编码器中的参数根据最终的检测结果与真实值的差异进行反向传播以不断的训练整个网络。在反向传播的过程中对灰度图像编码器与纹理编码器的参数进行不同程度的调整, 以对纹理特征和灰度图像进行特定的特征信息提取。提取到的多尺度纹理信息与灰度信息再经过注意力门进行特征加强, 以获得更好的分类性能。

1.2 注意力门

注意力门来源于Ozan Oktay等提出的Attention U-NET^[5], 该模型采用注意力门(Attention Gate, AG)使模型自动聚焦于不同形状和大小的目标结构, 抑制输入图像中无关区域, 同时突出对特定任务有用的显著特征。灰度图像编码器与纹理编码器输出的不同尺度的特征经过注意力门进行融合, 融合后的特征与解码器中各上采样得到的对应尺寸的结果进行深度连接。

AG的结构如图 2所示, 门控信号g来自于输入特征${x^l}$的下一层, 其尺寸大小为${F_l}{\times}{H_x}{\times}{W_x}{\times}{D_x}$是${x^l}$尺寸(${F_g}{\times}{H_g}{\times}{W_g}{\times}{D_g}$)的1/2, 因此纹理特征和灰度图像首先分别经过一个1×1×1的卷积${W_g}$、${W_x}$使通道数以及尺寸一致, 再进行逐像素相加操作。然后经过Relu层, 再经过一个1×1×1的卷积层$\psi$将通道数降为1, 经过Sigmoid(图中${\sigma _2}$为归一化注意系数)层后得到注意力权重, 再经过Resample模块将尺寸还原为${x^l}$的原尺寸, 并将最初输入的图像特征与注意力系数α相乘得到融合后的纹理信息与灰度信息${\hat x^l}$。

1.3 纹理特征提取

纹理特征描述了灰度的空间分布和空间相关性, 浮油与海面的纹理信息不同。本文采用灰度共生矩阵提取纹理特征。

灰度共生矩阵一般被定义为从灰度级为i的像素点离开某个固定位置关系$d = ({D_X}, {D_Y})$到达灰度级为j的像素点的概率, 所有估计的值均可以表示成一个矩阵的形式, 称为灰度共生矩阵^[16-18]。浮油抑制了海面的短重力波和毛细波, 因此其纹理是光滑细腻的, 而海面的纹理则是粗糙的^[19]。灰度共生矩阵用$\boldsymbol{P}(i, j)(i, j = 0, 1, 2, \cdot \cdot \cdot , L - 1)$表示, 其中L表示图像的灰度级, i, j分别表示像素点的灰度, d表示两个像素点间的空间位置关系。不同的d决定了两个像素点间的距离和方向。θ表示灰度共生矩阵的生成方向, 在每一方向上都可以得到多类特征, 但是这样得到纹理特征过于繁多, 不利于使用, 因此计算灰度共生矩阵时θ常取0°, 45°, 90°和135°这四个方向。灰度共生矩阵如图 3所示。

两个灰度级的概率表示为:

$p(i, j)=\frac{\boldsymbol{P}(i, j ; \theta, d)}{\sum\limits_{i=0}^{L-1} \sum\limits_{j=0}^{L-1} P(i, j ; \theta, d)},$

(1)

其中, $\boldsymbol{P}(i, j;\theta , d)$表示灰度级i, j在距离为d, 方向为θ上出现的次数, 灰度共生矩阵的大小为L×L, 并对其中的元素进行归一化操作。

在实际应用中一般不直接使用灰度共生矩阵, 而是采用在灰度共生矩阵的基础上计算出来的一些统计量作为纹理识别的特征量。本文采用均值、标准差和对比度三种纹理特征统计量作为参数, 其计算公式为:

$N_{\text {Mean }}=\sum\nolimits_i \sum\nolimits_j p(i, j) \times i,$

(2)

$N_{\mathrm{Std}}=\sqrt{\sum\nolimits_i \sum\nolimits_j p(i, j) \times\left(i-N_{\text {Mean }}\right)^2},$

(3)

$N_{\text {Contrast }}=\sum\nolimits_i \sum\nolimits_j p(i, j) \times(i-j)^2,$

(4)

其中$p(i, j)$表示灰度共生矩阵中坐标为$(i, j)$的像素值大小。

2 实验与分析 2.1 实验数据

本实验采用2景海丝一号(HISEA-1)数据与1景Radarsat-2数据, 其中, 1景HISEA-1数据用于模型训练, 另1景HISEA-1数据与Radarsat-2数据用于模型测试。

2.1.1 HISEA-1数据

2020年12月22日, HISEA-1卫星在文昌卫星发射中心升空入轨, 这是我国首颗C波段商业合成孔径雷达遥感卫星。HISEA-1对标国际先进SAR卫星指标, 采用有源相控阵天线, 在整星质量185 kg的情况下实现了m级空间分辨率和多种SAR成像模式, 在宽幅扫面模式下幅宽可达100 km^[20]。

本文采用的两景HISEA-1SAR数据记录了2021年9月5日叙利亚储油罐溢油事件中溢油的具体位置, 详细信息如表 1所示。

两景图像如图 4所示, (a)为图像1包含了船只、溢油和陆地, (b)的图像2中包含了船只与溢油。因本文对溢油进行检测, 故将溢油以外的其他目标都归类为非溢油。

结合同时期多源遥感验证、相关报道与先验知识综合判断, 对两幅图像溢油区域进行手动标记。标记图像如图 5所示, 其中黑色表示非溢油像素, 赋值为0, 白色表示溢油像素, 赋值为1。

针对图像1与图像2分别统计溢油像素数与非溢油像素数, 统计结果如表 2所示。图像1与图像2的纹理特征提取结果如图 6、图 7所示。

将图像1的SAR灰度图像与纹理特征分别裁剪为256×256像素大小, 制作灰度图、纹理均值图、纹理标准差图、纹理对比度图等4类样本各644张, 其中每类样本数量的80%作为训练集, 剩余20%作为验证集。

2.1.2 Radarsat-2数据

Radarsat-2数据拍摄了2010年5月8日的墨西哥湾溢油事件, 数据详细信息如表 3和图 8所示。

通过统计目视解译结果, 溢油像素数为634 916, 非溢油像素数为24 621 520, 纹理特征提取结果如图 9所示。

2.2 实验

本实验利用HISEA-1图像1构建的训练集和验证集进行模型训练和验证, 另外还设计了两组测试实验: 第1组采用HISEA-1图像2数据; 第2组采用Radarsat-2数据。两组测试实验均与U-NET、Attention U-NET和FCN等语义分割模型进行对比, 采用溢油检测准确率(Oil Accuracy, 记为A_oil)、交并比(Intersection Over Union, 记为A_iou)和相似度量函数(Dice Coefficient, 记为A_dice)作为精度评定指标。溢油检测准确率表示正确检测为溢油的像素个数占总溢油像素个数的比例; 交并比是语义分割中常用的精度评定指标, 表示像素真实值与预测值的交集与像素真实值与预测值的并集之比, 值越接近1表示分割效果越好; 相似度量函数是计算真实值与预测值的相似度, 值越接近1表示效果越好。计算公式如下:

$A_{\mathrm{oil}}=\frac{N_{\mathrm{TP}}}{N_{\mathrm{TP}}+N_{\mathrm{FN}}} \text {, }$

(5)

$A_{\text {iou }}=\frac{N_{\mathrm{p}} \cap N_{\mathrm{t}}}{N_{\mathrm{p}} \cup N_{\mathrm{t}}},$

(6)

$A_{\mathrm{dice}}=\frac{2 \times A_{\mathrm{IOU}}}{1+A_{\mathrm{IOU}}} ,$

(7)

其中, ${N_\mathrm{TP}}$表示正确检测为溢油的像素数, ${N_\mathrm{FN}}$表示溢油像素被检测为非溢油像素的数量。${N_\mathrm{p}}$是数据集的预测标签, ${N_\mathrm{t}}$是数据集的真标签, $\cap$表示两个集合的交集, $\cup$表示两个集合的并集。

2.2.1 模型训练与验证

在深度学习网络中, 需要基于经验调试来获得超参数, 包括学习率、每次迭代中提取的批量大小、梯度阈值和其他超参数。学习率是控制模型收敛速度的超参数。学习率越低, 损失函数的变化率越慢, 收敛时间越慢, 但它可以确保局部达到最佳精度。相反, 如果学习率太高, 则会错过局部极小值, 并且梯度阈值通常被设置为启用梯度阈值, 并抑制由非常高的学习速率引起的网络梯度爆炸^[21-23]。模型初始学习率均设置为0.001, 每次迭代中提取的批量大小为8, 每10轮进行一次验证, 总共训练200轮。

在训练样本中非溢油像素与溢油像素非常不平衡, 对实验结果会产生影响。本文采用类权重平衡根据像素数量赋予非溢油像素与溢油像素不同的训练权重, 以改善类别不平衡带来的训练问题^[21]。

统计的像素数量矩阵如下式所示:

$\boldsymbol{X}=\left[\begin{array}{ll} B_P & B_I \\ O_P & O_I \end{array}\right],$

(8)

其中, ${B_P}$表示非溢油像素个数, ${B_I}$表示存在非溢油类别的图片的总像素数, ${O_P}$表示溢油像素个数, ${O_I}$表示存在溢油类别的图片的总像素数。

利用统计的像素数量矩阵$\boldsymbol{X}$计算类权重$\boldsymbol{CLW}$, 公式如下:

$\boldsymbol{C L} \boldsymbol{W}=\left[\frac{B_P / B_I+O_P / O_I}{2 \times\left(B_P / B_I\right)}, \frac{B_P / B_I+O_P / O_I}{2 \times\left(O_P / O_I\right)}\right] .$

(9)

在本实验中非溢油像素与溢油像素的训练权重分别设置为0.800 2, 1.332 7。

采用上述参数对各个模型进行模型训练, 在模型训练期间, 采用验证集对网络模型进行精度验证, 验证精度如表 4所示, AW-net在验证集上获得了更高的检测准确率, 为96.25%, 接下来采用训练好的模型进行模型测试。

2.2.2 模型测试

为证明AW-net在溢油检测中的有效性, 利用HISEA-1图像2数据和Radarsat-2的灰度图像及其纹理特征作为输入对本文模型进行测试, 利用滑窗法遍历整幅灰度图像与纹理特征输入到训练好的AW-net、U-NET、Attention U-NET和FCN模型中, 最后将输出的检测结果按照原始位置进行复原, 得到整个图像的溢油检测结果。AW-net中是将纹理特征与灰度图像分别输入到其中的纹理编码器与灰度图像编码器中, 而U-NET、Attention U-NET和FCN是将纹理特征与灰度图像进行通道叠加再输入到模型当中, AW-net与U-NET网络输入示意图如图 10所示, FCN和Attention U-NET输入方式与U-NET相同。

(1) HISEA-1图像2数据测试

将海丝一号数据输入训练好的网络中进行测试, 测试结果如图 11所示, 从检测图像中可以看出, 四种方法在右上角的绿框内都会出现不同程度的误检情况, 究其原因可能是因为在纹理特征中右上角呈现出与溢油区域类似的纹理标准差, 故出现误检。而本文方法对纹理特征信息更加敏感, 所以在右上角区域的误检相对最严重。这几种方法对于红框与蓝框内的薄油膜部分都存在漏检情况, 因为薄油膜对海面的毛细波和短重力波抑制能力较差, SAR影像中薄油膜区域与海水表现较为接近, 故薄油膜容易产生漏检。本文模型能够更好地结合纹理特征对薄油膜部分进行检测, 对薄油膜区域的检测效果最好, 整体检测效果也最优。

定量检测结果如表 5所示, 从表中可以看到这四个模型中AW-net获得了最高的A_oil为86.71%, A_iou同样达到最高为0.7913, A_dice为0.883 5, 相较于U-NET、Attention U-NET和FCN网络A_oil分别提高了5.1%、4.61%和6.24%, A_iou分别提高了0.0127、0.003 2和0.014 5, A_dice分别提高了0.008 0、0.002 0和0.009 1。由此可以看出, AW-net在各项精度评价指标中都要优于其余几种方法, 表明了本文所提模型在溢油检测中的有效性。

(2) Radarsat-2数据测试

为了进一步测试所提溢油检测模型的有效性与鲁棒性, 基于2010年5月8日在墨西哥湾溢油事件中采集的Radarsat-2数据进行了一组实验, 因为HISEA-1数据为VV单极化数据, 故在这组实验中采用Radarsat-2的VV极化数据, 进行Lee精细滤波后进行实验。利用前文中训练好的AW-net、U-NET、Attention U-NET和FCN模型对该数据进行检测, 溢油检测结果图如图 12所示。

如图 12所示, 这几种方法在边缘部分均存在检测效果不佳的问题, 例如红框内的线状区域, 检测出来的结果相较于真值更细小, 相对来说AW-NET检测效果更佳, 对于线状区域的检测结果更接近真值。定量检测结果如表 6所示。

如表 6所示, AW-net在墨西哥湾溢油数据中同样获得了最好的检测结果, 相较于U-NET、Attention U-NET和FCN在A_oil上分别提高了3.89%、5.28%和1.17%; A_iou分别提高了0.020 1、0.032 4和0.009 4, A_dice分别提高了0.011 8, 0.019 2和0.005 5, 证明了AW-net具有较强的鲁棒性。

3 结论与展望

本文模型将U-NET中传统的单输入编码器替换为双分支编码器, 向双编码器中分别输入纹理特征与SAR灰度图像, 以分别提取更精细的纹理信息与灰度信息, 并采用注意力门对提取的信息进行融合。实验结果表明, 相较于U-NET、Attention U-NET和FCN, 本文模型溢油检测准确率更高, 证明了本文模型中的双分支编码器既能够更好地提取灰度图像与纹理图像中的特征信息, 且具备多特征融合能力, 且针对不同的数据集依旧能获得最好的检测结果, 具有较强的鲁棒性。除此之外, 利用HISEA-1数据训练的模型运用到Radarsat-2 VV极化数据中依旧能够获得较好的溢油检测准确率, 也证明HISEA-1数据在海上溢油检测中的应用潜力。在未来, 还将从以下两个方面进行研究: (1)本文的研究数据为单极化数据, 只用到了纹理特征与灰度图像进行实验, 在未来考虑将该模型运用到全极化数据中心, 结合全极化特征进行溢油检测实验。(2)本文构建的样本集中仅包含溢油与海水两类样本, 所训练的模型对于疑似溢油区分能力不足, 在未来考虑构建包含疑似溢油的样本库, 以提升模型区分溢油与疑似溢油的能力。(3)在本文模型的双分支编码器中, 两个分支的结构相同, 仅网络参数不同, 今后将继续探究采用不同结构的分支分别对不同类型的特征进行特定的信息提取, 以获得更好的溢油检测效果。