北极海冰作为地球冰冻圈的重要组成部分, 近几十年受全球气候变化影响, 在范围、年龄和体量上都有明显的减小趋势(Kim et al, 2014; Mori et al, 2019)。海冰根据其发展阶段可以被分为季节性一年冰(first-year ice, FYI)和永久性多年冰(multi-year ice, MYI)。当年冬季新形成的海冰为一年冰; 经历夏季消融后存留的海冰为多年冰。一方面北极多年冰的减少速率快, 其速率近乎为海冰范围减少速率的2倍(Comiso, 2012; Carmack et al, 2015), 对气候变化更敏感; 另一方面, 多年冰的存在时间长, 厚度大, 硬度高, 能极大威胁极区航船的航行安全。多年冰的减少使货船能更容易地出入北极, 有利于北极航道的进一步开发和利用。高效且准确的海冰分类方法既能够监测北极多年冰的变化, 又能为北极航船提供航行指导(Zakhvatkina et al, 2019)。卫星遥感是获取极区数据最便捷的方式, 常用的海冰监测传感器包括: 可见光传感器、高度计、微波散射计和合成孔径雷达(synthetic aperture radar, SAR)。SAR能够获取不受天气和昼夜影响的高分辨率影像, 被广泛应用于海冰分类研究(Fetterer et al, 1997; Soh et al, 1999, 2004; Dabboor et al, 2014)。

波弗特海处在加拿大北极群岛和楚克奇海之间, 是北极中心多年冰的主要输出区域之一(Kwok, 2004)。受到波弗特高压影响, 波弗特海区域存在一个反气旋海冰流, 被称为波弗特环流(Babb et al, 2022)。北极中心的多年冰顺着波弗特环流漂移到纬度更低的波弗特海和楚克奇海区域, 在夏季融化, 造成多年冰的减少(Kwok et al, 2010)。研究表明, 2007年后波弗特海的多年冰相较于之前有显著减少(Moore et al, 2022)。波弗特海也是北极西北航道的重要组成部分, 是船只进出加拿大北极群岛的通道之一。因此, 研究基于SAR图像的波弗特海海冰分类对多年冰监测和航行指导具有重要意义。

现有的海冰分类方法可以分为传统方法和深度学习方法。传统方法如阈值法(Fetterer et al, 1997)、专家系统(Soh et al, 2004)和机器学习方法。机器学习方法包括神经网络, 支持向量机(support vector machine, SVM)和随机森林等。Zakhvatkina等(2013)利用基于神经网络的模型分类SAR影像中的多年冰、一年冰和海水(open water, OW)。张明等(2018)基于哨兵一号(Sentinel-1) SAR影像提取得到灰度共生矩阵(gray level co-occurrence matrix, GLCM)纹理特征, 使用SVM进行海冰分类, 对比了SVM与最大似然法和神经网络的分类结果。Park等(2020)采用公开的冰图代替手动标注作为模型训练的真值, 使用基于随机森林的海冰分类模型。然而, 由于需要手动提取特征和自身建模方式的限制, 在大数据背景下传统方法逐渐不能满足更快速和更准确的海冰分类需求(Reichstein et al, 2019)。深度学习模型有强大的特征提取能力。典型的深度学习模型, 深度卷积神经网络(convolutional neural network, CNN), 已被成功应用于海冰分类, 取得了比传统方法更高的分类精度。崔艳荣等(2020)利用CNN实现了渤海的冰水分类。Boulze等(2020)搭建CNN用于区分Sentinel-1图像中开放水域、新冰、一年冰和多年冰, 证实了CNN的性能优于随机森林。Zhang等(2021)将基于CNN的深度学习模型, MSI-ResNet, 应用于高分三号(GF-3) SAR图像的夏季海冰分类。

尽管CNN在海冰分类上已经取得了一定的成功, 但存在以下几个问题有待解决。首先, CNN不是一个像素级的分类方法, 在输入影像切片的前提下(切片大小远小于影像大小), 只能输出中心像素的分类结果, 限制了分类结果的精度和分辨率。其次, 以Sentinel-1获取的SAR图像为例, 其水平-水平极化(horizontal- horizontal polarization, HH)图像的入射角效应较强, 水平-垂直极化(horizontal-vertical polarization, HV)图像有分布不均匀的热噪声。现有改良方法HH入射角校正(Park et al, 2020; 周雪飞等, 2022)和HV去噪(Park et al, 2019; Sun et al, 2021)在深度学习模型中的效果有待进一步分析。最后, 纹理信息被证实在机器学习海冰分类模型中是有效的(Soh et al, 1999; Liu et al, 2015), 但在深度学习模型中的有效性未被验证。

U-Net是一类出色的像素级分类模型, 在冰水分类(徐欢等, 2021; Ren et al, 2022)和其他海洋分类任务中取得了较高的分类精度(Gao et al, 2022; Stokholm et al, 2022; Zhou et al, 2022)。因此, 本文基于深度学习U-Net模型, 以双极化SAR图像信息为输入, 构建基于双极化SAR图像的像素级海冰多分类模型。对模型分类性能进行评估验证, 并与已有经典海冰分类模型SVM、随机森林和CNN进行对比。进一步, 针对Sentinel-1的HV图像有明显的条状热噪声和HH图像受入射角效应而亮度不均匀的特点, 设计敏感性实验, 研究HV噪声、入射角和GLCM纹理信息对本文U-Net海冰分类模型的影响。文章的第二部分介绍了研究区域, 以及模型训练和测试用到的数据和处理步骤; 第三部分详细介绍了U-Net模型的结构和原理; 第四部分通过对比实验研究了U-Net相对于其他模型的优势, 影像去噪和入射角信息对模型结果的影响, 以及GLCM的有效性; 第五部分为本文结论。

1 研究区域及数据 1.1 研究区域概况

波弗特海是北冰洋的边缘海之一, 位于阿拉斯加北部, 加拿大北极群岛和楚克奇海之间(图 1)。近年来, 波弗特海大部分海冰会在夏季消融, 有时甚至会全部消融(Babb et al, 2019), 虽然在冬季海冰仍会覆盖整个波弗特海区域, 但其中大部分多年冰已被季节性的一年冰取代(Galley et al, 2016)。波弗特海冬季的多年冰由夏季未消融化的海冰和波弗特环流输入的多年冰组成, 故波弗特环流是影响冬季内波弗特海多年冰变化的主要因素(Moore et al, 2022)。

1.2 数据获取

研究选取了2019年10月至2020年2月的15景Sentinel-1 SAR图像数据进行海分类研究, 区分影像中的海水、一年冰和多年冰。SAR图像的详细数据如表 1所示。Sentinel-1A由欧空局(European Space Agency, ESA)于2014年发射, Sentinel-1B于2016年发射, 双星工作于C波段, 重返周期为12 d。Sentinel-1在波弗特海的工作模式为超宽扫描模式(extra wide swath, EW), 获取中分辨率的地距探测影像(ground range detected, GRD)。在该工作模式下获取的SAR影像, 其空间分辨率为40 m×40 m, 幅宽400 km, 极化方式为HH和HV。2019年后, Sentinel-1对波弗特海的观测明显增多, 短时间内对整片海域的全覆盖成为可能。

2 研究方法 2.1 基于U-Net的海冰分类模型流程

图 2所示为基于U-Net的海冰分类模型的训练和测试流程。原始SAR影像在经过预处理后和切片后, 根据图像集编号分别划分为训练集和测试集。训练集用于U-Net海冰分类模型的训练和验证, 测试集用于评价模型在多种评价指标下的分类能力。

2.2 数据预处理

参照标准的处理流程(Filipponi, 2019), 数据预处理采用SNAP Desktop (sentinel application platform)软件进行了轨道校正、辐射校准、滤波、转dB值、地理编码和GLCM计算。为了减少模型训练和应用时消耗的时间成本, 影像的分辨率被降低为80 m× 80 m。为减轻HH极化图像中的入射角效应和HV极化图像中的噪声, 我们采用了入射角矫正公式(Park et al, 2020)[公式(1)]和Sun等(2021)使用到的去噪方法。优化后的图像如图 3d, 3e所示(图 3e用陆地掩膜裁去了陆地部分)。通过标注软件LabelMe, 参考过往研究(Zakhvatkina et al, 2013)、美国国家冰雪中心(the United States National Ice Center)发布的冰图和德国不来梅大学发布的多年冰密集度产品(Melsheimer et al, 2019), 人工标注了SAR影像中的海水、一年冰和多年冰(初生冰和新冰被标注为一年冰), 标注示例展示在图 3f。最后我们将每张影像裁剪为许多不重叠的256×256像素的切片, 以方便输入U-Net模型。

式中, σ为校正后的后向散射系数(单位: dB), σ⁰为校正前的后向散射系数, θ为像素的入射角[单位: (°)], θ₀为校正的标准入射角, 此处的取值为34.5°。

GLCM最早由Haralic等(1973) 提出, 用于提取图像纹理特征, 为图像分类提供更多可参考的信息。GLCM纹理特征的本质是计算图像中某一像素与周围像素间的联系, 该计算受窗口大小、量化级别、位移量和方向4个参数的影响。参考Hall-Beyer (2017), 窗口大小选取为7×7, 量化级别为64, 位移量为2, 取4个方向(0°, 45°, 90°, 和135°)计算后的均值。在GLCM基础上进一步计算出角二阶矩、对比度、相异性、能量、熵、均值、方差、同质性和最大值, 分别计算HH和HV图像的GLCM, 共计得到18种GLCM纹理特征图像。图 4展示了由HH图像计算得到9种GLCM特征图像。

2.3 基于U-Net的海冰模型模型结构

如图 5所示, U-Net结构包括输入、编码器、解码器和输出4个部分, 与字母“U”形状相似, 有近乎完全对称的编码器和解码器结构。输入包括入射角矫正后的HH极化图像和去噪后的HV极化图像, 图像大小为256×256像素。编码器用提取抽象和缩小的特征图, 不同级的编码模块提取出的特征图大小不同。得到的特征图通过解码器放大到原始大小, 获取与原始分辨率相同的分类结果, 使得U-Net成为像素级分类模型。最后通过输出得到海冰分类结果。下面将具体介绍U-Net模型的编码器、解码器和输出3个部分。

2.3.1 编码器

编码器包括四个基于CNN的编码模块。第一编码模块是步长为2×2, 卷积核为7×7的卷积层。后续三个编码模块相似, 均由一个步长为2×2, 卷积核为3×3的卷积层和三个残差卷积(residual convolutional neural network, ResNet)单元组成。残差卷积单元由堆叠的两个步长为1×1, 卷积核为3×3的卷积层和连接首尾的短路连接组成。批量标准层(batch normalization, BN)和非线性激活函数“ReLU”被应用于每个卷积层后。非线性激活函数用于避免模型训练过程中的梯度消失和梯度爆炸问题。4个编码模块所使用的卷积核数量分别为: 32、64、128和256。最终编码器提取出16×16×256的特征图, 作为解码器的输入。

2.3.2 解码器

4个解码模块用于还原特征图像的大小。第一解码模块是步长为2×2, 卷积核为3×3的反卷积层。其他三个解码模块的结构为两步长为1×1, 卷积核为3×3的残差卷积单元和一个2×2, 卷积核为3×3的反卷积层。这三个解码模块的输入由上一个解码模块的输出和同级编码模块提取的特征图组成。这种融合方式充分利用了编码器提取的特征图, 减少了图像信息的损失。256、128、64和32分别为4个解码模块的卷积核个数。解码器的输出结果为256×256×32的特征图。

2.3.3 输出层

输出层由一个步长为1×1, 卷积核为1×1的卷积层和“Softmax”激活层组, 卷积核数量分别为16和3, 输出256×256×3的分类结果。“Softmax”激活函数[公式(2)]将3个通道的输出值标准化至(0, 1)区间。三个通道分别代表海水、一年冰和多年冰, 输出值最大的通道代表分类结果。例如某一像素三个通道的输出值为(0.1, 0.2, 0.7), 则说明该像素的分类结果为多年冰。

式中x_i代表第i个通道标准化前的值, f(x_i)代表第i个通道标准化后的值。

3 模型验证 3.1 实验设置

10幅SAR图像被选取为训练和验证数据, 剩余5幅为测试图像。切片后组成的训练集、验证集和测试集的样本数分别为2 067、887和1 487个。U-Net模型的搭建基于Python 3.9, 深度学习库采用Tensorflow-Keras框架。模型在GPU服务器上运行, 配置有NVIDIA TESLA V100 32GB显卡一块。单次训练样本量(batch size)为64, 初始学习率为0.000 1, 损失函数为多分类交叉熵损失函数。在训练中采用“Early stopping”策略来避免模型过拟合, 即当模型在验证集的准确率在10次迭代内均未增长时, 结束训练过程。

3.2 评价指标

准确率(accuracy, Acc)、平均重叠度(mean intersection over union, mIoU)和Kappa系数作为海冰分类模型的评价指标。三种指标的计算依赖混淆矩阵参数: 正类预测为正类数(true positive, T_P)、负类预测为负类数(true negative, T_N)、负类预测为正类数(false positive, F_P)和正类预测为负类数(false negative, F_N)。以i = 0, 1, 2分别代表海水、一年冰和多年冰, 则T_{P, 2}、T_{N, 2}、F_{P, 2}和F_{N, 2}分别表示:

T_{P, 2}: 真实为多年冰的像素被预测为多年冰的数量;

T_{N, 2}: 真实为海水或一年冰的像素被预测为海水或一年冰的数量;

F_{P, 2}: 真实为海水或一年冰的像素被预测为多年冰的数量;

F_{N, 2}: 真实为多年冰的像素被预测为开放水域和一年冰的数量。

准确率表示所有被分类正确的像素数量在总像素中的占比, 其计算公式为

式中, A表示准确率, N表示总的像素数量, T_{P, i}表示正类预测为正类数。

mIoU描述预测的海冰类型与真实海冰类型的重叠比例, 重叠比例越大代表预测的偏差越小。mIoU的计算公式为

式中, I表示平均重叠度, T_{N, i}表示正类预测为负类数, F_{P, i}表示负类预测为正类数。

Kappa系数是评价多分类模型时常用指标, 能减弱样本不均衡对精度评价的影响。其计算公式为

式中, P_e表示期望一致率, F_{N, i}表示负类预测为正类数, K表示Kappa系数。

3.3 多模型对比实验

研究设计了多模型对比实验以说明U-Net模型在海冰分类的有效性。将U-Net对比其他三种常用的分类模型: SVM (Liu et al, 2015)、随机森林(Park et al, 2020)和CNN (Boulze et al, 2020) (CNN模型的输入大小为50×50像素)。并比较了HV极化图像去噪在不同分类模型中的提升效果。由于训练时间的限制, SVM的训练集缩减为60万个像素样本, 测试集不变。其他模型所使用的训练集和测试集与U-Net一致。

实验结果如表 2所示。U-Net海冰分类模型的Acc、mIoU、Kappa分别为90.73%、0.831、0.849, 对比SVM、随机森林和CNN模型有明显优势。U-Net和CNN在3种精度指标上均高于SVM和随机森林, 深度学习模型的分类性能更好。对比同一模型使用HV去噪前后的分类结果, 去噪对CNN和U-Net模型分类结果的影响不明显, Acc的提升小于1%, mIoU和Kappa的提升小于0.02; SVM和随机森林更依赖去噪, 两者在Acc的提升分别为3.71%和2.79%, 随机森林在mIoU和Kappa上的提升大于0.1。因此, 深度学习模型(U-Net和CNN)相对于传统机器学习模型更加鲁棒, HV去噪对其精度提升的有效性较低, 模型自身具有一定的抗噪能力。其原因是深度学习模型依托多层卷积神经网络从原始数据中自动学习有效特征, 弱化了噪声等无效特征对分类结果的影响。此外, 表 2给出了不同模型分类海水、一年冰和多年冰的准确率, 相较于其他模型, U-Net对一年冰和多年冰的分类能力更强。

为进一步验证U-Net模型的优势和HV去噪的影响, 我们选取了部分测试集中的SAR图像切片以及对应的模型分类结果展示在图 6。图 6a为原始HV图像, 可以观察到明显的条带形热噪声。图 6b为标注的真值图像。图 6c~6j为不同模型使用HV去噪的分类结果。对比图 6c, 6e与图 6d, 6f, 未去噪的SVM和随机森林模型更容易发生海水和一年冰以及一年冰和多年冰的误分, 类似误分在受噪声影响的海水区域会更加严重(图 6第1, 2行)。HV去噪对深度学习模型的提升不明显(图 6g~6j), CNN结果的分辨率低于U-Net。对比图 6第4行中的图像, U-Net对破碎多年冰的分类能力更强。综上, 本文提出的U-Net海冰分类模型较现有的SVM、随机森林和CNN模型有更高的分类精度, 在Acc、mIoU和Kappa的提升分别为4.08%~19.04%, 0.063~0.321和0.111~0.335, 并具有一定抗噪能力。

3.4 入射角对分类结果影响分析

现有研究指出, 海水、一年冰和多年冰在SAR的HH极化图像中入射角效应的影响程度不同(Mäkynen et al, 2017; Aldenhoff et al, 2020), 利用单一斜率进行入射角校正是综合考虑后的选择。将入射角信息作为模型的额外输入, 通过U-Net模型自身的非线性学习能力来利用入射角信息, 是另一种入射角信息使用方式。我们对比了3种U-Net: (1) 不使用入射角信息的U-Net_NIA; (2) 将入射角作为额外输入的U-Net_IIA; (3) 使用入射角矫正HH的U-Net的海冰分类能力[校正方法见公式(1)], 对比结果如表 3所示。

由表 3可知, 使用入射角矫正的U-Net在一年冰准确率、多年冰准确率、Acc、mIoU和Kappa五项指标上取得了最高的分数, 在海水准确率低于U-Net_IIA。这是因为SAR影像中的海水受入射角影像的程度更大, 需要比0.200 dB/(°)更大的斜率才能进一步校正海水(Mäkynen et al, 2017)。且由于波弗特海在冬季大部分时间会被海冰完全覆盖, 所以有利于分类一年冰和多年冰的入射角校正是更合适的选择。图 7展示了不同模型在同一幅测试图像(图像集15)中的分类结果。为了清晰展现入射角对分类结果的影响, 放大了图 7a中红色方框内的影像, 对比三个模型的分类结果(图 7c~7e)。图 7b为该区域的入射角影像, 从右到左入射角逐渐增大。对比图 7c~7f可以发现: 图像右侧入射角较小的区域, 三种U-Net的分类结果与真值非常相近; 在图像左侧, 入射角逐渐增大, U-Net_NIA和U-Net_IIA更容易将多年冰分类为一年冰, 合理利用入射角能减少入射角效应引起的误分。

3.5 纹理信息对分类结果影响分析

为验证深度学习模型下SAR图像纹理信息对海冰分类的作用, 我们将提取的9种GLCM纹理图像(见2.2节)分别与极化图像(HH+HV)合并构建多通道模型输入, 训练并测试U-Net模型, 其他设置保持不变。测试结果的总体精度如图 8a所示, 在加入任一种GLCM纹理图后, 模型在测试数据上的评价指标Acc, mIoU和Kappa均低于不加入GLCM的模型(HH+HV)。3种指标在合并不同的GLCM时表现出相同的波动趋势, Acc的波动幅度较小。图 8b给出了海水、一年冰和多年冰的准确率变化, 在添加除均值以外的GLCM纹理图像后, 模型对海水的分类能力均有提升, 但降低了一年冰和多年冰的准确率, 使总体的分类精度下降。因此, 在多通道输入模式下, 单一GLCM纹理信息能提高基于双极化信息U-Net海冰分类模型的海水分类能力, 但对模型总体精度的提升帮助有限。

造成上述结果的原因, 一方面是因为SAR极化图像包含的海冰类型特征的差异性较单一GLCM纹理图像中的强, 在多通道输入模式下, 模型更侧重于SAR极化图像中海冰类型特征的学习。另一方面是因为GLCM纹理图像对海水的区分度较高, 对一年冰和多年冰的区分度较弱。图 8b中能量和均质性加入后对海水的分类精度提升最明显, 因此, 我们选取这两个GLCM特征为代表, 绘制了能量和均质性在海水、一年冰和多年冰三种类型下的概率密度分布图, 如图 9所示。图中一年冰和多年冰的概率密度曲线更接近, 而海水的概率密度曲线与前两者有较大差异, 这说明在能量和均质性中海水与海冰的区分度比一年冰和多年冰的区分度更高。因此, 模型在增加GLCM输入后对海水的分类精度提升显著, 对一年冰和多年冰的分类精度没有提升。

4 结论

本文选取了15幅波弗特海区域Sentinel-1 SAR影像, 构建了基于双极化信息的U-Net海冰分类模型, 实现SAR图像中海水、一年冰和多年冰的像素级分类, 取得了较高的分类精度和高分辨率的分类结果。为验证U-Net的优势, 并研究HV噪声、入射角和GLCM对本文U-Net海冰分类模型的影响, 我们设计3个实验: ①HV去噪对不同模型分类结果影响对比实验; ②入射角信息的不同使用方式对U-Net模型分类结果影响敏感性实验; ③GLCM纹理信息对U-Net模型分类结果影响敏感性实验。通过实验结果得到结论如下:

(1) 深度学习模型的海冰分类能力优于传统的机器学习模型, 并且U-Net模型将Acc/mIoU/Kappa提升至90.73%/0.831/0.849, 较SVM、随机森林和CNN模型在Acc、mIoU和Kappa的提升分别为4.08%~19.04%, 0.063~0.321和0.111~0.335。

(2) 相较于传统的机器学习模型, 深度学习模型在HV去噪后的分类结果与去噪前相差较小, 具有一定抗噪声能力。

(3) 对于U-Net海冰分类模型, 使用入射角作为模型额外输入对分类结果有提升, 单一斜率校正HH图像更适用于分类SAR影像中的一年冰和多年冰。

(4) 在多通道输入模式下, 在双极化信息基础上加入单一GLCM纹理特征, 能提升模型对海水的分类能力, 但对一年冰和多年冰分类精度的提升不明显。

综上, 基于双极化SAR图像的U-Net模型可实现一年冰、多年冰和海水分类。未来, 将测试多种GLCM纹理特征集成输入对SAR海冰多分类的影响。同时, 选取覆盖北极其他区域的测试数据, 验证本文模型对不同区域海冰分类的适用性。

致谢 感谢欧空局提供的Sentinel-1数据和SNAP Desktop软件; 感谢阿拉斯加卫星设备(Alaska Satellite Facility, ASF)提供的Sentinel-1数据下载(网址: https://search.asf.alaska.edu/#/); 感谢美国国家冰雪中心提供的冰图数据; 感谢LabelMe数据标注软件。感谢李晓峰老师的指导和建议。