2022, Vol. 46
文章信息
- 张雪薇, 韩震, 郭鑫. 2022.
- ZHANG Xue-wei, HAN Zhen, GUO Xin. 2022.
- 深度学习在海洋信息探测中的应用: 现状与展望
- Research progress in the application of deep learning to ocean information detection: status and prospect
- 海洋科学, 46(2): 145-155
- Marina Sciences, 46(2): 145-155.
- http://dx.doi.org/10.11759/hykx20210716002
-
文章历史
- 收稿日期：2021-07-16
- 修回日期：2021-08-08
2. 上海河口海洋测绘工程技术研究中心, 上海 201306
2. Shanghai Engineering Research Center of Estuarine and Oceanographic Mapping, Shanghai 201306, China
深度学习通过对原始信号进行逐层特征变换, 将样本在原空间的特征表示变换到新的特征空间[1], 深度学习是在浅层机器学习基础上发展起来的, 通过模仿人脑的信息处理神经结构, 对外部输入的数据进行特征提取, 使得机器理解学习数据并获得信息。
深度学习作为机器学习的重要组分, 推动了人工智能的前进(图 1)。20世纪70年代和80年代是深度学习的萌芽期, 1989年, LECUN[2]第一次提出了卷积神经网络(Convolutional Neural Networks, CNN)。1997年, 长短时记忆网络(Long Short-Term Memory Network, LSTM)被提出[3]。1999年, JONES等[4]利用人工神经网络(Artificial Convolutional Neural Networks, ANN)进行海面温度分析。2006年, HINTON等[5]提出的“深度学习”概念标志着深度学习进入发展期。2014年, 门控循环神经单元网络(Gate Recurrent Unit Network, GRU)被提出[6], 作为LSTM的变体, 其本质是基于循环神经网络(Recurrent Neural Networks, RNN)的。2012年, Hinton团队在Imagenet竞赛中开发的Alexnet网络模型取得了巨大的成功, 深度学习进入了爆发阶段。从2006年至今, 随着深度学习的发展, 深度学习神经网络逐渐运用到海洋现象探测中[7], 例如: 温度[8-9]、盐度、风场、有效波高和海冰[10]的预测, 以及船舶[11-13]识别和溢油[14-15]、涡旋检测[16]等。本文主要从海洋信息探测中的应用角度, 讨论深度学习神经网络模型的研究进展。
 |
| 图 1 人工智能、机器学习和深度学习关系 Fig. 1 Artificial intelligence, machine learning and deep learning relationship diagram |
深度学习主要通过深度神经网络(Deep Neural Network, DNN)将底层的特征映射到高层, 并且通过高层将特征抽象出来[17]。深度学习采用了神经网络类似的分层结构, 多层网络结构由输入层、隐藏层、输出层组成, 在神经元之间的每个连接都有一定的权重(图 2)。深度学习模型构建了复杂的多层网络, 下一层的输入为上一层的输出, 通过多层非线性运算将提取到的样本底层特征组合成更加抽象的高级特征来达到高层特征的可视化。深度网络包含多层非线性映射且具有多个隐藏层, 每一层可以提取出相应的特征, 模型经过提取和结合来获得利于分类的高级特征。其特点可以概括为深层次、非线性和逐层特征提取[18]。
 |
| 图 2 深度学习原理图 Fig. 2 Deep learning schematic diagram |
卷积神经网络CNN作为一种带有卷积结构的多层前馈神经网络, 是海洋目标识别与检测常用的深度学习模型。CNN由多层神经网络组成, 且每层神经网络由多个二维平面组成, 在每个平面中拥有多个独立神经元。CNN由输入层、卷积层、池化层、全连接层及输出层构成。卷积层利用卷积核对输入数据进行特征学习, 卷积核的大小和数量通过人为设定, 卷积核内权重共享; 池化层将对来自卷积层的数据进行下采样处理, 这种方式的好处是使感受野变得更大、数据量被不断压缩、参数量明显降低; 全连接层的主要作用是将数据特征进行连接, 将数据以需要的维度形式输出(图 3)。
 |
| 图 3 CNN基本结构 Fig. 3 CNN basic structure |
循环神经网络RNN是海洋环境信息因子预测常用的深度学习模型, 其通过事件发生的先后关系来挖掘时间维度的特征。RNN通过引入定向循环来使得隐藏节点定向连接成环, 从而更有利于信息传递, 其将同层间不同的神经元进行连接并且在同一时间上的网络层可共享权值参数, RNN的输入是向量序列, 输出也是, 从而体现出数据的时间序列性(图 4)。输入数据X经过线性运算后连接包含权重和偏置项的隐藏层, 经过线性运算后输出值。其中W为隐藏层的权重, 隐藏层之间通过节点相连接, 并在序列数据中共享权重。权重W会在每个小时(h)时刻后更新, 挖掘出序列变化的特征, 最终的输出会受到前面多个输入层的影响。RNN的具体计算公式如下:
| $ h_{k}=f_{h}\left(\boldsymbol{W}_{i h} x_{k}+\boldsymbol{W}_{h h} x h_{k-1}+b_{h}\right), $ | (1) |
 |
| 图 4 循环神经网络结构图 Fig. 4 Structure diagram of the recurrent neural network |
其中, Wih为从输入层到隐层的连接矩阵; Whh为隐层相邻时刻之间的连接矩阵; Who为隐层到输出层的连接矩阵; hk为k时刻, RNN隐层的状态向量; bh为偏置向量; fh为非线性激活函数; 在RNN中, fh通常为sigmoid或tanh函数。通过hk计算ok的过程为:
| $ o_{k}=f_{o}\left(\boldsymbol{W}_{h o} h_{k}+b_{o}\right) $ | (2) |
其中, bo为输出层的偏置向量; fo为非线性激活函数。
RNN中的门控算法有可以分为LSTM和GRU。
3 海洋环境信息因子预测 3.1 海洋环境信息因子预测深度学习神经网络模型 3.1.1 长短时记忆网络LSTM2001年, Felix将LSTM理论引入RNN, LSTM在RNN的基础上增加了门结构和细胞状态, 其中门结构用来控制之前时刻的信息保留量, 而细胞状态用来记录时间序列特征。其采用了门函数对神经元中的信息进行输入输出控制, 克服了RNN难以训练和梯度消失等问题。
根据LSTM的主要参数公式如下(
| $ {i_t} = \sigma \left( {{W_{wi}}{x_t} + {W_{hi}}{h_{t - 1}} + {W_{ci}} \circ {c_{t - 1}} + {b_i}} \right), $ | (3) |
| $ {f_t} = \sigma \left( {{W_{xf}}{x_t} + {W_{hf}}{h_{t - 1}} + {W_{cf}} \circ {c_{t - 1}} + {b_f}} \right), $ | (4) |
| $ {c_t} = {f_t} \circ {c_{t - 1}} + {i_t} \circ {\text{tanh}}\left( {{W_{xc}}{x_t} + {W_{hc}}{h_{t - 1}} + {b_c}} \right), $ | (5) |
| $ {o}_{t}= \sigma \left({W}_{xo}{x}_{t}+{W}_{ho}{h}_{t-1}+{W}_{co}\circ {c}_{t}+{b}_{o}\right), $ | (6) |
| $ {h_t} = {o_t} \circ \tanh \left( {{c_t}} \right), $ | (7) |
其中, i, f, o分别表示输入门, 遗忘门和输出门; x表示网络输入; W表示网络参数, b表示偏置量; h表示隐藏状态。
ConvLSTM(Convolutional Long Short-Term, ConvLSTM)本质和LSTM是一致的, 其区别在于网络层之间的信息传递方式的差异。ConvLSTM采用LSTM门结构方式进行信息流动控制。LSTM与ConvLSTM的差异主要是各个门结构中的信息输入由点积改为卷积, 细胞状态更新点积保持不变。
| $ {i_t} = \sigma \left( {{W_{wi}}*{x_t} + {W_{hi}}*{h_{t - 1}} + {W_{ci}} \circ {c_{t - 1}} + {b_i}} \right), $ | (8) |
| $ {f_t} = \sigma \left( {{W_{xf}}*{x_t} + {W_{hf}}*{h_{t - 1}} + {W_{cf}} \circ {c_{t - 1}} + {b_f}} \right), $ | (9) |
| $ {c_t} = {f_t} \cdot {c_{t - 1}} + {i_t} \circ \tanh \left( {{W_{xc}}*{x_t} + {W_{hc}}*{h_{t - 1}} + {b_c}} \right), $ | (10) |
| $ {o}_{t}= \sigma \left({W}_{xo}*{x}_{t}+{W}_{ho}*{h}_{t-1}+{W}_{co}\circ {c}_{t}+{b}_{o}\right) , $ | (11) |
| $ {h_t} = {o_t} \cdot \tanh \left( {{c_t}} \right), $ | (12) |
其中, it为输入门, ct为细胞状态, ft为遗忘门, ot为输出门, ht为隐含层输出, σ为sigmoid函数。
3.1.2 门控循环神经单元网络GRU门控循环神经单元网络GRU在2014年提出, GRU有2个门: 1个更新门, 1个重置门。与LSTM 3个门相比, GRU所需的参数少且简单, 但能保持与LSTM相当的性能, 而且训练收敛时间更快[19-20]。GRU模型是基于卷积的空间模型, 公式如下:
| $ {Z_t} = \sigma \left( {{W_z} \cdot \left[ {{h_{t - 1}},{x_t}} \right]} \right), $ | (13) |
| $ {r_t} = \sigma \left( {{W_r} \cdot \left[ {{h_{t - 1}},{x_t}} \right]} \right), $ | (14) |
| $ {\hat h_t} = \tanh (W \cdot \left[ {{r_t}*{h_{t - 1}},{x_t}} \right]), $ | (15) |
| $ {h_t} = \left( {1 - {Z_t}} \right)*{h_{t - 1}} + {Z_t}*{\hat h_t}, $ | (16) |
其中,
ConvGRU(Convolutional Gate Recurrent Unit network, ConvGRU)模型是GRU的扩展算法。ConvGRU的本质是在矩阵运算基础上加上了卷积运算, 这样ConvGRU结构不仅能够计算其时序特征, 还可以提取空间特征。ConvGRU模型采用门结构控制信息流动, 权重分别放到了卷积核和循环层的循环核内。
ConvGRU模型是基于卷积的空间模型, 公式如下:
| $ {Z_t} = \sigma \left( {{W_{xz}}*{x_t} + {W_{hz}}*{H_{t - 1}}} \right), $ | (17) |
| $ {R_t} = \sigma \left( {{W_{xr}}*{x_t} + {W_{hr}}*{H_{t - 1}}} \right), $ | (18) |
| $ {H'_t} = f\left( {{W_{xh}}*{x_t} + {R_t} \circ \left( {{W_{hh}}*{H_{t - 1}}} \right)} \right), $ | (19) |
| $ {H_t} = \left( {1 - {Z_t}} \right) \circ {H'_t} + {Z_t} \circ {H_{t - 1}}, $ | (20) |
其中,
将深度学习模型和海洋现象预测相结合, 开展基于深度学习的海洋环境因子预测研究, 对于拓展人工智能在海洋领域的应用具有重要的意义。海洋环境信息因子的预测模型主要有LSTM和GRU以及其两者与卷积模型的结合和扩展模型, 如ConvGRU、ConvLSTM、M-convLSTM、M-LCNN和BiLSTM等, 再以温度、盐度、有效波高、风场和海冰等海洋环境要素为研究对象, 结合数据特征来进行相关的预测分析, 图 5为海洋环境信息因子预测模型的结构示意图。
 |
| 图 5 海洋环境信息因子的预测模型 Fig. 5 Prediction model of marine environmental information factors |
海温预测的方法可归纳为数值方法、数据驱动方法和两者结合3种。数值方法是基于物理、化学和生物参数以及他们之间复杂的相互作用而建立的, 数值方法通常比较复杂, 在海洋甚至全球尺度上预测海表温度的分辨率相对较低。数据驱动方法以数据为中心, 通过观测数据发现海表温度预测模式和关系式, 数据驱动的方法需要比较少的海洋和大气领域的知识, 不像数值方法那么复杂, 因而适用于较小尺度下的高分辨率海温预测, 这类方法包含统计方法和深度学习方法等。2007年, ELISA等[21]利用ANN较好地预测了地中海西部海表面温度的季节和年际变化。2017年, QIN等[22]采用LSTM对中国沿海海域的海表温度进行预测并验证了该方法的有效性, 预测平均准确度为0.98。2017年, JIANG等[23]分析了温度、盐度和地理位置特征对温跃层的影响, 并提出了一种改进的基于熵值法的跃层选择模型来预测温度变化。2019年, BRONIBEDAIKO等[24]提出了一种利用LSTM气候网络来提取网络指标, 从而预测ENSO现象的方法。2019年, XIAO等[25]提出了一种能够分析海表温度时空相关性的时空深度学习模型, 对短期和中期海表温度场的预测具有较高的准确性。2020年, ZHANG等[26]提出一个多层回旋的长期和短期记忆(M-convLSTM)预测三维海洋温度模型, 并利用ARGO数据进行全球三维海洋温度预测。XU等[27]提出了M-LCNN(Multi-Long Short-Term Memory Convolution Neural Network)预测模型, 并利用小波变换对时间序列进行了分解和重构并在多个时间尺度上预测了海表温度序列的变化。2020年, WEI等[28]基于LSTM的深度神经网络对2015—2018年0.05 ℃空间分辨率的海表温度进行预测, 发现中国海域东南部的预测精度最高。利用LSTM和GRU等模型的变体, 海温预测模型可以将一系列孤立的时间点相结合来建立起大范围的海温场, 在不同的区域建立特征模型, 甚至可以通过建立三维预测模型来预测海面到深层的水平和垂直的温度变化。
3.2.2 盐度海水盐度的传统预测方法使用传感器实测数据, 采用不同的算法来估算盐度的值, 而基于深度学习的海水盐度预测模型在处理大数据时, 优势明显。2019年, SONG等[29]提出了双路径GRU网络(DPG), 对南海海表面盐度数据集进行预测, 准确率在96.85%以上。同年, MEDINA-LOPEZ等[30]建立了一个深度神经网络, 将传感器数据与来自世界各地不同浮标、船只和其他平台的现场数据联系起来, 试验结果表明盐度和温度的相关系数分别为82%和84%。2020年, RAJABI-KIASARI等[31]利用人工神经网络等机器学习方法, 在波斯湾地区基于SMAP卫星对海表面盐度进行建模。通过盐度的预测模型, 有效减少了传统方法中出现的预测误差, 从而获得了更加准确的预测结果。盐度的预测模型需要进一步和观测数据相结合, 注重原始数据的质量, 才能有效地提高盐度的预测效果。
3.2.3 风场深度学习预测模型可以从大量变量数据集中提取隐藏特征, 提高泛化能力且在处理大量顺序时间数据集时效率更高, 因而可以更加有效地预测风场各项参数。2020年, 王国松等[32]利用LSTM模型进行了海面风场短时预报的研究, 发现该模型可以大幅降低风速预报误差。2020年, 李蓉蓉等[33]提出了一种基于LSTM以及时间序列分析法的预测算法, 并有效提高了短期风速序列预测精度, ARIMA+LSTM的MAE(平均绝对误差)为0.755。2020年, PANDIT等[34]提出LSTM和Markov两种数据驱动的方法预报风速。2020年, WEI等[35]使用了LSTM等机器学习技术, 在台湾东北部构建了风速预测模型, 发现LSTM比没有记忆容量的模型网络更准确。2020年, LIAN[36]提出了一种基于自动编码器(AE)和门控循环单元(GRU)模型的数据驱动方法, 利用历史热带气旋路径和各种气象属性预测热带气旋登陆位置。2021年, LI等[37]提出了一种基于OWTs状态评估(CA)的超短期海上风电功率预测(WPP)方法, 通过引入LSTM来处理海上风力发动机各种监测数据与海洋动态环境之间的复杂交互作用。基于深度学习的风速预测模型不但可以提高短期风速预报结果不理想的问题, 还可以用来预测超短期海上风电功率, 为海上风力发电提供了一定的保障。随着深度学习的发展, 风速预测模型越来越注重以数据为驱动, 但是对多个相互作用的多尺度过程, 如台风等预报, 如何进行高精度的风速预报还是需要进一步探索。
3.2.4 有效波高传统预测有效波高的方法有经验模型、数值模型和机器学习方法, 经验模型在数据序列的稳定性和线性方面有着缺陷, 而数值模型的投入成本较高。深度学习模型作为机器模型的发展模型, 可以利用统计学来获得隐藏在历史时间序列中的空间和时间联系, 对短期和极端事件有着较好的预测能力。2020年, 朱晓雯等[38]发现SRCNN2一种高分辨率处理方法, 在整体效果、局部细节和计算效率方面比较优秀。2021年, WANG等[39]采用GRU深度学习方法, 进行了台湾海峡及其附近海域的有效波高预报, 发现GRU的总体性能令人满意, 预报速度快、波动小、适应性好, 以某浮标站为例, 在超前时间为3、6、12和24 h时, GRU预测的均方根误差分别为0.234、0.299、0.371和0.479。利用有效波高预测模型, 可以有效地减少沿海的灾害风险从而达到防灾减灾的效果, 从而更好地预测海况, 进行海浪精细化预报。单一变量的预测会导致有效波高的精度不高, 加入风向和波浪方向等特征变量可以在一定程度上提高有效波高的预测精度。
3.2.5 海冰准确预测海冰可以保障船舶安全航行, 由于观测资料的局限性和海冰高度非线性的动态变化, 传统的统计算法只能建立逐点的模型, 忽略了相邻点之间的相互作用, 基于海冰的深度学习预测模型可以引入时间维信息和空间信息从而提高模型的预测效果。2019年, PETROU等[40]提出了一种基于卷积长短时记忆单元的编解码器网络的方法预测海冰运动, 发现该方法能够有效地预测未来10 d内的海冰运动状况。2020年, 焦艳等[41]利用长短时记忆神经网络建立了辽东湾海冰延伸期预报模型, 预报的平均绝对误差为4.1 nmile~5.7 nmile, 均方根误差为5.4 nmile~7.5 nmile。2021年, LIU等[42]提出了一种基于ConvLSTM算法的海冰密集度日预测模型, 将ConvLSTM模型和CNNs模型的时空尺度进行比较, 发现ConvLSTM的预测效果优于CNNs。海冰预测模型的关键是如何利用预测模型来更好地描述其物理过程, 并与大气和海洋模型耦合, 深度学习预测模型在一定程度上弥补传统模型的不足。
在海洋的预测中, 海洋数据呈现出体量大、类型杂、时效强、难以辨识和高价值等明显的大数据特征。然而, 与数据获取能力形成鲜明对比的是数据处理能力亟需提高。海洋数据的处理目前大部分仍然停留在“数据到数据”的阶段, 在实现从数据到知识的转化上明显不足, 对海量的海洋数据利用率低。海量的数据从多粒度、多时相、多方位和多层次反映了各种海洋环境状态。温度、盐度、风场、有效波高和海冰等海洋要素是重要的海洋环境因子。其预测主要基于卷积神经网络模型和循环神经网络模型来实现, 卷积神经网络模型可以对海洋要素中的空间特征进行提取, 循环神经网络模型可以对海洋要素中的时间特征进行提取。模型输入层参数一般由数据的特征向量维数决定, 输出层由预测的参数类别决定。如何有效地挖掘其信息, 并对其时序关系和空间特征进行提取, 增加预测模型的适用性, 需要建立多因素驱动的预报模型来获得更准确的预报结果。
4 海洋目标识别与检测 4.1 深度学习神经网络模型传统特征提取方法[43]准确度差且泛化能力低, 随着卷积神经网络的出现, 深度学习在特征提取[44]中越来越受到重视, 主要的目标检测模型包括基于候选区域的网络模型和基于回归方法的网络模型。基于候选区域的目标检测模型是通过Selective Search和Edge Boxes等候选区域提取方法在待测图像中预先找出目标可能存在的位置, 并通过结合卷积扩展模型在候选区域中提取相应特征, 基于候选区域的目标检测主要模型有: R-CNN[45], Fast R-CNN[46], Faster-R-CNN[47]和R-FCN[48](表 1)。基于回归方法的目标检测模型是基于待测图像快速选取多个位置, 计算出对应的目标边框和种类, 模型本质是目标检测和回归求解问题之间的转换, 也就是根据目标检测的输出值, 使用权重参数将其分类, 并与目标框预测建立关联, 然后进行计算。此时, 模型可以直接利用CNN提取图像特征, 并输出待预测的特征向量, 直接得到目标检测结果, 其主要模型有YOLO(You Only Look Once, YOLO)系列[49-50]的检测模型和SSD(Single Shot Multib ox Detector, SSD)系列[51]的检测模型。
| 模型 | 提出时间 | 特征提取模块 | 关键步骤 | 意义 |
| R-CNN | 2014年 | VGG | 区域建议、特征提取(生成候选区域)、目标分类 | 将目标检测算法与深度学习方法相结合 |
| Fast R-CNN | 2015年 | VGG | 候选目标的图像进行输入, 对Selective Search提出的候选区域所对应的特征图像进行分类 | 减少了冗余计算, 提高了计算并行能力, 使得运算速度提高 |
| Faster-R-CNN | 2015年 | ResNet | 使用了RPN(Region Proposal Network)生成候选区域, R-CNN的3个处理步骤可以在同一个CNN中完成 | 降低了在区域建议的开销 |
| R-FCN | 2016年 | ResNet | 基于Faster R-CNN, 保留RPN用以提取候选框并将Fast R-CNN替换为全卷积网络 | RPN和Fast R-CNN结合 |
将深度学习应用于海洋目标识别与检测的研究, 是将卷积神经网络和其他神经网络模型相结合, 再以船舶识别、溢油和涡旋等海洋目标为研究对象, 结合其特征来进行相关的识别与检测分析, 图 6为海洋目标识别与检测深度学习神经网络模型的结构示意图。
 |
| 图 6 海洋目标识别的检测模型 Fig. 6 Detection model of marine target recognition |
船舶识别对航运业的蓬勃发展起着重要的作用, 传统的船舶识别方法普遍存在精度低、易受到复杂海面干扰等问题。基于深度学习的船舶识别技术可以提高其准确性和识别速度, 对于提高海事管理水平具有重要意义。2019年, HE等[52]提出了一种基于单点多盒检测器SSD深度学习的舰船目标识别方法实现了目标特征的自适应提取与识别。同年, ZHOU等[53]利用声纳图像有效地识别了不同深度的目标, 并利用一种基于共享潜在稀疏特征和深度信念网络的复合卷积神经网络来学习声纳图像, 其准确率最高可达93.34%。2020年, HUANG等[54]提出了ship-YOLOv3方法, 该方法可以减少部分卷积操作, 增加跳跃连接机制, 从而减少特征冗余使得船舶识别的精度提高了12.5%, 召回率提高了11.5%。2021年, JIN等[55]提出了一种基于改进SSD的船舶遥感图像目标检测算法, 通过在浅层特征层中加入特征融合模块来提高小目标的特征提取能力, 与传统的SSD等算法相比, 改进后的算法检测精度更高。2021年, LIU等[56]在改进基于Faster区域的卷积网络(R-CNN)的基础上, 提出了一种检测任意方向舰船的方法, 在开放数据集和一些大尺度、真实的图像上进行了测试, 实验结果表明该方法具有较好的性能。船舶识别的深度学习模型在海上救援、船只出入境监控、海外贸易统计和渔船监控等方面起着重要的作用。船舶的识别精度在复杂场景下易受到影响, 且采用的数据集的质量、其船舶行为也会影响其识别结果。
4.2.2 溢油溢油检测传统方法的特征提取和基于像素的分类会受到散斑、以及溢油和相似物相互重叠的影响。而基于深度学习的分类方法可以利用空间信息来抑制上述问题, 从而提高分类的精度。2020年, YEKEEN等[57]基于掩膜区域的卷积神经网络来进行溢油检测, 发现船舶检测和分割性能较好, 其总体准确率为98.3%。SONG等[58]提出了一种利用CNN多层深度特征提取的海洋溢油识别方法, 该方法可以提高溢油检测的准确性, 降低误报率, 有效区分溢油和生物浮油。张天龙[59]使用Faster-RCNN模型, 建立了基于Faster-RCNN的溢油检测方法, 发现Faster-RCNN的溢油检测率、溢油虚警率和样本识别率分别为73.4%, 27.30%和76.90%。HUANG等[60]采用Faster R-CNN进行单光谱成像的HNS (Hazardous and Noxious Substances, HNS)识别, 发现365 nm单光谱紫外成像结合Faster R-CNN对漂浮在水面的透明HNS具有较好的识别能力。金韵[61]基于YOLOv3溢油识别模型与轮廓提取算法, 实现了溢油的识别和边缘检测。在利用深度学习模型进行溢油检测中, 船舶、岛屿等溢油以外的特征会影响溢油的识别, 因此, 还需要进一步解决在复杂场景中溢油和其相似物的识别和分割问题。
4.2.3 涡旋传统的涡旋检测方法主要基于人工检测, 对阈值的控制和其检测结果不直观, 在一定程度上影响着检测的效果, 而基于深度学习的涡旋检测可以很好地解决这些问题。2020年, 张盟等[62]提出了一种基于卷积神经网络的多涡旋检测模型, 用数据集SCSE-Eddy进行模型训练和评估, 解决了涡旋检测的问题。同年, 谢鹏飞等[63]提出EddyYolo模型, 并利用该模型进行中尺度涡的中心和水平尺度的多目标检测, 发现其准确率达到94%。通过高质量的涡旋数据集的建立, 基于深度学习的涡旋检测模型可以较好地实现基于物理特征的中尺度涡检测。
在海洋目标识别和检测中, 主要基于卷积神经网络模型的扩展模型来实现, 卷积神经网络模型在特征提取和分类过程中对图像的局部特征有着准确的识别能力, 且与其他图像识别算法相比, 卷积神经网络模型预处理时间少, 缩短了学习时间, 减少了学习参数的数据量, 与传统检测模型相比, 性能有很大改善。虽然检测速度与精度大幅度提高, 但是基于深度学习的显著性目标识别和检测模型也还存在不足, 如复杂背景下的显著性目标识别和检测性能有待进一步提升, 识别和检测的实时性有待提高, 模型复杂度需要降低等, 其中采用的数据集的质量是提高目标识别和检测质量的重中之重。
5 总结与展望深度学习算法的本质是通过提取训练数据中的统计特征来达到内在模式的进化。通过建立对信号自底向上的高层语义映射关系使得网络初始化, 然后自顶向下通过监督学习进行优化迭代计算来实现网络的整体调优, 即分层级的特征提取过程, 其特征提取得越多、越准确。若过分依赖训练数据, 则会出现过拟合现象; 反之若特征提取得少, 则容易出现欠拟合。
目前深度学习在海洋信息探测中的应用现状存在两个方面的问题: 一是原创性的海洋信息探测深度学习算法研究还在初级阶段, 急需加快海洋信息探测深度学习算法开发, 提升深度学习在海洋探测领域使用广度和深度, 加强海洋信息探测深度学习算法创新能力建设。二是海洋信息探测深度学习算法标准很多还没有制定, 为实现深度学习算法服务由标准化服务向定制服务转变, 实现海洋信息探测深度学习算法标准化生产, 必须加快海洋信息探测深度学习算法标准制定和修订步伐。
针对深度学习在海洋信息探测中的应用现状, 我们主要有以下几点展望:
(1) 坚持目标导向、问题导向和效果导向, 开展海洋信息探测深度学习算法创新能力建设。
(2) 在现有的海洋信息探测深度学习算法基础上, 面对海洋环境信息大数据特征, 建立海洋环境信息样本库和建立适应高维度、多尺度、非平稳特征的海洋环境信息神经网络预测模型。
(3) 利用海洋信息探测的海量数据来训练模型参数, 提高模型的训练速度和训练精度, 有效地结合传统方法的优点和物理参数的本身性质, 并在此基础上加入其他气象要素和海洋要素信息来提高深度学习的预测准确度, 挖掘其信息来对其时序关系和空间特征增加预测模型的适用性。
(4) 改进在复杂背景下深度学习的显著性目标识别和检测方法, 提高实时性, 提高模型的区域性效果和整体适用性效果, 使得其识别和检测结果达到较高的准确度。
(5) 开展海洋信息探测深度学习算法技术标准研究与制定, 探索建立基于深度学习的海洋信息探测体系。
(6) 开展深度学习在海洋信息探测中的应用示范, 服务海洋工程的实施和生态效益评价。
| [1] |
尹宝才, 王文通, 王立春. 深度学习研究综述[J]. 北京工业大学学报, 2015, 41(1): 48-59. YIN Baocai, WANG Wentong, WANG Lichun. Review of deep learning[J]. Journal Of Beijing University of Technology, 2015, 41(1): 48-59. |
| [2] |
LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient- based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. DOI:10.1109/5.726791 |
| [3] |
HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780. DOI:10.1162/neco.1997.9.8.1735 |
| [4] |
JONES C, PETERSON P, GAUTIER C, et al. A new method for deriving ocean surface specific humidity and air temperature: an artificial neural network approach[J]. Journal of Applied Meteorology, 1999, 38(8): 1229-1245. DOI:10.1175/1520-0450(1999)038<1229:ANMFDO>2.0.CO;2 |
| [5] |
HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2014, 18(7): 1527-1554. |
| [6] |
CHO K, MERRIËNBOER V B, GULCEHRE C, et al. Learning phrase representations using RNN encoder- decoder for statistical machine translation[J]. Computer Science, 2014, 1406: 1078. |
| [7] |
HUANG A, VEGA-WESTHOFF B, SRIVER R L. Analyzing El Nio-southern oscillation predictability using long-short-term-memory models[J]. Earth and Space Ence, 2019, 6(2): 212-221. DOI:10.1029/2018EA000423 |
| [8] |
KIM M, YANG H, KIM J. Sea surface temperature and high water temperature occurrence prediction using a long short-term memory model[J]. Remote Sensing, 2020, 12(21): 3654. DOI:10.3390/rs12213654 |
| [9] |
YANG Y T, DONG J Y, SUN X, et al. A CFCC-LSTM model for sea surface temperature prediction[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(2): 207-211. DOI:10.1109/LGRS.2017.2780843 |
| [10] |
MOZAFFARI A, SCOTT K A, AZAD N L, et al. A hierarchical selective ensemble randomized neural network hybridized with heuristic feature selection for estimation of sea-ice thickness[J]. Applied Intelligence, 2017, 46(1): 16-33. DOI:10.1007/s10489-016-0815-x |
| [11] |
NIETO-HIDALGO M, GALLEGO A J, GIL P, et al. Two-stage convolutional neural network for ship and spill detection using SLAR images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 56(9): 5217-5230. |
| [12] |
WANG Z, Y ZHOU, WANG F, et al. SDGH-Net: Ship detection in optical remote sensing images based on gaussian teatmap regression[J]. Remote Sensing, 2021, 13(3): 499. DOI:10.3390/rs13030499 |
| [13] |
SHI J W, JIANG Z G, ZHANG H P. Few-shot ship classification in optical remote sensing images using nearest neighbor prototype representation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 3581-3590. DOI:10.1109/JSTARS.2021.3066539 |
| [14] |
WANG B, SHAO Q, SONG D, et al. A spectral-spatial features integrated network for hyperspectral detection of marine oil spill[J]. Remote Sensing, 2021, 13(8): 1568. DOI:10.3390/rs13081568 |
| [15] |
ZHANG J, FENG H, LUO Q, et al. Oil spill detection in quad-polarimetric SAR images using an advanced convolutional neural network based on superpixel model[J]. Remote Sensing, 2020, 12(6): 944. DOI:10.3390/rs12060944 |
| [16] |
GEORGE T M, MANUCHARYAN G E, THOMPSON A F. Deep learning to infer eddy heat fluxes from sea surface height patterns of mesoscale turbulence[J]. Nature Communications, 2021, 12(1): 800. DOI:10.1038/s41467-020-20779-9 |
| [17] |
石志国, 杨志勇. 深度学习降维过程中的信息损失度量研究[J]. 小型微型计算机系统, 2017, 38(7): 1590-1594. SHI Zhiguo, YANG Zhiyong. Research on the measurement of information loss in the dimension reduction of deep learning[J]. Journal of Chinese Computer Systems, 2017, 38(7): 1590-1594. DOI:10.3969/j.issn.1000-1220.2017.07.031 |
| [18] |
乔风娟, 郭红利, 李伟, 等. 基于SVM的深度学习分类研究综述[J]. 齐鲁工业大学学报, 2018, 32(5): 39-44. QIAO Fengjuan, GUO Hongli, LI Wei, et al. Research on deep learning classification based on SVM: A Review[J]. Journal of Qilu University of Technology, 2018, 32(5): 39-44. |
| [19] |
KE B, ZHENG H, CHEN L, et al. Multi-object tracking by joint detection and identification learning[J]. Neural Processing Letters, 2019, 50(1): 283-296. DOI:10.1007/s11063-019-10046-4 |
| [20] |
KONG B, WANG X, BAI J, et al. Learning tree-structured representation for 3D coronary artery segmentation[J]. Computerized Medical Imaging and Graphics, 2019, 80: 101688. |
| [21] |
ELISA G G, JOAN G S. Prediction of sea surface temperatures in the western mediterranean sea by neural networks using satellite observations[J]. Geophysical Research Letters, 2007, 34(11): L11603. DOI:10.1029/2007GL029888 |
| [22] |
QIN Z, HUI W, DONG J, et al. Prediction of sea surface temperature using long short-term memory[J]. IEEE Geoence and Remote Sensing Letters, 2017, 14(10): 1745-1749. DOI:10.1109/LGRS.2017.2733548 |
| [23] |
JIANG Y, GOU Y, ZHANG T, et al. A machine learning approach to argo data. analysis in a thermocline[J]. Sen sors, 2017, 17(10): 2225. |
| [24] |
BRONIBEDAIKO C, KATSRIKU F, UNEMI T, et al. El Niño-southern oscillation forecasting using complex networks analysis of LSTM neural networks[J]. Artificial Life and Robotics, 2019, 24(4): 445-451. DOI:10.1007/s10015-019-00540-2 |
| [25] |
XIAO C, CHEN N, HU C, et al. A spatiotemporal deep learning model for sea surface temperature field prediction using time-series satellite data[J]. Environmental Modelling & Software, 2019, 120: 104502. |
| [26] |
ZHANG K, GENG X, YAN X H. Prediction of 3-D ocean temperature by multilayer convolutional LSTM[J]. IEEE Geoence and Remote Sensing Letters, 2020, 17(8): 1303-1307. DOI:10.1109/LGRS.2019.2947170 |
| [27] |
XU L Y, LI Y F, YU J, et al. Prediction of sea surface temperature using a multiscale deep combination neural network[J]. Remote Sensing Letters, 2020, 11(7): 611-619. DOI:10.1080/2150704X.2020.1746853 |
| [28] |
WEI L, GUAN L, QU L, et al. Prediction of sea surface temperature in the China seas based on long short-term memory neural networks[J]. Remote Sensing, 2020, 12(17): 2697. DOI:10.3390/rs12172697 |
| [29] |
SONG T, WANG Z, XIE P, et al. A novel dual path gated recurrent unit model for sea surface salinity prediction[J]. Journal of Atmospheric and Oceanic Technology, 2019, 37(2): 317-325. |
| [30] |
MEDINA-LOPEZ E, UREA-FUENTES L. High-resolution sea surface temperature and salinity in the global ocean from raw satellite data[J]. Remote Sensing, 2019, 11(19): 2191. DOI:10.3390/rs11192191 |
| [31] |
RAJABI-KIASARI S, HASANLOU M. An efficient model for the prediction of SMAP sea surface salinity using machine learning approaches in the Persian Gulf[J]. International Journal of Remote Sensing, 2020, 41(8): 3221-3242. DOI:10.1080/01431161.2019.1701212 |
| [32] |
王国松, 王喜冬, 侯敏, 等. 基于观测和再分析数据的LSTM深度神经网络沿海风速预报应用研究[J]. 海洋学报, 2020, 42(1): 67-77. WANG Guosong, WANG Xidong, HOU Min, et al. Research on application of LSTM deep neural network on historical observation data and reanalysis data for sea surface wind speed forecasting[J]. Haiyang Xuebao, 2020, 42(1): 67-77. |
| [33] |
李蓉蓉, 戴永. 基于LSTM和时间序列分析法的短期风速预测[J]. 计算机仿真, 2020, 37(3): 393-398. LI Rongrong, DAI Yong. Short-term wind speed prediction based on short and longtime memory network and time series analysis method[J]. Computer Integrated Manufacturing Systems, 2020, 37(3): 393-398. DOI:10.3969/j.issn.1006-9348.2020.03.083 |
| [34] |
PANDIT R K, KOLIOS A J, INFIELD D. Data-Driven weather forecasting models performance comparison for improving offshore wind turbine availability and maintenance[J]. IET Renewable Power Generation, 2020, 14(13): 2386-2394. DOI:10.1049/iet-rpg.2019.0941 |
| [35] |
WEI C C. Development of stacked long short-term memory neural networks with numerical solutions for wind velocity predictions[J]. Advances in Meteorology, 2020, 2: 1-18. |
| [36] |
LIAN J, DONG P P, ZHANG Y P, et al. A novel deep learning approach for tropical cyclone track prediction based on auto-encoder and gated recurrent unit networks[J]. Applied Sciences, 2020, 10(11): 3965. DOI:10.3390/app10113965 |
| [37] |
LI S, HUANG L L, LIU Y, et al. Modeling of ultra- short term offshore wind power prediction based on condition-assessment of wind turbines[J]. Energies, 2021, 14(4): 891. DOI:10.3390/en14040891 |
| [38] |
朱晓雯, 侯宇, 刘玉海, 等. 深度学习方法在海浪有效波高数据高分辨率处理中的应用[J]. 中国海洋大学学报(自然科学版), 2020, 50(11): 22-29. ZHU Xiaowen, HOU Yu, LIU Yuhai, et al. Application of deep learning method in high resolution processing of significant wave height[J]. Periodical of Ocean University of China, 2020, 50(11): 22-29. |
| [39] |
WANG J C, WANG Y, YANG J G. Forecasting of significant wave height based on gated recurrent unitnNetwork in the Taiwan Strait and its adjacent waters[J]. Water, 2021, 13(1): 86. DOI:10.3390/w13010086 |
| [40] |
PETROU Z I, TIAN Y. Prediction of sea ice motion with convolutional long short-term memory networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6865-6875. DOI:10.1109/TGRS.2019.2909057 |
| [41] |
焦艳, 黄菲, 高松, 等. 基于长短时记忆神经网络的辽东湾海冰延伸期预报方法研究[J]. 中国海洋大学学报(自然科学版), 2020, 50(6): 1-11. JIAO Yan, HUANG Fei, GAO Song, et al. Research on extended-range forecast model of sea ice in the Liadong Bay based on long short term memory network[J]. Periodical of Ocean University of China, 2020, 50(6): 1-11. |
| [42] |
LIU Q, ZHANG R, WANG Y, et al. Daily prediction of the Arctic Sea ice concentration using reanalysis data based on a convolutional LSTM network[J]. Journal of Marine Science and Engineering, 2021, 9(3): 330. DOI:10.3390/jmse9030330 |
| [43] |
张财广, 熊博莅, 匡纲要. 光学卫星遥感图像舰船目标检测综述[J]. 电波科学学报, 2020, 35(5): 637-647. ZHANG Caiguang, XIONG Boli, KUANG Gangyao. A survey of ship detection in optical satellite remote sensing images[J]. Chinese Journal of Radio Science, 2020, 35(5): 637-647. |
| [44] |
李开端, 赵友庚, 蒋定定, 等. 利用小波变换进行海上目标识别研究[J]. 光学技术, 2003, 2: 153-155. LI Kaiduan, ZHAO Yougeng, JIANG Dingding, et al. Sea target recognition by wavelet transform[J]. Optical Technique, 2003, 2: 153-155. |
| [45] |
GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: OH, 2014: 580-587.
|
| [46] |
GIRSHICK R. Fast R-CNN[C]// Proceedings of 2015 IEEE international conference on computer vision. Santiago: CHILE, 2015: 1440-1448.
|
| [47] |
REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149. |
| [48] |
DAI J F, LI Y, HE K M, et al. R-FCN: Object detection via region-based fully convolutional networks[C]// Proceedings of the 30th international conference on neural information processing systems. Barcelona: Curran Associates Inc, 2016: 379-387.
|
| [49] |
REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[J]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), IEEE, 2016, 779-788. |
| [50] |
REDMON J FARHADI A. YOLO9000: better, faster, stronger[C]//Proceedings of 30th IEEE conference on computer vision and pattern recognition, Honolulu: 30th IEEE conference on computer vision and pattern recognition (CVPR 2017), 2017: 7263-7271.
|
| [51] |
LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[J]. EOCV 2016:Computer Vision, 2016, 21-37. |
| [52] |
HE W, XIE S, LIU X, et al. A novel image recognition algorithm of target identification for unmanned surface vehicles based on deep learning[J]. Journal of Intelligent and Fuzzy Systems, 2019, 37(4): 4437-4447. |
| [53] |
ZHOU X Y, YANG K D, DUAN R. Deep learning based on striation images for underwater and surface target classification[J]. IEEE Signal Processing Letters, 2019, 26(9): 1378-1382. |
| [54] |
HUANG H, SUN D, WANG R, et al. Ship target detection based on improved YOLO network[J]. Mathematical Problems in Engineering, 2020, 1-10. |
| [55] |
JIN L, LIU G D. An approach on image processing of deep learning based on improved SSD[J]. Symmetry- Basel, 2021, 13(3): 495. |
| [56] |
LIU Q W, XIANG X Q, YANG Z, et al. Arbitrary direction ship detection in remote-sensing images based on multitask learning and multiregion feature fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(2): 1553-1564. |
| [57] |
YEKEEN S T, BALOGUN A L, YUSOF K B W. A novel deep learning instance segmentation model for automated marine oil spill detection[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 167: 190-200. |
| [58] |
SONG D, ZHEN Z, WANG B, et al. A novel marine oil spillage identification scheme based on convolution neural network feature extraction from fully polarimetric SAR imagery[J]. IEEE Access, 2020, 8: 59801-59820. |
| [59] |
张天龙. 基于深度学习和决策层信息融合的SAR图像溢油检测研究[D]. 北京: 中国科学院大学, 2020. ZHANG Tianlong. Study on oil spill detection in SAR images based on deep learning and decision level information fusion[D]. Beijing: University of Chinese Academy of Sciences, 2020. |
| [60] |
HUANG H, WANG C, LIU S C, et al. Single spectral imagery and faster R-CNN to identify hazardous and noxious substances spills[J]. Environmental Pollution, 2020, 258: 113688. |
| [61] |
金韵. 基于深度学习的港口溢油识别与定位系统开发[D]. 舟山: 浙江海洋大学, 2020: 15-38. JIN Yun. Development of port oil spill identification and location system based on deep learning[D]. Zhoushan: Zhejiang Ocean University, 2020: 15-38. |
| [62] |
张盟, 杨玉婷, 孙鑫, 等. 基于深度卷积网络的海洋涡旋检测模型[J]. 南京航空航天大学学报, 2020, 52(5): 708-713. ZHANG Meng, YANG Yuting, SUN Xin, et al. Ocean eddy detection model based on deep convolution neural network[J]. Journal of Nanjing University of Aeronautics & Astronautics, 2020, 52(5): 708-713. |
| [63] |
谢鹏飞, 宋弢, 徐丹亚, 等. 基于深度学习的中尺度涡检测技术及其在声场中的应用[J]. 海洋信息, 2020, 35(1): 18-26. XIE Pengfei, SONG Tao, XU Danya, et al. Mesoscale eddy detection technology based on deep learning and its application in acoustic field[J]. Marine Information, 2020, 35(1): 18-26. |