文章信息
- 张博一, 胡雄, 唐刚, 邵辰彤. 2021.
- ZHANG Bo-yi, HU Xiong, TANG Gang, SHAO Chen-tong. 2021.
- 基于二元LSTM神经网络的船舶运动预测算法研究
- Ship motion prediction algorithm based on binary LSTM neural network
- 海洋科学, 45(9): 69-74
- Marine Sciences, 45(9): 69-74.
- http://dx.doi.org/10.11759/hykx20200506002
-
文章历史
- 收稿日期:2020-05-06
- 修回日期:2021-06-26
长短期记忆网络(long short-term memory, LSTM)是一种时间循环神经网络。由于其独特的设计结构, 解决了早期预测数据的梯度消失问题, 在时序预测的表现通常比时间递归神经网络及隐马尔科夫模型(HMM)更好。近年来在时滞系统的预测控制设计中, 受到广泛关注和应用[1]。
舰载设备属于一种典型的时滞系统, 具有惯量大、载荷重的特点。同时由于舰载设备的工作环境相对较为封闭, 大多时候船舶运动只能通过惯性器件测量, 但由于惯性器件本身电学特性和积分算法存在的缺陷, 积分位移常出现低频趋势项干扰[12]。导致常规的LSTM神经网络在对积分位移时序预测时, 精度会随时间序列缩短而明显下降。
针对该问题, 本文在常规LSTM结构的基础上进行了拆分和简化, 设计改良了一种针对低频扰动降趋预测的二元LSTM神经网络结构, 并利用多组算例对网络进行了验证与误差评价, 研究了网络参数的选择对结果的影响; 最后通过船舶模拟振动台模拟船舶运动进行实时预测, 验证了该二元LSTM神经网络对模拟船舶积分位移预测具有良好的准确性和实时效率。
1 LSTM神经网络在船动预报中的应用和其局限性分析船舶升沉运动作为实际物理系统, 当前时刻输出与相邻时刻的输出必然存在一定的相关性, 因此对惯性器件输出序列的预测采用LSTM网络是一种合适的构建形式。与传统的循环神经网络相比, LSTM对内部的结构进行了更加精心的设计, 加入了输入门、遗忘门以及输出门3个门和1个内部记忆单元ct(图 1)。输入门控制当前计算的新状态以多大程度更新到记忆单元中; 遗忘门控制前一步记忆单元中的信息有多大程度被遗忘掉; 输出门控制当前的输出有多大程度上取决于当前的记忆单元[1-3]。
该网络模型中, 每个网络单元包含3个逻辑门, 分别是输入门it、遗忘门ft和输出门ot,
$ {i_t} = \sigma ({W_i}[{h_t}_{-1} ,{x_t}] + {b_i}), $ | (1) |
$ {f_t} = \sigma ({W_f}[{h_t}_{-1} ,{x_t}] + {b_f}), $ | (2) |
$ {o_t} = \sigma ({W_o}[{h_t}_{-1} ,{x_t}] + {b_o}), $ | (3) |
式中, Wi, bi, Wf, bf, Wo, bo为网络待训权重。σ(Sigmoid函数运算)为线性单元函数, 可以将自变量映射到[0, 1]区间上, 前一个基本单元传递系数ct–1上式的计算结果
$ \widetilde {{c_t}} = {\rm{tan}}h({W_c}[{h_{t - 1}} ,{x_t}]), $ | (4) |
$ {c_t} = {f_t} \odot {c_{t - 1}} + {i_t} \odot \widetilde {{c_t}} , $ | (5) |
Wc为待训权重, tanh单元与σ单元类似, 表示将数值映射到区间[–1, 1]之间。式中包含了“遗忘门”的设计, 通过线性叠加确定本次输入信息的权重和对之前信息的遗忘比例。遗忘门控单元的设计主要用于控制数据长期依赖性信息的流动, 近似于滑动平均的思想, 如果ft接近于1, 则可以记忆久远地传递信息, 而ft接近于0, 则完全遗忘, 防止训练中出现由长期依赖性导致的梯度消失[5-6]。输出层ht计算公式为:
$ {h_t} = {o_t} \odot \tan h\left( {\widetilde {{c_t}}} \right), $ | (6) |
将基本单元按照问题的规模和预测输出的长度连接为拓扑结构即可完成网络主要部分的搭建。
为了验证LSTM神经网络对绝对式传感数据和相对式传感数据的预测效果, 通过船舶运动仿真平台模拟船舶甲板运动, 通过绝对式传感系统(惯性积分仪)测量平台的运动, 并利用相对式传感系统(激光测距仪)对测量结果进行校验。分别构建10层和30层的LSTM神经网络, 选取10组时序长度为500离线测量数据作为训练样本, 用训练网络分别对实时采集未校验数据和校验数据进行实时预测验证, 统计均方根误差(RMSE, root mean square error)。实训预测效果如图 2所示。
可以看出, 在对无相对校验数据预测时, LSTM神经网络预测能力会随着时间序列的缩短出现较大的退化。造成这种现象的主要原因是绝对式传感系统由于电学传感器的工作时, 存在无规律超低频的直流信号偏置干扰[1]。而LSTM预测时, 干扰会随着实时信号一起输入到网络单元中, 造成误差累积。过度放大时间序列会影响网络的学习效率和时效性, 因此常规的LSTM神经网络在干扰较多的恶劣工况下有很大局限性。
2 双元记忆LSTM神经网络模型常规LSTM神经网络对绝对式传感信号预测能力会随着时间序列的缩短出现较大的退化, 预测输出的规模也会减小。因此, 常规的LSTM神经网络虽然在条件较理想环境下能取得较为理想的预测效果, 但在缺少校验, 只能依赖绝对式测量法的实际海洋工况下, 其预测效果就会大打折扣。
针对这一问题, 本文构造了一个双层记忆的LSTM神经网络, 借鉴滑动均值法思路, 针对实测信号预测和趋势项提取的物理意义改良网络数学模型, 实测信号预测的短时学习权重高, 因此降低遗忘门, 提高输入门的训练权值, 趋势项提取记忆学习权重高, 因此提高遗忘门, 降低输入门的训练权值, 如图 3所示。
在第t个单元中, cn和pn分别表示趋势记忆层和递推记忆层, ht–1为前一个单元位移变量的传递输出, 首先将其还原为趋位移变量
$ {\dot h_{t - 1}} = {h_{t - 1}} + {\xi _c}{c_{t - 1}} , $ | (7) |
其中, ξc为趋势项修正系数, 其范围区间为[0, 1]。
输入xt与
$ i_t^p = \sigma \left( {W_i^p\left[ {{{\dot h}_{t - 1}} ,{x_t}} \right] + b_i^p} \right), $ | (8) |
$ f_t^p = \sigma \left( {W_f^p\left[ {{{\dot h}_{t - 1}} ,{x_t}} \right] + b_f^k} \right), $ | (9) |
$ \widetilde {{h_t}} = \tan h\left( {{W_h}\left[ {{{\dot h}_{t - 1}} ,{x_t}} \right]} \right), $ | (10) |
式中,
定义趋势遗忘门系数
$ i_t^c = {\xi _i}\sigma \left( {U_i^c{{\dot h}_{t - 1}} + b_i^c} \right), $ | (11) |
$ f_t^c = {\xi _f}\sigma \left( {U_f^c{{\dot h}_{t - 1}} + b_f^c} \right), $ | (12) |
$ {o_t} = \sigma \left( {{U_o}{{\dot h}_{t - 1}} + {b_o}} \right), $ | (13) |
式中,
更新递推记忆层pt和趋势记忆层ct:
$ {p_t} = f_t^p \odot {p_{t - 1}} + i_t^p \odot \widetilde {{h_t}} , $ | (14) |
$ {c_t} = f_t^c \odot {c_{t - 1}} + i_t^c \odot \widetilde {{h_t}} . $ | (15) |
根据递推值和趋势值的关系, 本单元位移变量输出ht为:
$ {h_t} = {o_t} \odot \tan h\left( {{p_t} - {c_t}} \right) . $ | (16) |
将基本单元按照问题的规模和预测输出的长度连接为拓扑结构即可完成网络主要部分的搭建。由于趋势扰动频率远低于船舶的实际运动频率, 单次工况内, 输入修正系数和遗忘修正系数可以视为固定值, 以此减少了相对需要训练的网络参数, 使该网络在理论上具有更好的训练效率。
3 实验分析趋势待定权重可以参考带权重的滑动平均值法设定, 对于时序输入xt, 使用以下公式更新加权趋势ct
$ {c_t} = \left( {1 - \beta } \right)\left[ {{{\dot h}_{t - 1}}} \right] + \beta {c_{t - 1}} , $ | (17) |
常规运输驳船的振荡能量密度主要分布在0.05~ 0.25 Hz。实测对比发现, 加速度积分的趋势干扰主频率低于3 MHz, 因此分别取遗忘修正系数ξf为0.96、0.98和0.99进行验证对比, 对应输入修正系数ξi取0.04、0.02和0.01, 分别构建10层和30层二元LSTM神经网络, 选取同样10组时序长度为500离线测量数据作为训练样本对网络进行初始训练, 再对实时采集未校验数据进行多次实时预测验证并记录, 统计均方根误差(RMSE)。部分实时训练效果对比如图 4所示。
其中初始输入修正系数ξi取0.04(遗忘修正系数ξf为0.96)时, 网络训练效果最优, 分别对10层和30层网络进行多次实训预测, 预测结果与对应实际数据对比如图 5所示。
通过上述几个网络, 进行多组数据预测效果统计对比, 对比结果如表 1所示。
本文测试, 10层的LSTM网络预测结果测得峰差值均方差6.29%, 均值均方差18.59%, 峰值均方差27.87%, 而10层二元LSTM神经网络预测结果有较大改善, 对应测得峰差值均方差0.64%, 均值均方差0.42%, 峰值均方差0.57%, 能更好地针对船舶运动积分位移特性, 在精确短周期预测的基础上有效消除趋势干扰, 更准确的还原预测实际的船舶运动轨迹。
可以看出, 在同样的训练规模下, 二元LSTM神经网络相比常规LSTM神经网络对船动数据拟合和预测精度较优, 尤其在时间序列较短时改善更为明显。但在线预测过程中由于船舶振荡幅频出现波动, 以往修正系数和输入修正系数的适应性出现了波动, 当然准确率下降的原因仍有训练样本不够庞大和参数设置的原因。但通过观察图 4、图 5, 可以看到预测对噪声变化趋势仍保证相当的契合度, 仍可以将这个结果作为有色噪声范围对滤波算法进行优化设计。
4 结语在船舶升沉位移预测过程中, 单传递层的LSTM神经网络具有很好的准确性和训练效率, 并能够架构长短时深度学习网络实现对船舶升沉运动的实时快速预测, 但在船舶升沉运动测量中, 由于惯性测量器件本身特性, 使单传递层的LSTM神经网络预测中不可避免的产生偏差; 而本文架构的双层记忆传递层LSTM网络, 针对惯性器件测量积分位移的误差特性, 设计了一种双层记忆神经单元架构, 能够在准确预测船舶升沉位移信号曲线的同时消除惯性器件测量时引起的误差。在线实时预测中本文LSTM网络预测能力会随着环境变化出现一定的退化, 但可以通过叠加更多层LSTM并减小预测输出的规模使预测更为精准, 再根据其输出对控制系统的滤波算法进一步优化设计。
[1] |
付浩, 王圣达, 姜山, 等. 基于ARMA-LSTM的光功率预测方法[J]. 光通信技术, 2019, 43(1): 20-23. FU Hao, WANG Shengda, JIANG Shan, et al. Optical power forecasting method based on ARMA-LSTM[J]. Optical Communication Technology, 2019, 43(1): 20-23. |
[2] |
代杰杰, 宋辉, 盛戈皞, 等. 采用LSTM网络的电力变压器运行状态预测方法研究[J]. 高电压技术, 2018, 44(4): 1099-1106. DAI Jiejie, SONG Hui, SHENG Gehao, et al. Prediction method for power transformer running state based on LSTM network[J]. High Voltage Engineering, 2018, 44(4): 1099-1106. |
[3] |
朱乔木, 李弘毅, 王子琪, 等. 基于长短期记忆网络的风电场发电功率超短期预测[J]. 电网技术, 2017, 41(12): 3797-3802. ZHU Qiaomu, LI Hongyi, WANG Ziqi, et al. Short-term wind power forecasting based on LSTM[J]. Power System Technology, 2017, 41(12): 3797-3802. |
[4] |
王鑫琪, 李闯, 焦晗, 等. 基于长短时记忆网络的电力系统负荷预测方法研究[J]. 电工电气, 2019(11): 17-20. WANG Xinqi, LI Chuang, JIAO Han, et al. Research on power system load forecasting method based on long-term and short-term memory network[J]. Electrotechnics Electric, 2019(11): 17-20. DOI:10.3969/j.issn.1007-3175.2019.11.004 |
[5] |
HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780. DOI:10.1162/neco.1997.9.8.1735 |
[6] |
GERS F. Long short-term memory in recurrent neural networks[D]. Hannover, Germany: Universität Hannover, 2001.
|
[7] |
LIU Chang, JIN Zhijian, GU Jie, et al. Short-term load forecasting using a long short-term memory net-work[C]//2017 IEEE PES Innovative Smart Grid Technologies Conference Europe (ISGT-Europe), 2017.
|
[8] |
裴志远, 戴永寿, 李立刚, 等. 无人船运动控制方法综述[J]. 海洋科学, 2020, 44(3): 1-10. PEI Zhiyuan, DAI Yongshou, LI Ligang, et al. Overview of unmanned surface vehicle motion control methods[J]. Marine Sciences, 2020, 44(3): 1-10. |
[9] |
周英杰. 加速度测试积分位移算法及其应用研究[D]. 重庆: 重庆大学, 2013. ZHOU Yingjie. A study on integral algorithm for acceleration test to get displacement and application[D]. Chongqing: Chongqing University, 2013. |
[10] |
李祥云. 基于多维加速度传感器的车辆姿态测量系统研究与设计[D]. 哈尔滨: 哈尔滨工业大学, 2015. LI Xiangyun. Research and design of vehicle attitude measuring system based on multi-dimensional acceleration sensor[D]. Harbin: Harbin Institute of Technology, 2015. |
[11] |
周浩, 段发阶, 邵毅, 等. 基于串行通信的传感器自动识别与通用型浮标数据采集系统设计[J]. 海洋科学, 2019, 43(11): 68-74. ZHOU Hao, DUAN Fajie, SHAO Yi, et al. Design of automatic sensor identification and universal buoy data acquisition system based on serial communication[J]. Marine Sciences, 2019, 43(11): 68-74. DOI:10.11759/hykx20190605001 |
[12] |
沈劲权. 基于加速度的港口机械低频振动位移检测研究[D]. 上海: 上海海事大学, 2017. SHEN Jinquan. Research on detection of low frequency vibration displacement of port machinery based on acceleration[D]. Shanghai: Shanghai Maritime University, 2017. |
[13] |
王巧莎, 李明海. 非线性波消波及波场分布研究[J]. 海洋科学, 2018, 42(6): 30-38. WANG Qiaosha, LI Minghai. Study of nonlinear wave absorption and the wave fields[J]. Marine Sciences, 2018, 42(6): 30-38. |