海洋浮标是一种较早开发并长期延续使用的观测设备^[1], 可以对海洋环境进行自动、连续、长期的同步监测^[2], 浮标观测数据对于海洋科学研究、海洋气象预报、海洋灾害预警以及渔业发展等具有重要意义^[3]。合格的浮标观测数据是海洋科学的“生命线”。但由于种种原因, 一些原始观测数据或多或少存在精度不高、质量欠佳等问题。海洋浮标及传感器长期受恶劣的海洋环境影响, 包括海洋生物附着、海水腐蚀、盐雾侵袭、风浪袭击等, 这些因素都会影响传感器的监测结果, 造成数据异常。因此, 数据在实际使用前, 需要进行严谨而科学的质量控制(quality control, QC)^[4], 识别和剔除数据序列中的异常值, 提高数据的准确性和可用性^[5]。高质量的海洋观测数据, 可以帮助人类应对全球气候变化, 提高防灾抗灾能力, 预测台风和厄尔尼诺等极端天气、海洋事件等。

海洋浮标温度、盐度资料的质量控制方法主要包括日期检验、位置检验、格式检验、范围检验、气候特征检验、尖峰检验、梯度检验、连续性检验等^[6]。针对温盐观测数据, 采用范围检验可以检测出超出目标区域阈值范围的错误数据。采用统计性的质量控制方法如莱因达准则等可以检出统计分布中的离群值^[7]。但是, 观测数据中还存在一种与相邻时间观测数据差异较大、但又在整体数据阈值范围内的尖峰值, 该类错误采用传统的尖峰检验法不能有效标记^[8]。

不同类型的观测数据, 其异常值都有不同外观特征及性质, 很难通过普适性的异常值检测方法进行识别^[9], 因此在实际应用中需要根据不同场景具体分析、给出具体的质控方法。近年来, 在海洋温盐数据质量控制方面已有很多研究成果, 但大多是针对航次观测、Argo漂流浮标等剖面观测手段的质量控制理论方法探讨, 而针对具有定点、长时间序列的海洋浮标实测数据的精细化质量控制方案尚有欠缺^[10]。

1 数据质量控制方法

本文针对长时间序列的海洋浮标观测的海水温度(水温)数据和海水盐度(盐度)数据, 根据观测要素的特性以及数据本身特征, 综合运用范围检测法、尖峰检验法、莱因达准则(3σ法则)以及最大误差控制等方法, 提出了一种精细化的浮标数据质量控制方法, 并使用实际观测数据验证和测试了该方法的有效性和适用性。该方法以莱因达准则为核心, 通过6个步骤流程完成数据质量控制。整体流程步骤见图 1, 每个步骤完成后, 对检出的异常数据做不同的质控标记。

1) 数据预处理, 主要目的是查找重复数据和空记录, 对重复记录和数值为空的记录做出标记。空记录一般是因为仪器设备故障或数据传输问题等原因, 没有采集到数据。重复记录是同一浮标在同一个时间点有2条或多条相同的数据。造成数据重复的主要原因是浮标早期获取设备数据时, 采用多种数据传输方式, 但在数据库存储、使用时未排除重复。

2) 采集信息核对法, 主要对照浮标的维护信息记录, 核对检查相应时间段内的温盐数据。与以往大部分仅基于数据本身的质量控制方法不同, 这里充分考虑了采集过程中观测仪器设备的检修维护等信息情况。近海浮标位于海上, 环境条件恶劣, 需要对浮标数据进行及时巡查, 对浮标搭载的传感器设备定期巡检和保养维护, 同时发现问题后需要及时对浮标进行维修, 问题严重时需要拖上岸进行大修。浮标巡检维护期间的缺失数据和错误数据, 都需要检出。对照浮标维护记录进行分析, 如果某一段时间有设备维护、安装调试、数据缺失等维护记录, 则该段时间数据不正确, 质控标记为异常数据。

例如: 对照3号浮标维护记录, 发现2018年10月11日—17日数据巡检记录为异常, 10月18日— 21日对3号浮标进行了维护, 完成了系统的整体安装与布放, 21日重新正式使用, 所以将10月11日到21日数据均标记为异常。

3) 范围检验法, 主要目的是根据观测要素在目标区域的范围, 针对原始观测数据进行初步筛查, 对超出区域范围外的数据, 做异常质控标记。通过历史数据、其他观测数据的分析, 确定黄东海区域海水水温范围为0~40 ℃, 黄东海区域盐度范围为10~40^[11]。如果检测出数据处于区域范围之外, 则标记为异常数据。

4) 尖峰检验莱因达法。在浮标观测数据中, 存在一种突变尖峰数据, 与相邻前后数据对比, 变化十分明显, 这种数据会在短时间内陡然增加或减小。

传统的尖峰检验法, 是对观测要素进行尖峰检验, 如果出现较大的突变, 则为异常。假设当前观测数据为X_i, 其前后邻居数据分别为X_i–1和X_i+1, 则检验值= ABS[X_i– (X_i–1+X_i+1)/2]–ABS[(X_i–1–X_i+1)/2], 如检验值超出标准范围, 则判定其为异常值。按照国家海洋信息中心发布的“海洋水文气象资料质量控制方法”规定^[6], 对于海洋观测站, 当压强 < 500 dbar时, 如果水温检验值> 6 ℃, 则为尖峰异常; 如果盐度检验值> 0.9, 则为尖峰异常。采用传统的尖峰检验法, 能检出检验值比较大的部分尖峰值, 由于标准范围较大, 导致很大一部分的尖峰值不能有效检出。

针对这个问题, 本文创新性地提出“尖峰检验莱因达法”, 将传统方法中标准范围为固定值的方式, 改变为通过莱因达准则计算的3倍标准差作为标准范围。具体方法如下: 针对时间序列观测数据, 将其中每一个数与其前一邻居相比, 计算邻差(第一个数邻差为0), 形成邻差序列值; 邻差序列值基本满足正态分布(见图 2), 可以使用莱因达准则, 识别其中的异常值。

尖峰检验莱因达法的计算公式, 假设有一组观测数据X₁, X₂, …, X_n, i > 1时, X_i的前一邻居数据为X_i–1, V_i= |X_i – X_i–1|, V_i为邻差, V₁设为0, 邻差序列值为V₁, V₂, …, V_n。当V_i和V_i+1的残差均大于3σ时, 则V_i为尖峰变化, X_i数据为异常。V_i满足: |V_i– V| > 3σ, 并且|V_i+1– V| > 3σ; n为相邻差值数据组的个数; V为均值, $ V= \left(\sum {V}_{i}\right)/n$; σ为标准差, σ = $\sqrt {\sum {{({V_i} - V)}^2}/\left( {n - 1} \right)} $。

相比于传统的“莱因达准则”, 采用“尖峰检验莱因达法”更能明显提升异常数据的质控比例。6号浮标2009—2012年度水温数据多监测出360条异常数据, 异常占比0.34%, 整体占比从9.46%提升到了9.80%(见图 3)。6号浮标2018—2019年度水温数据多检出477条异常, 异常占比0.73%, 整体占比从2.97%提升到3.70%。盐度数据3号浮标2010—2012年度多检出235条异常, 异常占比1.06%, 整体占比从5.50% 提升到6.56%。

然而, 这种方法的局限性在于假定尖峰异常只有一个数据, 前后邻居数据均为正常值。针对这种局限性, 采用下一步的日均莱因达法做进一步处理。

5) 日均莱因达法。目的是找到超出日变率范围的异常数据。根据莱因达准则, 以天为单位, 分别计算每日水温和盐度的均值及标准差, 查找残差(与均值差的绝对值)大于3σ的数据, 并做异常标记。通过该方法, 剔除每日数据中偏离较大的数据。与尖峰检验莱因达法相比, 日均莱因达法可以进一步发现连续2个数据异常的情况。

此外, 在浮标观测数据中, 还会出现在海况较为稳定的情况下, 某一天温度和盐度变化很小, 这种情况下根据莱因达准则计算的3倍标准差会非常小, 导致一些变化很小的正常值会被误判为异常。为解决这个问题, 我们采用“最大允许误差”的方法, 对莱因达法进行改进。

GB 17378.2-2007《海洋监测规范第2部分: 数据处理与分析质量控制》^[12], 最大允许误差是指技术规范(如标准、检定规程)所规定的允许的误差极限值, 是判定是否合格的一个规定要求, 作为测量仪器的特性, 规定最大允许误差和通过检定、校准去确定示值误差, 在实用上具有十分现实的意义。国标HY/T 142—2011 《大型海洋环境监测浮标》^[13], 其中“5.5测量参数、范围和最大允许误差”规定, 海洋表层水温最大允许误差0.5摄氏度, 电导率(表层盐度)最大允许误差0.1 mS/cm。海水的电导率与盐度的换算系数K为0.7^[14], 可以计算出盐度的最大允许误差为0.07。

据此, 按照日均莱因达法判为异常的数据中, 如果其残差小于最大允许误差, 则为误判, 通过本方法纠正为正确值。例如: 6号浮标2019年11月1日水温变化曲线(图 4), 该日平均水温23.01, 标准差σ = 0.07。其中14点、14点10分的值均为23.3, 残差(23.3 – 23.01 = 0.29) > 3σ, 根据日均莱因达法判断这2个数据为异常, 但从整体曲线图和序列关系来看数据是正确的, 由于残差0.29 < 0.5(水温最大允许误差), 可以判断该数据为正确, 避免了误判。

6) 完成质控标记。采用上述质量控制方法, 将已检测出的异常数据做了标记, 这里进一步将剩余的数据标记为0, 作为正确数据。数据质控标记符号说明见表 1。

2 方法验证与分析

为深入测试和验证上述的质量控制方案, 本文选取黄海和东海共6个浮标温盐观测数据作为样本(图 5)进行验证, 并对结果数据进行分析。

2.1 实验数据

本文选取中国科学院海洋研究所在黄海1、2、3、4、5号浮标和东海6号浮标在不同时间段的温度、盐度数据^[15], 浮标的温盐传感器位于水下1 m处。具体包括:

1) 黄海站1号浮标: 浮标类型为3 m浮标, 观测站位置: (122°45.02′E, 38°45.58′N), 布放位置水深52 m, 观测时间自2010年4月29日至今, 数据采样间隔30 min。温盐观测数据2010—2012年总计17 267条记录。

2) 黄海站2号浮标: 浮标类型为2 m浮标, 观测站位置: (123°00.48′E, 39°04.00′N), 布放位置水深37.3 m, 观测时间自2010年4月29日至今, 数据采样间隔1 h。温盐观测数据2010—2012年总计11 072条记录。

3) 黄海站3号浮标: 浮标类型为2 m浮标, 观测站位置: (122°35.50′E, 39°03.98′N), 布放位置水深39.7 m, 观测时间自2010年3月27日至今, 2010— 2011数据采样间隔1 h, 2012年之后采样间隔10 min。温盐观测数据2010—2012年总计22 102条记录, 2018—2019年总计15 755条记录。

4) 黄海站4号浮标: 浮标类型为2 m浮标, 观测站位置: (123°06.01′E, 39°16.00′N), 布放位置水深30 m, 观测时间自2010年4月29日至今, 数据采样间隔1 h。温盐观测数据2010—2012年总计9 634条记录。

5) 黄海站5号浮标: 浮标类型为2 m浮标, 观测站位置: (122°44.98′E, 38°57.49′N), 布放位置水深46 m, 观测时间自2010年4月29日至今, 数据采样间隔1 h。温盐观测数据2010—2012年总计9 886条记录。

6) 东海站6号浮标: 浮标类型为10 m浮标, 观测站位置: (123°08.04′E, 30°43.04′N), 布放位置水深61 m, 观测时间自2009年7月6日至今, 数据采样间隔30 min。2009—2012年总计104 916条记录, 2018—2020年5月总计65 519条记录。

2.2 方法验证

按照质控标记对数据进行分类统计, 2018— 2019年度统计结果见下表 2, 2010—2012年度统计结果见下表 3。

分析可见, 对于3号浮标, 标记为1、2、3、4、5的温度异常数据分别占比0.61%、4.14%、0.00%、0.36%、0.22%; 盐度异常占比为3.50%、1.26%、0.00%、0.55%、0.28%。总体来看, 标记了5.33%的温度异常数据、5.59%的盐度异常数据。对于6号浮标, 标记为1、2、3、4、5的温度异常数据占比分别为1.23、1.60%、0.00%、0.73%、0.14%, 盐度异常占比分别为5.91%、1.17%、0.01%、0.73%、0.28%。总体来看, 标记了3.70%的温度异常数据、8.10%的盐度异常数据。

其中, 采用本文提出的“尖峰检验莱因达法”, 明显提升了质量控制效果, 见表 2、表 3中质控标记为4的异常数据量。2018—2019年水温数据质量控制结果中, 3号浮标检出56条异常, 6号浮标检出477条异常。盐度数据结果中, 3号浮标检出86条异常, 6号浮标检出480条异常。

对数据质控前后结果进行对比, 验证了质控方法的有效性, 下面分别从三个方面说明。

1) 3、4、5、6号浮标水温时间序列对比(图 6), 质控后, 很多黑色异常点被标识, 整体来看, 质控后显示出明显的波动规律性。图中曲线中断的时间段没有数据, 原因是浮标出现故障, 数据缺失。3号浮标水温数据起始时间为2010年4月29日, 其中2011年11月5日到12年9月26日数据缺失。6号浮标2012年1月1日到3月30日数据缺失。密集的黑色区域, 属于浮标维护期间的异常数据, 例如6号浮标在2012年7月14日到10月20日期间进行了大修, 数据为异常。还有一类突然增大或减小的黑色点, 属于异常突变数据。

2) 1、2、3、6号浮标质控前后盐度时间序列对比(图 7), 可以看出, 质控前盐度振幅变化很大, 质控后振动幅度明显缩小。例如: 2010—2012年, 3号浮标振幅为0~38.9, 质控后振幅为16.7~32.4。2018— 2020年5月, 6号浮标振幅为0~39.9, 质控后振幅减小为18.9~34.9。

3) 质控后数据质量得到明显提升, 异常点已经被去掉, 典型示例见图 8。其中a图是6号浮标2010年5月质控前后温度时间序列数据, 5月25日到26日, 有数据突然大幅下降和上升(黑色点), 经过质控后这些突变点被检出, 排除了异常。b图为6号浮标2011年11月盐度数据质控前后对比, 可以明显看出, 其中很多突然下降的异常数据被识别出来。

2.3 数据分析

对质控后数据进行分析可以看出, 黄东海温盐具有显著的季节变化特征(图 6、图 7), 并且水温易受台风极端事件影响。

海表水温冬低夏高, 季节循环变化明显^[16]。每年2月份温度达到最低点, 之后逐渐上升, 到夏季8月份达到最高点, 之后又逐渐下降, 直至第二年的2月份, 循环往复。例如2019年3号浮标最低温度在2月19日为1.1 ℃, 最高温度在8月9日达26.7 ℃。2018年6号浮标最低温度出现在冬季2月12日为9.2 ℃, 最高温度在8月9日达30.6 ℃。黄海、东海海水温度具有季节变化特征, 这与前人的观测结果一致^[17], 进一步验证了本文质量控制方法的可靠性和合理性。

海表盐度夏季偏低, 冬季平稳。同水温一样, 由于处于亚热带区域, 影响盐度变化的区域降雨、径流以及结冰、融冰等因子均具季节性, 使得黄东海表层盐度变化亦具有季节性变化特征。海表层盐度的季节性变化不如水温那么规则, 但总的变化趋势与水温的季节性变化相反^[18]。每年夏季各地雨水多、雨量较大, 长江水位涨高, 长江口径流量增大, 影响到6号浮标的盐度下降明显。冬季雨水少, 盐度值较高, 并且比较平稳。

东海6号浮标2019年8—9月水温多次出现突然下降(图 9), 3组红色标注的区间, 恰好是4次台风经过东海之时, 分析可见海洋水温的突变明显受到极端事件台风的影响。图中纵坐标数据为温度异常(temperature anomaly), 表示在已剔除日变化和季节循环基础之上的温度异常。大于0表示暖异常, 即比平均态更暖; 小于0表示冷异常。可以看出三个台风经过东海时, 都导致了冷异常。

第一组红色区8月9、10、11日台风1909号“利奇马”经过浙江、江苏到达中国黄海, “利奇马”是2019年最强的一次台风, 最大风速风力62 m/s (18级)^[19]。这3天海水温度突然下降, 导致约–1.4 ℃的冷异常, 是这2个月最强的一次冷异常。

第二组红色区为9月6—7日台风1913号“玲玲”经过东海, 最大风速55 m/s(16级)。这2天海水温度出现突降, 导致约–1.2 ℃的冷异常, 是这2个月仅次于“利奇马”台风的第二强的一次冷异常。

第三组红色区9月22—23日台风1917号“塔巴”经过东海, 最大风速33 m/s (12级), 其间浮标水温再次下降, 导致约–0.4 ℃的冷异常。由于“塔巴”强度较弱, 离浮标位置也较远, 所以冷异常也相应较小。

3 结论和展望

本文研发了一种包括采集信息核对法、范围检验法、尖峰检验莱因达法、日均莱因达法在内的新型的、精细化的海洋浮标温盐观测数据6步质量控制方法和流程, 该方法具有如下优势:

1) 方法结合了浮标数据巡检记录、观测维护记录等辅助信息, 实现了对数据采集情况的考虑。这优于以往大部分仅基于数据本身的质控方法。

2) 针对浮标数据中广泛存在的异常峰值问题, 提出了一种创新的、将尖峰检验与莱因达准则相融合的尖峰检验莱因达法, 有效剔除了异常峰值。

3) 针对连续异常峰值, 提出了日均莱因达法进行质控, 有效检测出了同一日数据中的连续异常数据。

本文也针对质控后的数据进行了分析, 再次印证了黄东海地区海表温度和盐度变化具有明显的季节循环和易受极端事件影响的特征。包括中国科学院海洋研究所在内的国内机构在中国近海布放了很多浮标, 针对不同年度、不同区域浮标、不同海洋要素, 积累了大量长时间序列的海洋观测数据。该精细化质量控制方法可有效支持其他浮标观测数据的质量控制, 为科学研究、海洋预报、海洋渔业生产等提供更准确的数据服务。

致谢: 感谢中国科学院近海海洋观测研究网络黄海站、东海站的数据支撑。