湍流在海洋能量和水体的交换演化中起着非常重要的作用^[1]。研究发现, 海洋湍流的脉动信号频率通常介于1~100 Hz^[2]间, 为了更真实还原海洋湍流数据, 湍流采集设备的采样频率通常高于1 000 Hz, 如sea & sun公司的MSS(Mikro-Struktur-Sonde)系列剖面仪, 其湍流采样频率为1 024 Hz^[3], Rockland Scientific公司的VMP(Vertical Microstructure Profiler) 6000湍流剖面仪, 最高采样频率可达4 096 Hz^[4]。湍流设备高频采样会带来数据量庞大的问题, 如面向全球深海大洋的智能浮标项目, 设备在位工作3年间, 湍流传感器将产生100 GB以上的观测数据^[5]。同时海洋观测设备为提升续航能力一般采用低功耗微控制器, 数据处理能力较弱, 而且大量的观测数据也会给设备的数据存储与传输带来巨大压力, 既增加了海洋观测设备的成本, 也限制了其续航能力。

高效的数据压缩方法可以有效地解决这一问题, 但对于数据量庞大的海洋湍流数据, 目前还没有实时压缩方法。在其他领域, 数据压缩方法已经得到广泛地应用, 相关研究主要集中在行程编码、霍夫曼编码、算术编码和LZW(Lempel-Ziv-Welch Encoding)等数据压缩方法上。基于霍夫曼算法以及LZW算法, 胡斌等^[6]与王文彦等^[7]分别研究了面向海洋观测浮标数据压缩方法, 有效降低了浮标数据通信成本。付东洋等采用优化的行程编码压缩算法对卫星海洋遥感数据进行研究, 极大地节约了海洋遥感数据的存储与共享发布空间^[6]。李浩琦等^[9]在CUDA(Compute Unified Device Architecture)架构上利用GPU (Graphics Processing Unit)平台对海洋监测数据采用霍夫曼并行压缩方式, 实现了海底观测网中监测数据的实时压缩。此外, 单海艳等^[10]提出了面向CTD (Conductance, Temperature, Depth)海洋观测数据的压缩加密方法。赵忠生等^[11]将数据压缩算法用于深海潜标ADCP(Acoustic Doppler Current Profilers)的数据传输任务中。Lee等^[12]对周期性的心电信号进行预处理后利用霍夫曼编码, 实现了心电数据的实时压缩和传输。朱凌云等^[13]采用一阶差分结合霍夫曼和LZ77 (由Abraham Lempel和Jacob Ziv于1977年提出)压缩算法, 在嵌入式平台上实现了心电数据的高效压缩。Medeiros等^[14]利用统计数据构建霍夫曼字典对无线传感器网络中的温度和湿度数据实现了轻量级数据压缩。

总的来说, 行程编码对于长重复值字符串的数据压缩效果良好, 但不适用于随机性强的海洋湍流数据的压缩; LZW压缩、霍夫曼编码对系统资源占用较大, 算术编码依据统计原理对源数据编码, 对处理器计算精度有较高要求, 它们均不利于海洋观测设备的微型化和低功耗化。因此, 研究针对海洋湍流数据的高效实时无损压缩方法, 不仅可以提高湍流数据压缩率, 降低湍流数据的存储与传输成本, 对于提升海洋观测平台的长续航观测能力也具有重要意义。

本文分析了海洋湍流的数据特点, 对大量的湍流数据的增量信息进行了统计, 统计结果表明, 湍流数据的增量信息非常集中, 可应用霍夫曼编码进行数据压缩。为提高压缩效率, 设计了基于增量的字典霍夫曼编码方法, 压缩实验结果表明, 该方法具有数据压缩比低, 压缩时间短, 资源占用率低的特点, 可广泛应用于实时性要求高、存储资源有限的海洋观测设备中。

1 湍流数据介绍 1.1 湍流数据获取

本文中使用的海洋湍流数据为2017年3月采用实验室自研的自容式湍流剖面观测仪^[15]于南海采集的试验数据, 自容式湍流剖面观测仪共搭载2个垂向分布的德国PNS(Prandke、Neumann、Stips)系列剪切流传感器, 剪切流传感器获得的湍流模拟信号依次通过高通放大和低通滤波后经A/D转换获得数字信号, 获取方法如图 1所示:

自容式湍流剖面仪采用的16位A/D模数转换芯片, 采样范围±2.5 V, 采样频率为1 024 Hz, 每一帧数据5个字节, 每通道数据占用2个字节(高字节、低字节), 其中帧头为0x37, 数据格式如表 1所示。每隔3 min创建一个TXT文件用于存储湍流数据, 因此每个TXT文件的大小约为900 Kb。

截取自容式湍流剖面观测仪海试试验中某采样周期的3 min湍流数据, 将其数字信号还原为电压信号后的数据曲线如图 2所示, 电压信号在一定范围内波动。

1.2 湍流数据特征分析

以图 2中的二维剪切数据为例进行统计分析, 得到剪切数据特征如表 2所示。可以看出, 海洋湍流数据较为集中、波动较小。

对7 000多万个连续海洋湍流数据S_m进行差值处理$\Delta {S_n} = {S_n}-{S_{n-1}}$, 获取相邻采样点的数据增量信息, 并统计海洋湍流数据增量$\Delta {S_n}$的出现次数, 结果如图 3所示。

通过计算得出:

(1) 99%以上湍流数据增量集中在–44~44 LSB (least significant bit)之间;

(2) 10%以上的湍流数据增量为零。

因此, 海洋湍流数据的增量集中, 可应用霍夫曼编码进行数据压缩。

2 基于增量的字典霍夫曼编码 2.1 霍夫曼编码介绍

霍夫曼(Huffman)编码, 是霍夫曼于1952年提出的一种可变字长的编码算法^[17]。霍夫曼编码使用自下而上的方式, 根据信息中字符出现的频率构建二叉树, 出现频率高的字符码字短, 出现频率低的字符码字长, 用最少的码长重新编码源数据, 因此也称为最优编码。通过对信源进行霍夫曼编码, 使编码后的数据的平均长度变小, 期望值降低, 从而达到数据的无损压缩效果^[16]。

霍夫曼编码的核心是霍夫曼树的构建, 霍夫曼树的构建及编码的方法如下。

首先统计信源中每个字符的出现次数, 并将字符出现的次数按照从小到大的顺序依次排列。

然后把出现次数最少的两字符的次数值相加得到新节点, 将这两个次数最少的字符作为新节点的子节点。其中, 这两个子节点中次数较少的节点作为左节点, 次数较多的节点作为右节点。将此新节点按顺序排列到队列中, 生成新的队列。重复此操作生成二叉树, 直到最后相加得到的次数值为总次数值。

最后将二叉树中每个父节点的左节点指定为0, 右节点指定为1。

至此, 已自下而上地构造了一棵霍夫曼树, 再按照自上而下的顺序得到每个字符的编码, 最终获得编码表。

由于霍夫曼编码是基于概率统计结果对信源进行编码, 必须依次读取两遍信源数据:第一遍先生成霍夫曼二叉树得到编码表, 第二遍按照编码表对信源进行编码。这种数据编码方法较为高效, 但是也存在弊端:对数据多次读取和编码, 会占用大量的处理器资源, 这无疑提高了处理器性能需求和处理功耗, 不利于数据处理设备的微型化和低功耗化。

2.2 增量编码实现

根据海洋湍流数据波动范围小的特点, 且通过大量的统计发现相邻两个采样点的数据增量大都在–127~127 LSB之间, 增量可用1个字节表示, 因此可以通过计算两个相邻采样点的数据差值, 并去除每帧数据的帧头, 只保存湍流数据的增量信息, 从而降低数据的熵。

部分湍流数据也存在幅值变化剧烈的现象, 增量值可能在–127~127 LSB之外, 对于这种情况, 在数据存储过程中添加一个字节标志位0x80, 并保存源数据, 表示不对数据进行差值处理。为避免标志位与数据存在冲突, 选用有符号byte值0x80作为标志位, 其十进制数值为–128, 所以在处理后所得的数据中, 所有的0x80只表示为其后两字节数据为没有进行差值运算的源数据。数据增量编码压缩处理流程如图 4所示。

使用数据增量编码压缩方法对历史湍流数据进行实时数据压缩, 当差值在–127~127 LSB之间时, 每一帧5个字节的湍流数据可压缩为2个字节, 因此理论上的极限压缩比为40%。而且在数据编码压缩过程中, 只对原始数据进行提取和差值计算, 数据处理方法简单高效, 并可将压缩后的数据完全真实还原, 因此增量编码属于数据无损压缩方法。

2.3 基于增量的字典霍夫曼编码实现

根据研究和试验表明, 2.1节中的霍夫曼编码方法对处理器性能要求很高, 在低功耗的嵌入式湍流观测设备上难以实现, 所以还需要对当前算法进行改进和优化; 2.2节中的增量编码方法压缩效率还有提高的空间。

由于霍夫曼编码最核心的部分是霍夫曼编码表的获取, 也是造成霍夫曼编码过程中计算量过大的主要原因。在对大量的湍流数据增量信息统计时发现, 湍流数据增量值越小, 其出现的概率越高(图 3)。基于上述分析, 本节提出以湍流数据增量信息作为数据源, 通过霍夫曼压缩算法预先构建霍夫曼树, 并以此作为湍流压缩和解压的字典。在湍流数据压缩过程中不再动态地构建霍夫曼树, 极大地缩短了湍流数据的压缩时间, 增强了系统的实时性。霍夫曼字典的构建、数据压缩和解压过程如图 5所示。

该方法构建的部分霍夫曼树示意图如图 6所示, 由于篇幅有限, 所展示的霍夫曼二叉树只包含–6~6节点。

该方法生成的霍夫曼编码字典如表 3所示, 数据差值范围为0x00~0xFF, 共256个, 编码的码长一般在3~18位之间。因此每个差值的编码最多占用3个字节, 整个编码字典的大小不超过1 KB。

其中, 霍夫曼编码字典的构建是在性能较高的PC电脑端实现, 生成的霍夫曼编码字典占用1 KB空间, 将该字典导入低功耗嵌入式单片机系统, 配合传感器实现对海洋湍流数据的实时压缩。

3 结果与分析 3.1 不同压缩方式结果对比

使用第2节中的3种方法和当前流行的压缩软件对200组(约174 MB)海洋湍流历史数据进行压缩, 得到200组海洋湍流数据的平均压缩比结果如表 4所示。其中, 本文方法以所有被压缩数据的增量信息为信源生成霍夫曼树。

其中, 压缩比是评判系统数据压缩性能的重要参数之一, 指数据被压缩的比例, 用字母R表示, 通常R < 1, 压缩比R越小, 表示压缩效果越好。计算公式为:

$ R = \frac{{压缩数据长度\left( {比特数} \right)}}{{原始数据长度\left( {比特数} \right)}}. $

(1)

通过表 4中的7Z、ZIP、RAR和增量编码压缩方式可以看出, 对海洋湍流数据采用直接压缩处理方式, 压缩效果并不理想, 压缩比较高。对海洋湍流数据在增量编码的基础上再次压缩, 可将压缩比降至25%左右, 压缩效果非常明显。基于增量编码的RAR压缩方法虽然速度较快, 但其压缩方法并未开源; 基于增量编码的7Z压缩方法和基于增量编码的霍夫曼压缩方法的压缩比最低, 对系统存储资源占用最小, 更适用于数据量庞大的海洋湍流数据压缩, 但是这两种方法对处理器的运算性能要求较高, 对RAM(内存)需求较大, 而低功耗、低性能的嵌入式系统的内存空间通常只有几十KB(如STM32F103系列单片机内存空间在6~96 KB之间); 基于增量编码的字典霍夫曼压缩方法的压缩比非常接近基于增量编码的霍夫曼压缩方法, 且对CPU和内存占用低, 可以容易的移植到低功耗、低性能的海洋仪器中, 从而提高了仪器的数据存储量, 增强了海洋仪器的续航能力。

3.2 不同霍夫曼树压缩结果对比

为了分析基于增量的字典霍夫曼压缩方法中不同霍夫曼树对压缩结果的影响, 将200组数据按时间顺序均分为A、B两部分, 使用B组的100组数据构建霍夫曼编码表对B组数据进行压缩的压缩比为25.80%, 可认为该压缩比为B组数据基于增量的字典霍夫曼压缩方法的最低压缩比。

从A组中按固定间隔分别多次取1组、2组、4组、5组、10组、20组、50组、100组数据构建霍夫曼编码字典, 并以此对B组数据进行编码压缩, 得到的数据压缩比结果如表 5所示。

由表 5可以看出, 选用不同的历史数据所得到的数据压缩比差距较小, 由于湍流数据增量较为集中(1.2节), 即使采用较少的历史数据, 数据压缩比也能达到30%左右, 且采用的历史湍流增量数据越多, 平均压缩比越接近最低压缩比。

3.3 单片机压缩实验

将基于增量的字典霍夫曼压缩方法和基于增量的霍夫曼压缩方法移植到STM32L476(80 MHz主频, 1MB Flash, 128KB SRAM)单片机上, 并对20组海洋湍流数据(180 s一组, 每组数据约900 KB)进行压缩, 压缩实验结果如表 6所示。

由表 6可以看出, 基于增量的字典霍夫曼编码方法更为高效, 表现为较低的数据压缩比和更低的处理器资源占用率。由2.1节, 霍夫曼编码需要读取两遍源数据, 因此900 KB的湍流数据需要360 KB的内存空间用于缓存其增量数据, 这对于内存资源极为有限的低功耗单片机极为致命。而基于增量的字典霍夫曼编码方法只读取一遍源数据, 且仅需1 KB内存空间用于存储编码字典, 因此更为高效。

综上, 基于增量的字典霍夫曼编码方法不仅可以节省数据存储空间, 而且可以大大降低对系统处理器性能需求。更重要的是, 该方法为无损编码方法, 可通过对压缩后的数据进行无损解压得到源数据。因此, 基于增量的字典霍夫曼编码方法可对数据量庞大的海洋湍流数据实现高效实时压缩, 该方法的优势也决定了其适用于低功耗、低性能的嵌入式海洋仪器, 也可推广至其他具有数据量庞大、数据波动幅值小、增量信息集中等特点的数据处理系统中。

4 结论

本文通过对自容式湍流剖面观测仪获取的海洋湍流数据进行分析, 获得了海洋湍流数据增量统计学特征, 针对数据量庞大的海洋湍流数据在海洋设备中存储与传输难题, 提出了基于增量的字典霍夫曼编码方法。实验表明, 该方法可在嵌入式单片机系统上实现海洋湍流数据的高效实时无损压缩, 且压缩比低至25%。因此基于数据增量统计的霍夫曼压缩方法可广泛应用于需要存储或传输海洋湍流数据的仪器或系统, 极大地降低了海洋观测设备的数据存储与传输成本。