海洋生物发光是一种普遍的自然现象^[1], 研究表明, 大洋中层生物发光的时空变化与浮游动物的丰度和不同生物量之间有着明显的关联性^[2-3]。因此, 了解发光浮游生物的丰度和空间分布对研究海洋生态系统的结构等有着重要作用^[4-5]。目前对发光浮游生物丰度分布的研究大致可分为光电传感器探测^[6-7]和微光成像系统观测两种方法, 其中微光成像方法由于其数据的可视性、直观性和高分辨率成为目前主流的探测方法, 其主要是基于高灵敏度的微光成像传感器^[8-9]捕获生物发光的图像资料, 通过对图像资料的分析获取相关的数据。但海洋浮游生物体积小, 发光强度弱且多为闪光^[10], 除此之外, 生物团块分裂发光、发光区域尺度变化较大等情况较为多见, 因此对发光浮游生物的定量分析, 如数量清点、丰度统计等存在难度。Jessica Craig等^[11-12]基于ICCD (Image Intensified Charge Coupled Device)相机研制了ICDeep系统, Philips Brennan T等^[13]基于sCMOS (Scientifc CMOS)传感器相机研制了海洋发光生物探测仪, 其都是在捕获生物发光的图像资料后, 通过逐帧回放分析的方式人工统计浮游生物的丰度数据。随着计算机视觉的发展, 基于多目标跟踪技术的自动分析方法被逐渐运用到该领域中^[14], 如Kocak Donna M等^[15]通过采用snake模型对发光图像进行分割、标记以及跟踪, 以实现对发光浮游生物的计数分类, 从而提出基于主动轮廓模型的自动分析方法; Luca Mazzei等^[16]提出一种基于帧间特征匹配的发光浮游生物自动计数方法, 主要采用帧间差比较以及外接矩形框的相交来进行多目标间的匹配实现跟踪计数。上述方法都在自动分析计数方面取得一定的效果, 但由于发光浮游生物自身形态、发光形式等的特殊性和复杂性, 基于多目标跟踪技术的自动计数方法仍存在一定的挑战, 如因目标尺度形变较大、目标遮挡等造成的跟踪失败, 目标距离过近、生物团块分裂发光等造成的误检漏检问题仍有待解决。

本文针对发光目标尺度形变较大的特点, 采用质心和运动方向两个全局特征来进行目标的描述, 同时针对因目标距离过近造成的误匹配情况, 提出将帧间质心差和运动方向相似度两个特征进行融合匹配的方法, 在因目标距离较近而使质心差满足条件的情况下进一步判断运动方向相似度, 以此降低误匹配率, 提高计数方法准确率。

1 自动检测与记数方法

本文利用微光相机拍摄浮游生物的受激发光图像, 设计检测跟踪算法对其进行分析计数。考虑到浮游生物形态变化的特性, 提出了一种基于多特征匹配跟踪的自动计数方法, 该方法主要针对深海黑暗环境下采集的发光浮游生物进行自动检测、跟踪匹配, 通过迭代进行统计计数。如图 1所示, 主要包括目标检测、目标跟踪、自动迭代计数。目标检测的主要目的是将发光目标区域从带有噪声干扰的背景中提取出来, 对于每一帧原始图像, 首先使用滤波方法预处理, 以增强目标与背景的对比度, 然后对目标以及背景使用阈值化实现分割, 并对分割后产生的图像孔洞使用形态学方法进行修复, 最后对整体目标使用连通域标记方法进行分割标记, 同时提取连通域的质心、运动方向等特征; 目标跟踪主要是基于目标运动的连续性, 首先对跟踪目标的区域进行预测, 在连续帧间进行质心运动差和运动方向相似度的多特征对比, 从而完成多个目标间的匹配, 对成功匹配的目标传递标签信息, 完成跟踪计数。

2 多目标跟踪算法 2.1 多特征匹配法则

由于图像序列中相邻帧的时间间隔较小, 目标运动突变的可能性不大, 因此在采样频率较高的情况下, 可以假设相同目标在相邻帧之间运动时, 其运动质心及运动方向变化在一定的范围内。因此对于$O_{i}^{k}$(第k帧的目标i)和$ O_{j}^{k-1}$(k–1帧的目标j), 当其为同一目标时, 质心运动差及运动方向改变量定小于一定阈值, 可用公式表述为

$ O_i^k \approx O_j^{k - 1}, if\left\{ ( \right.{\rm{\Delta }}{d_{(i, j)}} < {\delta _d}) \wedge ({\rm{\Delta }}{\theta _{(i, j)}} < {\delta _\theta }\left. ) \right\} $

(1)

其中: $ {\rm{\Delta }}{d_{(i, j)}}$表示目标i和目标j的帧间质心差, ${\rm{\Delta }}{\theta _{(i, j)}} $表示运动方向偏差, δ_d和δ_θ分别表示质心运动差和运动方向偏差的阈值。当质心差符合阈值要求时, 采用运动方向进行进一步的匹配, 能在很大程度上减少由于目标距离过近而造成的误匹配。质心差$ {\rm{\Delta }}{d_{(i, j)}}$、运动方向偏差${\rm{\Delta }}{\theta _{(i, j)}} $定义如下:

$ \Delta {d_{\left( {i, j} \right)}} = \sqrt {{{(X_i^k - X_j^{k - 1})}^2} + {{(Y_i^k - Y_j^{k - 1})}^2}} , $

(2)

$ \Delta {\theta _{(i, j)}} = \left| {\theta _i^k - \theta _j^{k - 1}} \right|, $

(3)

其中: X、Y表示目标质心的横纵坐标, θ表示目标目前的运动方向, 设原图为f(x, y), 阈值化后的二值图像为B(x, y), 连通域标记后的图像为T(x, y), 则第k帧图像第i个目标的质心坐标$\mathit{\boldsymbol{X}}_\mathit{\boldsymbol{i}}^\mathit{\boldsymbol{k}} $、$\mathit{\boldsymbol{Y}}_\mathit{\boldsymbol{i}}^\mathit{\boldsymbol{k}} $, 运动方向$\theta _i^k $的计算公式如下:

$ S_i^k = \sum\limits_{(x, y) \in A} {B(x, y)} , $

(4)

$ X_i^k = \frac{{\sum\limits_{(x, y) \in A} {xB(x, y)} }}{{S_i^k}}, $

(5)

$ Y_i^k = \frac{{\sum\limits_{(x, y) \in A} {yB(x, y)} }}{{S_i^k}}, $

(6)

$ \theta _i^k = \arctan \left( {\frac{{X_i^k - X_i^{k - 1}}}{{Y_i^k - Y_i^{k - 1}}}} \right), $

(7)

其中: $ A = \left\{ {(x, y)|T(x, y) = i} \right\}$, $ S_i^k$表示第k帧图像第i个目标的面积。当k=1时, 由于k–1帧不存在, 因此第一帧的目标因找不到匹配目标从而直接被判断为新目标, 赋予新标签进行跟踪。

在相邻帧间搜索匹配时, 为提高搜索效率, 引入搜索区域预测模型, 在前一帧外接矩形框的基础上扩大相应倍数作为当前帧的搜索区域, 如式8所示, $ B_i^{k - 1}$表示目标i的外接矩形框, $\overline B _i^k $表示目标i的搜索区域框, 扩大系数α通过多次实验得出。

$ \overline B _i^k = \alpha B_i^{k - 1}. $

(8)

2.2 匹配跟踪方法

基于上述的匹配法则, 发光浮游生物匹配跟踪算法描述如表 1所示。对于每一帧内检测到的发光目标, 首先判断其是否为新目标, 具体为在其搜索区域内进行遍历搜索, 找出与其质心差最小的目标, 若此最小质心差大于设定阈值, 则判为新目标, 分配新的ID标签进行跟踪; 反之为上一帧存在的目标, 跳至Step 2进一步寻找与之匹配的目标, 在其搜索区域内首先判断最小质心差是否满足设定阈值, 若满足则进一步进行运动方向相似度的判断, 若运动方向偏差也满足阈值要求, 则判为匹配目标, 至此匹配跟踪成功, 传递质心、运动方向、ID标签等信息后继续下一帧的跟踪。

图 2所示为根据上述的发光浮游生物匹配跟踪算法所进行的目标关联匹配示意图, 其中输入、输出及具体匹配描述如表 2所示。

3 实验与分析 3.1 跟踪计数分析

为检验本文方法的有效性, 使用真实采样的发光浮游生物视频样本进行实验验证。该样本序列由英国Aberden大学的OceanLab实验室利用自主研发的ICDeep搭载CTD采样平台拍摄于地中海中部的西爱奥尼亚海, 总时长20 s, 帧率25帧/s, 包含大量的生物发光事件以及闪光、形变、尺度变化等的特征变化。从该图像序列中截取不相关的5段进行实验, 对视场内的每一个发光目标进行检测、标记、跟踪计数。如图 3所示为其中连续4帧的多目标检测跟踪情况, 第一列为原始图像, 第二列为检测标记后图像, 第三列为跟踪过程图像, 其中绿色框为目标外接矩形, 红色线条为目标运动轨迹。从发光目标跟踪结果来看, 目标6从无到有被成功识别, 并赋予正确的标签(计数), 说明本文所提出的多特征匹配法则能正确的判断新出现的目标并跟踪; 目标1和目标6在连续4帧中发生了较明显的尺度及形状变化, 目标4为一个多点发光的团块, 经历了由“集中-分散”的形变并同时伴随亮度的减弱, 但这些情况都能被正确的识别、匹配、连续跟踪并分别形成运动轨迹, 表明本文所提出的方法对发光生物的形变、尺度变化等有一定的鲁棒性。

为了对本文方法的性能指标进行更加直观的评估, 在整个过程中将程序自动检测跟踪到的目标和人工标注的目标进行对比。事先对待测序列进行逐帧回放, 人工标记序列中所包含的发光目标数, 记为RT(Real Targets); 过程中程序自动检测并成功跟踪计数的目标数记为TP(True Positive); 因噪声、生物分裂等干扰因素造成的程序误检目标数(即实际不存在但被程序检测到的目标数)记为FP(False Positive), 实际存在但未被程序检测并跟踪到的漏检目标数记为FN(False Negative)。采用三个性能指标对结果进行分析, 具体为准确率TPR(True Positive Rate)、误检率FPR(False Positive Rate)和漏检率FNR(False Negative Rate), 其中TPR = TP/RT, FPR = FP/(TP+FP), FNR = FN/RT=1–TPR。如表 3所示为发光目标跟踪性能指标, 对5个序列的性能指标进行分析, 可知所有样本准确率均达到了90%以上, 但也存在部分漏检以及误检情况。

具体分析出现误检和漏检的原因, 如发现序列4存在较高的误检率, 逐帧分析发现序列4中存在几个细胞外发光生物, 生物腺体分泌出的内含物并外排发光形成细胞外发光现象, 如图 4所示, 内含物在水中呈现烟花状分裂发光, 此时对于分裂出的远离发光中心的零散点8, 本文的检测程序将其误认为新出现的目标进行跟踪计数, 相较于人工标注的结果则出现了误检; 而漏检多数是由于一些生物发光强度较弱, 在阈值化时被当作背景处理, 还有一些则是发光面积过小被当作噪声过滤。

3.2 对比分析

为了与现有的自动图像分析方法进行对比, 采用文献[16]中的样本序列进行对比实验。如图 5所示为其中连续3帧的样本对比结果, 第一列为原始图像, 第二列为本文方法的处理结果, 第三列为现有帧间差匹配跟踪方法的处理结果。其中小目标18在靠近目标17处出现, 而由于其与目标17满足质心差阈值, 帧间差匹配法则将其与原先目标17匹配从而将其标记为17进行跟踪; 但其并不满足运动方向相似度阈值, 则本文方法将其正确识别为新目标并标记为18继续跟踪。相比之下, 本文所提出的基于质心差和运动方向的特征匹配方法有更准确的匹配跟踪效果, 从而从一定程度上提高了计数准确率。

对4组样本的跟踪性能指标进行统计, 因在本文定义中, FNR(漏检率)=1-TPR(准确率), 即漏检率(FNR)可通过准确率(TPR)来体现, 因此此处主要对准确率(TPR)和误检率(FPR)进行统计。如图 6所示, 相比于目前基于帧间差的匹配方法, 本文加入运动方向特征后所提出的多特征融合匹配法在跟踪计数准确率(TPR)上有明显的提升, 即漏检率(FNR)有相应幅度的下降; 误检率(FPR)与现有方法相比相差不大但也有一定幅度的降低, 证明了本文方法的有效性。

4 结论

本文基于浮游生物受激发光的视觉图像, 提出了一种基于多特征匹配跟踪的自动计数方法, 该方法主要针对发光目标尺度形变大等特点, 采用质心运动差和运动方向相似度两个特征对连续帧间的目标进行匹配跟踪, 以达到准确计数的目的。实验分析表明:

(1) 本文所提出的方法能正确识别新目标的出现并连续跟踪计数, 对发光生物的形变、尺度变化等特性具有鲁棒性;

(2) 相比于已有的基于帧间质心差的匹配跟踪方法, 本文方法在准确率上有较明显的提升, 具有较好的计数效果;

(3) 本文方法仍存在改进的空间:如当存在较多的细胞外发光生物时, 其分泌物的扩散对误检率有较为明显的影响, 后续会主要围绕误检率的问题研究改进方案, 使其能够适应各种复杂多样的发光目标计数任务。