海洋中的部分微藻或大型藻大量繁殖或聚集后会形成有害藻华, 包括微藻形成的赤潮和褐潮以及大型藻类形成的绿潮和金潮, 是一类常见的海洋生态灾害^[1]。有害藻华不仅对海洋生物有直接毒性效应^[2], 损害渔业和养殖业发展, 还会污染海产品, 对人类生命健康构成威胁^[3]。近几十年来, 受人类活动和气候变化影响, 全球许多海域记录的有害藻华事件频次和规模都有增加趋势^[4]。在2000年后, 我国近海的有害藻华问题也不断加剧, 而且藻华原因种呈现出多样化、小型化和有害化的演变态势^[5-6], 对有害藻华的监测预警带来了新的挑战。

2021年11月中下旬, 在山东半岛东北部海域暴发多纹膝沟藻(Gonyaulax polygramma)和红色赤潮藻(Akashiwo sanguinea)形成的大规模赤潮, 其中多纹膝沟藻是主要的赤潮原因种。赤潮发生区海水呈现暗红色, 赤潮暴发区养殖的海带(Saccharina japonica)出现了发黄和溃烂症状, 其中荣成市近海养殖的海带几近绝产, 造成的直接经济损失近20亿元, 间接损失也不容忽视^[7]。多纹膝沟藻是我国近海较为常见的一种甲藻, 曾在广东大鹏湾和江苏海州湾等海域形成赤潮^[8-9]。由于此次山东近海的多纹膝沟藻赤潮造成了严重危害, 有必要进一步强化对多纹膝沟藻的检测能力, 提升赤潮监测预警水平。

当前, 我国对于赤潮原因种的检测主要采取显微镜镜检方法, 该方法直观、可靠, 但对操作人员的专业知识要求高, 且存在耗时、费力等缺点, 难以在短时间内得到检测结果^[10]。近年来, 原位荧光标记和qPCR等分子生物学技术开始应用于赤潮原因种检测, 这些方法客观、灵敏、特异性强, 在赤潮早期诊断和监测方面具有独特的优势^[11], 但同样存在实验操作复杂、专业性强且耗时费力等问题。令人关注的是, 近年来流式成像技术得到快速发展^{[10, 12]}, 美国Yokogawa Fluid Imaging Technologies公司生产的FlowCam、荷兰Cytobuoy公司生产的Cytosense、以及美国McLANE Research Laboratories公司生产的IFCB(Imaging FlowCytobot)等一系列流式成像设备, 开始逐渐应用于赤潮监测和研究, 在一定程度上解决了传统显微镜镜检方法的不足。这些设备整合了数字成像、流式分析和显微镜技术, 实现了对水体中颗粒的高通量分析, 可以在短时间内获取大量影像信息, 并可以根据获取的颗粒物形状、颜色和纹理等形态特征对目标颗粒进行分类识别, 在赤潮藻种的监测和研究中得到了较好的应用^[13-15]。但许多研究表明, 以上设备自带的影像数据处理软件分类能力有限。例如FlowCam只能适用于形态特征差距较大的藻种, 对形态相似、难以区分的藻种在分类性能上仍存在不足^[16], 在野外样品分析过程中, 仍然需要人为辅助进行藻种判别, 并且FlowCam的分类过程需要对不同藻种逐一建库、筛选及分类, 操作过程耗时、复杂。应用深度学习方法对FlowCam的微藻图像识别和分类, 虽然需要较大的数据集, 但是获得的模型能够从识别精度、速度中优化识别和分类过程。近年来, 随着计算机视觉技术的迅速发展, 研究人员不断探索基于机器学习的浮游生物自动分类和识别方法。在以往研究中, 人工神经网络、决策树、支持向量机等传统机器学习方法都曾应用于微藻影像的分类和识别, 取得了较好的效果^[17]。但是, 传统机器学习方法需要针对目标藻种进行特征提取, 不仅需要专业的算法技能和分类学知识, 在进行多目标藻种识别时, 也很难获取适合的藻种特征, 构建的方法通用性往往较差。近年来, 人们开始探索将卷积神经网络(convolutional neural networks, CNN)等深度学习方法应用于微藻影像分析^[18-19], 该方法具有自主学习图像特征并对图像进行分类识别的能力, 不需人为选择和提取目标对象的特征, 在近年来的研究中已逐渐取代了传统机器学习方法。Pedraza等^[20]使用CNN方法, 对80种硅藻进行识别, 总体准确率达到99%, 但实验原始数据量较少, 每类只有100个目标。王羽徵等^[21]发展了基于VGG16的AlgaeNet网络, 对小球藻与金藻的识别准确率达到99.3%, 但该模型仅能识别2种微藻的单细胞显微图像。崔雪森等^[22]使用AlexNet深度学习模型, 对7种微藻的显微图像进行识别, 精度达到85.6%, 但使用微藻的图像质量较低。这些方法主要基于显微镜获取的微藻图像, 需要对图像进行复杂的预处理, 获得单细胞影像, 然后对其进行分类识别, 在实际应用中仍存在一定的局限性。YOLO模型是应用卷积神经网络方法发展的一种单阶段目标检测算法^[23], 能够同时对图像中的多个目标进行定位及分类识别, 缩短了检测所需的时间, 对于微藻检测具有较好的实用性。近年来, 已有研究开始探索将流式成像技术与YOLO模型相结合用于藻种的快速检测。

在2021年冬季山东半岛赤潮发生过程中, 多纹膝沟藻占有突出优势, 是主要的原因种。多纹膝沟藻细胞近于球形, 与一些甲藻细胞的形态相似, 在藻种识别和计数过程中, 有可能会受到形态相似藻种的干扰。此外, 我们的研究还发现在水温较低的情况下, 多纹膝沟藻容易脱去细胞外甲壳, 导致水体中存在大量的空壳, 也会对藻种检测结果带来影响。针对上述问题, 我们尝试通过FlowCam获取藻细胞影像, 对YOLOv3模型进行训练, 探索在不同情景下对多纹膝沟藻的检测效果, 旨在探究以下问题: (1)能否仅以多纹膝沟藻等赤潮优势种作为对象训练深度学习模型, 实现对赤潮的有效监测？(2)如何降低海水样品中存在的其他形态相似藻种对目标藻种识别的干扰？(3)采取何种策略实现对形态特征迥异的目标藻种对象(如多纹膝沟藻的活细胞和空壳)进行同步检测？对此, 我们设计了不同的实验进行探究, 尝试通过YOLOv3模型建立多纹膝沟藻的检测方法, 为有害藻华的监测和研究提供快速、高效的新手段。

1 材料与方法 1.1 实验藻种

实验中使用的目标藻种为多纹膝沟藻, 于2021年赤潮期间分离自山东威海海域。链状亚历山大藻(Alexandrium catenella)与多纹膝沟藻形态上具有一定的相似性, 实验中用作干扰藻种, 于2020年分离自秦皇岛近岸海域。两种藻种在实验室均以f/2−Si培养液进行培养, 培养温度为18 ℃, 光照强度约为50 µmol photons m^–2·s^–1, 光暗比L︰D为14 h︰10 h。培养所需的海水和锥形瓶都经过高温灭菌处理。

1.2 图像获取与数据集生成

采用FlowCam获取多纹膝沟藻和链状亚历山大藻的影像, 作为YOLOv3模型的训练数据集。根据实验藻种细胞大小, 选择FlowCam的10倍物镜获取藻细胞影像, 设备的其他参数包括: 流速为0.15 mL/min, 亮度为200^[15]。FlowCam输出的图片为tif格式, 首先将其转换成jpg格式, 在Python环境下使用LabelImg图像标注软件, 对图像的目标藻细胞进行标注, 并保存成标准VOC数据集格式的xml文件和YOLO模型的指定格式txt文件。按照8∶2的比例划分训练集和测试集用于目标藻种检测实验。

1.3 实验设计

针对本研究拟解决的3个问题, 分别设计实验进行多纹膝沟藻检测。在实验Ⅰ中, 自青岛汇泉湾采集天然海水样品, 取5 L海水浓缩至50 mL后, 加入处于对数生长期的多纹膝沟藻作为模拟样品, 通过FlowCam获取模拟样品图像(图 1a), 划分训练集和测试集后, 标注训练集中的多纹膝沟藻对YOLOv3模型进行训练, 以测试集数据测试藻种检测效果。在实验Ⅱ中, 向浓缩海水中同时加入多纹膝沟藻和链状亚历山大藻, 以FlowCam获取影像(图 1b)并划分训练集和测试集, 标注训练集中的多纹膝沟藻和链状亚历山大藻, 在对测试集数据进行检测时, 采取“仅检测多纹膝沟藻”及“两种目标藻种同时检测”两种策略, 并对检测效果进行对比。在实验Ⅲ中, 针对低温海水中(10 ℃)的多纹膝沟藻, 以FlowCam获取样品图像(图 1c)并划分训练集和测试集, 标注训练集中的多纹膝沟藻活细胞和空壳, 在对测试集数据进行检测时, 采取“将多纹膝沟藻活细胞和空壳作为不同目标”及“将多纹膝沟藻活细胞和空壳作为同一目标”等两种策略进行检测, 并对检测效果进行对比。实验过程中获取的微藻影像训练数据集和测试数据集具体情况如表 1所示。

1.4 YOLOv3模型

YOLO(You Only Look Once)系列算法是一项基于回归的目标检测算法, 目前已发展到第八代, 本研究选择YOLOv3模型进行实验^[24]。YOLOv3模型采用了多尺度预测方法, 改进了YOLOv2在小目标识别方面的缺陷, 在保持YOLOv2检测速度快这一优势的同时, 显著提高了对小目标的识别精度。

为检验YOLOv3模型的检测效果, 采用损失(loss)曲线评估模型对目标的识别效果; 采用精确率(Precision)、召回率(Recall)、平均精度(Average Precision, AP)和平均精度均值(mean Average Precision, mAP)作为实验结果的评价标准。其中, 精确率表示预测目标中正确目标所占比例, 以下式计算:

$ \mathrm{Precision}=\frac{\rm TP}{\rm TP+FP } . $

(1)

召回率表示预测目标占所有该类目标总数的比例, 以下式计算:

$ \mathrm{Recall} = \frac{\rm{TP}}{{\rm TP + FN}}. $

(2)

其中真正例(True Positive, TP)表示模型正确预测的目标样本数, 假正例(False Positive, FP)表示模型错误预测的目标样本数, 假反例(False Negative, FN)表示模型错误预测的非目标样本数。

平均精度用来衡量数据集中单一类别在不同召回率下的平均检测精确率

$ {\rm AP} = \mathop \smallint \limits_0^1 p\left( r \right){\rm d}\left( r \right) , $

(3)

其中p(r)为Precision—Recall曲线方程。

平均精度均值则是对各个类别的平均精度再求均值, 能够实现对不同类别目标检测效果的综合评估, 也是目标检测任务中的一项重要指标。

$ {\rm mAP} = \frac{1}{n}\mathop \sum \limits_{i = 0}^n {{\rm AP}_i}, $

(4)

其中n为类别数量。

1.5 实验环境

实验操作系统为Ubuntu20.04, CPU为AMD EPYC 7H12 64-Core Processor, GPU为Nvidia GeForce GTX 3090, 开发语言为Python3.8, 深度学习框架为Darknet53。实验过程YOLOv3的基础参数设置为Learning Rate: 0.001, Momentum: 0.9, Decay: 0.000 5, 批大小Batchsize为64, 开启多尺度训练, 共训练3万个批次。

2 实验结果

通过实验训练过程得到的损失曲线如图 2所示。结果表明, 对于实验Ⅰ、Ⅱ和Ⅲ中多纹膝沟藻的检测, Loss值均在前5千次迭代中快速下降, 之后随着迭代次数的增加缓慢下降直至稳定, 最终分别收敛于2.0和2.1, 说明YOLOv3模型对检测目标的识别效果好, 在训练阶段的学习效果理想, 实验参数设置合理。同时检测混合样品中的多纹膝沟藻和链状亚历山大藻时, 模型的Loss值在5千次迭代后具有较大的波动, 相比之下收敛效果较差。

应用3组实验中获取的数据集对YOLOv3模型进行训练, 以测试数据集对模型识别效果进行评估, 结果如图 3a所示。在实验Ⅰ中, 只以标记的多纹膝沟藻训练模型后, 对模拟天然海水样品中占有优势的多纹膝沟藻进行检测, 其识别精确率随召回率升高几乎没有明显变化, 在召回率接近100%时, 精确率仍能达到94.1%, 模型AP值为88.2%(图 4)。表明仅对多纹膝沟藻影像进行训练, 即可以满足多纹膝沟藻赤潮的监测工作需求。

在实验Ⅱ中, 当模拟样品中存在与多纹膝沟藻形态相似的链状亚历山大藻时, 如果只检测其中的多纹膝沟藻, YOLOv3模型的检测精确率较低, 最高只能达到85.5%, 且检测精确率随召回率升高而明显下降, 在召回率接近100%时, 精确率仅有70.3%, AP值仅有76.6%(图 3b, 图 4)。若同时检测多纹膝沟藻和链状亚历山大藻, 模型对多纹膝沟藻的检测精确率有所提升, 即便在召回率接近100%时, 检测精确率也有84.3%。模型对链状亚历山大藻的识别准确性较低, 精确率随召回率上升而持续下降, 在召回率接近100%时, 精确率为78.4%。此时模型对多纹膝沟藻检测的AP值提高到84.6%, 对链状亚历山大藻的检测AP值也有82.7%, 整体mAP值达到83.6%(图 3c-d, 图 4)。对模型检测结果的分析可以看出, 在仅对多纹膝沟藻影像进行训练时, 模型存在将链状亚历山大藻误认成多纹膝沟藻的情况, 但对两个藻种分别进行训练后, 几乎不会出现将链状亚历山大藻误认成多纹膝沟藻的情况。可见, 当样品中存在与目标藻种形态相似的干扰藻种时, 应当对两个藻种分别进行训练、检测, 可以提高对目标藻种的检测准确性。

在实验Ⅲ中, 在分别对多纹膝沟藻活细胞与空壳进行检测时, 对活细胞的检测精度在召回率98.2%时可达到90.7%, AP值为86.7%; 对空壳的检测在召回率为98.1%时精确率仅有79.7%, AP值为87.8%, 两者的mAP为87.3%(图 3e－f, 图 4)。将多纹膝沟藻的活细胞与空壳统一视为多纹膝沟藻时, 模型对多纹膝沟藻的识别准确率明显降低, 在召回率为98.8%时, 精确率仅能达到70.4%, AP值为84.2%(图 3g, 图 4)。将多纹膝沟藻活细胞与空壳作为两类目标进行训练后, 平均精度提升了3.1%。研究结果表明, 当需要对形态特征迥异的目标藻种对象进行检测时, 应分别进行训练和检测, 可以提高对目标藻种的检测准确性。

3 讨论

本文以2021年在山东近海暴发大规模赤潮的多纹膝沟藻为对象, 应用FlowCam流式影像仪和深度学习模型YOLOv3, 尝试通过人工智能手段实现对赤潮原因种的快速检测。FlowCam的优势在于能够高通量处理海洋环境样品, 在短时间内获取大量微藻图像信息, 在以往研究中已广泛应用于对微藻的识别与检测^[14-15]。在对微藻进行检测时最常遇到的问题是样品中其他藻种或杂质(如细菌、碎屑等)对目标藻种的干扰, 这会造成目标藻种被遮挡、黏连等, 影响对目标藻种的准确识别。样品的背景越复杂, 对目标藻种的特征影响越大, 这会影响模型对目标藻种的学习能力, 降低模型对藻种的识别水平。对于背景复杂的赤潮藻目标, 以往研究大多通过改进模型结构或对目标图像进行预处理, 获得目标区域, 提升预测框的预测能力。除了对微藻图像分割获取感兴趣的区域外, 可以通过强化模型对关键目标特征的关注度。以往研究中曾采用加入注意力机制来强化对重要特征的提取, 抑制其他无关的信息^[25]; 或在主干网络中引入无参数注意力SimAM, 使用能量函数识别有效特征, 抑制无关特征^[26]。但是, 采用FlowCam获取微藻影像, 可以在很大程度上改变这一状况。通过FlowCam获取的微藻影像绝大部分为独立藻细胞, 在影像中较少出现黏连或遮挡现象, 目标藻与周围环境背景具有明显的界限。本研究结果也表明, 尽管藻种在FlowCam获取的影像中占比较小, 但YOLOv3经过少量训练即可实现对目标藻细胞的准确识别, 在预测框学习过程表现出极佳的能力。各组实验中检测模型的预测指标很容易达到最优, 预测框能够紧密贴合微藻区域, 为微藻识别提供了便利条件。

本研究中, YOLOv3作为深度学习中应用广泛的单阶段检测算法, 具有多尺度的检测能力, 对小目标检测效果的提高使其适用于微藻检测领域。本研究直接将YOLOv3应用于FlowCam获取的微藻图像分析, 取得了较好的结果, 充分体现了YOLOv3的易用性和高效性。对浮游植物样品中目标藻种的识别容易受到形态相似藻种的干扰。许多研究都表明, 相似的藻类形态特征和细胞排列状况会降低模型自动分类识别过程中的准确性。对此, 本研究也选择了和多纹膝沟藻形态相似的链状亚历山大藻进行模型的检测效果评价。多纹膝沟藻和链状亚历山大藻在底面观和顶面观有一定程度的相似性, 在要求高召回率时YOLOv3模型出现将多纹膝沟藻误检为链状亚历山大藻的情况。本研究中采取了对形态相似藻种分别进行训练和检测, 可以很好的解决这一问题, 对目标藻种的检测精度与不存在干扰藻种时大致相当。通过对算法模型的改进也可以改进对藻种的检测精度。在以往研究中, Pant等^[27]在使用改进的ResNeXt CNN对7个盘星藻属物种进行自动分类时, 通过降低图像噪声以及数据增强扩大训练数据集, 增加藻类物种的特征数据, 降低对形态特征相似藻种的误检率。在CNN模型中, 卷积层的深度一定程度上决定着特征提取的能力, 通过增加CNN的“深度”或层数, 可以对其性能带来积极影响。多层神经网络早期由5到10层组成, 随着训练技术、连接模式和计算能力等方面的提升, 继续增加网络深度已不再成为问题, 大大减少了对目标类群的错误分类。

藻类的生长状况受环境影响很大。即便是同一种藻种, 由于所处生长阶段不同或受外界环境胁迫时, 其形态也会发生变化, 甚至出现藻细胞死亡、脱壳等现象。藻种出现重大的形态、颜色变化会影响模型的判断能力, 在检测过程对微藻的分类识别造成干扰。但是, 样品中藻细胞形态的变化非常常见, 而且这些变化能够在一定程度上反映微藻所处的生理状态, 甚至影响到海洋生态系统中的其他生物, 对其进行检测具有重要意义。本研究中, 多纹膝沟藻在低温下会从外壳中脱落, 导致原生质体裂解死亡, 而遗留下的外壳较为完整, 并且具有多纹膝沟藻独特的形状和纹理特征。在此条件下的活细胞也会表现出色素体减少等生理变化, 有些细胞甚至会逐渐形成孢囊, 与适宜条件培养下的藻细胞形态有明显差异。因此, 针对样品中的多纹膝沟藻活细胞和空壳进行检测也由一定的生态学意义。实际上, 多纹膝沟藻的活细胞和空壳在形态、颜色和纹理上存在显著差异, 模型对两者也表现出不同的检测能力, 在两者具有相同的召回率时, 对外壳检测的精确率比活细胞降低约11%, 甚至出现将样品中杂质误认为外壳的现象。从检测策略来看, 分别对活细胞和空壳进行检测, 准确率要优于将两类对象合并进行检测。针对同种细胞间形态差异对检测模型的影响, 可能需要结合更多的参数进行分类识别。Reimann等^[28]以小球藻悬浮培养物图像, 利用生物图像信息学提取微藻特征, 开发了一种随机森林模型, 使用荧光特征结合形态特征对活细胞和死细胞进行分类识别, 准确率比只使用形态特征时提高了82%。

4 结论

本研究针对2021年11—12月在山东半岛近海形成大规模赤潮的多纹膝沟藻, 尝试应用流式影像仪(FlowCam)结合卷积神经网络模型YOLOv3, 探讨了应用深度学习手段开展赤潮监测和研究的应用潜力。结果表明, YOLOv3对FlowCam影像中的多纹膝沟藻表现出较好的识别能力, 对浓缩海水样品中目标藻种识别的平均精度为88.2%; 样品中存在与多纹膝沟藻形态相似的链状亚历山大藻时, 将显著降低模型对目标藻种的识别准确性, 对两种微藻同时进行训练和检测, 可将对多纹膝沟藻识别的平均精度提高至84.6%。对于形态特征迥异的目标对象(如多纹膝沟藻活细胞和空壳), 分别识别的平均精度高于将两者统一作为多纹膝沟藻进行检测的识别精度。研究结果表明了FlowCam与深度学习模型相结合在赤潮监测和研究中的应用潜力。