随着生活水平的不断改善, 人们对优质鱼肉的需求日益增加^[1]。大黄鱼(Larimichthys crocea)作为优质鱼肉的代表之一深受广大人民的喜爱, 在其养殖过程中饲料是主要的经济支出^[2]。冰鲜杂鱼与人工合成饲料作为大黄鱼的饲料来源其投喂不当会造成养殖海域的海水富营养化、大黄鱼生长不良和引发病害等问题^[3-4]。目前在东海养殖网箱中的大黄鱼饲养主要由人工控制机器自动投喂, 网箱数量多和过度依赖经验容易造成投喂不当问题, 因此通过解决实况海域大黄鱼摄食行为识别从而制定适当投喂量是养殖系统中急需解决的问题^[5-6]。

目前国内外对鱼类摄食行为的研究取得了一定进展^[7], 计算机视觉作为无害、稳定的技术方法在行为精准识别方面已成为重要的研究方式。黄志涛等^[8]利用光流法和背景差分法分析鱼群转角与速度变化并结合图像纹理特征来识别鱼群摄食行为。但该方法在实况海域实时变化的海况下难以用合理的建模和模拟实现背景差分法。陈彩文等^[9]通过分析图像纹理特征量化鱼群摄食强度, 但该方法实际使用时易受海面波浪影响。LI等^[10]采用几种滤波技术对单位鱼体游动情况进行跟踪再涵盖到整个鱼群, 但海洋网箱养殖投喂时鱼体目标多为重叠, 该方法受鱼群重叠干扰影响严重。ZHOU等^[11]在含有鱼体的图像上以鱼体形心作为狄罗尼三角顶点, 再以三角形周长估算鱼群聚集程度来判断摄食行为, 但该方法当鱼体目标发生重叠现象时易误算三角形周长。朱明等^[12]采用MobileNetV3-Small轻量级神经网络对鲈鱼摄食行为分析, 但类似的深度学习研究方法复杂性高计算量大所需的硬件设施更为严格, 模型计算精度实时受海洋多变的环境影响。综上大部分研究在理想的环境下提取所需实验参数, 没有考虑水面浑浊、水面波动大等问题。因此大部分实验方法未能在实况海域鱼类摄食行为量化上取得成效。大黄鱼摄食时水面产生剧烈波动导致图像像素产生变化, 图像纹理特征方法能够在排除水面浑浊的影响下有效分析出像素变化与大黄鱼摄食行为的关系^[13]。同时东海海域的波变化明显, 其中波高变化会引起图像像素变化, 本次研究旨在图像纹理特征方法的基础上通过减少水面波高变化对纹理特征方法的影响, 实现实况海域大黄鱼摄食行为的精准量化。

1 材料和方法 1.1 实验材料与环境

试验环境位于东海海域, 泥沙含量较高, 水面浑浊, 试验场地如图 1所示。投喂船如图 2所示, 其功能包括自动巡航及自动投料。饲料为特种水产专用鱼饵存于料箱中以螺旋上升的方式到达出料口出料。试验网箱中大黄鱼体长约25~31 cm, 体质量约370~524 g。

硬件: TP-LINK无线摄像头, 型号IPC633-A4, 安装在投喂管道下方距离水面0.4 m处。PLC型号6ES7223-1PL22-0XA8, 安装在控制柜内。测波杆固定于网箱。视频处理计算机Intel(R) Core(TM) CPU i5-7300频率2.50 GHz。

软件: Labview采集视频图像, 采集图像分辨率为828×1 464, 以MatlabR2022b分析图像纹理特征, 分类大黄鱼摄食行为。

1.2 试验方法设计

投喂船驶到对应网箱边, 摄像头实时记录并保存水面鱼群动态视频, 采集视频, 输出序列帧图片(2帧/s), 养殖人员以经验观察并分类视频中大黄鱼摄食强弱用作后续识别准确率的评估。以纹理特征方法为基础设计大黄鱼摄食模型, 计算模型准确率并挑出识别错误图像。同时导入实时波高数据并计算帧间波高, 研究帧间波高与使用单一纹理特征法识别出的错误图像关系。研究基于波高信息优化下的纹理特征方法的大黄鱼摄食行为数学模型, 分类大黄鱼饥饿程度, 其流程如图 3所示。

投喂过程中摄像头处于静止状态, 未能拍摄到所有存在摄食行为的大黄鱼, 部分大黄鱼虽有摄食行为但未出现在图像内, 如图 4大黄鱼在摄食时段内但图片内大黄鱼未有摄食行为, 因此大黄鱼摄食阶段存在采集到未摄食图像的可能。如图 4~图 6, 大黄鱼摄食强度分为无、弱、强3个阶段。综上所述在后续分析的图像中会出现阶段性的3种不同的摄食强度。

2 大黄鱼摄食行为量化模型构建 2.1 基于图像纹理特征的摄食行为量化模型研究

大黄鱼摄食时水面产生剧烈波动, 摄食欲望越强产生的水面波动越大^[14], 图像像素灰度和梯度发生变化。图像纹理特征通过灰度图像像素间的灰度重复和灰度变化定量的描述像素之间的关系^[15]。利用纹理特征提取灰度图像中的灰度梯度变化。灰度共生矩阵在图像纹理分析方法中应用最为广泛, 且能够利用二阶度量描述灰度值在图像空间上的分布特点, 并且有良好的鲁棒性^[16-17]。

2.1.1 灰度共生矩阵的建立

假设二维灰度图像f(x, y)分辨率M×N, 灰度级为N_g, 灰度值为i的像素点(x₁, y₁)与在其角度θ且距离d灰度值为j的像素点(x₂, y₂)发生关系的频率由灰度共生矩阵定义:

$ P\left(i, j, d, \theta \right)=\text{#}\left\{\begin{array}{l}\left({x}_{1}, {y}_{1}\right)\left({x}_{2}, {y}_{2}\right)\in M\times N|f\left({x}_{1}, {y}_{1}\right)=i, \\ f\left({x}_{2}, {y}_{2}\right)=j;x=0, 1, 2\cdots , M-1;\\ y=0, 1, 2, \cdots , N-1\end{array}\right\} , $

(1)

式中: #{x}表示集合x中的元素个数; P为灰度共生矩阵; i, j=0, 1, 2, …, N_g–1。

实际应用时, 利用灰度共生矩阵计算二阶统计量不仅能提高计算准确率也能极大减少计算量^[18], 采用逆差距、相关性、能量、对比度4个二阶统计量计算。张向东等^[19]研究得知d=1时特征差异最大。李刚等^[20]研究得知灰度级N_g=16时图像纹理特征保持最好。为收集各个方向的特征信息, 因此本次研究选取d=1, 灰度级为16并在θ为0°、45°、90°、135° 4个方向计算灰度共生矩阵。通过归一化提取矩阵4个方向的所有特征参数。

(a) 逆差距: 描述图像纹理局部变化大小, 计算公式如下:

$f_{\mathrm{H}}=\sum_{i=1}^{N_{\mathrm{g}}} \sum_{j=1}^{N_{\mathrm{g}}} \frac{P(i, j, d, \theta)}{1+(i-j)^2}$

(2)

(b) 相关性: 体现灰度矩阵在行或列上方向上的相似程度, 描述局部灰度相关性, 矩阵元素之间的相差值越大, 相关性值越小, 计算公式如下:

$ {f}_{\rm COR}=\frac{{{\displaystyle \sum }}_{i=1}^{{N}_{\mathrm{g}}}{{\displaystyle \sum }}_{j=1}^{{N}_{\mathrm{g}}}\left(ij\left(P\left(i, j, d, \theta \right)\right)\right)-{\mu }_{1}{\mu }_{2}}{{\sigma }_{1}^{2}{\sigma }_{2}^{2}} , $

(3)

式中μ₁、μ₂、σ₁、σ₂分别为:

$ {\sigma _2} = \mathop \sum \limits_{i = 1}^{{N_{\mathrm{g}}}} {\left( {j - {\mu _2}} \right)^2}\mathop \sum \limits_{j = 1}^{{N_{\mathrm{g}}}} P\left( {i, j, d, \theta } \right) , $

(4)

(c) 能量: 描述图像灰度的粗细以及纹理均匀程度, 也称二阶矩。当图像中元素集中时数值较大, 计算公式如下:

$ {f}_{\mathrm{E}}=\sum\limits_{i=1}^{{N}_{\mathrm{g}}}\sum\limits_{j=1}^{{N}_{\mathrm{g}}}{\left(P\left(i, j, d, \theta \right)\right)}^{2} , $

(5)

(d) 对比度: 描述图像清晰度和纹理沟纹深浅, 计算公式如下:

$ {f}_{\mathrm{CON}}=-\sum\limits_{i=1}^{{N}_{\mathrm{g}}}\sum\limits_{j=1}^{{N}_{\mathrm{g}}}{\left(i-j\right)}^{2}P\left(i, j\right) , $

(6)

在式(2)~(6)的基础上以0°, 45°, 90°, 135° 4个角度对4种纹理特征的均值计算分析, 由此建立基于图像纹理特征的大黄鱼摄食行为量化的数学模型为^[21]:

$ P = {\alpha _1}{f_{\mathrm{H}}} + {\alpha _2}{f_{\mathrm{CON}}} + {\alpha _3}{f_{\mathrm{E}}} + {\alpha _4}{f_{\mathrm{CON}}} + {\alpha _5}, $

(7)

式中: α₁、α₂、α₃、α₄为各特征的系数; α₅为综合参数的修正值; P为摄食强度值。

通过摄食强度值表征大黄鱼摄食行为既能反应大黄鱼摄食时的活跃程度, 也能体现遇到饵料时鱼反应的剧烈程度。图像纹理从图像整体的角度对大黄鱼摄食行为进行表征, 式(7)综合4种二次统计量, 通过纹理特征描述大黄鱼摄食行为变化。

2.1.2 基于图像纹理特征大黄鱼摄食行为分析

通过灰度共生矩阵计算每帧图像的4个二次统计量值, 逐帧在图 7a~7d种绘出能量、对比度、相关性、逆差距曲线。在式(7)的基础上计算大黄鱼摄食行为强度值并绘出图 8。以已分类的大黄鱼摄食图像对比图 7及图 8检测结果得到纹理特征参数准确率(表 1)及大黄鱼摄食强度阈值(表 2)。

结合1.2试验方法与图 7说明大黄鱼摄食强度曲线不以未摄食到弱摄食再到强摄食最后结束摄食行为的流程进行, 480帧图像均可能处于3个任意状态之一, 如131帧非摄食状态下水面保持一定的波动, 摄食强度值在0.419, 随后132帧开始到238帧结束之前鱼因摄食导致水面的波动增强, 其强度值曲线在0.42~0.44之间波动, 第238帧图像时图像中多数量鱼在水面活跃摄食, 水面波动剧烈, 其摄食强度曲线高于0.44, 而后多处于0.43~0.44, 直至第253帧再次出现多数鱼因强摄食导致水面剧烈波动的情况, 此时强度值为0.443。在之后的图像中仍出现无、弱、强3种摄食强度状态。

如图 7b和图 8所示, 对比度曲线与摄食强度曲线相似, 可见对比度对摄食强度影响最大, 同样以131帧为例, 水面无摄食活动时对比度特征值为0.487 049, 随后132帧开始水面陆续出现大黄鱼摄食现象, 特征值在0.485~ 0.541 2之间波动, 直至238帧水面大量鱼体跃出水面摄食导致的纹理特征值上升至0.563 328。如图 7(a)和7(d)所示能量和逆差距变化曲线相似, 图 7(c)和表 1表明以相关性特征值判别摄食行为在本次研究中识别准确率低。

以人为经验作为事实依据, 模型分析与之相符为识别正确, 反之为识别错误。以分类的不同摄食强度图像为基础, 结合对应帧各纹理特征值, 在忽略96帧误差图像的条件下, 定摄食强度值大于0.44为强, 0.42~0.44为弱, 0.42以下判断为无摄食行为。摄食强度分为强时共161帧, 纹理特征值表现为能量值小于0.040 877, 逆差距能量值小于0.884 4, 相关性大于0.046 632, 对比度大于0.541 2。弱摄食强度共260帧, 纹理特征值表现为能量值小于0.040 877并大于0.042 6, 相关性小于0.046 4并大于0.046 632, 对比度小于0.541 20并大于0.485, 逆差距小于0.884 4并大于0.894。无摄食共59帧, 纹理特征值表现为能量值大于0.042 6, 相关性小于0.464 5, 对比度小于0.485, 逆差距能量值大于0.894 3。

2.2 引入波高参数修正图像纹理特征模型

实况海域存在波变化, 本文研究波峰波谷交替产生的波高对图像纹理特征值的影响。由2.1.2和波高数据可知在本此试验环境下只利用图形纹理特征分分析方法分类大黄鱼摄食行为存在一定误差, 如图 8, 如170~171帧、222~223帧、300~301帧等波高产生较大变化的时间段与实时采集并识别错误的部分图像相对应, 其中50张未摄食行为图像误分类为弱摄食行为。11张未摄食行为图像误分类为强摄食行为, 35张弱摄食行为图像误分类为强摄食行为。分析图 9与摄食图像, 研究发现误差图像产生时波高均大于0.31 cm。

$ \begin{array}{l}\beta =\frac{1}{{\left(h+0.69\right)}^{3}}{\alpha }_{5} \qquad \qquad h > 0.31\\ \beta ={\alpha }_{5}\qquad\qquad \qquad \qquad h\le 0.31\end{array} , $

(8)

式中: β为修正值, h为波高。

$ E = {\alpha _1}{f_{\mathrm{H}}} + {\alpha _2}{f_{\mathrm{CON}}} + {\alpha _3}{f_{\mathrm{E}}} + {\alpha _4}{f_{\mathrm{CON}}} + \beta , $

(9)

式中: E为摄食强度值。

在MatlabR2022b中的SVM工具箱下建立训练模型, 数据样本共5组, 每组都包含480帧图像, 随机4组作为训练集, 1组为验证集并通过数据增强的方法增加训练集个数。随后为验证模型最终识别精度将正确分类的大黄鱼摄食行为图像与经过波高修正参数优化后的大黄鱼摄食行为量化结果相比较, 结果大部分误差图像被消除, 只剩下33图像仍存在误差, 识别准确率达到了93.12%。本次试验网箱投喂时间一般为早上或下午且1 d只投喂1次, 因此研究暂不考虑夜晚无光的情况。为研究模型在不同时段光照下的检测精度, 本次试验采集数据样本时间为第一日9点、第二日13点及第三日17点, 每次采集480帧图像(表 3)。

在不同光照强度下的模型精度的确不同, 其原因为过强或弱光照强度均会造成额外的识别误差。虽未能达到虽光照强度变化而自我调整的目标, 但试验模型识别准确率依旧达到90%以上, 能够精准地识别鱼群的摄食行为。

3 结论

本文利用纹理特征分析方法提取灰度图像的能量、对比度、相关性、逆差距4种纹理参数, 分析各参数变化规律及识别准确率, 综合4种纹理参数, 分类大黄鱼摄食强度。因受复杂环境干扰, 误差达到了20%。随后取短时间内4 min 480帧图像分析, 其光照强度几乎不变。在一段相同光照时间内, 防止因自然光随时间的变化导致纹理特征分析方法产生误差, 通过研究海洋养殖网箱中波高变化对纹理修正值的影响, 加入波高修正因子, 量化大黄鱼摄食行为并确定无、弱、强3种摄食状态所对应的摄食强度值, 试验最大程度减少波高干扰, 增加模型鲁棒性, 改进了原本使用于理想环境的纹理特征分析方法, 与传统单一纹理特征分析方法相比能够极大程度上消除在海面因波浪引起的图像数据采集误差并能够适应日常绝大多数时段的大黄鱼摄食行为识别工作, 其实况海域大黄鱼摄食行为识别准确率上提高了约12%, 同时避免了在复杂环境下追踪鱼体困难的问题。试验以小波高为例, 为之后研究不同波高值状态下的大黄鱼摄食量化模型提供理论参考。本次并未试验所有体型的大黄鱼, 不同体型的大黄鱼摄食时产生的水花也不同, 导致后续纹理特征以及大黄鱼摄食模型的不同。同个网箱内一般同时期养殖一批大黄鱼, 虽个体在大小下有些许区别, 但大部分鱼摄食所导致的水面波动均能被图像捕捉, 其中小部分因病态而导致的弱摄食个体一般会在网箱中淘汰并处理。若识别不同时期的同一批大黄鱼摄食行为需及时调整模型中的纹理参数阀值及摄食强度阀值。

不同时段光照强度不同, 纹理特征值不同, 而随时间延长光照强度变化, 模型识别的摄食强度值也随之变化, 其中波高影响光线的程度也不同。后续将针对以图像纹理特征方法为基础在不同光照以及不同波高环境下的实况海域大黄鱼摄食行为量化问题进行研究。