海洋科学  2018, Vol. 42 Issue (1): 88-92   PDF    
http://dx.doi.org/10.11759/hykx20171011005

文章信息

刘博文, 戴永寿, 金久才, 李立刚, 邵峰. 2018.
LIU Bo-wen, DAI Yong-shou, JIN Jiu-cai, LI Li-gang, SHAO Feng. 2018.
基于空间分布与统计特性的海面远景目标检测方法
Marine farsighted target-detection method based on spatial distribution and statistical characteristics
海洋科学, 42(1): 88-92
Marina Sciences, 42(1): 88-92.
http://dx.doi.org/10.11759/hykx20171011005

文章历史

收稿日期:2017-10-11
修回日期:2017-12-02
基于空间分布与统计特性的海面远景目标检测方法
刘博文1, 戴永寿1, 金久才2, 李立刚1, 邵峰1,2     
1. 中国石油大学(华东), 山东 青岛 266000;
2. 国家海洋局 第一海洋研究所, 山东 青岛 266000
摘要:海面运动载体获取的可见光图像中, 远景目标成像面积小、特征不显著、信噪比较低等特点增大了目标检测难度, 现有方法难以同时取得较高的查全率与较低的虚警率。作者根据目标在图像中的空间分布与统计特性, 提出了一种海面远景目标检测方法。首先结合直线特征与界线特征实现海天线检测, 然后根据拉伊达准则实现明度图像中疑似目标像素与背景像素的分离, 得到二值图像, 最后对二值图像进行形态学处理, 并根据疑似目标区域与海天线的位置关系, 排除干扰区域。测试结果表明:所提方法具有较高查全率与较低虚警率, 且实时性和鲁棒性较强。
关键词海面远景目标检测    海天线检测    拉伊达准则    形态学处理    
Marine farsighted target-detection method based on spatial distribution and statistical characteristics
LIU Bo-wen1, DAI Yong-shou1, JIN Jiu-cai2, LI Li-gang1, SHAO Feng1,2     
1. China University of Petroleum, Qingdao 266000, China;
2. The First Institute of Oceanography, SOA, Qingdao 266000, China
Abstract: In visible-light maritime images, the area and characteristics of farsighted targets are not clear and the image SNRs are low. The existing target-detection method cannot obtain a high recall and low false alarm rate. Based on the target's spatial distribution and statistical characteristics in the image, we propose a marine farsighted target-detection method. In this method, first, the sea–sky line is detected by combining the line and boundary features. Then, the Pauta criterion is used to obtain a binary image by separating the suspected target pixel from the background pixel. Finally, the binary image is morphologically processed and the interference area excluded based on the positional relationship between the suspected target area and the sea–sky line. Our experimental results indicate that the proposed method has a high recall rate and low false alarm rate, and is relatively robust and effective in real time.
Key words: marine farsighted target detection    sea–sky line detection    Pauta criterion    morphological processing    

相比于雷达与红外热像仪, 摄像机具有成本低、图像分辨率高的优势, 可用于无人船等海面运动载体前方的目标检测。海面运动载体通常与目标保持一定的安全距离, 目标多为远景成像。远景目标在图像中的面积较小(通常小于图像总面积的1/100), 难以反映出目标的几何特征与纹理特征, 再加上海面干扰较多, 使得目标检测的难度大为增加。

近年来, 国内外学者在海面目标检测方面进行了大量的研究工作, 主要可概括为3类方法。第一类是基于显著性检测的方法[1-4], 其中Albrecht等[1]提出的方法具有代表性。通过构造区域复杂度、区域差异性和周围差异性三种显著特征, 同时结合水天分类方法实现海面目标检测, 但该类方法难以处理只包含少量像素的远景目标。第二类是基于聚类分割的方法[5-8], 其中马忠丽等[6]提出了一种基于Mean-shift的海面图像自适应分割算法。自适应估计空间域与灰度域的带宽, 进行Mean-shift滤波与聚类实现海面图像分割, 解决了传统Mean-shift算法全局固定带宽适应性不强的问题, 但基于聚类分割的方法对于海面波浪与反光干扰非常敏感, 且聚类数难以根据场景自适应变化。第三类是基于背景建模的方法[9-11], 其中蒋永馨等[9]提出了核函数-马尔可夫随机场前景分割模型, 克服了多高斯模型的缺点, 较为有效地检测出了平稳图像序列中的运动远景目标。但海面背景高度动态与船体颠簸造成的图像序列不平稳导致图像间的关联难度大, 这类方法难以从海面运动载体获取的图像序列中检测出目标。由于海面反光与波浪等干扰容易淹没远景目标并造成虚警, 现有方法难以同时获得高检测率与低虚警率[12]。作者考虑到远景目标在图像中的空间分布与统计特性, 提出基于空间分布与统计特性的海面远景目标检测方法。

1 基于空间分布与统计特性的海面远景目标检测

通过对船载摄像机所采集的视频序列进行分析, 发现这类图像具有以下有利于远景目标检测的特点: (1)图像主要由海水和天空这两类背景像素组成, 背景的空间连续性与颜色一致性较强; (2)远景目标位于海天线区域。根据这两个特点提出了本文方法, 包括海天线检测、疑似目标像素提取、二值图像后处理这3个部分。

1.1 海天线检测

图像中的远景目标集中于海天线附近, 通过检测海天线可以将海面与天空区域分离, 缩小目标搜索区域并有效抑制海天线区域以外的噪声干扰。作为海面与天空的分界线, 图像的灰度往往在海天线上下发生总体突变。现有海天线检测方法众多, 但核心思想大多以海天线的直线特征为依据[13], 即:海天线是由高梯度边缘像素连接成的近似直线。然而, 当图像中海面波纹密集或存在船只尾迹等高梯度边缘时, 波纹的连线或船只尾迹的直线特征有可能比海天线更显著, 进而造成误检测。考虑到海天线作为海面与天空区域的交界线, 还具有界线特征:海天线上下两区域的特征分布具有显著差异。为此, 作者结合直线特征与界线特征进行海天线的检测, 具体分为以下3步进行。

1.1.1 边缘检测

考虑到HSV(Hue, Saturation, Value)颜色空间更符合人类描述色彩的方式, 将输入图像换至HSV颜色空间, 后续处理在其明度(Value)分量图 1上进行。然后采用被广泛应用于海面图像边缘检测的Canny算子对其进行边缘检测, 得到包含高梯度边缘的二值图像E

图 1 典型海面图像的明度分量图 Fig. 1 Value component of a typical maritime image
1.1.2 候选海天线的提取

为了将二值图像中的边缘像素连接成具有几何参数的直线, 采用Hough变换[14]进行边缘连接, 并用极坐标方程表示直线: $x\cos \theta + y\sin \theta = \rho $, 每一条直线的直线特征用Hough投票值H来表示:

$ H\left( {\rho, \theta } \right) = \int\limits_x {\int\limits_y {E\left( {x, y} \right)} } \delta \left( {x\cos \theta + y\sin \theta-\rho } \right){\rm{d}}x{\rm{d}}y $ (1)

式中, $\delta ( \cdot )$表示冲激函数。选择投票值H排名前10的直线作为候选海天线, 并以每一条候选海天线为界, 将图像分为上下两部分, 根据两部分像素总体明度的差异性与每个部分像素明度的离散性来衡量候选海天线的界线特征:

$ J\left( {\rho, \theta } \right) = \frac{{\left| {{\mu _a}-{\mu _b}} \right|}}{{{\sigma _a} + {\sigma _b}}} $ (2)

式中, ${\mu _a}$${\sigma _a}$分别是上方像素的明度均值与标准差, ${\mu _b}$${\sigma _b}$分别是下方像素的明度均值与标准差。

1.1.3 海天线判别

对每条候选海天线的直线特征与界线特征进行归一化处理, 公式如下:

$ {H_{norm}}\left( {\rho, \theta } \right) = \left( {H(\rho, \theta )-{H_{\min }}} \right)/\left( {{H_{\max }}-{H_{\min }}} \right) $ (3)
$ {J_{norm}}\left( {\rho, \theta } \right) = \left( {J(\rho, \theta )-{J_{\min }}} \right)/\left( {{J_{\max }}-{J_{\min }}} \right) $ (4)

式(3)中, HminHmax分别表示所有候选海天线直线特征的最小值与最大值, 式(4)中JminJmax分别表示所有候选海天线界线特征的最小值与最大值。然后求取每条候选海天线归一化直线特征与界线特征的加权和:

$ Score\left( {\rho, \theta } \right) = \alpha {H_{norm}}\left( {p, \theta } \right) + \left( {1 - \alpha } \right){J_{norm}}\left( {p, \theta } \right) $ (5)

式中, α为权重因子, 根据测试经验设置为0.3, 称Score为得分值, 选择具有最大得分值的候选海天线作为检测结果。

1.2 基于拉伊达准则的疑似目标像素提取

根据海天线位置可以将图像分为海面与天空两部分, 远景目标在图像中所占面积较小, 图像主要成分为天空与海水组成的背景。图 1为某典型海面图像的明度分量图, 图 2图 1不同区域的明度直方图。图 2a所示的天空区域明度直方图曲线与图 2b所示的海面区域明度直方图曲线两端低、中间高, 近似正态分布曲线。图 2a中椭圆所圈定的区域为图 1中目标船只明度分布的区间。

图 2 图 1不同区域的直方图 Fig. 2 Histograms of different regions of figure 1 a.天空区域直方图; b.海面区域直方图 a. The histogram of the sky region; b. The histogram of the sea region

考虑到目标像素数量少、目标与背景像素的明度值存在一定差异, 为此从统计学的角度出发, 将目标像素明度值当作“异常值”进行处理。拉伊达准则(又称为$3\sigma $准则)是一种经典的“异常数据”提取方法, 其基本思想为:先假设一组检测数据只含有随机误差, 对其进行计算处理得到均值 $\mu $与标准偏差 $ \sigma $, 按一定概率确定一个区间(通常取为 $\left[ {\mu - 3\sigma ,\mu + 3\sigma } \right]$), 则不属于这个区间的数据就认为是含有粗大误差的“异常数据”。

为此, 作者应用拉伊达准则提取图像中的异常像素, 并将其标记为疑似目标像素。根据以下公式提取天空区域的异常像素:

$ B(m, n) = \left\{ \begin{array}{l} \begin{array}{*{20}{c}} 1&{\begin{array}{*{20}{c}} {if}&{I(m, n) \in \left[{{\mu _{sky}}-3{\sigma _{sky}}, {\mu _{sky}} + 3{\sigma _{sky}}} \right]} \end{array}} \end{array}\\ \begin{array}{*{20}{c}} 0&{else} \end{array} \end{array} \right. $ (6)

式中, ${\mu _{sky}}$${\sigma _{sky}}$分别表示天空区域的明度均值与方差。海面区域异常像素的提取类似于天空区域, 计算公式如下:

$ B(m, n) = \left\{ \begin{array}{l} \begin{array}{*{20}{c}} 1&{\begin{array}{*{20}{c}} {if}&{I(m, n) \in \left[{{\mu _{sea}}-3{\sigma _{sea}}, {\mu _{sea}} + 3{\sigma _{sea}}} \right]} \end{array}} \end{array}\\ \begin{array}{*{20}{c}} 0&{else} \end{array} \end{array} \right. $ (7)

式中, ${\mu _{sea}}$${\sigma _{sea}}$分别表示海面区域的明度均值与方差。合并海面与天空区域的处理结果得到二值图像, 其中0代表正常像素(背景), 1代表异常像素(疑似目标)。

1.3 二值图像后处理

由于海面反光、漂浮物、云朵等干扰的明度值与背景像素的明度值存在较大差异, 它们可能会被误判为异常像素。同时, 目标区域中与背景明度相近的像素也可能会被误判为正常像素, 造成二值图像中疑似目标区域存在孔洞或裂缝。二值图像后处理的目的就是为了从疑似目标中消除海面反光等虚假目标, 填补孔洞并修复裂缝, 从而准确地将背景像素与目标像素分离。二值图像后处理包括形态学运算、连通区域检测与虚假目标区域去除。

首先对二值图像进行形态学运算, 包括腐蚀与膨胀运算。通过腐蚀运算去除图像中孤立且仅包含个别像素的疑似目标; 再进行膨胀运算, 填补疑似目标区域的孔洞并修复裂缝。

形态学处理后, 对图像进行连通区域检测。采用8连通检测算子, 根据疑似目标像素的空间连接关系, 将疑似目标像素集划分为若干个等价类(连通集), 每个连通集代表一个疑似目标。

图像中真实目标位于海天交界区, 而海面反光与漂浮物等海面干扰则位于海天线下方, 云朵等空中干扰则位于海天线上方根据真实目标和虚假目标同海天线的位置关系, 建立如下虚假目标去除准则:当海天线未穿过目标区域时, 该区域被判定为虚假目标区域。二值图像后处理所保留下来的疑似目标区域, 即为目标检测结果。

2 实验结果与分析

目前公开的海面可见光图像数据集较少, 为获得不同海况与光线条件下的海面可见光图像, 从两个公开的海面可见光图像数据集[10, 15]中挑选了100幅图像作为测试图像数据集, 测试图像的分辨率为640×480像素。其中文献[10]提供的数据集由低速无人船上的摄像机采集, 文献[15]提供的数据集由快艇上的摄像机采集, 包含了不同海况、光照条件下采集的图像, 且目标数量、类型与尺寸等因素也存在差异。

图 3为本文方法各个部分于某海面图像上的测试结果。图 3b中红色实线为检测出的海天线。图 3c中存在乌云(黄色箭头标记位置)与海面杂波引发的虚假目标像素, 对其进行后处理得到3 d, 乌云与海面杂波干扰得到了有效的抑制, 只保留下了海天交界处的真实目标。

图 3 本文方法各环节处理结果示例 Fig. 3 Results from main steps of this method a.原始图像; b.海天线检测; c.疑似目标像素提取; d.二值图像后处理 a. The original image; b. The sea sky line detection; c. Suspected target pixels extraction; d. Post-processing of the binary image

图 4为4幅典型海面图像的测试结果, 图中红色矩形框为检测出目标的最小外接矩形。根据以下准则[12]判断单个目标检测的正确性:目标的真实区域Rt由手工标记, 方法检测得到的区域记为Rd, $Rt \cup Rd$表示两区域并集的面积, $Rt \cap Rd $表示两区域相交部分的面积, 若$ Rt \cap Rd > 0.5 \cdot Rt \cup Rd$, 则认为该目标检测成功。图 4的目标检测结果表明, 本文方法在检测出远景目标的同时, 有效地抑制了海面波浪、光斑因素的干扰, 对海况与光线等环境因素的变化具有一定的适应性。

图 4 典型海面图像中远景目标的检测结果 Fig. 4 Farsighted target detection results for typical marine images a.清晰图像; b.波浪干扰图像; c.低信噪比图像; d.模糊图像 a. Clear image; b. image with wave interference; c. low SNR image; d. blurry image

为评价方法的检测效果, 采用查全率(方法正确检测出的目标个数/真实存在的目标个数)与虚警率(虚假目标被检测为真实目标的个数/方法共检测出的目标个数)[12]两个指标对方法进行定量评价。查全率的提高往往伴随着虚警率的增大, 而虚警率的降低则是以降低查全率(出现漏检的概率增大)为代价。对数据集的测试结果进行统计, 求得查全率为87%、虚警率为3%。

虽然作者的方法能够获得较高的查全率与较低虚警率, 但对于以下两类图像难以取得满意的检测效果: (1)存在大面积海面反光或大量波浪的图像, 此时图像中干扰众多, 拉伊达准则不再适用; (2)模糊不清的图像, 此时海天线难以被准确检测, 再加上目标明度值与背景接近, 目标往往被漏检。然而, 对于这两类图像中的远景目标检测, 现有方法也难以获得满意的查全率与虚警率, 该问题有待进一步研究。

3 结论

作者针对海面运动载体获取的可见光图像中远景目标面积小、特征不显著、信噪比较低造成目标检测困难的问题, 结合目标空间分布与统计特性, 提出了一种适用于海面远景目标检测的方法, 有效地降低了低信噪比等因素造成的漏检测与虚假检测。理论分析与实验结果表明了作者的方法的可行性和有效性, 较低的虚警率与较高的查全率及实时性使得方法具有一定的工程实用价值。

参考文献
[1]
Albrecht T, West G A W, Tan T, et al. Visual maritime attention using multiple low-level features and na ve bayes classification[C]//2011 International Conference on Digital Image Computing: Techniques and Applications, Noosa, Australia: IEEE, 2011: 243-249.
[2]
吴琦颖, 李翠华. 用于海上感兴趣区域实时分割的近似算法[J]. 厦门大学学报(自然版), 2007, 46(1): 33-37.
Wu Qiying, Li Cuihua. The approximation algorithms applied to maritime region of interest segmentation[J]. Journal of Xiamen University(Natural Science), 2007, 46(1): 33-37.
[3]
任蕾, 施朝健, 冉鑫. 结合局部和全局显著性的海上小目标检测[J]. 上海海事大学学报, 2012, 33(2): 1-5.
Ren Lei, Shi Chaojian, Ran Xin. Small target detection in ocean environment using local and global saliency[J]. Journal of Shanghai Maritime University, 2012, 33(2): 1-5.
[4]
臧风妮, 李庆忠, 张洋. 一种快速自动检测海面目标算法[J]. 中国海洋大学学报(自然科学版), 2015, 45(4): 110-115.
Zang Fengni, Li Qingzhong, Zhang Yang. A fast algorithm for detection of sea surface objects based on visual attention model in wavelet domain[J]. Journal of Ocean University of China (Natural Science), 2015, 45(4): 110-115.
[5]
Voles P, Smith A A W, Teal M K. Nautical scene segmentation using variable size image windows and feature space reclustering[J]. Lecture Notes in Computer Science, 2000, 1843: 324-335. DOI:10.1007/3-540-45053-X
[6]
马忠丽, 梁秀梅, 文杰. 无人水面艇目标图像自适应分割算法[J]. 哈尔滨工业大学学报, 2014, 46(7): 53-59.
Ma Zhongli, Liang Xiumei, Wen Jie. Image adaptive segmentation algorithm for unmanned surface vehicle targets[J]. Journal of Harbin Institute of Technology, 2014, 46(7): 53-59.
[7]
曾文静, 万磊, 张铁栋, 等. 复杂海空背景下弱小目标的快速自动检测[J]. 光学精密工程, 2012, 20(2): 403-412.
Zeng Wenjing, Wan Lei, Zhang Tiedong, et al. Fast detection of weak targets in complex sea-sky background[J]. Optics and Precision Engineering, 2012, 20(2): 403-412.
[8]
Mou X, Wang H. Image-based maritime obstacle detection using global sparsity potentials[J]. Journal of Information & Communication Convergence Engineering, 2016, 14(2): 129-135.
[9]
蒋永馨, 袁群哲, 邵承永, 等. 海上远景小目标检测方法的研究[J]. 光电工程, 2011, 38(10): 46-50.
Jiang Yongxin, Yuan Qunzhe, Shao Chengyong, et al. Detection method of long-range small object at sea[J]. Opto-Electronic Engineering, 2011, 38(10): 46-50. DOI:10.3969/j.issn.1003-501X.2011.10.008
[10]
Kristan M, Sulic K V, Kovacic S, et al. Fast image- based obstacle detection from unmanned surface vehicles[J]. IEEE Transactions on Cybernetics, 2016, 46(3): 641-654. DOI:10.1109/TCYB.2015.2412251
[11]
Socek D, Culibrk D, Marques O, et al. A hybrid color- based foreground object detection method for automated marine surveillance[C]//2005 International Conference on Advanced Concepts for Intelligent Vision Systems, Velag, Venezuela: Springer, 2005: 340-347.
[12]
齐保军. 大气散射模型在雾天图像增强和海面小目标检测中的应用[D]. 长沙: 国防科学技术大学, 2013.
Qi Baojun. Atmospheric scattering model with applications to foggy image enhancement and small sea-surface object detection[D]. Changsha: National University of Defense Technology, 2013.
[13]
Prasad D K, Rajan D, Prasath C K, et al. MSCM-LiFe: Multi-scale cross modal linear feature for horizon detection in maritime images[C]//2016 IEEE Region 10 Conference (TENCON), Singapore: IEEE, 2016: 22-25.
[14]
Gonzalez R C, Woods R E, Eddins S L. Digital image processing (Third edition)[M]. Beijing: Publishing House of Electronics Industry, 2010.
[15]
Prasad D K, Rajan D, Rachmawati L, et al. Video processing from electro-optical sensors for object detection and tracking in maritime environment: A survey[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(8): 1993-2016. DOI:10.1109/TITS.2016.2634580