文章信息
- 吕新荣, 李云, 温春苗, 任鹏. 2021.
- LYU Xin-rong, LI Yun, WEN Chun-miao, REN Peng. 2021.
- 基于显著性分析的SAR溢油图像中暗斑区域检测方法研究
- Dark spot detection in SAR oil-spilled images based on saliency analysis
- 海洋科学, 45(4): 90-96
- Marine Sciences, 45(4): 90-96.
- http://dx.doi.org/10.11759/hykx20200324004
-
文章历史
- 收稿日期:2020-03-24
- 修回日期:2020-05-21
当今社会, 石油仍然是非常重要的资源。随着陆地资源的日趋匮乏和人类对能源需求的迅速增长, 海洋石油工业和海上石油运输业正蓬勃发展。海上溢油就是石油在海上开采或者运输过程中不同程度的流失, 主要包括在海上石油的勘探、开发过程中导致的油井原油泄漏, 在近岸输油管线或者油船装卸货发生的泄漏, 船舶因碰撞、倾覆、搁浅等事故导致的原油泄漏, 甚至是自然灾害导致的石油外溢等。这些事故都不同程度地污染了海洋生态环境, 同时也造成了大量的经济损失。为了减少溢油事故的发生, 需要加强对海上溢油的监测和检测。合成孔径雷达(synthetic aperture radar, SAR)具有全天时、全天候、大范围、高精度等优点, 目前已成为溢油监测最有效的手段。
在海上溢油的检测中, 溢油面积是衡量溢油事故的一个重要参数。因而在SAR海上溢油图像中, 如何准确地提取出溢油区域的边界是计算溢油面积的关键问题。在SAR海上溢油图像中, 通常溢油区域呈现深色, 以暗斑的形式存在, 较周边非溢油区域差别明显[1]。以此为据, 则可以通过图像处理的方法提取出SAR溢油图像中的暗斑区域。针对SAR溢油图像中的暗斑检测, 国内外诸多学者进行了大量非常有意义的研究。金杰等[2]采用一种结合多特征与改进模糊C均值聚类的方法提取溢油暗斑。张洪云[3]以随机几何中标识点过程理论为基础, 提出了基于非规则标识点过程的SAR图像暗斑提取方法。Radhika等[4]利用基于像素的方法完成了多种SAR溢油图像中的暗斑提取方法的讨论。Lang等[5]利用灰度特征、几何特征以及纹理特征等区分SAR溢油图像中的暗斑和海水, 提高了暗斑的提取效果。Guo等[6]利用Segnet作为语义分割模型, 对溢油区域的暗斑进行检测。通过基于语义分割模型的全卷积网络和其他一些分割方法的比较, 证明了该方法的有效性。Shu等[7]在SAR溢油图像中利用空间密度特征区分暗斑和背景, 主要包括三步: (1) 利用强度阈值分割暗斑和背景; (2) 利用核密度估计方法估计背景像素密度; (3) 利用区域阈值和对比度阈值剔除假目标。Zakeri等[8]提出了一种基于潜在暗斑极化强度(degree of polarization, DoP)的SAR溢油图像暗斑检测方法, 主要利用阈值方法进行粗检测, 然后利用DoP特性选取合适的阈值确定潜在的暗斑, 最后利用区域阈值剔除假目标。Taravat等[9]为了区分SAR溢油图像中暗斑和背景, 提出了威布尔乘法模型和多层感知机的神经网络检测方法, 克服了威布尔(Weibull)模型设置参数的非自适应性, 使SAR溢油图像中的暗斑检测朝着全自动的方向迈进了一步。Guan等[10]提出了一种张量投票的方法, 用来检测RADARSAT-1 SAR窄波束图像中的暗斑。Xu等[11]利用SAR图像中大尺度空间上下文信息来提高暗斑和背景之间的类别可分性。他们设计了一种随机全连通连续条件随机场的方法用于SAR图像的建模和软标签推理, 从而得到一种有效的检测方法。Kulshrestha[12]基于极化SAR数据, 将与海面散射体物理性质有关的极化参数作为特征, 使用高斯混合模型期望最大方法区分海水和潜在的溢油区域。
由于SAR溢油图像中暗斑是溢油区域提取的基础, 同时鉴于水平集方法需要人工初始化, 神经网络方法需要事先提供人工标定的样本, 且需要进行训练从而生成识别模型等缺点, 本文设计了一种无需人工交互的SAR溢油图像中暗斑区域检测方法。该方案基于图像显著性分析[13]和均值偏移方法[14]进行暗斑区域检测。在该方案中, 将图像显著性检测方法引入到SAR溢油图像的暗斑检测中, 然后利用均值偏移和显著性动态阈值相结合实现暗斑区域的准确提取。
1 方案设计 1.1 图像显著性检测显著性检测问题来源于计算机模拟人类视觉, 以期实现人眼快速准确地识别视觉场景中的显著区域的目的。图像显著性区域一般是最能引起人注意的部分, 通常包含了图像的绝大部分信息, 因而, 检测图像的显著性区域对于图像的分析、处理具有重大意义。目前存在多种多样的显著性检测方法[15], 主要可以分为两类: 基于局部对比度的方法和基于全局对比度的方法。前者只利用图像中相邻区域的信息, 只能部分高亮显著性区域, 对于背景复杂的图像处理效果欠佳。后者综合考虑了图像的整体性关系, 任意部分的显著性度量都是通过其整幅图像的差异来定义, 因而效果较好[16]。
鉴于图像在频率域可分为低频和高频两部分, Achanta等[13]从频率域角度出发, 提出了一种基于全局对比的显著区域检测方法。该方法将高斯低通滤波后图像中的每个像素值和整幅图像的平均像素值之间的欧氏距离作为该点的显著值, 详细过程如下:
首先利用快速傅里叶变换(fast Fourier transform, FFT)将图像变换到频域范围, 同时令
$\begin{aligned} \operatorname{DoG}(x, y) &=\frac{1}{2 \pi}\left[\frac{1}{\sigma_{1}^{2}} \mathrm{e}^{-\frac{\left(x^{2}+y^{2}\right)}{2 \sigma_{1}^{2}}}-\frac{1}{\sigma_{2}^{2}} \mathrm{e}^{-\frac{\left(x^{2}+y^{2}\right)}{2 \sigma_{2}^{2}}}\right] \\ &=G\left(x, y, \sigma_{1}\right)-G\left(x, y, \sigma_{2}\right), \end{aligned}$ | (1) |
其中,
$ S(x, y)=\left|I_{\mu}-I_{\omega_{\mathrm{HC}}}(x, y)\right| , $ | (2) |
其中, Iμ为原始图像的像素算术平均值,
$ S(x, y)=\left\|I_{\mu}-I_{\omega_{\mathrm{HC}}}(x, y)\right\| . $ | (3) |
与(2)式不同的是, (2)为L1范数(向量中各个元素绝对值之和), 而(3)为L2范数(向量各元素的平方和然后求平方根)。其中, 特征空间为Lab颜色空间, Iμ为原始图像对应的Lab空间均值, 而
总体来说, 该方法所描述的图像显著性检测步骤如下:
1) 对原始图像进行高斯滤波。
2) 将原始图像由RGB空间转换为Lab空间。
3) 对转换后的图像L, A, B三个通道的图像分别取均值LM, AM和BM; 并分别对三个通道的均值图像和高斯滤波后的图像利用式(3)计算欧氏距离并求和。
4) 利用显著性图像中的最大值和最小值对显著性图像归一化, 生成归一化显著性图像。
在对SAR图像进行显著性分析后, 得到其显著性图像, 接下来进行暗斑区域的提取。目前有关图像分割的方法大都可以在显著性图像上进行目标区域的提取, 但区域生长法, 需要为每个区域提供至少一个种子点; 模糊聚类方法需要设定类别数量; GrabCut方法[17]需要人工设定背景区域等。鉴于此, 我们选取了均值偏移算法。
1.2 均值偏移算法[14]均值偏移算法是基于核密度估计的算法, 可用于聚类、图像分割、目标跟踪等。其基本思想是在一个具有N个样本点的特征空间, 初始设定一个中心点x, 计算在半径D的圆形空间内所有点xi与中心点x的向量, 并计算整个圆形空间内所有向量的平均值, 生成一个偏移均值, 将中心点x移动到偏移均值的位置, 重复该动作, 直到满足一定条件为止。
1.2.1 均值偏移的基本形式对于给定d维空间Rd中的n个数据点集X, 则对于空间中的任意点
${M_h}(x) = \frac{1}{K}\sum\limits_{{x_i} \in {S_k}} {({x_i} - x) },$ | (4) |
其中, Sk表示以x为中心, 半径为h的高维球数据集, K为在Sk内的数据点的个数, xi为Sk内的数据点。
漂移的过程就是通过计算的漂移向量将球圆心x的位置更新, 使得圆心的位置一直向数据集密度最大的方向移动, 其更新方式为:
${x^{t + 1}} = {M_h}^t + {x^t} ,$ | (5) |
其中,
为了将均值偏移方法应用到在图像分割中, 需要加入核函数的概念, 使得距离中心近的点具有更大的权值, 即距离越短, 权值越大。加入核函数后的偏移均值为:
${M_h}(x) = \frac{{\sum {_{i = 1}^n{x_i}g\left( {{{\left\| {\frac{{x - {x_i}}}{h}} \right\|}^2}} \right)} }}{{\sum {_{i = 1}^ng\left( {{{\left\| {\frac{{x - {x_i}}}{h}} \right\|}^2}} \right)} }} - x ,$ | (6) |
其中, x为中心点, xi为半径h范围内的点, n为半径h范围内点的数量, g(x)为高斯核函数。更新后的中心坐标为:
$x = \frac{{\sum {_{i = 1}^n{x_i}g\left( {{{\left\| {\frac{{x - {x_i}}}{h}} \right\|}^2}} \right)} }}{{\sum {_{i = 1}^ng\left( {{{\left\| {\frac{{x - {x_i}}}{h}} \right\|}^2}} \right)} }} .$ | (7) |
本文将均值偏移算法应用到SAR图像的Lab空间中, 其执行过程如下:
1) 计算图像的像素均值m(x)。
2) 计算像素均值与像素点x之间的偏移量Mh(x)。
3) 如果像素均值与像素点x之间的偏移小于某一个给定的误差值ε, 即Mh(x) < ε, 则结束循环; 否则根据式(7)更新中心点坐标, 重复执行步骤(1)。
循环结束后, 将在SAR图像中得到分割结果, 即原图像被分割成几个不同的区域。
1.3 图像显著性检测与均值偏移算法的结合在对SAR溢油图像进行显著性检测后, 在显著性图像中, 每个像素的值代表该像素的显著性程度。针对均值偏移方法分割出的不同区域, 在其显著性图像中求出每个区域的平均显著性值, 如果大于阈值T, 则该区域为暗斑区域, 否则为非暗斑区域。
$T = \frac{2}{{W \times H}}\sum\limits_{i = 1}^W {\sum\limits_{j = 1}^H {S(i, j)} } $ , | (8) |
其中, W和H分别为显著性图像的宽度和高度, S(i, j) 为坐标(i, j) 处的显著性值。
2 实验 2.1 数据本文所采用的实验数据来源于NOWPAP (Northwest Pacific Action Plan)数据库。NOWPAP涵盖的地理范围大致是约121°E~143°E, 33°N~52°N的海洋和沿海地区。两幅SAR图像中, 图 1来自于ERS-2(European Remote Sensing Satellite-1)卫星的C波段SAR图像, 采集时间为UTC时间1997年9月22日02: 00: 22, 和图 2来自ESR-1(European Remote Sensing Satellite-2)卫星的C波段SAR图像, 采集时间为UTC时间1995年6月19日02: 30: 12, 两者采用的都是VV极化方式, 且两者之间没有任何联系。
2.2 实验方法
为了验证本文所提出方案的有效性, 我们进行了不同方法的暗斑提取实验, 主要分为两大部分: SAR图像上的暗斑提取和显著性图像上的暗斑提取。每个部分中分别用到了均值偏移方法、水平集方法[18]和OTSU动态阈值方法[19]。在人工解译的数据(ground truth)基础上, 对比在SAR图像上和显著性图像上三种方法的暗斑区域提取表现。对比的指标包括召回率和准确率, 其计算方式如下:
$ 召回率=\frac{正确提取的像素数量}{所有暗斑像素数量} ,$ | (9) |
$ 准确率=\frac{正确提取的像素数量}{所有提取的像素数量} 。$ | (10) |
图 1所示SAR图像的显著性检测结果如图 3所示; 图 2所示SAR图像的显著性检测结果如图 4所示。图 1和图 2所示图像, 在SAR图像上用不同方法得到的暗斑检测结果分别如图 5和图 6所示, 召回率和准确率分析如表 1所示; 在显著性图像上用不同方法得到的暗斑检测结果分别如图 7和图 8所示, 召回率和准确率分析如表 2所示。其中人工解译结果为溢油区域结果, 但这2幅SAR图像中不存在类油膜等属于非溢油区域的暗斑, 因此可以将解译的溢油区域视为准确的暗斑区域。
SAR图像上的暗斑提取和显著性图像上的暗斑提取对比: 从图 5和图 7的对比、图 6和图 8的对比、以及表 1和表 2可以看出, 在显著性上图像上进行暗斑区域的提取效果要比直接在SAR图像上进行提取其召回率或者准确率具有一定程度上的提升, 说明图像的显著性分析能够提高暗斑与背景的区别。
针对显著性图像上的暗斑提取结果: 1) 水平集方法在边缘保持方面表现较差, 如图 7b和图 8b圈中所示, 而OTSU方法根据阈值区分暗斑区域和非暗斑区域, 没有考虑区域内部像素之间的相关性, 在部分区域同样表现较差, 如图 7c和图 8c圈中所示。2) 暗斑区域提取精度: (1)对于图 1所示的SAR图像, 水平集方法和OTSU方法所提取到的真实暗斑像素数量较少, 因而他们的召回率低, 同时由于这两种方法提取到的暗斑像素总量少, 所以造成了这两种方法具有较高准确率的结果; 而均值偏移方法在保证了较高的召回率的基础上, 亦保证了较高的准确率; (2)对于图 2所示的SAR图像, 3种方法都有相对较高的召回率和准确率, 但均值偏移方法表现最优。3) 人工参与程度: 水平集方法需要人工事先设定初始轮廓, 且初始轮廓不同, 迭代次数不同会导致暗斑区域提取的结果有所不同; 本文所设计的方案无需人工参与, 同时也不需要标定好的样本训练集。
3 结论本文将图像显著性检测方法和均值偏移方法相结合, 引入到SAR溢油图像中的暗斑区域提取中。首先利用图像显著性检测方法对SAR图像进行处理生成显著性图像, 使图像中的暗斑区域视觉上更加明显; 然后利用均值偏移方法在SAR图像的Lab空间内将图像分割成不同的区域; 最后, 在显著性图像的基础上, 根据每个区域显著性均值和动态阈值之间的关系提取出准确的暗斑区域。实验结果表明, 本文所设计的方案能够有效地提取出SAR溢油图像中的暗斑区域, 且具有较高的召回率和准确率, 为溢油区域的提取奠定了基础。此外, 如何在暗斑区域提取的基础上设计一种高精度的溢油区域提取方法是接下来的研究重点。
[1] |
刘善伟, 王婉笛, 李潇, 等. 基于DRLSE模型的SAR溢油提取方法[J]. 海洋科学, 2018, 42(1): 153-157. LIU Shanwei, WANG Wandi, LI Xiao, et al. SAR oil-spill extraction method based on DRLSE model[J]. Marine Sciences, 2018, 42(1): 153-157. |
[2] |
金杰, 吴雅男, 康仲林. 基于多特征的SAR影像溢油暗斑提取[J]. 测绘与空间地理信息, 2018, 41(2): 53-56. JIN Jie, WU Yanan, KANG Zhonglin. Feature extraction of oil spill dark spot based on multi-feature in SAR image[J]. Geomatics & Spatial Information Technology, 2018, 41(2): 53-56. DOI:10.3969/j.issn.1672-5867.2018.02.015 |
[3] |
张洪云. 基于非规则标识点过程的溢油SAR图像暗斑提取[D]. 阜新: 辽宁工程技术大学, 2017. ZHANG Hongyun. Detecting dark spot from oil spill SAR intensity images by point process with irregular geometry mark[D]. Fuxin: Liaoning Technical University, 2017. |
[4] |
RADHIA V, PADMAVATHI G. A study on dark spot extraction methods in oil spill SAR imagery[J]. International Journal of Earth Sciences and Engineering, 2015, 8(2): 43-48. |
[5] |
LANG Haitao, ZHANG Xingyao, XI Yuyang, et al. Dark-spot segmentation for oil spill detection based on multifeatured fusion classification in single-pol synthetic aperture radar imagery[J]. Journal of Applied Remoter Sensing, 2017, 11(1): 015006. DOI:10.1117/1.JRS.11.015006 |
[6] |
GUO Hao, WEI Guo, AN Jubai. Dark spot detection in SAR images of oil spill using segnet[J]. Applied Sciences, 2018, 8(12): 2670. DOI:10.3390/app8122670 |
[7] |
SHU Yuanming, LI Jonathan, HAMAD Yousif, et al. Dark-spot detection from SAR intensity imagery with spatial density thresholding for oil-spill monitoring[J]. Remote Sensing of Environment, 2010, 114(9): 2026-2035. DOI:10.1016/j.rse.2010.04.009 |
[8] |
ZAKERI F, AMINI J. Dark spot detection using intensity and the degree of polarization in fully polarimetric SAR images for oil pollution monitoring[J]. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2015, XL-1-W5: 749-753. DOI:10.5194/isprsarchives-XL-1-W5-749-2015 |
[9] |
TARAVAT A, OPPELT N. Adaptive Weibull multiplicative model and multilayer perceptron neural networks for dark-spot detection from SAR imagery[J]. Sensors, 2014, 14: 22798-22810. DOI:10.3390/s141222798 |
[10] |
GUAN Haiyan, YU Yongtao, LI Jonathan. A tensor voting approach to dark spot detection in RADARSAT-1 intensity imagery[C]//Geoscience & Remote Sensing Symposium. Piscataway, New Jersey, USA: IEEE, 2015.
|
[11] |
XU Linlin, JAVAD S.M, WONG Alexander, et al. Fully connected continuous conditional random field with stochastic cliques for dark-spot detection in SAR imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(7): 2882-2890. DOI:10.1109/JSTARS.2016.2531985 |
[12] |
KULSHRESTHA A. Dark spot detection for characterization of oil spills using polar remote sensing[D]. Enschede, Netherlands: University of Twente, 2018.
|
[13] |
ACHANTA R, HEMAMI S., ESTRADA F, et al. Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, New Jersey, USA: IEEE, 2009, 1597-1604.
|
[14] |
马瑜, 梁慧琳, 张艳宁, 等. 基于图像颜色纹理的均值漂移分割算法[J]. 计算机工程与设计, 2013, 34(5): 1720-1724. MA Yu, LIANG Huilin, ZHANG Yanning, et al. Improved mean shift segmentation algorithm based on color texture[J]. Computer Engineering and Design, 2013, 34(5): 1720-1724. DOI:10.3969/j.issn.1000-7024.2013.05.039 |
[15] |
钱晓亮, 白臻, 陈渊, 等. 协同视觉显著性检测方法综述[J]. 电子学报, 2019, 47(6): 1352-1365. QIAN Xiaoliang, BAI Zhen, CHEN Yuan, et al. A review of co-saliency detection[J]. Acta Electronica Sinica, 2019, 47(6): 1352-1365. DOI:10.3969/j.issn.0372-2112.2019.06.024 |
[16] |
王闪闪. 基于显著性检测的人体轮廓提取问题研究与应用[D]. 济南: 山东大学, 2016. WANG Shanshan. The research and application of human body contour extraction with saliency detection[D]. Ji'nan: Shandong University, 2016. |
[17] |
ROTHER C, KOLMOGOROV V, BLAKE A, et al. "GrabCut"-Interactive foreground extraction using iterated g raph cuts[C]//Proceedings of ACM SIGGRAPH 2004. New York, USA: ACM, 2004: 309-314.
|
[18] |
LI C M, XU C, GUI C. Level set evolution without re-initialization: a new variational formulation[C]//Proceedings of CVPR. Piscataway, New Jersey, USA: IEEE, 2005, 1: 430-436.
|
[19] |
OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62-66. DOI:10.1109/TSMC.1979.4310076 |