在海上救援、溢油等突发事件的应急处理, 以及违法作业、走私偷渡、非法入侵等海上维权执法工作中, 海上视频监控是一种常用、有效的技术手段。随着智能无人系统的兴起与发展, 在海洋技术装备领域中, 具有高度灵活性、高效性和安全性的无人船成为了研究热点。特别是集成了视频监控系统的无人船是一种新型的海上自主监控平台, 可实现抵近、定点和连续跟踪监控。

无人船在执行海上视频监控任务中, 受到海上环境^[1]、太阳高度角和无人船航向等因素的影响, 无人船视野内海面反光现象不可避免。当无人船视轴方向接近起伏波面的镜面反射角会聚区域内^[2], 导致该波面成为海面图像中的反光区域。在反光区域中, 像素点具有较高亮度值, 甚至超出摄像头成像元件的感光范围而达到饱和, 此时, 图像中海面的颜色、纹理结构受到严重破坏^[3]。在海天线提取方面, 一般需要将图像进行Canny变换^[4]以获取二值边缘图像。但由于海面图像中存在大量反光区域, 这些反光区域的大部分边缘信息仍会保留在Canny图像中, 那么海天线的边缘点会少于海面反光区域边缘点, 导致海天线无法准确提取。在运动目标跟踪方面, 由于反光波面有较强的边缘和亮度信息, 在序列帧图像中随机起伏的反光波面不断变化, 导致反光区域常被误判为运动目标。特别地, 若进行小目标跟踪时, 由于小目标在整幅图像中的有效像素点占据很少一部分, 海面反光区域更易出现目标跟丢的情况。

目前, 在海上监控视频的目标检测和跟踪相关文献中, 还没有专门处理反光区域的算法。在一些文献中, 将海面背景进行动态建模以减小光照变化带来的影响, 但难以消除海面反光的干扰。本文利用Shen等^[5]的RGB通道颜色亮度比例模型, 结合海面反光区域的像素分布特点, 实现无人船监视图像中反光区域的检测和去除, 并利用自研发的久航-490号无人船搭载摄像头在威海镆铘岛周边海域进行了海上实验验证。

1 海面反光区域的检测

在一般的图像处理中, 海面反光区域又称高光区域。在计算机视觉中, 高光区域的检测和去除是一重要内容。在双色反射模型中^[6], Shafer认为物体表面的反射光由漫反射分量和镜面反射分量组成, 当镜面分量比例越大时, 物体表面的反射光越强烈, 越容易成为高光区域。在一幅图像中通常存在一定比例的镜面反射分量为0的完全漫反射像素, 根据这一现象, 文献[5]在Shafer的双色反射模型基础上, 提出了反射系数无关的亮度比例模型, 即某个完全漫反射像素点的最大RGB通道值与该点的RGB通道范围值的比例与物体的表面几何因素无关。

按照双色反射模型, 在RGB通道中, 像素点x的亮度$I(x) = {[{I_r}(x), {\rm{ }}{I_g}(x), {\rm{ }}{I_b}(x)]^T}$可表示为:

$ I(x) = {I^D}(x){\rm{ }} + {\rm{ }}{I^S}(x){\rm{ }} $

(1)

式中, ${I^D}(x)$为漫反射分量, ${I^S}(x)$为镜面反射分量。二者又可表示为${\rm{ }}{I^D}(x) = {m_d}(x)\Lambda {\rm{ }}$, ${I^S}(x) = {m_s}(x)\Gamma $。其中, $\Lambda = {[{\Lambda _r}, {\rm{ }}{\Lambda _g}, {\rm{ }}{\Lambda _b}]^T}$为漫反射色度, 表示物体表面的真实色度, $\Gamma = {[{\Gamma _r}, {\rm{ }}{\Gamma _g}, {\rm{ }}{\Gamma _b}]^T}$为光照色度, 表示光源颜色, ${m_d}(x)$, ${m_s}(x)$分别为漫反射分量和镜面反射分量的表面几何权重。因此, 像素点x的亮度可表示为:

$ I(x) = {m_d}(x)\Lambda {\rm{ }} + {\rm{ }}{m_s}(x)\Gamma $

(2)

由于海洋环境下的光照为均匀的阳光照射, 而Γ反映的是光源色度信息。因此, 将RGB颜色归一化后, 光照色度变为$\Gamma = {[\Gamma, {\rm{ }}\Gamma, {\rm{ }}\Gamma]^T}$, 其中Γ=1/3。

像素点x的最小颜色通道值和最大颜色通道值分别表示为,

$ \begin{array}{l} {I_{\min }}(x) = \min \{ {I_r}(x), {\rm{ }}{I_g}(x), {\rm{ }}{I_b}(x)\} \\ {\rm{ }} = {m_d}(x){\Lambda _{\min }} + {\rm{ }}{m_s}(x)\Gamma \end{array} $

(3)

$ \begin{array}{l} {I_{\max }}(x) = \max \{ {I_r}(x), {\rm{ }}{I_g}(x), {\rm{ }}{I_b}(x)\} \\ {\rm{ }} = {m_d}(x){\Lambda _{\max }} + {\rm{ }}{m_s}(x)\Gamma \end{array} $

(4)

式中, ${\Lambda _{\min }} = \min \{ {\Lambda _r}, {\rm{ }}{\Lambda _g}, {\rm{ }}{\Lambda _b}\} $, ${\Lambda _{\max }} = \max \{ {\Lambda _r}, {\rm{ }}{\Lambda _g}, {\rm{ }}{\Lambda _b}\} $。对于完全漫反射像素点, 则有${I_{\min }}(x) = {m_d}(x){\Lambda _{\min }}{\rm{ }}$, ${I_{\max }}(x){\rm{ }} = {m_d}(x){\Lambda _{\max }}{\rm{ }}$。根据式(3)、(4), 通道范围值可表示为:

$ \begin{array}{l} {I_{ran}}(x) = {I_{\max }}(x){\rm{ }}-{\rm{ }}{I_{\min }}(x)\\ {\rm{ }} = {m_d}(x)({\Lambda _{\max }}-{\rm{ }}{\Lambda _{\min }}) \end{array} $

(5)

那么将亮度比例定义为最大亮度值与亮度范围的比值:

$ Q(x) = \frac{{{I_{\max }}(x)}}{{{I_{ran}}(x){\rm{ }}}} $

(6)

对于不含有镜面反射分量的像素点, ${\rm{\Gamma }} = 0$, 则亮度比例为:

$ {Q_d}(x) = \frac{{{\Lambda _{\max }}}}{{{\Lambda _{\max }}-{\rm{ }}{\Lambda _{\min }}{\rm{ }}}} $

(7)

而对于两种反射分量均存在的像素点, 则亮度比例为:

$ {Q_s}(x) = \frac{{{\Lambda _{\max }}}}{{{\Lambda _{\max }}-{\rm{ }}{\Lambda _{\min }}{\rm{ }}}} + \frac{{{m_s}(x)\Gamma }}{{{m_d}(x)({\Lambda _{\max }}-{\rm{ }}{\Lambda _{\min }})}} $

(8)

在不含丰富色彩信息的光滑物体表面, 认为物体表面的像素点具有相同的漫反射色度${\rm{\Lambda }}$。因此, 总有${Q_d}(x)< {Q_s}(x){\rm{ }}$。

根据Shen等^[5]的研究, 假设图像中的漫反射像素比例小于某阈值${T_p}$, 并以式(6)对图像中的像素点进行升序排序。使用Wang等^[3]像素点亮度值升序方法, 选取$\hat x{\rm{ = }}\left\lceil {{T_p}N} \right\rceil $处像素点的亮度比例$Q(\hat x)$作为全局像素点的估计漫反射亮度比例来进行高光像素的检测, 其中N为图像像素点数量, $\left\lceil . \right\rceil $操作表示选取距离${T_p}N$最近的整数值。则估计的最大漫反射亮度比例表示为:

$ {\hat Q_d} = Q(\hat x) $

(9)

根据式(5)和(7), 像素点的漫反射分量表示为${m_d}(x){\Lambda _{\max }}$≈${\hat Q_d}{I_{ran}}(x)$。因此, 镜面分量${I^S}(x)$可用式(9)计算得出:

$ {I^S}(x) = \max \{ {I_{\max }}(x)-{\hat Q_d}{I_{ran}}(x), 0\} $

(10)

由于式(9)中最大漫反射亮度估计值${\hat Q_d}$的计算需要对整幅图像进行排序, 同时又要保留排序后各像素点的原始位置。而上述操作需占用额外的计算时间。在本文中, 将${\hat Q_d}$设为可调整的常量值$\phi $来避免相对耗时的图像像素排序操作。因此, 式(10)变为,

$ {I^S}(x) = \max \{ {I_{\max }}(x)-\phi {I_{ran}}(x), 0\} $

(11)

利用式(11)得到海面反光区域的掩膜图像${I^S}$后, 结合式(1), 得到图像中的漫反射分量:

$ {I^D}(x){\rm{ }} = {\rm{ }}I(x)-{I^S}(x) $

(12)

由式(12)得到的${I^D}(x)$即为去除高光分量后的图像。由于海面反光区域中存在许多达到饱和的高光像素, 即RGB通道中存在至少一个通道的颜色分量超过CCD感光元件的感应范围, 因此, 这里不能直接使用式(12)进行海面反光区域的去除。

由于该模型对于白色或接近白色的表面较为敏感, 在无人船拍摄的海上图像中, 海面反光区域、天空强光区域、云层均属于上述范围, 如图 1和图 2所示。图 2为图 1中红线经过天空区域的某行像素点的亮度比例, 其中亮度比例变化较大部分对应于图 1中红线经过的云层区域。

由图 2可知, 在利用式(11)进行海面反光区域的检测时, 很容易将云层当做反光区域而将其保留在图像${I^S}(x)$中。由于天空强光区域也含有较强边缘信息, 因此, 该区域与海面反光区域同样属于待修复区域。而云层的亮度值较前两者较低, 故在进行反光像素点检测时, 可通过亮度阈值${T_z}$来避免检测到云层区域。为保证检测结果能尽量覆盖到反光区域, 我们设定较高阈值${T_z}$, 对镜面反射分量小于该阈值的像素点置为0。然后对经过阈值检测的${I^S}(x)$进行形态学膨胀操作, 得到边界扩充后的反光区域掩膜图像$I_{dilate}^S(x)$:

$ I_{dilate}^S(x) = {I^S}(x) \oplus B $

(13)

式中, B为进行膨胀操作选取的结构元。

2 海面反光区域的去除

对海面反光区域进行去除的目的是抑制其中的高亮成分, 减少其对后续视频处理的干扰, 并不要求像一般的高光去除算法^[8], 对受到高光污染的区域进行纹理或颜色上的复原。在文献[7]中, 通过设定阈值${S_l}$, 亮度大于该阈值的像素为高亮像素点, 对高亮像素邻域内小于该阈值像素点的个数c和亮度累加值${f_R}$分别进行累加求和, 并计算出对应的算数平均值$\frac{{{f_R}}}{c}$来代替该邻域内的高亮像素点。但由于只对反光像素点以算术平均值的方式进行修复, 使得修复后的反光区域平滑性较差, 容易出现更多的干扰性边缘。

Shen等^[5]研究表明, 对于远离高亮区域的漫反射像素点, 其亮度比例较小并且近似为常量。对于靠近高亮区域的漫反射像素点, 由于包含一定比例的镜面反射分量, 其亮度比例仍取决于物体表面几何因素, 见图 3。图 3为图 1中蓝线经过海面区域的某行像素点亮度比例。

在无人船监视图像中, 远离反光区域的海面区域和和反光区域之间存在着过渡区域。由图 3可知, 过渡区域中的像素点含有一定的镜面反射分量, 但仍然保留着相当的海面颜色信息。因此, 在本文中, 对于过渡区域不进行镜面分量的检测, 而是利用该区域中的像素信息去除反光区域。

利用式(13)得到镜面分量掩膜图像$I_{dilate}^S(x)$后, 对非零点进行检测, 以获取海面反光区域中的像素点位置$x'$和镜面反射成分大小$I_{dilate}^S(x')$。因此$I_{dilate}^S(x')$须满足$I_{dilate}^S(x') \ge {T_z}$。

在反光区域中, 亮度值最大的像素点通常位于反光区域中心, 其周围反光像素点亮度随着距中心像素距离增加而减小, 如图 4所示。其中, 红色方框中为正常海面部分。绿色方框中为反光区域的外层像素点。紫色方框中为反光区域内部像素点。黄色方框内为受遮挡的海面像素。

造成黄色方框中的像素点亮度值低于周围海面像素点亮度值的现象是由于反光海面的起伏对相邻海面的遮挡而形成的, 因而该区域内像素点的镜面反射分量也较小, 甚至接近于0, 如黄色方框中右侧的像素点所示。在反光区域的外层像素点周围是正常的海面像素点, 其镜面反射分量大于后者。而反光区域外层像素点的镜面反射分量相对中心像素点的镜面反射分量较小, 那么采用逐行的方式进行反光像素的遍历。当遍历至某反光区域时, 首先遇到的是最外层的反光像素点。对于最外层反光像素点${I_{gray}}(x')$, 首先在其搜索邻域内统计亮度值小于${I_{gray}}(x')$的像素点${I_{gray}}(m')$。接着, 对反光像素${I_{gray}}(x')$同各像素点${I_{gray}}(m')$的差值进行求和得到${I_{sum}}$, 然后求取每个像素点${I_{gray}}(m')$相对${I_{sum}}$的权值$\beta (m')$, 最后将加权后的${I_{gray}}(m')$相加得到更新后的像素点${I_{gray}}(x')$。由于反光区域外层的像素值与中心处饱和像素值的差值动态变化较大, 并且难以利用阈值${T_z}$将反光区域外层像素点全部检测到。因此, 为抑制这些差值带来的边缘信息, 在更新${I_{gray}}(x')$后, 需要对这些像素点同样进行更新, 使其亮度值接近周围正常海面亮度值。当外层反光像素点完成更新后, 进行反光区域内部像素的更新, 更新方法与上述方法一致。由此, 整个算法利用反光区域周围像素的亮度值渗透至反光区域外层像素, 又由海面像素加权后的外层像素和正常海面像素对反光区域的内部像素进行加权处理, 在实现内部饱和或接近饱和的反光像素高亮成分抑制的同时, 又对反光区域边缘进行了平滑。

上述反光区域的去除方法步骤如下:

(1) 在灰度图像${I_{gray}}$中, 根据反光区域的掩膜图像$I_{dilate}^S(x')$定位至反光像素点位置$x'$, 该位置应使$I_{dilate}^S(x') \ge {T_z}$并且${I_{gray}}(x') \ge {T_Z}$。后者保证不会对在步骤(5)的8邻域处理中更新的反光像素点进行重复操作, 同时又可以进一步对云层区域进行排除;

(2) 以$x'$为中心, 在$M \times M$大小邻域内求取反光像素点${I_{gray}}(x')$与各像素点${I_{gray}}(m')$的差值和${I_{sum}}$, 计算方式如式(14),

$ {I_{sum}} = \sum\limits_{m' \in {S_{M \times M}}}^{} {{I_{gray}}(x')-} {I_{gray}}(m') $

(14)

式中, ${I_{gray}}(m') < {I_{gray}}(x')$。若存在较大的反光像素区域, 使得${I_{sum}}$等于0, 则令$M = M + 2$, 并返回上一步, 否则执行下一步操作;

(3) 计算$M \times M$邻域内像素点${I_{gray}}(m')$的权重$\beta (m')$:

$ \beta (m') = \frac{{{I_{gray}}(x')-{I_{gray}}(m')}}{{{I_{sum}}}} $

(15)

(4) 计算$M \times M$邻域内各像素${I_{gray}}(m')$点的加权和, 并对反光像素点${I_{gray}}(x')$进行替换, 如式(16)所示,

$ {I_{gray}}(x') = \sum\limits_{m' \in {S_{M \times M}}}^{} {{I_{gray}}(m')\beta (m')} $

(16)

(5) 以更新后的像素点${I_{gray}}(x')$为中心, 在8邻域内寻找镜面反射分量大于0的像素点, 并用${I_{gray}}(x')$的更新值代替这些像素点值;

(6) 更新反光像素点$x'$位置, 并将搜索邻域范围恢复为初始大小, 返回至步骤(2), 直至遍历完$I_{dilate}^S(x')$内所有的非零点, 此时的图像${I_{gray}}$为去除反光区域后的海面图像。

3 实验结果

为验证本文所提算法, 在2017年9月20号, 利用自研发的久航-490号无人船搭载摄像头在威海镆铘岛周边海域开展了海上监控实验。集成摄像头的无人船如图 5所示。

利用本文所提出的算法, 针对无人船获取的含有较大反光面积、适中反光面积、反光位置较偏等三种典型反光图像, 进行了反光区域检测及去除处理。根据第一节中的反光海面亮度比例的分析(图 3), 反光区域的亮度比例值均大于10, 因此, 将最大漫反射亮度估计值$\phi $设为10, 镜面反射分量阈值${T_z}$设为210(本文所用图像中各颜色通道的饱和值为255), 形态学膨胀处理使用的结构元大小选为5×5。为减少反光像素搜索邻域的扩大次数, 同时确保反光去除效果, 我们将搜索邻域大小设为20×20。3种典型反光原始图像如图 6a所示(第1列3幅图像), 第2列图 6b给出了对应的膨胀处理后的反光区域检测结果, 第3列图 6(c)给出了对应的海面反光区域去除结果。由最后一列图 6c可以看出, 本文算法可以有效检测并去除反光区域的高亮成分。

由反光区域检测结果图 6b可以看出, 仍有一部分云层也被当作反光区域而保留在掩膜图像中, 但通过阈值可以滤除云层的干扰, 从而只去除海面中的反光区域, 云层区域的像素信息被保留了下来, 如图 6c所示。

4 讨论与总结

随机运动的海面反光区域对海天线检测和运动目标跟踪可产生动态干扰, 所以必须事先对反光区域进行检测和去除。本文利用RGB通道颜色亮度比例模型, 结合海面反光区域的像素分布特点, 提出了一种监控图像中反光区域的检测和去除方法, 完成了无人船监控图像中反光区域的检测和去除的实验验证。在下一步工作中, 将继续结合无人船海上实验, 开展反光条件下的海天线检测和目标跟踪工作。