«上一篇
文章快速检索     高级检索
下一篇»
  哈尔滨工程大学学报  2020, Vol. 41 Issue (9): 1268-1273  DOI: 10.11990/jheu.201906036
0

引用本文  

颜明重, 黄冰逸, 朱大奇. 基于灰度波动的水下图像分割[J]. 哈尔滨工程大学学报, 2020, 41(9): 1268-1273. DOI: 10.11990/jheu.201906036.
YAN Mingzhong, HUANG Bingyi, ZHU Daqi. Underwater image segmentation based on grayscale wave[J]. Journal of Harbin Engineering University, 2020, 41(9): 1268-1273. DOI: 10.11990/jheu.201906036.

基金项目

国家自然科学基金项目(51575336);上海市自然科学基金项目(17ZR1412400)

通信作者

朱大奇, E-mail:dqzhu@shmtu.edu.cn

作者简介

颜明重, 男, 副教授;
朱大奇, 男, 教授

文章历史

收稿日期:2019-06-11
网络出版日期:2020-07-23
基于灰度波动的水下图像分割
颜明重 , 黄冰逸 , 朱大奇     
上海海事大学 水下机器人与智能系统实验室, 上海 201306
摘要:为了改善低对比度、富含噪声以及非均匀亮度的水下图像的分割效果,本文提出一种基于图像灰度波动特征的分割方法,该方法采用了非对称的自适应中值滤波的方法来改善图像的前景目标与背景之间的边缘特性,分别从行和列的方向上检测出大尺度的波峰和波谷,再通过局部阈值分割来确定图像中的前景目标边缘,最后将行与列的分割结果取交集,得到图像分割的最终结果。仿真结果表明:与基于模糊熵或者模糊聚类的图像分割方法相比,本文的算法性能更优,分割效果更好。
关键词图像分割    灰度波动    水下图像    中值滤波    非均匀光照    模糊熵    模糊聚类    主元分析    
Underwater image segmentation based on grayscale wave
YAN Mingzhong , HUANG Bingyi , ZHU Daqi     
Underwater Vehicle and Intelligent System Laboratory, Shanghai Maritime University, Shanghai 201306, China
Abstract: A novel image segmentation method is proposed based on grayscale wave to improve the segmentation results of underwater images with low contrast, considerable noise, and non-uniform brightness. An asymmetrical adaptive median filter method was adopted to improve the edge characteristic between the foreground object and image background. Large-scale wave crests and troughs were detected in the row and column directions, respectively. The edges of foreground objects in the image were determined through local threshold segmentation. Finally, the row and column segmentation results were intersected to obtain the final results of image segmentation. Simulation results show that the proposed algorithm in this paper has better performances and segmentation results compared with the algorithms based on fuzzy entropy or fuzzy clustering.
Keywords: image segmentation    grayscale wave    underwater image    median filter    non-uniform illumination    fuzzy entropy    fuzzy clustering    principal component analysis    

相对于普通图像,水下光学成像具有一定的特殊性。水下环境对可见光具有不同程度的吸收和散射等复杂作用,加上水中悬浮颗粒的存在,使得水下图像脉冲噪声斑点多,对比度低而且模糊[1]。在光线微弱的深水环境中,摄像机成像较为困难,通常需要采用人工光源来补充照明,非均匀的光照会导致目标成像亮度不均,而且轮廓边缘特性不一致。水下光学图像的以上特点,使得前景目标的准确分割难度很大。

传统的图像分割方法,通常利用图像中相似区域灰度的连续性以及边界上灰度的不连续性等特征信息,从图像背景中提取出目标。阈值分割、区域生长、边缘提取和主动轮廓模型等是常见的4类分割方法[2-4]。考虑到实际环境的复杂性以及自动目标特征提取和识别的需要,水下图像更多地采用基于阈值的分割方法,比如基于熵的方法[3]和基于聚类的方法[4]常用于确定分割阈值。这2种方法在寻找阈值的过程中都需要大量迭代运算,因此许多学者提出利用粒子群优化、遗传算法等智能优化算法来寻找最优解[5-8]。基于熵的方法和基于聚类的方法通常难以获得精确的目标边缘分割效果[9],针对这一问题,文献[10]引入模糊数学理论利用隶属度函数代替属于或不属于某类的两元判断,提高了分割的精确度。针对光照不均图像,有些文献从图像的灰度波动特性角度来研究图像的分割问题,如文献[11]对彩色图像进行灰度化的权值调整处理,再进行分割,而文献[12]利用主元分析(principal component analysis, PCA)的方法,对图像各方向的灰度波动变换矩阵进行降维,再用最大类间方差法来选取分割的阈值。对于水下图像来说,基于最大类间方差的方法忽略了图像的空间信息,当图像亮度不均,目标与背景的灰度有较多重叠时,其分割效果难以令人满意。

本文分析水下图像在非均匀光照下目标边缘特性和图像噪声特点,提出一种非对称自适应中值滤波的方法改善目标的边缘特性,在此基础上借鉴了文献[11]对于图像灰度波动的研究,分别提取图像的行和列的灰度波动信号,找出大尺度的波峰和波谷,再采用自适应的局部阈值分割确定目标的边缘,从而实现目标的准确分割。

1 水下图像的灰度波动特征

在水下微光环境中,人工光源照射下的灰度图像如图 1(a)所示,前景为一个被缆绳系固的立方体目标。建立三维直角坐标系(XYZ),X轴和Y轴分别表示图像行和列,Z轴上显示图像中各像素的灰度值,则图像的灰度波动特性如图 1(b)所示:由于非均匀光照的缘故,背景区域的灰度呈现一定曲面特征;水中悬浮颗粒使得图像呈现明显的灰度波动脉冲噪声;目标物边缘特性不一致,部分轮廓边缘存在显著的反向脉冲噪声。

Download:
图 1 水下图像 Fig. 1 Underwater image

提取图像中的行灰度信息,可进一步发现前景目标的边缘细节特征。如图 2显示了图 1所示水下图像的第400行的灰度波动:明显的大尺度灰度跳变波动包含了明显的目标边缘特征信息,提取该特征可以准确分割目标,另外该边缘位置也存在比一般脉冲噪声更为显著的反向脉冲噪声。

Download:
图 2 行灰度波动特征 Fig. 2 Original row grayscale wave
2 非对称自适应中值滤波

中值滤波对正反向脉冲噪声具有同等程度的抑制作用[13],但是在水下图像中,存在于目标边缘的反向脉冲噪声与一般的正向脉冲噪声往往并不对称。如果采用小模板窗口,虽然能够保护图像的边缘特征细节,但是反向脉冲噪声抑制效果不明显,若采用大模板窗口,虽然可以有效滤除反向脉冲噪声,但是图像边缘特征信息会丢失。图 3(a)所示为图 2经过中值滤波处理后的效果,可见一般正向脉冲噪声信号得到了很好的抑制,而且目标边缘特征保存较好,但是显著反向脉冲噪声仍然存在。为此,本文提出一种非对称的自适应中值滤波方法,主要思路是对较亮的前景目标区域采用小模板窗的中值滤波处理,而对较暗的背景区域则采用动态扩大的模板窗口进行滤波。具体工作原理描述如下:

Download:
图 3 行灰度波动滤波处理 Fig. 3 Row grayscale wave filtering

A模式:

A1=gmed-gmin, A2=gmed-gmax

if A1>0 and A2 < 0 and gxy>gmean

  goto B

else

  r=r+1

  Sr=(2r+1)*(2r+1)

  if SrSW

    repeat A

  esle

  f(x, y)=gmed

B模式:

B1=gxy-gmin, B2=gxy-gmax

if B1>0 and B2 < 0

  f(x, y)=gmed

esle

  f(x, y)=gmean

其中:gmaxgmin分别表示模板Sr中像素灰度的最大值和最小值;gmedgmean分别表示模板Sr中像素灰度的中值和均值;gxy表示在图像(x, y)位置上的实际灰度值;SW表示设定模板的最大尺寸。在A模式中,如果图像局部邻域范围Sr内像素实际灰度高于平均灰度值(gxy>gmean),则进入B模式,用小模板窗(2 r+1)×(2 r+1)进行滤波处理;如果像素灰度gxygmean,则不断扩大模板窗口(r=r+1≤W)再滤波。

图 2的行灰度波动经过非对称自适应中值滤波的处理,得到的结果如图 3(b)所示,对比图 3(a)的普通中值滤波处理结果,可以发现目标边缘的反向脉冲噪声仍然存在。从图 4所示的滤波结果与图 1(b)对比可知,目标边缘的细节特征保存完好,图像中的正反向脉冲噪声均被有效滤除。

Download:
图 4 本文滤波后的图像灰度波动 Fig. 4 Image grayscale wave by the proposed method
3 自适应局部阈值分割

在滤除水下图像中的正反向脉冲噪声和改善目标边缘特性的基础上,为了实现对非均匀亮度图像的准确分割,本文采用自适应局部阈值的方法:首先从图像的灰度波动特征提取大尺度的峰谷点,从而确定目标的边缘;其次根据局部峰谷点位置计算出局部阈值,从而对目标与背景进行分割。

3.1 提取灰度波动的大尺度峰谷点

通过图像灰度波动特征获取目标边缘分为3步:首先按行(或者列)搜索灰度波动的所有谷峰点;其次确定大尺度的波谷波峰;最后去除伪波谷波峰点。

假设g(r, i)为图像第r行的灰度值,其中i=1, 2, …, ≤NN为图像的列宽。待求取的波峰和波谷点记为pt,则获取峰谷点的判断条件:

$\begin{array}{*{20}{c}} {g(r, i) \ge g(r, i - 1)}\\ { \wedge g(r, i) \ge g(r, i + 1)}\\ { \wedge g(r, i - 1) \ne g(r, i + 1)}\\ { \Rightarrow {p_m} = (r, i), m = 1, 2, \cdots } \end{array} $ (1)
$\begin{array}{*{20}{c}} {g(r, i) \le g(r, i - 1)}\\ { \wedge g(r, i) \le g(r, i + 1)}\\ { \wedge g(r, i - 1) \ne g(r, i + 1)}\\ { \Rightarrow {t_n} = (r, i), n = 1, 2, \cdots } \end{array} $ (2)

进一步筛除小尺度的峰谷点,筛除的思路是:在灰度波动曲线的上升沿和下降沿,如果相邻的波峰和波谷点,其灰度差小于某个极小值ε,则合并取消。设波峰点的集合P={pm}, m=1, 2, …, R,波谷点的集合T={tn}, n=1, 2, …, SRS分别表示第r行的波峰和波谷数,对于波峰点pi,如果与相邻波谷点tjtj+1的灰度差小于某个极小值ε,如式(3)所示,则将该波峰点筛除。同理,对于波谷点ti,与其相邻波峰点pjpj+1则采用式(4)筛除波谷点。

$\begin{aligned} g\left(p_{i}\right)-g\left(t_{j}\right) & \leqslant \varepsilon \wedge g\left(p_{i}\right)-g\left(t_{j+1}\right) \leqslant \\ \varepsilon & \Rightarrow P=P-p_{i} \\ i &=1, 2, \cdots, R \\ j=& 1, 2, \cdots, S-1 \end{aligned} $ (3)
$\begin{aligned} g\left(p_{j}\right)-g\left(t_{i}\right) & \leqslant \varepsilon \wedge g\left(p_{j+1}\right)-g\left(t_{i}\right) \leqslant \varepsilon \\ & \Rightarrow T=T-t_{i} \\ & i=1, 2, \cdots, S \\ j=& 1, 2, \cdots, R-1 \end{aligned} $ (4)

将经过筛选后所剩下的峰谷点按列坐标升序排列,放入队列PTs中。在PTs中进一步合并消除灰度差小于ε的相邻峰谷点,最后获得的大尺度峰谷点保存在队列LPTs中,这些峰谷点标记了目标边缘的位置,如图 6所示。

Download:
图 5 提取大尺度峰谷点 Fig. 5 Picking out large scale peaks and troughs
Download:
图 6 水下图像分割结果 Fig. 6 Segmentations of underwater images
3.2 自适应局部阈值分割图像

在获得目标边缘的大尺度波峰波谷点之后,为了进一步分割出目标,设计目标分割的局部阈值:

$T=g(t)+\xi \times(g(p)-g(t)) $ (5)

式中:tp为LPVs中的位置相邻的大尺度波谷点和波峰点,0 < ξ < 1。若图像的行灰度值大于阈值T时,判为前景目标,反之则判为背景。若LPVs为空,即该行无大尺度峰谷点,则该行直接判定为无目标的背景。

4 实验结果与分析

为测试和验证算法的有效性,设置计算机仿真环境如下:Intel Core2 Duo 3GHZ处理器、4 GB DDR2 800 MHZ内存、250 GB硬盘以及Matlab2011a仿真平台。实验对象为5张非均匀光照下的水下图像,其中包含近距离和远距离的球体和立方体目标物各1张,以及水下沉船残骸图像1张,所有图像的分辨率均为704×576。图 6分别代表原图、基于模糊熵的阈值分割算法、模糊C值聚类分割算法及本文算法的分割结果。

基于模糊熵的图像分割算法使用了差分演进(differential evolution, DE)算法对迭代进行加速。基于模糊C均值分割算法为了取得更好的分割效果将聚类数目设为3,并将后2类聚类中心的平均值作为一类。最大迭代次数设为100、隶属度矩阵U的指数设为2.0、隶属度最小变化量(中值条件)设为10-5

图 6可见,对于水下距离较近的球体和立方体目标,3种算法的分割效果相差不大,目标物的外轮廓均能够较准确分割出来。其中,对于近距离方块的分割,基于模糊熵的方法存在将噪声错分割为前景目标的问题,基于模糊C均值聚类的方法未能将系固立方体的绳索准确分割出来。对于较远距离的目标物,无论是基于模糊熵还是模糊C均值聚类的方法,均出现较明显的错分割。对于水下沉船残骸的分割,基于模糊熵的方法只分割出了小部分前景(船艏的栏杆),基于模糊C均值聚类的方法基本未能有效分割出可识别的目标细节。本文的算法则分割出了在人工光源照射下的前景目标的更多细节。如图 6(d)所示,本文算法无论对于远近距离的球体和立方体,还是水下沉船残骸,均实现了更为准确的目标分割,获得了更丰富的前景目标的细节特征。

为进一步评价各算法的图像分割性能,选择错分类误差(misclassification error, ME)、均匀性测度(uniformity measure,UM)[9]以及算法耗时等指标来进行测评分析。

ME值所需要掩码图像按照研究人员的观察标准人工制作而成(图 7),ME值的计算公式为:

Download:
图 7 水下目标图像掩码 Fig. 7 Ground truth images of artificial objects
$\mathrm{ME}=1-\frac{\left|B_{O} \cap B_{T}\right|+\left|F_{O} \cap F_{T}\right|}{\left|B_{O}+B_{T}\right|} $ (6)

式中:BOFO分别指图像标准二值掩码中的背景与前景(目标),BTFT为图像分割后的背景与前景,|·|为取集合元素总数操作。ME表征图像背景和前景的错分割概率,该值越小表示图像的分割效果越好。

对本文人造目标物的4幅水下图像的分割算法进行ME测评,结果如表 1所示。从表中可见:本文算法对近距离球体、远距离球体、近距离立方体和远距离立方体等人造目标的分割ME值最小,也即图像分割质量最好;从运行时间看,本文算法的耗时明显短于基于模糊C均值聚类方法的耗时,稍长于基于模糊熵的分割方法;对于远距离球体的分割,基于模糊熵的方法和基于模糊C均值聚类的方法无论在耗时和ME值上都有较大的波动,而本文算法的

表 1 各算法耗时和ME测评 Table 1 Evaluation of time consumptions and MEs

性能表现则相对平稳。

由于水下沉船残骸图像的真实掩码难以确定,因此采用UM来检查图像分割后的前景与背景区域的灰度均匀性,UM的定义示:

$U M=1-\frac{1}{C} \sum\limits_{(x, y) \in R_{i}}\left[f(x, y)-\frac{1}{A_{i}} \sum\limits_{(x, y) \in R_{i}} f(x, y)\right]^{2} $ (7)

式中:C为归一化系数;Ri表示第i类分割区域;Ai表示第i类元素所占面积。UM值越大则表明分割区域内部均匀度越好,即图像的分割越合理准确。从表 2的算法耗时和UM值可见:本文的算法UM值最大,也即目标分割区域均匀度最好;另外,本文算法的耗时远短于基于模糊C均值聚类的方法的耗时,稍长于基于模糊熵的方法。

表 2 各算法耗时与UM测评 Table 2 Evaluation of time consumptions and UMs
5 结论

1) 非对称自适应中值滤波的方法对于微光水下图像的噪声抑制具有较好的针对性,小模板窗的滤波能够滤除图像中的正向脉冲噪声,较好地保存前景目标的边缘细节特征,同时大模板窗的滤波可以有效滤除显著的反向脉冲噪声,具有平滑图像背景的作用;

2) 基于灰度波动特征的大尺度波峰波谷提取方法,能够精确定位出目标的边缘,对于亮度非均匀和对比度低的水下图像具有较好的适用性;

3) 另外,在图像灰度波动中寻找大尺度的波谷和波峰的过程,将来考虑对搜索算法进行优化,进一步降低计算量,提升分割效率。

参考文献
[1]
SHI Pengfei, FAN Xinnan, NI Jianjun, et al. A detection and classification approach for underwater dam cracks[J]. Structural health monitoring, 2016, 15(5): 541-554. DOI:10.1177/1475921716651039 (0)
[2]
王小鹏, 文昊天, 王伟, 等. 形态学边缘检测和区域生长相结合的遥感图像水体分割[J]. 测绘科学技术学报, 2019, 36(2): 149-154, 160.
WANG Xiaopeng, WEN Haotian, WANG Wei, et al. Water segmentation of remote sensing image using morphological edge detection and region growing[J]. Journal of geomatics science and technology, 2019, 36(2): 149-154, 160. (0)
[3]
BALI A, SINGH S N. A review on the strategies and techniques of image segmentation[C]//Proceedings of the 5th International Conference on Advanced Computing & Communication Technology. Haryana, India, 2015: 113-120. (0)
[4]
李鸿雁, 唐娴. 聚类分析和活动轮廓模型相融合的图像分割算法[J]. 吉林大学学报(理学版), 2019, 57(4): 896-902.
LI Hongyan, TANG Xian. Image Segmentation Algorithm Based on Combination of Clustering Analysis and Active Contour Model[J]. Journal of Jilin University (Science Edition), 2019, 57(4): 896-902. (0)
[5]
李丽宏, 华国光. 基于改进遗传算法的最大2维熵图像分割[J]. 激光技术, 2019, 43(1): 119-124.
LI Lihong, HUA Guoguang. Image segmentation of 2-D maximum entropy based on the improved genetic algorithm[J]. Laser technology, 2019, 43(1): 119-124. (0)
[6]
赵祥宇, 陈沫涵. 基于聚类的图像分割方法综述[J]. 信息技术, 2018(6): 92-94, 99.
ZHAO Xiangyu, CHEN Mohan. A survey of image segmentation based on clustering[J]. Information technology, 2018(6): 92-94, 99. (0)
[7]
石洋, 胡长青, 崔杰. 免疫粒子滤波在声呐图像目标跟踪中的应用[J]. 声学技术, 2019, 38(4): 370-375.
SHI Yang, HU Changqing, CUI Jie. Application of immune particle filter in target tracking with sonar image[J]. Technical acoustics, 2019, 38(4): 370-375. (0)
[8]
郑毅, 郑苹. 基于模糊熵和模拟退火算法的双阈值图像分割[J]. 电子测量与仪器学报, 2014, 28(4): 360-367.
ZHENG Yi, ZHENG Ping. Dual-threshold image segmentation based on fuzzy entropy and simulated annealing algorithm[J]. Journal of electronic measurement and instrumentation, 2014, 28(4): 360-367. (0)
[9]
董倩. 改进遗传算法优化模糊均值聚类中心的图像分割[J]. 吉林大学学报(理学版), 2015, 53(4): 680-686.
DONG Qian. Image segmentation based on improved genetic algorithm optimizing fuzzy means clustering center[J]. Journal of Jilin University (Science Edition), 2015, 53(4): 680-686. (0)
[10]
李涛, 唐旭东, 庞永杰. 基于改进粒子群优化算法和模糊熵水下图像分割[J]. 海洋工程, 2010, 28(2): 128-133.
LI Tao, TANG Xudong, PANG Yongjie. Underwater Image segmentation based on improved PSO and fuzzy entropy[J]. The ocean engineering, 2010, 28(2): 128-133. (0)
[11]
刘铭, 孙守云. 基于FCM聚类算法的快速水平集图像分割仿真[J]. 计算机仿真, 2019, 36(11): 378-382.
LIU Ming, SUN Shouyun. Fast level set image segmentation simulation based on FCM clustering algorithm[J]. Computer simulation, 2019, 36(11): 378-382. (0)
[12]
杨雪丹, 刘文萍. 基于阈值及像素聚类的分割算法性能比较[J]. 计算机工程与应用, 2014, 50(2): 183-188, 193.
YANG Xuedan, LIU Wenping. Comparison of algorithms and performance of thresholding and clustering segmentation[J]. Computer engineering and application, 2014, 50(2): 183-188, 193. (0)
[13]
WANG Shilong, XU Yuru, PANG Yongjie. A fast underwater optical image segmentation algorithm based on a histogram weighted fuzzy C-Means improved by PSO[J]. Journal of marine science and application, 2011, 10(1): 70-75. DOI:10.1007/s11804-011-1043-8 (0)
[14]
魏巍, 申铉京, 千庆姬. 工业检测图像灰度波动变换自适应阈值分割算法[J]. 自动化学报, 2011, 37(8): 944-953.
WEI Wei, SHEN Xianjing, QIAN Qingji. An adaptive thresholding algorithm based on grayscale wave transformation for industrial inspection images[J]. Acta automatica sinica, 2011, 37(8): 944-953. (0)
[15]
张铭钧, 李煊, 王玉甲. 基于灰度化权值调整的水下彩色图像分割[J]. 哈尔滨工程大学学报, 2015, 36(5): 707-713.
ZHANG Mingjun, LI Xuan, WANG Yujia. Underwater color image segmentation based on weight adjustment for color-to-gray[J]. Journal of Harbin Engineering University, 2015, 36(5): 707-713. (0)