舰船科学技术  2022, Vol. 44 Issue (7): 178-181    DOI: 10.3404/j.issn.1672-7649.2022.07.037   PDF    
多尺度特征提取的复杂舰船图像分割研究
周凡1,2, 汪洋3     
1. 四川大学 电子信息学院,四川 成都 610065;
2. 四川城市职业学院 信息技术学院,四川 成都 610101;
3. 泸州职业技术学院 人工智能与大数据学院,四川 泸州 646000
摘要: 图像分割质量直接关系到后续图像识别的准确性和运算量。为实现舰船图像高质量、高效率分割,研究一种基于多尺度特征提取的复杂舰船图像分割方法。该方法针对复杂舰船图像实施灰度化、滤波2种预处理。利用直方图均衡化法提高图像对比度,更加突出目标特征。通过高斯金字塔对图像实施多尺度分解,并提取每一级尺度图像的4种特征,归一化处理后得到特征矢量。利用均值漂移算法实现过分割,利用图论方法实现再分割,完成分割方法研究。结果表明:与阈值法、区域法和边缘法相比,本文方法应用下,Dice相似系数更大,分割重叠误差更小,说明本文方法分割性能更高,实现更为精确化和详细化的图像分割。
关键词: 多尺度特征     复杂舰船图像     预处理     图像对比增强     图像分割方法    
Research on complex ship image segmentation based on multi-scale feature extraction
ZHOU Fan1,2, WANG Yang3     
1. College of Electronics and Information Engineering, Sichuan University, Chengdu 610065, China;
2. Department of information technology, Urban Vocational College of Sichuan, Chengdu 610101, China;
3. School of Artificial Intelligence and Big Data, Luzhou Vocational and Technical College, Luzhou 646000, China
Abstract: The quality of image segmentation is directly related to the accuracy and computation of subsequent image recognition. In order to achieve high-quality and efficient segmentation of ship image, a complex ship image segmentation method based on multi-scale feature extraction is studied. This method carries out gray-scale and filtering preprocessing for complex ship images. Histogram equalization method is used to improve the image contrast and highlight the target features. The image is decomposed by Gaussian pyramid, and four features of each level of scale image are extracted. After normalization, the feature vector is obtained. The mean shift algorithm is used to realize over segmentation, and the graph theory method is used to realize re segmentation. The results show that compared with the threshold method, region method and edge method, the dice similarity coefficient is larger and the segmentation overlap error is smaller, indicating that the segmentation performance of the studied method is higher and more accurate and detailed image segmentation is realized.
Key words: multiscale features     complex ship image     pretreatment     image contrast enhancement     image segmentation method    
0 引 言

舰船图像识别需要经历多个步骤,即图像采集、预处理、特征提取、图像分割、分类识别等[1]。在这些环节中,图像分割是比较特别的一个环节,对图中信息较为简单的图像,并不需要进行图像分割,直接以特征为输入,直接通过分类模型就可以实现目标识别,但是一旦面对图中信息较为复杂的图像,就需要进行图像分割,以降低后续计算量[2]

目前图像分割主要有3种方法,但各自都存在缺点。阈值法原理是通过计算出图像分割界线的阈值来进行图像分割[3]。这种方法缺点是对于阈值的选择是一个难题,且该方法只适合目标区域和背景区域对比度较大的图像,一旦二者对比不强烈,很容易发生错误分割的问题;区域法原理是通过寻找邻域相似点来划分相似区域,以此区分图像中的目标与背景,实现图像分割[4]。这种方法缺点是对噪声较为敏感,很容易出现误分割的问题;边缘法原理是通过提取图像中各个特征物的边缘像素点来寻找边界,以此实现图像分割[5]。这种方法的缺点是容易受到噪声的影响,一旦图像边缘较为模糊,分割效果就很容易下降。

针对现有分割方法存在的缺陷,提出一种基于多尺度特征提取的复杂舰船图像分割方法,提高舰船图像识别的准确性。

1 基于多尺度特征提取的复杂舰船图像分割方法

图像分割,即将大范围的图像划分为若干个小的局部区域图像,以便将目标与背景干扰区别开[6]。复杂图像中包含的信息众多,为提高图像分割的精准度,进行图像分割分析。

1.1 复杂舰船图像预处理

原始舰船图像并不是高清高分辨率图像,若不事先进行质量提高处理,会直接影响后续分割准确性。基于此,针对复杂舰船图像,首要要做的就是对图像进行预处理,提高图像质量,方便后续环节的开展[7]

1)图像灰度化

图像灰度化的目的是减少色彩对图像中细节信息的模糊以及降低图像处理工作量[8]。选择平均值法进行图像灰度化,处理公式如下:

$ Y\left( {i,j} \right) = \frac{{\left[ {R\left( {i,j} \right) + G\left( {i,j} \right) + B\left( {i,j} \right)} \right]}}{3}。$ (1)

式中:Y (i, j) 代表处理后在 (i, j) 处的灰度值;R (i, j),G (i, j),B(i, j) 分别代表原始舰船图像在 (i, j) 处的红色、绿色、蓝色三通道分量。

2)图像滤波

图像滤波的目的是去除图像中的噪声点,提高图像中细节信息的清晰度,抑制模糊化[9]。图像滤波常用方法有3种,选择均值滤波法。该方法的原理是通过滤波模板内所有像素值的平均值代替中心值。平均值计算公式如下:

$ Y\left( {i,j} \right) = \frac{{\displaystyle\sum\limits_{\left( {i,j} \right) \in s}^M {y\left( {i,j} \right)} }}{M} 。$ (2)

式中:y(i,j)代表滤波模板内原始舰船图像的像素值; $ s $ 代表滤波模板; $ M $ 代表滤波模板尺度。

1.2 图像对比度增强

图像对比度增强的作用是使目标特征更加突出,以便于与背景区分开,方便最后的图像分割[10]。图像对比度增强具体过程如下:

步骤1 将图像预划分为 $ M \cdot N $ 个大小相同的局部图像块,记为 $ {Q_i} $ $i = 1,2,\cdots,m$

步骤2 计算每个局部图像块的灰度直方图,公式如下:

$ {f_{{Q_i}}} = \frac{{\displaystyle \sum\limits_{i = 0}^k {{\psi _k}} }}{\psi } 。$ (3)

式中: $ {f_{{Q_i}}} $ 代表局部图像块 $ {Q_i} $ 的灰度直方图; $ {\psi _k} $ 代表舰船图像中第 $ k $ 个灰度级; $ \psi $ 代表舰船图像的像素。

步骤3 对 $ {f_{{Q_i}}} $ 进行均衡化处理,得到 $ M \cdot N $ 个灰度变换映射函数。

步骤4 引入权值下降指数 $ A $ 和平滑参数 $ B $

步骤5 按照下述公式计算权值:

$ {V_k}(x,y) = \frac{1}{{\displaystyle \sum\limits_{k = 1}^{M \cdot N} {{{\left( {\frac{1}{{{{\sqrt {\left( {{D_k}(x,y) + B} \right)} }^2}}}} \right)}^A}} }} \times {\left( {\frac{1}{{{{\sqrt {\left( {{D_k}(x,y) + B} \right)} }^2}}}} \right)^A} 。$ (4)

式中:Vk(x,y)代表第 $ k $ 个局部图像块(x,y)处的像素点权值;Dk(x,y)代表第 $ k $ 个局部图像块(x,y)处像素点到中心像素点的距离。

步骤6 利用下述公式进行图像增强:

$ F\left( {{{\boldsymbol{Z}}_{M \cdot N}}} \right) = \sum\limits_{k = 1}^{M \cdot N} {{V_k}} \cdot{\xi _k}\left( {{{\boldsymbol{Z}}_{M \cdot N}}} \right) 。$ (5)

式中:F(ZMN)代表增强后的图像;ZMN代表灰度值矩阵;ξk代表灰度变换映射函数。

重复上述步骤,完成所有局部图像块的增强处理,得到对比度增强的复杂舰船图像。

1.3 复杂舰船图像的多尺度特征提取

图像特征提取是图像分割中的关键环节。特征提取,顾名思义,就是从所有的图像信息中提取出具体代表性的信息。通过这部分信息就能直接与其他部分区分开。一幅图像并不只有一种特征,一种特征所要表达的信息具有一定局限性,所以可以从多个角度提取不同的特征来弥补这一缺陷,即多尺度特征提取。具体过程如下:

步骤1 输入预处理好的复杂舰船图像。

步骤2 按照采样间隔为2σ的频率对图像进行连续抽样。其中,σ为尺度空间因子。

步骤3 通过高斯金字塔对图像进行多尺度的分解,如图1所示。

图 1 高斯金字塔分解图像过程 Fig. 1 Gaussian pyramid decomposition image process

步骤4 对每一级图像提取以下4种特征,提取方法如表1所示。

表 1 四种特征提取方法 Tab.1 Four feature extraction methods

1)灰度均值提取

图像灰度均值提取公式为:

$ f1 = \frac{{\displaystyle\sum\limits_{i,j = 0}^{{A_k} \cdot {B_k}} T (i,j)}}{{{A_k} \cdot {B_k}}} 。$ (6)

式中:T(i,j)代表(i,j)处的灰度值;AkBk代表第 $ k $ 级图像的大小。

2)形状特征提取图像形状特征以面积、周长以及紧密度来描述。其中,面积可以直接通过统计目标区域中所包含的像素点数量来确定;周长可以通过目标区域对比度最大边界线上像素点之间的距离和来计算;紧密度根据面积和周长的比例来计算,公式如下:

$ P = \dfrac{{\sqrt {\dfrac{{4S}}{{\text{π}} }} }}{L} 。$ (7)

式中: $ P $ 代表紧密度; $ S $ 代表面积; $ L $ 代表周长。

3)纹理特征提取

纹理特征是指图像灰度等级的变化的规律,提取方法为灰度-梯度共生矩阵。

4)角点提取

角点是指图像中像素变化极大的相邻2个像素点。针对这类特征,提取过程如下:

计算舰船图像水平方面和垂直方向上像素点的梯度;计算2个方向上像素的乘积,由此构建一个矩阵 $ G $ ;对G进行高斯滤波,得到 $ G' $ ;利用Harris算子计算原图像上对应的每个像素点的兴趣值,即R值;选取局部极值点,组成特征向量。

归一化处理上述提取的4个特征,得到特征矢量,记为 $ {\boldsymbol{F}} = \left\{ {{f_1},{f_2},{f_3},{f_4}} \right\} $

基于上述过程,完成复杂舰船图像法多尺度特征提取。

1.4 复杂舰船图像分割

在利用均值漂移算法过分割的基础上,利用基于图论方法实现再分割,提高分割详细化和精确化。具体如下:

步骤1 将多特征组成图像多维特征向量空间。

步骤2 设置带宽尺度。

步骤3 均值漂移算法对图像进行过分割,过程如图2所示。

图 2 复杂舰船图像过分割流程 Fig. 2 Over segmentation process of complex ship image

步骤4 将分割的每一个图像块作为一个结点,组成图论中的图。

步骤5 根据图论理论构建邻接矩阵。

步骤6 在特征空间中计算邻接矩阵权值。

步骤7 通过归一化分割规则对舰船图像进行再分割。

通过2次分割,可以很好地将图像中的复杂信息区分开,实现更为精确化和详细化的分割。

2 算例分析与测试

为测试所研究分割方法的分割效果,基于Matlab仿真平台进行算例分析与测试。

2.1 样本图像集

实验测试所使用的样本来自MESSIDOR 数据集,选取图3作为本次测试的样本图像。

图 3 舰船样本图像 Fig. 3 Ship sample image
2.2 相关参数设置

复杂舰船图像分割过程中,相关处理公式或者算法的基本参数设置如表2所示。

表 2 基本参数表 Tab.2 Related parameters
2.3 图像对比度增强效果

图3样本进行对比增强,凸显目标与背景之间区别特征,增强结果如图4所示。

图 4 舰船图像对比度增强结果 Fig. 4 Contrast enhancement results of ship image
2.4 评价指标

选择2个指标来评价分割方法的表现,即Dice相似系数、欠分割重叠误差。

1)Dice相似系数

$ D = \sqrt {\frac{{{{\left| {P \cap P'} \right|}^2}}}{{\left| P \right| + \left| {P'} \right|}}} 。$ (8)

式中: $ D $ 代表Dice相似系数,取值在0~1,越靠近1,分割性能越优越; $ P $ 代表方法分割结果; $ P' $ 代表真实分割结果。

2)分割重叠误差

$ H = 1 - \sqrt {\frac{{\left| {P \cap P'} \right|}}{{\left| {P \cup P'} \right|}}} 。$ (9)

式中, $ H $ 代表分割重叠误差,该值越小表示分割准确率越高。

2.5 分割性能分析

利用本文方法、阈值法、区域法和边缘法对图3样本图像进行分割。根据分割结果计算Dice相似系数和分割重叠误差。结果如表3所示。可以看出,与其他3种方法相比,本文方法应用下,Dice相似系数更大,分割重叠误差更小,说明本文方法分割性能更高。

表 3 方法分割性能指标 Tab.3 Performance index of method segmentation
3 结 语

在海上可疑船舶目标识别前,需要进行图像分割。通过分割能降低后续识别工作量,提高识别准确性。本文提出一种基于多尺度特征的分割方法,以提取的多个特征为参考,实现复杂图像的详细分割。通过算例分析与测试,证明了分割方法性能。

参考文献
[1]
赵浩光, 王平, 董超, 等. 结合多尺度视觉显著性的舰船目标检测[J]. 光学精密工程, 2020, 28(6): 1395-1403.
[2]
宁芊, 胡诗雨, 雷印杰, 等. 基于多尺度特征和注意力机制的航空图像分割[J]. 控制理论与应用, 2020, 37(6): 1218-1224.
[3]
张田, 田勇, 王子, 等. 基于清晰度评价的自适应阈值图像分割法[J]. 东北大学学报(自然科学版), 2020, 41(9): 1231-1238. DOI:10.12068/j.issn.1005-3026.2020.09.003
[4]
黄和尧, 李英娜. 一种基于二维Otsu阈值法改进的区域生长红外图像分割法[J]. 电视技术, 2020, 44(11): 63-67.
[5]
薛丽霞, 孙伟, 汪荣贵, 等. 基于边缘概率的层次交互式图像分割算法[J]. 合肥工业大学学报(自然科学版), 2020, 43(3): 342-348. DOI:10.3969/j.issn.1003-5060.2020.03.010
[6]
左向梅, 武亮. 基于深度图像分割的场景物体识别与匹配[J]. 工程技术研究, 2019, 4(17): 219-221. DOI:10.3969/j.issn.1671-3818.2019.17.102
[7]
杨龙, 苏娟, 黄华, 等. 一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法[J]. 光学学报, 2020, 40(2): 132-140.
[8]
霍星, 张飞, 邵堃, 等. 改进的元启发式优化算法及其在图像分割中的应用[J]. 软件学报, 2021, 32(11): 3452-3467.
[9]
杨蕴, 李玉, 赵泉华. 基于局部空间信息的可变类模糊阈值光学遥感图像分割[J]. 自动化学报, 2022, 48(2): 582-593.
[10]
刘侠, 甘权, 刘晓, 等. 基于超像素的联合能量主动轮廓CT图像分割方法[J]. 光电工程, 2020, 47(1): 12-21.