舰船科学技术  2022, Vol. 44 Issue (20): 153-156    DOI: 10.3404/j.issn.1672-7649.2022.20.031   PDF    
基于模式识别的图像中多目标自动分割和分类研究
陈峰, 孔锦秋     
哈尔滨理工大学,山东 荣成 264300
摘要: 为了提升多目标自动分割和分类效果,设计了基于模式识别的图像中多目标自动分割和分类方法。利用分水岭算法提取图像中多目标过分割区域;通过模式识别中改进模糊C均值聚类算法,聚类处理提取的多目标过分割区域,得到多目标自动分割结果;在模式识别中的卷积神经网络内,输入自动分割结果,输出多目标自动分类结果。实验证明:该方法可有效获取多目标过分割区域,得到多目标自动分割结果;在不同图像分辨率时,该方法自动分割的划分系数较大、划分熵较小,即自动分割效果较佳;该方法具备多目标自动分类的可行性,且自动分类精度较高。
关键词: 模式识别     多目标     自动分割     自动分类     聚类算法     神经网络    
Research on automatic segmentation and classification of multiple objects in image based on pattern recognition
CHEN Feng, KONG Jin-qiu     
Harbin University of Science and Technology, Rongcheng 264300, China
Abstract: To improve the effect of automatic segmentation and classification of multiple objects in images based on pattern recognition is studied. Watershed algorithm is used to extract multi-target over-segmented regions in the image. Through the improved fuzzy C-means clustering algorithm in pattern recognition, the extracted multi-target over-segmented regions are clustered, and the multi-target automatic segmentation results are obtained. In the convolutional neural network of pattern recognition, the automatic segmentation results are input and the automatic multi-target classification results are output. Experimental results show that the proposed method can effectively obtain the over-segmented regions of multiple targets and obtain the automatic segmentation results of multiple targets. When the image resolution is different, the partition coefficient is larger and the partition entropy is smaller, that is, the automatic segmentation effect is better. This method has the feasibility of multi-target automatic classification, and the automatic classification accuracy is high.
Key words: pattern recognition     multi-objective     automatic segmentation     automatic classification     clustering algorithm     the neural network    
0 引 言

舰船图像分割与分类属于海上安全与交通管理的主要研究方向[1]。在民用领域中,舰船分割与分类结果,可帮助海上交通管理部门尽快发现海上失事船只,缩短救援时间[2-4]。为此,研究海上图像中多目标分割与分类方法非常重要。赵凤等[5]通过超像素策略得到图像区域信息,利用半监督聚类算法,聚类图像区域信息,完成多目标自动分割,该方法可有效完成多目标自动分割,且自动分割速度较快。但该方法在剔除图像噪声的过程中,会导致图像边缘变得模糊,不能保留图像内的细节信息,导致多目标分割的完整性较差。赵鹏等[6]通过子空间学习与重构方法,提取图像特征,利用最近邻算法分类提取的图像特征,完成图像中多目标自动分类,该方法的多目标自动分类精度在89.2%左右。但该方法在完成多目标自动分类时,运算复杂度较高,收敛速度较慢。

模糊识别是一种对客观事物进行解释、分类与分析等不同形式的信息 处理过程[7]。模式识别包含神经网络识别、统计模式结构模式以及模糊模式识别等4种类型,其在图像分割与分类领域中具有较优的应用前景。模糊模式识别中常用的算法之一是模糊C均值聚类(fuzzy C-means,FCM)。为此研究基于模式识别的图像中多目标自动分割和分类方法,精准完成图像中多目标自动分割和分类。

1 图像中多目标自动分割和分类 1.1 基于分水岭的图像中多目标过分割区域提取

为提升图像中多目标自动分割精度,需先利用分水岭算法提取图像中多目标过分割区域,再采用改进FCM算法对提取的多目标过分割区域进行多目标自动分割,避免因多目标区域信息丢失,导致多目标自动分割结果的完整性降低。分水岭算法提取图像中多目标区域的前提是将图像作为测地过程中的拓扑地貌,亮度与图像像素灰度值呈正比[8]。该算法的原理是依据搜索到的各局部极小值与其影响的区域(汇水盆地),以及分水岭(汇水盆地边界),将图像内包围区域极小点的像素聚类成单个过分割区域,完成图像中多目标过分割区域提取。

1.2 图像中多目标自动分割的实现

模式识别中包含神经网络识别与模糊模式识别等识别方式,其中模糊模式识别中常用的算法是FCM算法。利用FCM算法对提取的图像中多目标过分割区域,进行聚类,完成图像中多目标自动分割。FCM算法原理是初始化图像中多目标过分割区域的聚类中心,再计算各区域内各像素对于聚类中心的隶属度和新的聚类中心,令图像中多目标自动分割准则函数达到最佳。利用FCM算法自动化分割图像中多目标的准则函数J(U,A)为:

$ J\left( {U,A} \right) = \sum\limits_{k = 0}^{255} {\sum\limits_{i = 1}^c {m{u_{i,k}}d_{i,k}^2\left( {{x_k},{a_i}} \right)} } 。$ (1)

式中:xk图像中多目标过分割区域;kxk的灰度级; $ c $ 为聚类中心数量;ui,k为第 $ k $ 个灰度级、第 $ i $ 个聚类中心的隶属度;xi为第 $ i $ 个聚类中心; $ d_{i,k}^{}\left( {{x_k},{a_i}} \right) $ $ {x_k} $ ai间的欧式距离;m为模糊系数;U为隶属度矩阵;A为聚类中心矩阵。

利用FCM算法自动分割图像中多目标的具体步骤如下:

步骤1 依据提取的图像中多目标过分割区域xk,设计图像中多目标自动分割准则函数J(U,A);

步骤2 在J(U,A)准则函数下,按照图像中多目标过分割区域像素的隶属度矩阵,将像素划分至相应的类内,完成图像中多目标自动分割。

1.3 图像中多目标自动分割的优化

FCM算法以图像中多目标过分割区域像素灰度值为出发点,完成多目标自动分割,无法去掉异常像素,易受噪声影响。为此在FCM算法引进自适应加权均值滤波算法,既能保留过分割区域的细节信息,还能提升多目标自动分割的鲁棒性。引入自适应均值滤波后,图像中多目标自动分割准则函数变更为:

$ {J_m} = \sum\limits_{k = 0}^{255} {\sum\limits_{i = 1}^c {m{u_{i,k}}d_{i,k}^2\left( {{x_k},{a_i}} \right)} } + \alpha \sum\limits_{k = 0}^{255} {\sum\limits_{i = 1}^c {m{u_{i,k}}d_{i,k}^2\left( {{{\bar x}_k},{a_i}} \right)} } 。$ (2)

式中: $ {\bar x_k} $ $ {x_k} $ 的像素均值; $ d_{i,k}^{}\left( {{{\bar x}_k},{a_i}} \right) $ ${\bar x_k} $ $ {v_i} $ 间的欧式距离是; $ \alpha $ 为平滑参数。

因此,通过拉格朗日法计算 $ {u_{i,k}} $ ai

$ \begin{split} & {u_{i,k}} = \frac{{d_{i,k}^2\left( {{x_k},{a_i}} \right) + \alpha d_{i,k}^2\left( {{{\bar x}_k},{a_i}} \right)}}{{\displaystyle\sum\limits_{k = 0}^{255} {\sum\limits_{i = 1}^c {\sum\limits_{j = 1}^c {{{\left[ {d_{j,k}^2\left( {{x_k},{a_j}} \right) + \alpha d_{j,k}^2\left( {{{\bar x}_k},{a_j}} \right)} \right]}^{\frac{1}{{m - 1}}}}} } } }} ,\\ &{a_i} = \frac{{\displaystyle\sum\limits_{k = 0}^{255} {\sum\limits_{i = 1}^c {m{u_{i,k}}\left( {{x_k} + \alpha {{\bar x}_k}} \right)} } }}{{\displaystyle\sum\limits_{k = 0}^{255} {\sum\limits_{i = 1}^c {\left( {1 + \alpha } \right)m{u_{i,k}}} } }}。\end{split} $ (3)

利用改进FCM自动分割图像中多目标的具体步骤如下:

步骤1 参数初始化;

步骤2 初始化 $ U $ 与迭代次数;

步骤3 利用式(3)更新 $ U $ ai

步骤4 对比分析邻近两次隶属度矩阵的差,是否低于设置阈值,若低于设置阈值,那么结束算法,输出图像中多目标自动分割结果,图像中自动分割的目标数量是 $ N $ ;反之,返回步骤 3,再次迭代,直至邻近两次隶属度矩阵的差低于设置阈值为止。

1.4 基于模式识别的多目标自动分类

模式识别中神经网络识别的常用方法为卷积神经网络(convolutional neural nerworks,CNN),为此,采用CNN自动分类自动分割的图像中的多目标。CNN内包含输入层、隐含层与输出层。隐含层的作用是自动分类图像中的多目标。将自动分割的图像中多目标区域 $ Z = \left\{ {{z_1},{z_2}, \cdots {z_N}} \right\} $ 作为CNN的输入样本,CNN的样本集是 $ \left\{ {\left( {{z_1},{y_1}} \right), \cdots ,\left( {{z_N},{y_N}} \right)} \right\} $ ,图像中多目标自动分类类别是yN。以第 $ l $ 个目标区域x为参照样本,与xl相应类别是 $ h $ ,那么CNN的基础代价函数为:

$ f\left( {w,b} \right) = \frac{{\displaystyle\sum\limits_{l = 1}^N {\frac{{{{\left\| {{y_{w,b}}\left( {{x_l}} \right) - h} \right\|}^2}}}{2}} }}{N} 。$ (4)

其中: $ w $ 为权重; $ b $ 为偏置项;CNN输出图像中多目标自动分类结果为yw,b(xl)。

CNN网络训练的目的是f(w,b)的值最小,提升图像中多目标自动分类精度。通过梯度下降法优化 $ w $ $ b $ ,迭代公式如下:

$ \begin{split} & {w_{t + 1}} = {w_t} - \gamma \beta \frac{\partial }{{\partial {w_t}}}f\left( {w,b} \right),\\ & {b_{t + 1}} = {b_t} - \gamma \beta \frac{\partial }{{\partial {b_t}}}f\left( {w,b} \right)。\end{split} $ (5)

其中: $ \beta $ 为学习速率; $ \gamma $ 为学习因子;迭代次数是 $ y_{w,b}^h = \left\{ {h\left| {y_{w,b}^h\left( {{x_l}} \right) = \displaystyle\sum\limits_{l = 1}^N {{w_{lh}}\phi \left( {{x_l}} \right) + {b_l}} } \right.} \right\} $ tt+1次迭代后的权重与偏置分别是wtbtwt+1bt+1

优化 $ w $ $ b $ 后,由输出层输出图像中多目标自动分类结果,公式如下:

$ y_{w,b}^h = \left\{ {h\left| {y_{w,b}^h\left( {{x_l}} \right) = \sum\limits_{l = 1}^N {w_{lh}^*\phi \left( {{x_l}} \right) + b_{lh}^*} } \right.} \right\} 。$ (6)

其中: $ w_{lh}^* $ $ b_{lh}^* $ 为优化后自动分割的第 $ l $ 个目标区域属于第 $ h $ 个分类标签的权重与偏置; $ \phi \left( \cdot \right) $ 为函数。

2 实验结果与分析

以HRSC2021舰船数据集为实验对象,共包含1200张海面场景图像与近岸场景图像,图像分辨率在0.6~2.4 m,图像内舰船尺度差距大,共包含3种类型的舰船,分别是航母、护卫舰与民船。在数据集内随机选择一张包含航母、护卫舰与民船3种类型舰船的图像,利用本文方法对图像中多目标自动分割结果如图1所示。可知,本文方法可有效提取图像中多目标过分割区域,完整提取图像中各个目标区域边界信息,依据提取的多目标过分割区域,进行多目标自动分割,自动分割获取的多目标区域可清晰呈现各个目标的边界信息,具备较优的图像中多目标自动分割效果。

图 1 图像中多目标自动分割结果 Fig. 1 Results of automatic segmentation of multiple targets in images

利用划分系数与划分熵衡量本文方法图像中多目标自动分割效果,划分系数越大,划分熵越小,图像中多目标自动分割效果越佳。分析本文方法在不同图像分辨率时的图像中多目标自动分割效果,分析结果如图2所示。可知,随着图像分辨率的提升,海面场景图像与近岸场景图像中多目标自动分割的划分系数均呈上升趋势,划分熵均呈下降趋势,说明图像分辨率越大,多目标自动分割的划分系数越大,划分熵越小,多目标自动分割效果越佳,最低划分系数并未超过低于设置阈值,最高划分熵也并未超过设置阈值,说明本文方法的图像中多目标自动分割效果较优。

图 2 图像中多目标自动分割效果的分析结果 Fig. 2 Analysis results of the effect of multi-target automatic segmentation in images

利用本文方法对自动分割的图像中多目标进行自动分类,图像中多目标自动分类结果如图3所示。可知,经过本文方法自动分类后,该张图像中共包含3种舰船类型,分别是航母、民船与护卫舰,与实际情况相符,其中航母数量是2艘,民船数量是3艘,护卫舰数量是2艘。实验证明,本文方法可精准自动分类图像中的多目标。

图 3 图像中多目标自动分类结果 Fig. 3 Results of automatic multi-target classification in images

利用Kappa系数衡量本文方法图像中多目标自动分类精度,Kappa系数越大,多目标自动分类精度越高,最低Kappa系数为0.6,分别在海面场景图像与近岸场景图像内加入不同浓度的高斯噪声,分析本文方法在不同浓度高斯噪声时的多目标自动分类精度,分析结果如图4所示。可知,添加的高斯噪声浓度越高,海面场景图像与近岸场景图像中多目标自动分类的Kappa系数,均逐渐下降,当高斯噪声浓度为40%时,海面场景图像中多目标自动分类的Kappa系数趋于稳定,稳定在0.67左右;当高斯噪声浓度为35%时,近岸场景图像中多目标自动分类的Kappa系数,趋于稳定,稳定在0.72左右,均高于Kappa系数允许的最低值,说明本文方法多目标自动分类精度较高。

图 4 多目标自动分类精度分析结果 Fig. 4 Analysis results of multi object automatic classification accuracy
3 结 语

本文设计了基于模式识别的图像中多目标自动分割和分类方法,利用改进FCM算法完成图像中多目标自动分割,通过CNN方法完成图像中多目标自动分类,提升多目标自动分割和分类效果,为舰船检测提供更为精准的数据支持。

参考文献
[1]
张文坤, 汪西原, 韩佳雪. 自动确定类别数的RJMCMC+SA图像分割算法研究[J]. 图学学报, 2019, 40(6): 1038-1047.
ZHANG Wenkun, WANG Xiyuan, HAN Jiaxue. The research about RJMCMC+SA image segmentation algorithm to automatically determine the number of categories[J]. Journal of Graphics, 2019, 40(6): 1038-1047.
[2]
李晖晖, 周康鹏, 韩太初. 基于CReLU和FPN改进的SSD舰船目标检测[J]. 仪器仪表学报, 2020, 41(4): 183-190.
LI Huihui, ZHOU Kangpeng, HAN Taichu. Ship object detection based on SSD improved with CReLU and FPN[J]. Chinese Journal of Scientific Instrument, 2020, 41(4): 183-190. DOI:10.19650/j.cnki.cjsi.J2006122
[3]
马健, 史文旭, 鲍胜利. 基于特征融合SSD的遥感图像舰船目标检测[J]. 计算机应用, 2019, 39(S2): 253-256.
MA Jian, SHI Wenxu, BAO Shengli. Ship target detection in remote sensing images based on feature fusion SSD[J]. Journal of Computer Applications, 2019, 39(S2): 253-256.
[4]
丁晓娜, 刘春凤, 刘保相. 基于PCA图像粒化的多粒度图像分类模型研究[J]. 山西大学学报(自然科学版), 2020, 43(4): 706-712.
DING Xiaona, LIU Chunfeng, LIU Baoxiang. Research on multi-granularity image classification model based on PCA image Granulation[J]. Journal of Shanxi University (Natural Science Edition), 2020, 43(4): 706-712. DOI:10.13451/j.sxu.ns.2020086
[5]
赵凤, 张咪咪, 刘汉强. 区域信息驱动的多目标进化半监督模糊聚类图像分割算法[J]. 电子与信息学报, 2019, 41(5): 1106-1113.
ZHAO Feng, ZHANG Mimi, LIU Hanqiang. Multi-objective evolutionary semi-supervised fuzzy clustering image segmentation motivated by region information[J]. Journal of Electronics & Information Technology, 2019, 41(5): 1106-1113.
[6]
赵鹏, 汪纯燕, 张思颖, 等. 一种基于融合重构的子空间学习的零样本图像分类方法[J]. 计算机学报, 2021, 44(2): 409-421.
ZHAO Peng, WANG Chunyan, ZHANG Siying, et al. A Zero-shot image classification method based on subspace learning with the fusion of reconstruction[J]. Chinese Journal of Computers, 2021, 44(2): 409-421. DOI:10.11897/SP.J.1016.2021.00409
[7]
付晓, 沈远彤, 李宏伟, 等. 基于半监督编码生成对抗网络的图像分类模型[J]. 自动化学报, 2020, 46(3): 531-539.
FU Xiao, SHEN Yuantong, LI Hongwei, et al. A Semi-supervised encoder generative adversarial networks model for image classification[J]. Acta Automatica Sinica, 2020, 46(3): 531-539. DOI:10.16383/j.aas.c180212
[8]
韩哲, 李灯熬, 赵菊敏, 等. 基于改进遗传模糊聚类和水平集的图像分割算法[J]. 计算机工程与设计, 2019, 40(5): 1390-1393+1412.
HAN Zhe, LI Deng ao, ZHAO Jumin, et al. Image segmentation algorithm based on improved genetic fuzzy clustering and level set[J]. Computer Engineering and Design, 2019, 40(5): 1390-1393+1412. DOI:10.16208/j.issn1000-7024.2019.05.035