舰船科学技术  2001, Vol. 44 Issue (6): 161-164    DOI: 10.3404/j.issn.1672-7649.2022.06.034   PDF    
基于视觉传达技术的船舶图像匹配研究
王丽莉     
江苏海事职业技术学院,江苏 南京 211170
摘要: 为准确实现船舶图像匹配,提出基于视觉传达技术的船舶图像匹配方法。考虑人眼的激励感知与抑制感知状态,在脉冲耦合神经网络内添设侧抑制信号等感知函数,实现低对比度的船舶图像增强处理;采用基于灰度差值直方图的特征提取方法判断增强后船舶图像边缘的粗细程度,提取船舶图像边缘特征;选取斯皮尔曼等级相关系数确定原始船舶图像与待匹配船舶图像的相关系数,以此判断船舶图像间的匹配度。测试结果表明,本文方法对简单与复杂背景的船舶图像均能实现图像增强,并充分获取图像内的边缘信息,实现准确的图像匹配。
关键词: 视觉传达     船舶     图像增强     灰度差值     边缘特征提取     图像匹配    
Research on ship image matching based on visual communication technology
WANG Li-li     
Jiangsu Maritime Institute, Nanjing 211170, China
Abstract: In order to accurately realize ship image matching, a ship image matching method based on visual communication technology is proposed. Considering the excitation perception and suppression perception state of human eyes, the side suppression signal and other perception functions are added in the pulse coupled neural network to realize the low contrast ship image enhancement processing. The feature extraction method based on gray difference histogram is used to judge the thickness of the edge of the enhanced ship image and extract the edge features of the ship image. The Spearman rank correlation coefficient is selected to determine the correlation coefficient between the original ship image and the ship image to be matched, so as to judge the matching degree between ship images. The test results show that this method can enhance the ship images with simple and complex background, fully obtain the edge information in the image and realize accurate image matching.
Key words: visual communication     warship     image enhancement     gray difference     edge feature extraction     image matching    
0 引 言

船舶图像识别是船舶管理与保障船舶运行安全的重要方式[1-2],而船舶图像匹配是船舶图像识别的前提条件[3]。因此研究一种准确的船舶图像匹配方法对于船舶管理与运行安全保障具有重要意义[4]

曹林等[5]在研究图像匹配算法过程中引用了Mean-shift算法分割图像,并依照纹理丰富实施自适应窗口大小自适应设定算子,结合Census变换和梯度值计算实现图像匹配。祝继伟等[6]在研究图像识别方法过程中,利用累计量随机学习算法进行图像匹配,通过两级CFAR级联算法提升图像匹配程度。但船舶图像在采集过程中受外界环境因素影响,通常会造成图像产生对比度低、局部细节不具备灰度差等模糊问题。而所使用的方法在对图像处理过程中忽略了人眼视觉特性,由此导致图像处理效果不理想,令图像匹配精度下降。

针对图像处理效果不理想等问题,研究视觉传达技术的船舶图像匹配方法,考虑人眼视觉特性,提升船舶图像匹配精度。

1 基于视觉传达技术的船舶图像匹配方法 1.1 基于视觉传达的船舶图像增强

船舶图像在采集过程中受外界环境因素影响,通常会造成图像产生对比度低、局部细节不具备灰度差等模糊问题[7],导致船舶图像匹配效果不理想。因此在进行船舶图像匹配前,需从视觉传达角度出发,采用相应技术对其实施增强处理。基于视觉传达的船舶图像增强算法采用脉冲耦合神经网络算法。

1.1.1 基于脉冲耦合神经网络的船舶图像增强

脉冲耦合神经网络是模拟人类视觉神经系统构建的。采用脉冲耦合神经网络增强船舶图像的实质是通过脉冲耦合神经网络提升船舶图像的对比度[8]。由于人类视觉具有一定不确定性,在详细分析船舶图像时表现出以下特性:在人眼接收船舶图像边缘轮廓等特征时,人类视觉神经细胞将处于激励感知状态;在人眼接收船舶图像灰度变换不显著的非特征区域时,视觉神经细胞将处于抑制感知状态。考虑一般情况下船舶图像内边缘两侧的灰度差与其他区域相比更显著,同时信息还具有相关存在特征[9],所以根据人类视觉神经细胞的感知特征,采用脉冲耦合神经网络提升船舶图像局部对比度。如果船舶图像相邻像素间的灰度差值 $ h $ 越小,那么激励船舶图像像素同步点火的能力越显著,由此将造成灰度反差降低,由此导致船舶图像过于平滑;相反如果船舶图像相邻像素的 $ h $ 越大,那么抑制船舶图像像素同步点火的能力越显著,由此将造成灰度反差提升,由此导致船舶图像边缘增强,实现船舶图像bianyuan 特征信息的突出体现。

Sij $ {\phi _{ij}} $ Kij分别表示神经元、神经元的阈值与内部行为。针对脉冲耦合神经网络及其相关参数进行优化:

1)在Sij中添设一个在变阈值函数输入端的侧抑制信号 $ {\phi _{ij}} $ ,具体为

$ {\phi _{ij}}\left( s \right) = {e^{ - \frac{{\Delta t}}{{t\theta }}}}n - {\phi _{ij}} + {V_\phi }s \times {V_j}s - {V_\phi } \times {V_j} + {Y_{ij}},$ (1)

式中, ${Y_{ij}} = {V_Y}\displaystyle\sum\limits_{kf} {{w_{Yi}}} {Y_{kf}} \cdot s - {w_{Yi}}{Y_{kf}}$ ,其中 $ {V_Y} $ $ {w_{Yi}} $ 分别表示抑制的放大系数与抑制域内Sij间的连接权系数。Yij的主要功能为控制与调节 $ {\phi _{ij}} $

2)神经元连接强度Qij对于以连接域WL为基础的窗口内像素灰度差产生直接影响, $ {w_{Yi}} $ 值对于以侧抑制域WY为基础的窗口内像素灰度差产生直接影响[10]。如果选取以Sij为中心的 $ 3 \times 3 $ 窗口,通过增强后船舶图像像素点灰度强度值描述Sij与其邻域的像素灰度。QijWY计算公式为

$ {Q_{ij}}{\text{ = avg}}\left\{ {\sum\limits_{m,n = 1}^3 {{Q_{ij}}} /9} \right\},$ (2)
$ {W_Y} = \left\{ {{{\left( {{w_{Yij}}} \right)}_{3 \times 3}}} \right\},$ (3)

式中, $ {\text{avg}} $ 表示取窗口内均值。

根据QijWy的计算过程能够得到,窗口内像素间的hQij和抑制域内Sij间的wRijkf分别成反比例相关与正比例相关[11]。体现在脉冲耦合神经网络的实际运行中即为:QijKij间成正比例相关,在Yij降低造成 $ {\phi _{ij}} $ 也随之降低的条件下,可令邻域内的Sij易于被捕获且同时完成点火;而在Yij提升造成 $ {\phi _{ij}} $ 也随之提升的条件下,可提升邻域内的Sij被捕获的难度,且造成点火时间的差异性。如果各Sij的点火时刻体现在输出的船舶图像内与有所差异的灰度值相对应,则通过脉冲耦合神经网络内部的激励与抑制功能,令船舶图像内 $ h $ 较小的像素灰度值一致,相反令 $ h $ 较大的像素 $ h $ 更大,这样不仅能够令船舶图像内部区域平滑,且能够突出船舶图像的边缘轮廓,提升船舶图像灰度值分布的层次性。

1.2 灰度差值直方图提取船舶图像边缘特征

针对增强后的船舶图像,采用灰度差值直方图法提取船舶图像特征。船舶图像的边缘特征可通过其粗细度呈现,粗细度的大小受船舶图像局部结构的空间重复周期影响,相较之下,周期大的纹理相对粗糙。根据灰度差值直方图能够确定其边缘的粗细程度,由此体现船舶图像的边缘特征。f(x,y)表示增强后船舶图像上某一像素点灰度值,那么其与像素点 $f(x+\Delta x,y+\Delta y)$ 的灰度差为:

$ \begin{split} \Delta f\left( {x,y} \right) = \left| {f\left( {x,y} \right) \times \partial - \Delta f\left( {x + \Delta x,y + \Delta y} \right) \times \partial } \right| \end{split},$ (4)

式中, $ \partial $ 表示修正因子。

L表示灰度差的全部取值划分等级,确定其同 $ 3 \times 3 $ 邻域内全部像素点集的h,确定 $\Delta f(x,y)$ 取不同值的次数,由此获取其直方图。依照 $\Delta f(x,y)$ 的直方图能够确定其取不同h的概率 $g(\Delta f(x,y)) $ 。在较小的 $\Delta f(x,y) $ 以较大概率出现的条件下,船舶图像边缘较粗,相反在较大的 $\Delta f(x,y)$ 以较大概率出现的条件下,船舶图像边缘较细。由此说明船舶图像边缘特征受 $g(\Delta f(x,y)) $ 影响。船舶图像边缘特征可通过对比度Bo,熵En,角度方向二阶矩As与均值Ja来描述,参数描述为:

$ \left\{ \begin{gathered} {B_o} = \sum\limits_{h = 0}^L {{h^2}G\left( h \right)} ,\hfill \\ {E_n} = \sum\limits_{h = 0}^L {G\left( h \right){{\log }_2}G\left( h \right)} ,\hfill \\ {A_s} = \sum\limits_{h = 0}^L {{g^2}\left( h \right)} ,\hfill \\ {J_a} = \sum\limits_{h = 0}^L {h \cdot G\left( h \right)} /L。\hfill \\ \end{gathered} \right. $ (5)

式中, $g(h) $ 表示灰度差值为 $ h $ 的情况出现的概率。

针对粗边缘轮廓,较大值的 $ h $ 出现概率较小,所以Bo值较小;相反,细边缘轮廓的Bo值较大。在g(h)值差异不显著的条件下,As值与En值分别较小和较大。船舶图像粗边缘轮廓的p(h)聚集在零点周边,所以Ja值相对较小。

基于灰度差值直方图提取增强后船舶图像特征的具体过程为:确定增强后船舶图像内相邻像素的 $ h $ 值;设定 $ h $ 的取值范围为0~255,确定 $ h $ 在不同灰度级上出现的频率,获取增强后船舶图像灰度差值直方图;利用式(5)确定增强后的船舶图像边缘特征向量BoEnAsJa

1.3 基于边缘直方图的船舶图像匹配

船舶图像匹配计算过程中普遍使用欧氏距离函数,但该方法在船舶图像尺度变换应用中具有较高敏感性,在船舶图像尺度发生变化的条件下,船舶图像匹配性能受到显著约束。因此在确定船舶图像灰度差值直方图边缘特征向量后,选取斯皮尔曼等级相关系数确定原始船舶图像与待匹配船舶图像的相关系数,以此确定两者间的匹配度。相关系数 $ \xi $ 的取值范围为[0,1],其取值越接近于1说明原始船舶图像与待匹配船舶图像间的匹配度越高。将斯皮尔曼等级相关系数应用于船舶图像匹配中的主要优势在于:2个变量(即2幅船舶图像)的观测值为对应的等级评定量化值,无论2幅船舶图像的形态、大小怎样变换,均可通过该方法计算匹配度。

2 测试结果分析 2.1 图像增强结果 2.1.1 增强效果主观分析

在20幅船舶图像中随机选取一幅简单背景和复杂背景图像,采用本文方法对它们实施增强处理,结果如图1图2所示。分析可知,本文方法能够有效提升原始船舶图像内细节度,改善原始船舶图像内的模糊问题,增强处理后的船舶图像最大限度接近实际图像。

图 1 简单背景条件下船舶图像增强效果 Fig. 1 Ship image enhancement effect under simple background
2.1.2 增强效果客观评价

采用文献[5]和文献[6]匹配方法为对比方法,对比本文方法与2种对比方法的图像增强效果如表1所示。分析可知,简单背景与复杂背景船舶图像,采用本文方法进行图像增强后图像的峰值信噪比达到33 dB以上,显著高于2种对比方法。说明本文方法具有较好的增强效果,能够显著提升船舶图像的视觉传达效果。

表 1 图像增强效果对比结果 Tab.1 Comparison results of image enhancement effects
2.2 边缘检测结果

采用本文方法对图1图2内的船舶图像进行边缘检测,结果如图3所示。分析可知,本文方法能够较好地获取船舶边缘轮廓信息,能够充分保障船舶边缘轮廓信息的清晰性与连续性。说明本文方法本办法能够充分获取图像内的边缘信息,并确保边缘信息的准确性。

图 2 复杂背景条件下船舶图像增强效果 Fig. 2 Ship image enhancement effect under complex background

图 3 船舶图像边缘检测结果 Fig. 3 Ship image edge detection results
2.3 匹配结果

在2幅实验对象中任意截取2个区域图像,所截取的2个区域图像中存在不同程度的重叠部分,采用本文方法对2个区域图像进行匹配,所得结果如图4图5所示。分析可知,采用本文方法能够准确匹配初始船舶图像与待匹配船舶图像。这是由于本文方法中采用考虑人眼视觉系统的脉冲耦合神经网络进行图像增强,令船舶图像内部的细节度显著提升。

图 4 简单背景条件下船舶图像匹配结果 Fig. 4 Ship image matching results under simple background

图 5 复杂背景条件下船舶图像匹配结果 Fig. 5 Ship image matching results under complex background
3 结 语

本文研究基于视觉传达技术的船舶图像匹配方法,将模仿人类视觉神经系统生成的脉冲耦合神经网络应用于船舶图像增强处理过程中,以此提升船舶图像视觉传达效果,并在此基础上完成船舶图像匹配。实验结果表明,本文方法能够有效提升船舶图像视觉传达效果,并实现准确的船舶图像匹配。

参考文献
[1]
尹雅, 黄海, 张志祥. 基于光学遥感图像的舰船目标检测技术研究[J]. 计算机科学, 2019, 46(3): 82-87. DOI:10.11896/j.issn.1002-137X.2019.03.010
[2]
王晓红, 何志伟, 邓仕雄, 等. 利用特征组合检测算法的无人机遥感影像匹配研究[J]. 测绘通报, 2019(1): 29-33.
[3]
徐胜军, 欧阳朴衍, 郭学源, 等. 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割[J]. 光学精密工程, 2020, 28(7): 1588-1599. DOI:10.37188/OPE.20202807.1588
[4]
王小兵. 融合提升小波阈值与多方向边缘检测的矿区遥感图像去噪[J]. 国土资源遥感, 2020, 128(4): 49-55.
[5]
曹林, 于威威. 基于图像分割的自适应窗口双目立体匹配算法研究[J]. 计算机科学, 2021, 48(S2): 314-318.
[6]
祝继伟, 刘长清, 潘舟浩, 等. 基于累积量随机学习算法的高分辨率SAR图像舰船检测方法研究[J]. 中国电子科学研究院学报, 2019, 14(1): 47-54. DOI:10.3969/j.issn.1673-5692.2019.01.009
[7]
骆家杭, 张旭. 基于改进型Retinex算法的彩色图像增强技术[J]. 计算机工程与科学, 2021, 43(5): 891-896. DOI:10.3969/j.issn.1007-130X.2021.05.016
[8]
任秀艳, 陈梦英, 许伟杰. 舰船尾流图像的边缘分割算法研究[J]. 声学技术, 2020, 39(5): 644-649.
[9]
程宇, 邓德祥, 颜佳, 等. 基于卷积神经网络的弱光照图像增强算法[J]. 计算机应用, 2019, 39(4): 1162-1169. DOI:10.11772/j.issn.1001-9081.2018091979
[10]
张春蕾, 牛馨苑. 结合YOLO的ORB双目图像匹配方法研究[J]. 小型微型计算机系统, 2020, 41(1): 185-189. DOI:10.3969/j.issn.1000-1220.2020.01.036
[11]
赵明富, 陈兵, 宋涛, 等. 融合特征光流与角点特征的图像特征匹配算法研究[J]. 半导体光电, 2019, 40(4): 539-545+549.