船舶图像识别是船舶管理与保障船舶运行安全的重要方式[1-2],而船舶图像匹配是船舶图像识别的前提条件[3]。因此研究一种准确的船舶图像匹配方法对于船舶管理与运行安全保障具有重要意义[4]。
曹林等[5]在研究图像匹配算法过程中引用了Mean-shift算法分割图像,并依照纹理丰富实施自适应窗口大小自适应设定算子,结合Census变换和梯度值计算实现图像匹配。祝继伟等[6]在研究图像识别方法过程中,利用累计量随机学习算法进行图像匹配,通过两级CFAR级联算法提升图像匹配程度。但船舶图像在采集过程中受外界环境因素影响,通常会造成图像产生对比度低、局部细节不具备灰度差等模糊问题。而所使用的方法在对图像处理过程中忽略了人眼视觉特性,由此导致图像处理效果不理想,令图像匹配精度下降。
针对图像处理效果不理想等问题,研究视觉传达技术的船舶图像匹配方法,考虑人眼视觉特性,提升船舶图像匹配精度。
1 基于视觉传达技术的船舶图像匹配方法 1.1 基于视觉传达的船舶图像增强船舶图像在采集过程中受外界环境因素影响,通常会造成图像产生对比度低、局部细节不具备灰度差等模糊问题[7],导致船舶图像匹配效果不理想。因此在进行船舶图像匹配前,需从视觉传达角度出发,采用相应技术对其实施增强处理。基于视觉传达的船舶图像增强算法采用脉冲耦合神经网络算法。
1.1.1 基于脉冲耦合神经网络的船舶图像增强脉冲耦合神经网络是模拟人类视觉神经系统构建的。采用脉冲耦合神经网络增强船舶图像的实质是通过脉冲耦合神经网络提升船舶图像的对比度[8]。由于人类视觉具有一定不确定性,在详细分析船舶图像时表现出以下特性:在人眼接收船舶图像边缘轮廓等特征时,人类视觉神经细胞将处于激励感知状态;在人眼接收船舶图像灰度变换不显著的非特征区域时,视觉神经细胞将处于抑制感知状态。考虑一般情况下船舶图像内边缘两侧的灰度差与其他区域相比更显著,同时信息还具有相关存在特征[9],所以根据人类视觉神经细胞的感知特征,采用脉冲耦合神经网络提升船舶图像局部对比度。如果船舶图像相邻像素间的灰度差值
Sij,
1)在Sij中添设一个在变阈值函数输入端的侧抑制信号
$ {\phi _{ij}}\left( s \right) = {e^{ - \frac{{\Delta t}}{{t\theta }}}}n - {\phi _{ij}} + {V_\phi }s \times {V_j}s - {V_\phi } \times {V_j} + {Y_{ij}},$ | (1) |
式中,
2)神经元连接强度Qij对于以连接域WL为基础的窗口内像素灰度差产生直接影响,
$ {Q_{ij}}{\text{ = avg}}\left\{ {\sum\limits_{m,n = 1}^3 {{Q_{ij}}} /9} \right\},$ | (2) |
$ {W_Y} = \left\{ {{{\left( {{w_{Yij}}} \right)}_{3 \times 3}}} \right\},$ | (3) |
式中,
根据Qij与Wy的计算过程能够得到,窗口内像素间的h与Qij和抑制域内Sij间的wRijkf分别成反比例相关与正比例相关[11]。体现在脉冲耦合神经网络的实际运行中即为:Qij同Kij间成正比例相关,在Yij降低造成
针对增强后的船舶图像,采用灰度差值直方图法提取船舶图像特征。船舶图像的边缘特征可通过其粗细度呈现,粗细度的大小受船舶图像局部结构的空间重复周期影响,相较之下,周期大的纹理相对粗糙。根据灰度差值直方图能够确定其边缘的粗细程度,由此体现船舶图像的边缘特征。f(x,y)表示增强后船舶图像上某一像素点灰度值,那么其与像素点
$ \begin{split} \Delta f\left( {x,y} \right) = \left| {f\left( {x,y} \right) \times \partial - \Delta f\left( {x + \Delta x,y + \Delta y} \right) \times \partial } \right| \end{split},$ | (4) |
式中,
L表示灰度差的全部取值划分等级,确定其同
$ \left\{ \begin{gathered} {B_o} = \sum\limits_{h = 0}^L {{h^2}G\left( h \right)} ,\hfill \\ {E_n} = \sum\limits_{h = 0}^L {G\left( h \right){{\log }_2}G\left( h \right)} ,\hfill \\ {A_s} = \sum\limits_{h = 0}^L {{g^2}\left( h \right)} ,\hfill \\ {J_a} = \sum\limits_{h = 0}^L {h \cdot G\left( h \right)} /L。\hfill \\ \end{gathered} \right. $ | (5) |
式中,
针对粗边缘轮廓,较大值的
基于灰度差值直方图提取增强后船舶图像特征的具体过程为:确定增强后船舶图像内相邻像素的
船舶图像匹配计算过程中普遍使用欧氏距离函数,但该方法在船舶图像尺度变换应用中具有较高敏感性,在船舶图像尺度发生变化的条件下,船舶图像匹配性能受到显著约束。因此在确定船舶图像灰度差值直方图边缘特征向量后,选取斯皮尔曼等级相关系数确定原始船舶图像与待匹配船舶图像的相关系数,以此确定两者间的匹配度。相关系数
在20幅船舶图像中随机选取一幅简单背景和复杂背景图像,采用本文方法对它们实施增强处理,结果如图1和图2所示。分析可知,本文方法能够有效提升原始船舶图像内细节度,改善原始船舶图像内的模糊问题,增强处理后的船舶图像最大限度接近实际图像。
![]() |
图 1 简单背景条件下船舶图像增强效果 Fig. 1 Ship image enhancement effect under simple background |
采用文献[5]和文献[6]匹配方法为对比方法,对比本文方法与2种对比方法的图像增强效果如表1所示。分析可知,简单背景与复杂背景船舶图像,采用本文方法进行图像增强后图像的峰值信噪比达到33 dB以上,显著高于2种对比方法。说明本文方法具有较好的增强效果,能够显著提升船舶图像的视觉传达效果。
![]() |
表 1 图像增强效果对比结果 Tab.1 Comparison results of image enhancement effects |
采用本文方法对图1与图2内的船舶图像进行边缘检测,结果如图3所示。分析可知,本文方法能够较好地获取船舶边缘轮廓信息,能够充分保障船舶边缘轮廓信息的清晰性与连续性。说明本文方法本办法能够充分获取图像内的边缘信息,并确保边缘信息的准确性。
![]() |
图 2 复杂背景条件下船舶图像增强效果 Fig. 2 Ship image enhancement effect under complex background |
![]() |
图 3 船舶图像边缘检测结果 Fig. 3 Ship image edge detection results |
在2幅实验对象中任意截取2个区域图像,所截取的2个区域图像中存在不同程度的重叠部分,采用本文方法对2个区域图像进行匹配,所得结果如图4和图5所示。分析可知,采用本文方法能够准确匹配初始船舶图像与待匹配船舶图像。这是由于本文方法中采用考虑人眼视觉系统的脉冲耦合神经网络进行图像增强,令船舶图像内部的细节度显著提升。
![]() |
图 4 简单背景条件下船舶图像匹配结果 Fig. 4 Ship image matching results under simple background |
![]() |
图 5 复杂背景条件下船舶图像匹配结果 Fig. 5 Ship image matching results under complex background |
本文研究基于视觉传达技术的船舶图像匹配方法,将模仿人类视觉神经系统生成的脉冲耦合神经网络应用于船舶图像增强处理过程中,以此提升船舶图像视觉传达效果,并在此基础上完成船舶图像匹配。实验结果表明,本文方法能够有效提升船舶图像视觉传达效果,并实现准确的船舶图像匹配。
[1] |
尹雅, 黄海, 张志祥. 基于光学遥感图像的舰船目标检测技术研究[J]. 计算机科学, 2019, 46(3): 82-87. DOI:10.11896/j.issn.1002-137X.2019.03.010 |
[2] |
王晓红, 何志伟, 邓仕雄, 等. 利用特征组合检测算法的无人机遥感影像匹配研究[J]. 测绘通报, 2019(1): 29-33. |
[3] |
徐胜军, 欧阳朴衍, 郭学源, 等. 多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割[J]. 光学精密工程, 2020, 28(7): 1588-1599. DOI:10.37188/OPE.20202807.1588 |
[4] |
王小兵. 融合提升小波阈值与多方向边缘检测的矿区遥感图像去噪[J]. 国土资源遥感, 2020, 128(4): 49-55. |
[5] |
曹林, 于威威. 基于图像分割的自适应窗口双目立体匹配算法研究[J]. 计算机科学, 2021, 48(S2): 314-318. |
[6] |
祝继伟, 刘长清, 潘舟浩, 等. 基于累积量随机学习算法的高分辨率SAR图像舰船检测方法研究[J]. 中国电子科学研究院学报, 2019, 14(1): 47-54. DOI:10.3969/j.issn.1673-5692.2019.01.009 |
[7] |
骆家杭, 张旭. 基于改进型Retinex算法的彩色图像增强技术[J]. 计算机工程与科学, 2021, 43(5): 891-896. DOI:10.3969/j.issn.1007-130X.2021.05.016 |
[8] |
任秀艳, 陈梦英, 许伟杰. 舰船尾流图像的边缘分割算法研究[J]. 声学技术, 2020, 39(5): 644-649. |
[9] |
程宇, 邓德祥, 颜佳, 等. 基于卷积神经网络的弱光照图像增强算法[J]. 计算机应用, 2019, 39(4): 1162-1169. DOI:10.11772/j.issn.1001-9081.2018091979 |
[10] |
张春蕾, 牛馨苑. 结合YOLO的ORB双目图像匹配方法研究[J]. 小型微型计算机系统, 2020, 41(1): 185-189. DOI:10.3969/j.issn.1000-1220.2020.01.036 |
[11] |
赵明富, 陈兵, 宋涛, 等. 融合特征光流与角点特征的图像特征匹配算法研究[J]. 半导体光电, 2019, 40(4): 539-545+549. |