舰船科学技术  2023, Vol. 45 Issue (5): 170-173    DOI: 10.3404/j.issn.1672-7649.2023.05.033   PDF    
集成局部和全局特征的舰船图像检索算法
邢伟寅1,2, 罗光明3, 李礁2, 钟乐海2, 韩正勇2     
1. 菲律宾黎刹大学研究生院,菲律宾 马尼拉 1552;
2. 绵阳职业技术学院,四川 绵阳 621000;
3. 四川水利职业技术学院,四川 崇州 611200
摘要: 面对现有船舶图像检索存在的“语义鸿沟”问题,导致无法满足用户实际检索需求,研究集成局部和全局特征的船舶图像检索算法,实现不同条件下的船舶图像检索。通过颜色矩方法提取船舶图像全局颜色特征;通过块截断量化编码理念,采用模糊C-均值聚类算法将船舶图像分割成子块,构建子块的二值位图,表示图像局部颜色特征;结合小波变换提取船舶图像纹理特征;求解待检索船舶图像与数据库中船舶图像的各特征相似度,获取总相似度,选取总相似度最大图像作为图像检索输出结果。实验结果表明:该算法可有效提取船舶图像纹理特征;尺度变化、光照变化、旋转条件下的船舶图像检索性能较好,平均匹配率97.94%,平均匹配时间为11.9 ms,检索速度快,操作简单,能够满足用户实时性检索需要。
关键词: 集成局部     全局特征     船舶图像     检索算法     图像分割     相似度    
Ship image retrieval algorithm integrating local and global features
XING Wei-yin1,2, LUO Guang-ming3, LI Jiao2, ZHONG Le-hai2, HAN Zheng-yong2     
1. Graduate School of José Rizal University, Manila 1552, Philippines;
2. Mianyang Polytechnic, Mianyang 621000, China;
3. Sichuan Water Conservancy Vocational College, Chongzhou 611200, China
Abstract: In the face of the semantic gap problem existing in the existing ship image retrieval, which can not meet the actual retrieval needs of users, the ship image retrieval algorithm integrating local and global features is studied to achieve ship image retrieval under different conditions. The global color feature of ship image is extracted by color moment method. Through the concept of block truncation quantization coding, the ship image is divided into sub-blocks using fuzzy C-means clustering algorithm, and the binary bitmap of the sub-blocks is constructed to represent the local color characteristics of the image. The texture feature of ship image is extracted by wavelet transform. Solve the feature similarity between the ship image to be retrieved and the ship image in the database, obtain the total similarity, and select the ship image with the largest total similarity as the ship image retrieval output. The experimental results show that the algorithm can effectively extract the texture features of ship images. The ship image retrieval performance under the conditions of scale change, illumination change and rotation is good. The average matching rate is 97.94%, the average matching time is 11.9 ms, the retrieval speed is fast, and the operation is simple, which can meet the real-time retrieval needs of users.
Key words: integration part     global characteristics     ship image     search algorithm     image segmentation     similarity    
0 引 言

船舶作为海事管理中监管对象,每天会有海量船舶图像存入海事管理数据库里。为了满足用户检索需求,研究船舶图像检索算法可提高用户检索船舶图像效率[1-3]。潘丽丽等[4]研究三元组网络图像检索算法,在提取船舶图像特征后,利用三元组网络,对船舶图像实施分类,实现船舶图像的检索。但该方法的特征提取过程比较复杂,实时性较差。马绍覃等[5]研究PCA的哈希图像检索算法,该算法包括投影和量化步骤,利用主成分分析去除船舶原始图像特征冗余信息,通过哈希编码完成船舶图像的检索。但该算法在编码时计算量较大,导致检索时间长。

针对以上方法在船舶图像检索中存在的局限性,研究集成局部和全局特征的船舶图像检索算法。

局部特征有利于图像中某一个区域的识别,全局特征能够有效展示图像信息。因此集成局部和全局特征,全面表征船舶图像,可提高船舶图像检索能力。

1 船舶图像检索算法

为了提高用户检索所需船舶图像效率,研究集成局部和全局特征的船舶图像检索算法,该算法流程如图1所示。由图1可知,船舶图像检索算法流程为:通过颜色矩方法提取船舶图像全局颜色特征;基于块截断量化编码理念,采用模糊C-均值聚类算法对船舶图像实施分割预处理,并构建分割处理后船舶图像的二值位图,表征船舶图像局部颜色特征;通过小波变换提取船舶图像纹理特征;依据3项特征求解待检索船舶图像与数据库中船舶图像的特征相似度,选取总相似度最大船舶图像作为从船舶图像数据库的检索输出结果,该结果为用户检索所需船舶图像。

图 1 船舶图像检索算法流程 Fig. 1 Algorithm flow of ship image retrieval integrating local and global features
1.1 船舶图像全局颜色特征提取

集成局部和全局特征的过程:在对船舶图像实施分割处理后,分别提取图像的局部和全局特征后并融合,求解用户搜索的船舶图像和船舶图像数据库的相似度,选取相似度最大船舶图像作为搜索结果。因船舶图像颜色特征在低阶矩中比较多,因此通过颜色矩方法(一阶矩、二阶矩)提取船舶图像全局颜色特征,用1个矢量表示船舶图像的每1个像素,该矢量公式如下:

$ {Q_i} = {\left( {{R_i}^{}{G_i}^{}{B_i}} \right)^{\rm{T}}},1 \leqslant i \leqslant H。$ (1)

其中:RiGiBi为船舶图像内第 $ i $ 个像素红、绿、蓝颜色分量值;Qi为船舶图像内第 $ i $ 个像素颜色值; $ H $ 为船舶图像总像素。

一阶矩表达式为:

$ \chi = \left( {1/H} \right)\sum\limits_i^H {{Q_i}}, $ (2)

二阶矩表达式为:

$ \delta = {\left\{ {\left[ {1/\left( {H - 1} \right)} \right]{{\sum\limits_{i = 1}^H {\left( {{Q_i} - \chi } \right)} }^2}} \right\}^{0.5}}, $ (3)

红、绿、蓝颜色分量一阶矩表达式如下:

$ \chi = {\left( {\chi {R^{}}\chi {G^{}}\chi {B^{}}} \right)^{\rm{T}}}, $ (4)

红、绿、蓝颜色分量二阶矩表达式如下:

$ \delta = {\left( {\delta {R^{}}\delta {G^{}}\delta {B^{}}} \right)^{\rm{T}}}, $ (5)

一阶矩表示船舶图像索引图,二阶矩阵表示船舶图像边缘信息,2个矩阵可提取船舶图像全局颜色特征。

1.2 船舶图像局部颜色特征提取

基于块截断量化编码技术的船舶图像局部颜色特征提取流程为:将图像分为多个图像子块,求解各图像子块的方差、均值后,构建二值位图,表示图像局部颜色特征。依据块截断量化编码理论,提取图像局部颜色特征,采用模糊C-均值聚类算法对图像实施分割预处理,将图像分为4×4子块, $ {F_\alpha } = \left( {{q_1},{q_2},{q_3} \cdots {q_l}} \right) $ 表示第 $ \alpha $ 个图像子块,其中 $ 1 \leqslant x \leqslant z $ ,图像总子块数量用 $ z $ 描述,船舶图像子块总像素数量用 $ l $ 描述。图像子块一阶矩阵计算公式为:

$ {\chi _{{B_x}}} = \left( {1/l} \right)\sum\limits_{j = 1}^z {{Q_j}},$ (6)

其中,第 $ j $ 个图像子块用Qj描述。

红、绿、蓝颜色分量一阶矩表达式如下:

$ \chi = \left( {\chi {R_{{F_x}}}^{}\chi {G_{{F_x}}}^{}\chi {B_{{F_x}}}^{}} \right)。$ (7)

对比全局船舶图像均值和船舶图像子块均值确定二位值图特征,当船舶图像子块均值小于全局船舶图像均值时,该船舶图像颜色分量为0。

1.3 船舶图像纹理特征提取

对于船舶二维图像,小波变换是通过对某个函数ε(x1,x2)实施平移、缩减后生成以函数族 $ {\varepsilon _{a,{b_1},{b_2}}} \left( {{x_1},{x_2}} \right) $ 为基底的船舶图像,分解船舶图像(x1,x2),得出船舶图像在函数族的系数。小波变换计算公式为:

$ \begin{split} W{T_f}\left( {a,{b_1},{b_2}} \right) = &\left( {1/a} \right)\iint {\left( {{x_1},{x_2}} \right)}\times \\ &\varepsilon \left[ {\left( {{x_1} - {b_1}} \right)/a,\left( {{x_2} - {b_2}} \right)/a,} \right]{\rm{d}}{x_1}{\rm{d}}{x_2}, \end{split} $ (8)

船舶图像函数族为:

$ {\varepsilon _{a,{b_1},{b_2}}}\left( {{x_1},{x_2}} \right) = \left( {1/a} \right)\varepsilon \left[ {\left( {{x_1} - {b_1}} \right)/a,\left( {{x_2} - {b_2}} \right)/a,} \right]。$ (9)

其中:b1b2为平移因子; $ a $ 为缩放因子。

采用二维离散小波变换提取船舶图像纹理特征,为船舶图像检索提供数据支持。在保留船舶图像纹理小波分解频域后,通过调整小波系数抑制船舶图像非纹理特征。船舶图像纹理特征提取流程为:

1) 设图像纹理集中在5层和6层,需重构船舶图像5层和6层的高频分量,求出3组系数[Un, Vn, Dn],第 $ n $ 层的水平系数用Un描述,垂直系数用Vn描述,对角线系数用Dn描述。

2)计算各分量的标准差 $ {S_{{U_n}}} $ $ {S_{{V_n}}} $ $ {S_{{D_n}}} $ ,表示图像不同方向纹理特征。

3)归一化处理。第 $ n $ 层总差异性Mn表达式为:

$ {M_n} = {S_{{U_n}}} + {S_{Vn}} + {S_{{D_n}}}\mathop {}\nolimits^{} n = 5,6, $ (10)

图像纹理特征向量求解公式为:

$ {\beta _{no}} = {S_{no}}/{M_n}\mathop {}\nolimits^{} o = U,V,D 。$ (11)

依据式(11)求出船舶图像六维纹理特征向量 $ \left[ {{\beta _{U5}},{\beta _{V5}},{\beta _{D5}},{\beta _{U6}},{\beta _{V6}},{\beta _{D6}}} \right] $

1.4 基于相似度计算的检索结果生成

采用欧式距离与皮尔逊相关系数求解出船舶图像特征相似度,假设用户需要检索船舶图像特征向量为X=(x1,x2,···,xn),船舶数据集中特征向量为Y=(y1,y2,···,yn),则欧式距离求解公式为:

$ \theta \left( {X,Y} \right) = \sqrt {\sum\limits_{i = 1}^n {\left[ {\left( {{x_i} - {y_i}} \right)*\left( {{x_i} - {y_i}} \right)} \right]} } ,\mathop {}\nolimits^{} i = 1,2,3, \cdots n ,$ (12)

欧式距离越小,说明待检索图像与图像检索结果相似度越大。

皮尔逊相关系数求解如下:

$ {{V}}\left( {X,Y} \right) = Cov\left( {X,Y} \right)/\sqrt {Var\left[ X \right]*Var\left[ Y \right]}。$ (13)

其中:向量X方差用Var[Y]描述;向量XY协方差用Cov(X,Y);向量Y方差用Var[Y]描述;当V(X,Y)越接近0时,说明待检索图像与图像检索结果相似度越小,反之,当V(X,Y)越接近1时,相似度越大。

归一化处理局部、全局颜色特征和纹理特征后,实施加权,得出船舶图像总相似度,具体公式如下:

$ P = {w_{e1}}{p_{e1}}\left( {{E_{\eta 1}},{E_{k1}}} \right) + {w_{e2}}{p_{e2}}\left( {{E_{\eta 2}},{E_{k2}}} \right) + {w_t}{p_t}\left( {{T_\eta },{T_k}} \right)。$ (14)

其中:we1we2为局部、全局颜色相似度权重,pe1pe2为局部、全局颜色相似度;wt为纹理相似度权重,pt为纹理相似度;Eη1Eη2为需要检索船舶图像局部、全局颜色特征,Ek1Ek2为船舶数据集中局部、全局颜色特征;Tη为需要检索船舶图像纹理特征;Tk为船舶数据集中纹理特征。

在求解用户搜索的船舶图像和船舶图像数据库的总相似度后,选取总相似度最大的船舶图像为用户需要船舶图像检索图像。

2 实验结果分析

为了验证本文船舶图像检索算法的有效性,选取某地区船舶管理部门的船舶图像数据库作为实验对象。船舶图像样本数据库如表1所示。

表 1 船舶图像样本数据库 Tab.1 Ship image sample database
2.1 船舶图像特征提取测试

船舶图像样本数据库中选取其中一张客运船图像(见图2(a)),采用本文算法对该客运船图像实施特征提取,其中纹理特征提取结果见图2(b)。分析图2可知,本文算法可有效提取客运船图像纹理特征,在保留船的图像纹理小波分解频域后,通过调整小波系数抑制船的图像非纹理特征,为图像检索提供数据支持。

图 2 船舶图像特征提取结果 Fig. 2 Ship image feature extraction results
2.2 检索性能测试

为了测试本文算法的检索性能,将匹配率和匹配时间作为检索性能测试指标,分别采用本文算法、三元组网络检索算法和PCA的哈希图像检索算法,对船舶图像进行检索实验,经过50次反复实验,求出3种算法的检索性能的对比结果,如表2所示。

表 2 三种算法检索性能比较 Tab.2 Comparison of retrieval performance of three algorithms

分析表2可知,在船舶图像3种变化(尺度变化、光照变化、旋转)条件下,与三元组网络检索算法PCA的哈希图像检索算法相比,本文算法平均匹配率97.94%,平均匹配时间为11.9 ms,说明本文算法检索性能较好,具有较高的匹配精确度,检索速度快,能够满足用户实时性检索的需要,验证了本文算法的有效性。

2.3 检索效果展示

使用本文算法能够实现船舶图像检索,检索后结果界面见图3。分析图3可知,本文检索算法在船舶图像检索应用时效果较好,操作比较简单,用户将需要检索船舶图像拖拽至检索船舶数据库内,自动检索与待检索船舶相似图像,并生成检索结果,选取相似度为100%的船舶图像检索结果,说明本文算法具有较高的图像检索能力。

图 3 检索效果展示 Fig. 3 Display of retrieval effect
3 结 语

本文通过提取局部和全局特征,并计算相似度,选取总相似度最高的船舶图像,实现船舶图像的检索。通过大量试验分析发现,本文算法的检索效果较好,操作便捷,将需要检索船舶图像拖拽至检索数据库内,点击检索键自动检索与待检索船舶相似图像,依据相似度高低选取最高相似度的船舶图像,完成船舶图像的检索。

参考文献
[1]
程卫月, 张雪琴, 林克正, 等. 融合全局与局部特征的深度卷积神经网络算法[J]. 计算机科学与探索, 2022, 16(5): 1146-1154. DOI:10.3778/j.issn.1673-9418.2104106
[2]
黄娜, 何泾沙. 基于深度特征与局部特征融合的图像检索[J]. 北京工业大学学报, 2020, 46(12): 1345–1354.
[3]
朱明, 汪桐生, 王年, 等. 基于多尺度自注意卷积的足迹压力图像检索算法[J]. 模式识别与人工智能, 2020, 33(12): 1097–1103.
[4]
潘丽丽, 陈蓉玉, 雷前慧, 等. 基于自适应三元组网络的细粒度图像检索算法[J]. 郑州大学学报(理学版), 2021, 48(S2): 588-591+624.
[5]
马绍覃, 张鸿. 基于PCA的哈希图像检索算法[J]. 计算机工程与设计, 2020, 41(2): 483–487.