舰船科学技术  2023, Vol. 45 Issue (16): 145-148    DOI: 10.3404/j.issn.1672-7649.2023.16.030   PDF    
无参考船舶立体图像的质量感知特征提取
方银龙     
浙江交通职业技术学院 海运学院,浙江 杭州 311112
摘要: 船舶立体图像的特征提取能够获取船舶的几何特征、视觉特征、纹理特征等,对于船舶识别、目标搜索等有重要的意义。获取过程受图像、视频设备、数据传输链路等影响,立体图像可能存在局部缺失等问题。本文首先介绍3种立体图像的质量评估方法,并针对无参考质量评价方法进行研究,详细介绍基于颜色、自然度的无参考质量感知特征提取和基于局部分析的无参考船舶立体图像质量特征提取,对于改善船舶立体图像的识别效果有显著的作用。
关键词: 立体图像     无参考质量评估     自然度     局部分析    
Quality perception feature extraction from stereo images of ships without reference
FANG Yin-long     
Marine Department, Zhejiang Institute of Communications, Hangzhou 311112, China
Abstract: Feature extraction of ship stereoscopic images can obtain ship geometric features, visual features, texture features, etc., which is of great significance for ship identification and target search. Due to the influence of image, video equipment and data transmission link, the stereo image may have some problems such as local missing. First of all, this paper introduces three kinds of stereoscopic image quality evaluation methods, and conducts in-depth research on the non-reference quality evaluation methods, and introduces in detail the non-reference quality perception feature extraction based on color and naturalness and the non-reference ship stereoscopic image quality feature extraction based on local analysis, which has a significant effect on improving the recognition effect of ship stereoscopic image.
Key words: stereoscopic image     no reference quality assessment     naturalness     local analysis    
0 引 言

在海上船舶监测和巡航中,可以利用船舶立体图像识别技术,对海上的船舶进行实时监测和识别,以确保海上领域的安全。此外,船舶立体图像识别还可以应用于海洋资源调查、港口管理等领域,实现船舶的自动化管理和监控。常用的船舶立体图像特征提取方法包括:

1)视觉特征提取

指从船舶图像中提取出与船舶形状、轮廓等相关的特征,常用方法包括边缘检测、角点检测、轮廓提取等。

2)几何特征提取

指从船舶图像中提取出与船舶的几何形状、尺寸等相关的特征,常用方法包括投影变换、尺度变换、形状描述符提取等。

3)纹理特征提取

指从船舶图像中提取出与船舶的纹理、颜色等相关的特征,常用方法包括灰度共生矩阵、小波变换、颜色直方图等。

通过对船舶立体图像的特征提取,可以得到一系列有用的特征向量,用于描述船舶的形状、尺寸、纹理等特征。这些特征可以用于船舶识别、目标跟踪、船舶姿态估计等。本文介绍立体图像质量评估体系的基本现状,重点研究基于局部分析的无参考船舶立体图像的质量感知特征提取方法。

1 船舶立体图像质量评价体系的研究现状

立体图像质量评价体系是对立体图像的感知质量进行客观评价的一种方法,包括:

主观评价方法。通过人眼观看立体图像并进行主观评价来得到立体图像的质量。常用方法包括双刺激比较法、单刺激比较法和等级判断法等。主观评价方法是目前最常用的立体图像质量评价方法,但其受到评价者主观因素的影响比较大。

客观评价方法。通过计算机算法对立体图像进行分析和评价。常用的客观评价方法包括结构相似性指标(SSIM)、峰值信噪比(PSNR)和立体图像失真度(3D-DI)等。客观评价方法相对于主观评价方法具有客观性强、重复性好等优点,但其与人眼主观评价结果的一致性仍然存在一定的差距。

客观评估方法按照原始图像信息的多少可以分为全参考、半参考和无参考评估3种。

图1为立体图像评估的3种方法示意图。

图 1 立体图像评估的3种方法示意图 Fig. 1 Schematic diagram of three methods for stereoscopic image evaluation

1)全参考质量评估方法

该方法可以通过比较原始和失真图像之间的差异来量化立体图像的质量,常使用的全参考评估方法包括均方误差评估、峰值信噪比评估等[1]

①均方误差评估

均方误差评估(Mean Squared Error,MSE)是计算原始图像和失真图像之间像素值的平均差异,MSE越小,表示失真越小,立体图像质量越好,计算模型为:

$ MSE = \frac{1}{N}\sum\limits_{i = 1}^N {{{\left( {{X_i} - {Y_i}} \right)}^2}} 。$ (1)

式中:N为像素总数, ${X_i}、{Y_i}$ 为原始图像和测试图像在每个点上的灰度值。

②峰值信噪比评估

峰值信噪比评估(Peak Signal-to-Noise Ratio,PSNR)是计算原始图像和失真图像之间的峰值信噪比,PSNR越大,表示失真越小,质量越好,计算模型为:

$ PSNR = 10\lg \frac{{{L^2}}}{{MSE}} 。$ (2)

式中,L为图像中像素最大的灰度值。

2)半参考质量评估方法

半参考质量评估只需要原始图像的部分特征,使用场景相对于全参考评估方法更广泛,不需要分别提取原始和测试图像特征,然后利用统计特征进行图像的质量评价。

半参考质量评估方法的质量评估通道包括降质通道和辅助通道,提取后的特征通过统计算法进行融合和输出,图2为立体图像半参考质量评估方法的原理。

图 2 立体图像半参考质量评估方法的原理 Fig. 2 Principles of semi-reference quality assessment methods for stereoscopic images

3)无参考质量评估方法

无参考质量评估算法不需任何原始图像信息,直接进行图像质量评价。常用的立体图像无参考质量评估包括:

①视差直方图分析法。该方法通过计算立体图像的视差直方图,分析直方图的形状、峰值等特征,来评估立体图像的质量。一般来说,直方图的峰值越集中,表示立体图像的质量越好。

②视差图像的边缘检测法。该方法通过对立体图像的视差图像进行边缘检测,然后计算边缘图像的特征,如边缘的密度、边缘的连续性等,来评估立体图像的质量。一般来说,边缘越清晰、连续性越好,表示立体图像的质量越好。

③深度图像的能量分析法。该方法通过计算立体图像的深度图像的能量分布,分析能量分布的均匀性、能量的峰值等特征,评估立体图像的质量。一般来说,能量分布越均匀、峰值越高,表示立体图像的质量越好。

2 无参考船舶立体图像的质量感知特征提取 2.1 基于颜色、自然度的无参考质量感知特征提取

针对船舶立体图像的无参考评估特征提取问题,重点研究颜色度和自然度的特征提取方法。

1)颜色度

颜色度是船舶立体图像的重要特征,人眼视觉系统通过色彩空间进行图像识别,对于RGB色调通道[2],建立RGB向立体色彩空间的转化方程为:

$ \left\{ {\begin{array}{*{20}{l}} {{K_1} = R - G},\\ {{K_2} = (R + G)/2 - B} 。\end{array}} \right. $ (3)

式中, $ {K_1}、{K_2} $ 均为红-绿和黄-蓝立体色彩空间通道。定义图像的全局颜色度值为:

$ {C_o} = \log \left( {\frac{{\sigma _{{K_1}}^2}}{{{{\left| {{\mu _{{K_1}}}} \right|}^{0.2}}}}} \right) \cdot \log \left( {\frac{{\sigma _{{K_2}}^2}}{{{{\left| {{\mu _{{K_2}}}} \right|}^{0.2}}}}} \right) 。$ (4)

式中: $ \sigma _{{K_1}}^2 $ $ \sigma _{{K_2}}^2 $ 为立体色彩通道 ${K_1}、{K_2}$ 的方差, ${\mu _{{K_1}}}、{\mu _{{K_2}}}$ 为立体色彩通道 ${K_1}、{K_2}$ 的均值。

图3为RGB空间与立体色彩空间的示意图。

图 3 RGB空间与立体色彩空间的示意图 Fig. 3 Schematic diagram of RGB space and stereoscopic color space

2)自然度

高质量的立体图像在空间分布具有一定的规律,称之为自然度,对于尺寸大小为W×H的色调映射图像,建立归一化方程为[3]

$ \hat I({{i}},{{j}}) = \frac{{I(i,j) - {\mu _I}(i,j)}}{{1 + {\sigma _I}(i,j)}}。$ (5)

式中: $ \;i \in \{ 1,2,3, \ldots ,W\} $ $ j \in \{ 1,2,3, \ldots ,H\} $ $ {\mu }_{I}(i,j)、$ ${\sigma }_{I}(i,j) $ 分别为图像像素的均值和方差。

图4为立体图像的自然度与像素均方差统计图。可见,自然度接近0的时候,像素均方差最大,图像的均匀性比较低。

图 4 立体图像的自然度与像素均方差统计图 Fig. 4 Naturalness and pixel mean square error of stereoscopic image

无参考图像的像素均值计算公式为:

$ {\mu _I}({{i}},{{j}}) = \sum\limits_{p = - P}^P {\sum\limits_{q = - Q}^Q {{\omega _{p,q}}} } {I_{p,q}}(i,j) ,$ (6)

均方差计算公式为:

$ {\sigma _l}({{i}},{{j}}) = \sqrt {\sum\limits_{p = - P}^{p = P} {\sum\limits_{q = - Q}^{q = Q} {{\omega _{p,q}}} } {{\left( {{I_{p,q}}(i,j) - {\mu _I}(i,j)} \right)}^2}} 。$ (7)

式中:PQ为图像的像素个数, $ {\omega _{p,q}} $ 为高斯加权函数。

2.2 基于局部分析的无参考船舶立体图像质量特征提取

基于局部分析的无参考船舶立体图像质量特征提取的核心思想是只对部分图像进行编码、图像分割、阈值处理,然后通过解码技术、立体匹配算法实现图像的特征提取。

图5为基于局部分析的无参考船舶立体图像质量特征提取流程。特征提取过程首先进行相似度计算,然后将并行处理的图像数据进行线性融合[4]

图 5 基于局部分析的无参考船舶立体图像质量特征提取流程 Fig. 5 Three-dimensional image quality feature extraction process of non-reference ship based on local analysis

1)相似度计算

图像处理系统获取两帧船舶的立体图像后,根据两帧之间的差分间隔进行相似度对比,帧间差分如下:

$ {S_n}(i,j) = \left| {{F_n}(i,j) - {F_{n - 1}}(i,j)} \right| 。$ (8)

式中: $ {S_n}(i,j) $ 为当前立体图像, $ {F_n}(i,j) $ 为采集的第n帧立体图像, $ {F_{n - 1}}(i,j) $ 为第n−1帧遥感图像。

立体图像某像素点 $ \left( {x,y} \right) $ ,灰度值为 $ f\left( {x,y} \right) $ ,像素相似度计算:

$ \varphi (x,y) = \frac{1}{{{s^2} - 1}}\sum\limits_{i = 0\atop j = 0}^s f (x,y) 。$ (9)

2)空洞区域检测

①基于几何信息的空洞区域检测

基于几何信息的方法主要利用立体图像中的深度信息来检测空洞区域。常用的方法包括视差图的计算和深度图的生成,视差图是指在立体图像中,对应点之间的水平位移量,通过计算视差图,可以得到物体表面的深度信息,然后通过分析深度图中的连通区域,可以检测出空洞区域。

②基于纹理信息的空洞区域检测

基于纹理信息的方法主要利用立体图像中的纹理信息来检测空洞区域。常用方法包括基于颜色、纹理和边缘等特征分析。例如,可以通过分析立体图像中的颜色差异、纹理变化和边缘信息来检测出空洞区域。

空洞区域失真程度可以为表征为:

$ {Q_1} = \frac{1}{K}\sum\limits_{k = 1}^K {\frac{{2{D_r}(k) \cdot {D_R}(k) + \varepsilon }}{{{D_r}{{(k)}^2} + {D_R}{{(k)}^2} + \varepsilon }}} 。$ (10)

式中:K为像素的索引, $ \varepsilon $ 为误差系数, $ {D_R}(k) $ 为参考区域, $ {D_r}(k) $ 为被测图像[5]

理想状态下参考图像没有空洞区域,将式(10)简化为:

$ {Q_1} = \frac{1}{K}\sum\limits_{k = 1}^K {\frac{{2{D_r}(k) \cdot {\mathbf{1}} + \varepsilon }}{{{D_r}{{(k)}^2} + {\mathbf{1}} + \varepsilon }}} 。$ (11)

最终得到空洞区域检测判断方程为:

$ {Q}_{{\rm{final}}}=\stackrel{无空洞区域\text{ }}{\overbrace{\frac{1}{K}{\displaystyle \sum _{k\in {K}_{1}}\frac{2{D}_{r}(k)}{{D}_{r}{(k)}^{2}+1}}}}+\stackrel{空洞区域\text{ }}{\overbrace{\frac{1}{K}{\displaystyle \sum _{k\in {K}_{2}}\frac{2{D}_{r}(k)}{{D}_{r}{(k)}^{2}+1}}}} 。$ (12)

本文结合VS2010平台进行了局部立体区域的特征识别测试,图6为图像局部区域存在空洞对应的颜色特征提取结果。

图 6 图像局部区域存在空洞对应的颜色特征提取结果 Fig. 6 Color feature extraction results corresponding to voids in local areas of the image
3 结 语

无参考船舶立体图像质量评估是指原始图像丢失的情况下进行图像质量评估并实现特征提取,本文介绍了立体图像质量评估的方法,结合立体色彩空间,研究了基于局部分析的图像特征提取方法,取得了良好的效果。

参考文献
[1]
翟方乾, 高尚, 赵昱博, 等. 立体图像数字水印技术研究综述[J]. 信息与电脑(理论版), 2023, 35(5): 41-43.
[2]
卢佳佳, 蔡坚勇. 基于增强视觉质量的图像感兴趣区域检测研究[J]. 计算机仿真, 2023, 40(1): 234−238.
[3]
罗传未, 张子慧, 贺子婷, 等. 一种基于立体注意力机制的立体图像超分辨算法[J]. 电视技术, 2023, 47(1): 30−35.
[4]
冯丽露, 康耀龙. 立体图像任意剖面轮廓线提取方法仿真研究[J]. 计算机仿真, 2022, 39(8): 239−242+285.
[5]
张晓媛, 于洋, 王新蕊. 三维图像虚拟视点生成优化研究仿真[J]. 计算机仿真, 2022, 39(3): 205−209.