在海上船舶监测和巡航中,可以利用船舶立体图像识别技术,对海上的船舶进行实时监测和识别,以确保海上领域的安全。此外,船舶立体图像识别还可以应用于海洋资源调查、港口管理等领域,实现船舶的自动化管理和监控。常用的船舶立体图像特征提取方法包括:
1)视觉特征提取
指从船舶图像中提取出与船舶形状、轮廓等相关的特征,常用方法包括边缘检测、角点检测、轮廓提取等。
2)几何特征提取
指从船舶图像中提取出与船舶的几何形状、尺寸等相关的特征,常用方法包括投影变换、尺度变换、形状描述符提取等。
3)纹理特征提取
指从船舶图像中提取出与船舶的纹理、颜色等相关的特征,常用方法包括灰度共生矩阵、小波变换、颜色直方图等。
通过对船舶立体图像的特征提取,可以得到一系列有用的特征向量,用于描述船舶的形状、尺寸、纹理等特征。这些特征可以用于船舶识别、目标跟踪、船舶姿态估计等。本文介绍立体图像质量评估体系的基本现状,重点研究基于局部分析的无参考船舶立体图像的质量感知特征提取方法。
1 船舶立体图像质量评价体系的研究现状立体图像质量评价体系是对立体图像的感知质量进行客观评价的一种方法,包括:
主观评价方法。通过人眼观看立体图像并进行主观评价来得到立体图像的质量。常用方法包括双刺激比较法、单刺激比较法和等级判断法等。主观评价方法是目前最常用的立体图像质量评价方法,但其受到评价者主观因素的影响比较大。
客观评价方法。通过计算机算法对立体图像进行分析和评价。常用的客观评价方法包括结构相似性指标(SSIM)、峰值信噪比(PSNR)和立体图像失真度(3D-DI)等。客观评价方法相对于主观评价方法具有客观性强、重复性好等优点,但其与人眼主观评价结果的一致性仍然存在一定的差距。
客观评估方法按照原始图像信息的多少可以分为全参考、半参考和无参考评估3种。
图1为立体图像评估的3种方法示意图。
1)全参考质量评估方法
该方法可以通过比较原始和失真图像之间的差异来量化立体图像的质量,常使用的全参考评估方法包括均方误差评估、峰值信噪比评估等[1]。
①均方误差评估
均方误差评估(Mean Squared Error,MSE)是计算原始图像和失真图像之间像素值的平均差异,MSE越小,表示失真越小,立体图像质量越好,计算模型为:
$ MSE = \frac{1}{N}\sum\limits_{i = 1}^N {{{\left( {{X_i} - {Y_i}} \right)}^2}} 。$ | (1) |
式中:N为像素总数,
②峰值信噪比评估
峰值信噪比评估(Peak Signal-to-Noise Ratio,PSNR)是计算原始图像和失真图像之间的峰值信噪比,PSNR越大,表示失真越小,质量越好,计算模型为:
$ PSNR = 10\lg \frac{{{L^2}}}{{MSE}} 。$ | (2) |
式中,L为图像中像素最大的灰度值。
2)半参考质量评估方法
半参考质量评估只需要原始图像的部分特征,使用场景相对于全参考评估方法更广泛,不需要分别提取原始和测试图像特征,然后利用统计特征进行图像的质量评价。
半参考质量评估方法的质量评估通道包括降质通道和辅助通道,提取后的特征通过统计算法进行融合和输出,图2为立体图像半参考质量评估方法的原理。
3)无参考质量评估方法
无参考质量评估算法不需任何原始图像信息,直接进行图像质量评价。常用的立体图像无参考质量评估包括:
①视差直方图分析法。该方法通过计算立体图像的视差直方图,分析直方图的形状、峰值等特征,来评估立体图像的质量。一般来说,直方图的峰值越集中,表示立体图像的质量越好。
②视差图像的边缘检测法。该方法通过对立体图像的视差图像进行边缘检测,然后计算边缘图像的特征,如边缘的密度、边缘的连续性等,来评估立体图像的质量。一般来说,边缘越清晰、连续性越好,表示立体图像的质量越好。
③深度图像的能量分析法。该方法通过计算立体图像的深度图像的能量分布,分析能量分布的均匀性、能量的峰值等特征,评估立体图像的质量。一般来说,能量分布越均匀、峰值越高,表示立体图像的质量越好。
2 无参考船舶立体图像的质量感知特征提取 2.1 基于颜色、自然度的无参考质量感知特征提取针对船舶立体图像的无参考评估特征提取问题,重点研究颜色度和自然度的特征提取方法。
1)颜色度
颜色度是船舶立体图像的重要特征,人眼视觉系统通过色彩空间进行图像识别,对于RGB色调通道[2],建立RGB向立体色彩空间的转化方程为:
$ \left\{ {\begin{array}{*{20}{l}} {{K_1} = R - G},\\ {{K_2} = (R + G)/2 - B} 。\end{array}} \right. $ | (3) |
式中,
$ {C_o} = \log \left( {\frac{{\sigma _{{K_1}}^2}}{{{{\left| {{\mu _{{K_1}}}} \right|}^{0.2}}}}} \right) \cdot \log \left( {\frac{{\sigma _{{K_2}}^2}}{{{{\left| {{\mu _{{K_2}}}} \right|}^{0.2}}}}} \right) 。$ | (4) |
式中:
图3为RGB空间与立体色彩空间的示意图。
2)自然度
高质量的立体图像在空间分布具有一定的规律,称之为自然度,对于尺寸大小为W×H的色调映射图像,建立归一化方程为[3]:
$ \hat I({{i}},{{j}}) = \frac{{I(i,j) - {\mu _I}(i,j)}}{{1 + {\sigma _I}(i,j)}}。$ | (5) |
式中:
图4为立体图像的自然度与像素均方差统计图。可见,自然度接近0的时候,像素均方差最大,图像的均匀性比较低。
无参考图像的像素均值计算公式为:
$ {\mu _I}({{i}},{{j}}) = \sum\limits_{p = - P}^P {\sum\limits_{q = - Q}^Q {{\omega _{p,q}}} } {I_{p,q}}(i,j) ,$ | (6) |
均方差计算公式为:
$ {\sigma _l}({{i}},{{j}}) = \sqrt {\sum\limits_{p = - P}^{p = P} {\sum\limits_{q = - Q}^{q = Q} {{\omega _{p,q}}} } {{\left( {{I_{p,q}}(i,j) - {\mu _I}(i,j)} \right)}^2}} 。$ | (7) |
式中:P、Q为图像的像素个数,
基于局部分析的无参考船舶立体图像质量特征提取的核心思想是只对部分图像进行编码、图像分割、阈值处理,然后通过解码技术、立体匹配算法实现图像的特征提取。
图5为基于局部分析的无参考船舶立体图像质量特征提取流程。特征提取过程首先进行相似度计算,然后将并行处理的图像数据进行线性融合[4]。
1)相似度计算
图像处理系统获取两帧船舶的立体图像后,根据两帧之间的差分间隔进行相似度对比,帧间差分如下:
$ {S_n}(i,j) = \left| {{F_n}(i,j) - {F_{n - 1}}(i,j)} \right| 。$ | (8) |
式中:
立体图像某像素点
$ \varphi (x,y) = \frac{1}{{{s^2} - 1}}\sum\limits_{i = 0\atop j = 0}^s f (x,y) 。$ | (9) |
2)空洞区域检测
①基于几何信息的空洞区域检测
基于几何信息的方法主要利用立体图像中的深度信息来检测空洞区域。常用的方法包括视差图的计算和深度图的生成,视差图是指在立体图像中,对应点之间的水平位移量,通过计算视差图,可以得到物体表面的深度信息,然后通过分析深度图中的连通区域,可以检测出空洞区域。
②基于纹理信息的空洞区域检测
基于纹理信息的方法主要利用立体图像中的纹理信息来检测空洞区域。常用方法包括基于颜色、纹理和边缘等特征分析。例如,可以通过分析立体图像中的颜色差异、纹理变化和边缘信息来检测出空洞区域。
空洞区域失真程度可以为表征为:
$ {Q_1} = \frac{1}{K}\sum\limits_{k = 1}^K {\frac{{2{D_r}(k) \cdot {D_R}(k) + \varepsilon }}{{{D_r}{{(k)}^2} + {D_R}{{(k)}^2} + \varepsilon }}} 。$ | (10) |
式中:K为像素的索引,
理想状态下参考图像没有空洞区域,将式(10)简化为:
$ {Q_1} = \frac{1}{K}\sum\limits_{k = 1}^K {\frac{{2{D_r}(k) \cdot {\mathbf{1}} + \varepsilon }}{{{D_r}{{(k)}^2} + {\mathbf{1}} + \varepsilon }}} 。$ | (11) |
最终得到空洞区域检测判断方程为:
$ {Q}_{{\rm{final}}}=\stackrel{无空洞区域\text{ }}{\overbrace{\frac{1}{K}{\displaystyle \sum _{k\in {K}_{1}}\frac{2{D}_{r}(k)}{{D}_{r}{(k)}^{2}+1}}}}+\stackrel{空洞区域\text{ }}{\overbrace{\frac{1}{K}{\displaystyle \sum _{k\in {K}_{2}}\frac{2{D}_{r}(k)}{{D}_{r}{(k)}^{2}+1}}}} 。$ | (12) |
本文结合VS2010平台进行了局部立体区域的特征识别测试,图6为图像局部区域存在空洞对应的颜色特征提取结果。
无参考船舶立体图像质量评估是指原始图像丢失的情况下进行图像质量评估并实现特征提取,本文介绍了立体图像质量评估的方法,结合立体色彩空间,研究了基于局部分析的图像特征提取方法,取得了良好的效果。
[1] |
翟方乾, 高尚, 赵昱博, 等. 立体图像数字水印技术研究综述[J]. 信息与电脑(理论版), 2023, 35(5): 41-43. |
[2] |
卢佳佳, 蔡坚勇. 基于增强视觉质量的图像感兴趣区域检测研究[J]. 计算机仿真, 2023, 40(1): 234−238.
|
[3] |
罗传未, 张子慧, 贺子婷, 等. 一种基于立体注意力机制的立体图像超分辨算法[J]. 电视技术, 2023, 47(1): 30−35.
|
[4] |
冯丽露, 康耀龙. 立体图像任意剖面轮廓线提取方法仿真研究[J]. 计算机仿真, 2022, 39(8): 239−242+285.
|
[5] |
张晓媛, 于洋, 王新蕊. 三维图像虚拟视点生成优化研究仿真[J]. 计算机仿真, 2022, 39(3): 205−209.
|