舰船科学技术  2023, Vol. 45 Issue (23): 194-197    DOI: 10.3404/j.issn.1672-7649.2023.23.037   PDF    
基于视觉传达的空间模型舰船航行图形图像处理融合研究
冷桂丽     
江西工程学院,江西 新余 338000
摘要: 为提高舰船在航行过程中对周围环境的检测效果,保证舰船的安全航行,本文基于计算机视觉传达技术,提出舰船航行图形图像分析处理方法。经过图像亮度调整、色彩均衡、融合等过程,处理后的图像得到了明显改善。同时,对传统的FCTF-Net算法进行了改进,得到双通道双阶段图像去雨网络(DTDNet),在此基础上引入感知函数和TV Loss函数,实现对图像的去雾、去雨处理,并与其他几种算法进行了对比实验。实验结果表明,改进后的算法在信噪比和图像相似度上都具有明显的优势。
关键词: 视觉传达     DTDNet算法     色彩均衡     图像融合    
Research on fusion of spatial model ship navigation graphics image processing based on visual communication
LENG Gui-li     
Jiangxi University of Engineering, Xinyu 338000, China
Abstract: In order to improve the ship's detection effect on the surrounding environment during navigation and ensure the ship's safe navigation, this paper proposes an analysis and processing method of ship's navigation graphics and images based on computer vision communication technology. After image brightness adjustment, color balance, fusion and other processes, the processed images have been significantly improved. At the same time, the traditional FCTF-Net algorithm is improved to get a two-channel two-stage image rain removal network (DTDNet). On this basis, the perception function and TV Loss function are introduced to realize the image fog removal and rain removal processing, and the comparison experiment is conducted with other algorithms. The experimental results show that the improved algorithm has obvious advantages in signal-to-noise ratio and image similarity.
Key words: visual communication     DTDNet algorithm     color balance     image fusion    
0 引 言

舰船在航行过程中,利用导航系统对周围环境进行实时监测,这里的环境包括地面(海岸线、港口等)、海洋、航道中的障碍物(其他舰船、海上航标等)以及海洋天气情况等。根据监测结果,舰船驾驶人员能够随时对航行路线进行调整、规划,以避免危险。

张哲卿等[1]为了解决海上船舶目标不清晰导致检测准确率低的问题,提出一种基于深度学习框架的船舶红外与红外偏振图像的融合方法来增强海面船舶弱目标,提高检测准确率。段仕浩[2]利用机器视觉技术获取船舶航行图像数据,结合像素平滑滤波和帧间差分法去除原始图像所含噪声,通过获取的图像的显著性均值与阈值作比较,实现了船舶航行危险区域识别。吴勇等[3]提出一种基于综合因素模糊评判算法的AIS与视频图像融合方法,设计了分布式框架融合模型,实现了视频图像中目标的识别与跟踪。

本文基于视觉传达的空间模型,结合导航系统检测到的舰船航行图像数据,进行相应的图像处理研究,增强了图像检测效果,对舰船的安全航行提供可靠保障。

1 关键技术

视觉传达本质上来讲就是用机器代替人眼获取信息,也就是计算机视觉技术,是指通过光学的装置和非接触的传感器,自动接收和处理真实物体的图像,以获取所需信息。相对于人眼来说,计算机视觉具有速度快、精度高、可适应性强等特点,因此被广泛应用于自主导航等系统中。

在计算机视觉中,图像是指空间物体通过成像系统反映在像平面上的投影。这些投影之间的关系也就是成像模型,理想的成像模型是针孔模型,而摄像机成像系统和针孔模型具有相同的成像关系,因此,可以用针孔模型直接作为摄像机成像模型,其坐标系如图1所示。

图 1 摄像机坐标系 Fig. 1 Camera coordinate system

$ O - {X_c}{Y_c}{Z_c} $ 为摄像机坐标系, $ {O_1} - XY $ 为图像坐标系;点 $ O $ 为投影中心,平面 $ \Pi $ 为指摄像机的像平面; $ f $ 为点 $ O $ 到平面 $ \Pi $ 的距离,也就是摄像机焦距。以点 $ O $ 为端点,经过点 $ M $ 的射线与平面 $ \Pi $ 的交点就是点 $ M $ 在平面 $ \Pi $ 上的投影 $ m $ ;以点 $ O $ 为端点且垂直于像平面的射线称为光轴或主轴。

根据三角形相似原理,可以得到 $ x = f\dfrac{{{x_c}}}{{{z_c}}} $ $ y = f\dfrac{{{y_c}}}{{{z_c}}} $ ,表示为矩阵形式:

$ {z_c}m = \left[ \begin{gathered} f{x_c} \\ f{y_c} \\ {z_c} \\ \end{gathered} \right] = \left[ {\begin{array}{*{20}{c}} f&0&0&0 \\ 0&f&0&0 \\ 0&0&1&0 \end{array}} \right]{X_c} 。$ (1)

其中, $ {X_c} = \left[ \begin{gathered} {x_c} \\ {y_c} \\ {z_c} \\ 1 \\ \end{gathered} \right] $ $ m = \left[ \begin{gathered} x \\ y \\ 1 \\ \end{gathered} \right] $ 。如果记 $ P=\mathrm{diag} \left(f,f,1\right) \left(1,0\right) $ ,则式(1)可以表示为 $ m = P{X_c} $ ,矩阵 $ P $ 是一个 $ 3 \times 4 $ 的矩阵,通常称为摄像机矩阵。

计算机视觉中,视觉信息的处理技术主要依赖于图像处理方法,包括平滑、锐化、边缘检测、特征提取等。经过这些处理后,目标图像的质量得到改善,便于后续的处理和识别,一个常见的图像处理、分析过程如图2所示。

图 2 图像处理分析过程 Fig. 2 Image processing and analysis process

图像处理主要有2个目的,改善(增强或恢复)像质和图像分析(对图像内容作出描述)。根据这两个目的,在获取图像后,需要对图像进行预处理,主要是按需进行适当的变换,突出有用信息,去除或者减弱无用信息,比如对比度增强、去噪、边缘提取等。分割则是将一幅图像划分为互不重叠区域的一种处理。最后则是对图像中的不同对象进行分类、描述和解译。

2 基于视觉传达的航行图形图像处理研究

基于视觉传达,综合考虑舰船航行的特殊环境,本文采用如图3所示的图像处理流程。

图 3 基于视觉传达的航行图形图像处理流程图 Fig. 3 Navigation graphics image processing flow chart based on visual communication

图像采集工作主要由舰载摄像机完成,或者直接从存储介质中读取所需图像、视频文件。灰度计算后会根据灰度值进行图像增强[4]。考虑到舰船航行的特殊环境,在进行图像预处理时需要考虑到天气情况,相应地需要进行类似去雾、去雨的工作。图像增强则是进一步地改善图像的质量,使得图像更容易被观察和分析,常见的方法包括灰度变换、直方图均衡化、空间滤波等。

高斯滤波和中值滤波消除了图像噪声,平滑了图像,减少了复杂环境对图像的影响。边缘提取主要针对于舰船航行过程中对目标物的识别检测,提取特征后得到质量更高、更清晰的图像,以便作出相应决策。

2.1 舰船航行中图像去雾、去雨处理

由于舰船航行的特殊环境,在海上经常会遇到恶劣天气,图像采集设备获取的图像数据质量也受到严重的影响,重点介绍在雨雾天气中对图像进行去雾、去雨处理的方法。

2.1.1 图像去雾处理

传统的图像去雾方法主要分为基于图像处理的增强方法和基于物理模型的复原方法,传统方法的特点是根据图像的退化机制,利用相关物理模型尽可能地去除更多的噪声,其缺点是计算量庞大,图像会出现局部失真的现象。

目前,最常用的去雾方法是基于卷积神经网络的算法,这个方法不需要分析退化机制,而是直接根据图像间的内在联系进行学习,与传统的方法相比,此类方法计算量少,去雾性能更强。

本文采用在FCTF-Net基础上改进的双通道双阶段图像去雨网络(DTDNet),以便获得不同深度的图像特征。由于采用了上下双通道采样模块,因此利用双线性差值上采样计算方法,如图4所示。

图 4 双线性差值上采样计算方法 Fig. 4 Method of bilinear difference up-sampling

图中,特征值被分解为 $ X $ $ Y $ 两个方向,具体的计算过程如下:

$ f\left( {{R_2}} \right) = \frac{{{x_2} - x}}{{{x_2} - {x_1}}}f\left( {{Q_{12}}} \right) + \frac{{x - {x_1}}}{{{x_2} - {x_1}}}f\left( {{Q_{22}}} \right) \text{,} $ (2)
$ f\left( {{R_1}} \right) = \frac{{{x_2} - x}}{{{x_2} - {x_1}}}f\left( {{Q_{11}}} \right) + \frac{{x - {x_1}}}{{{x_2} - {x_1}}}f\left( {{Q_{21}}} \right) \text{,} $ (3)
$ f\left( P \right) = \frac{{{y_2} - y}}{{{y_2} - {y_1}}}f\left( {{R_1}} \right) + \frac{{y - {y_1}}}{{{y_2} - {y_1}}}f\left( {{R_2}} \right) 。$ (4)

在去雾网络中使用较为广泛的是损失函数,其定义如下:

$ {L_{MSE}} = \frac{1}{N}{\sum\limits_{i = 1}^N {\left( {{Y_{true}} - {Y_{pred}}} \right)} ^2} 。$ (5)

其中: $ {Y_{true}} $ 为真实值; $ {Y_{pred}} $ 为预测值; $ N $ 为差值的个数。

但由于有时会存在异常点,该函数会产生错误的差值,影响计算结果,因此,引入感知函数来降低MSE函数出现异常的可能性,计算公式如下:

$ {L_A} = \frac{1}{{CWH}}\sum\limits_{C = 1}^C {\sum\limits_{W = 1}^W {\sum\limits_{H = 1}^H {\left\| {V\left( {{Y_{true}}} \right) - V\left( {{Y_{pred}}} \right)} \right\|} } } _2^2 。$ (6)

其中: $ C $ $ W $ $ H $ 分别为输出通道、宽度、高度,则总的损失函数为 $ {L_D} = {L_{MSE}} + \alpha {L_A} $ $ \alpha $ 为调整损失函数和感知函数的权重值。

2.1.2 图像去雨处理

主要的图像去雨方法包括视频图像去雨和单幅图像去雨,由于视频图像去雨受到视频质量的影响,导致效果不可控,目前主要采用单幅图像去雨,相对于前者而言,后者能够进行更精确的去雨,恢复的图像特征更多。而在单幅图像去雨中,目前的研究热点同样也是基于卷积神经网络的算法。

图像去雾的目的是去除图像中比较明显、集中的雾霾或雾团,而图像去雨的目的则是去除图像中随机出现且相对比较分散的雨滴,二者在本质上是完全不同的。由于2种情况下,基于卷积神经网络的算法原理基本相似,因此可以将去雾网络运用于图像去雨[5]

在去雾网络的基础上,引入通道注意力机制,对关键信息的特征进行加强。同时,考虑到雨滴在图像中的分布特点,为了避免信息丢失,利用金字塔多尺度池化层对输出进行处理。

为了降低图像中相邻像素值之间的差异,引入TV Loss函数再次对损失函数进行改进,TV Loss函数的表达式如下:

$ {L_{TV}} = {\sum\limits_{i,j} {\left( {{{\left( {{x_{i,j - 1}} - {x_{i,j}}} \right)}^2} + {{\left( {{x_{i + 1,j}} - {x_{i,j}}} \right)}^2}} \right)} ^{\frac{\beta }{2}}}。$ (7)

其中: $ x $ 为在图像上遍历的像素点; $ \beta $ 默认为2。区域网络最终的总损失函数为: $ {L_{OUR}} = {L_{MSE}} + \alpha {L_A} + \delta {L_{TV}} $ $ \delta $ 为TV Loss函数的权重值。

2.2 图像亮度调整及色彩均衡

本文主要采用对数和指数变换,对图像的亮度和色彩进行增强。图像灰度的对数变化为 $ g\left( {x,y} \right) = b\log \left[ {af\left( {x,y} \right) + 1} \right] + c $ ,指数变换为 $ g\left( {x,y} \right) = b{e^{af\left( {i,j} \right)}} + c $ ,参数 $ a $ $ b $ $ c $ 用来调整曲线的位置和形状。对数变换的目的是将图像暗的部分扩展,将亮的部分进行抑制。而如果图像曝光不足或过度时,可以利用指数变换对图像高灰度范围进行较大的拉伸。

自动色彩均衡(Automatic Color Enhancement,ACE)是在Retinex基础上提出的,该算法的原理是计算目标图像中的像素点和周围像素点的明暗程度,产生和视网膜相似的色彩均衡,从而达到图像增强效果。其计算公式为:

$ Y = \frac{{\displaystyle\sum {\left( {g\left( {I\left( {{x_0}} \right) - I\left( x \right)} \right)w\left( {{x_0},x} \right)} \right)} }}{{\displaystyle\sum {\left( {w\left( {{x_0},x} \right)} \right)} }} 。$ (8)

其中: $ w $ 为权重,离中心点像素越远, $ w $ 越大; $ I\left( x \right) $ $ I\left( {{x_0}} \right) $ 分别为不同像素点 $ x $ $ {x_0} $ 的亮度值; $ g $ 为对比度调节参数。

通过上述方法,使得图像得到增强,明暗程度得到了改善,同时也保留了图像的真实性。

2.3 图像融合

在实际的舰船航行中,获取信息的途径并不是单一的。对于同一个目标,任意一个途径获得的数据都不可能全面地描述目标特征及信息,这就需要将多个途径获取的图像进行融合,目的在于提高图像的信息可用度,同时也增加了对研究对象识别的可靠性。

图像融合分为三级别,像素像元级融合、特征级融合、决策级融合。像素级融合尽管是最低层次的融合,由于其基于最原始的图像数据,能够更多地保留图像的真实性和细微信息。

采用加权融合的方法对图像进行融合,对于2幅图像 $ {I_i} $ $ {I_j} $ ,可以按如下方法进行:

$ {I'_{ij}} = A\left( {{P_i}{I_i} + {P_j}{I_j}} \right) + B 。$ (9)

其中: $ A $ $ B $ 为常数; $ {P_i} $ $ {P_j} $ 分别为2个图像的权值。

2.4 实验结果

根据图像处理流程及重要过程中的相应处理方法,对雾天中的图像数据进行一系列处理,实验结果如图5所示。

图 5 图像处理对比结果 Fig. 5 Comparison results of image processing

可以看出,原始图像中存在较大面积的雾团,影响了对舰船前方目标的观测。根据的图像处理方法,进行去雾处理,同时拉伸了低灰度区,调整图像的明暗程度,对图像进行了增强。处理后的图像中,前方船只的轮廓和形状更加清晰,便于后续对该船只的监测和跟踪,也为舰船的航行路线调整提供可靠的数据。

以峰值信噪比(PSNR)、相似度(SSIM)和处理时间为评价指标,对去雾网络算法进行对比实验,实验结果如图6所示。

图 6 不同方法的对比 Fig. 6 Comparison of different methods

可以看出,在几种不同的算法中,本文采用的算法在信噪比上优于其他方法,同时,图像的相似度上也是最高的,说明在增强了图像的同时,更大程度地保留了原始图像中的信息。不过,在算法执行时间上的优势并不明显,在后续的研究中,可以再进行适当改进。

3 结 语

本文基于计算机视觉传达技术,对舰船航行中的图像数据设置处理流程,进行分析和处理。重点研究对恶劣天气中的图像去雾、去雨的算法,在FCTF-Net的基础上对算法进行改进,并对几种算法进行了对比实验。同时,根据图像处理流程和方法,完成了对含噪图像的处理。结果表明,在改善图像的同时,最大程度地保证了图像的真实性。

参考文献
[1]
张哲卿, 朱志宇, 魏莱, 等. 复杂海面背景下船舶红外偏振图像融合方法[J]. 电光与控制, 2023, 30(7): 68-72.
[2]
段仕浩. 基于机器视觉技术的船舶航行危险区域自动识别方法[J]. 舰船科学技术, 2023, 45(3): 157-160. DOI:10.3404/j.issn.1672-7649.2023.03.030
[3]
吴勇, 初秀民, 刘兴龙, 田国昊. 船舶AIS与视频图像信息融合方法研究[J]. 武汉理工大学学报(交通科学与工程版), 2023, 47(3): 575-581.
[4]
解宇虹, 谢源, 陈亮, 李翠华, 曲延云. 真实有雾场景下的目标检测[J]. 计算机辅助设计与图形学学报, 2021, 33(5): 733-745.
[5]
王道累, 张天宇. 图像去雾算法的综述及分析[J]. 图学学报, 2020, 41(6): 861-870.