舰船科学技术  2023, Vol. 45 Issue (2): 167-170    DOI: 10.3404/j.issn.1672-7649.2023.02.030   PDF    
串行视觉通信下舰船失真图像颜色校正方法分析
周燕     
华南农业大学 数学与信息学院,广东 广州 510642
摘要: 以提升串行视觉通信下的舰船图像质量为目标,研究串行视觉通信下舰船失真图像颜色校正方法。采用多线程通信技术,通过写线程、读线程以及监测线程的多线程合作,完成舰船图像的串行视觉通信。依据自适应颜色阈值,划分待传输的舰船失真图像为多个层次,针对各层次的舰船图像设置不同尺度的细节函数,依据细节函数提取舰船失真图像的颜色特征信息。依据所提取的颜色特征,划分舰船失真图像的亮区域与暗区域。利用统计特征匹配方法以及直方图匹配方法,分别完成亮区域与暗区域的颜色校正,合成完成颜色校正的暗区域与亮区域,获取舰船失真图像颜色校正结果。实验结果表明,该方法有效校正串行视觉通信下的舰船失真图像颜色,舰船失真图像的色度、饱和度、亮度改善效果明显。
关键词: 串行     视觉通信下     舰船失真图像     颜色校正方法    
Analysis of color correction method for ship distortion image in serial visual communication
ZHOU Yan     
College of Mathematics and Informatics, South China Agricultural University, Guangzhou 510642, China
Abstract: In order to improve the ship image quality under serial visual communication, the color correction method of ship distortion image under serial visual communication is studied. Using multi-thread communication technology, the serial visual communication of ship image is completed by multi-thread cooperation of writer thread, reader thread and monitor thread. According to the adaptive color threshold, the ship distortion image to be transmitted is divided into multiple layers. The detail functions of different scales are set for each layer of ship image, and the color feature information of ship distortion image is extracted according to the detail function. According to the extracted color features, the light region and dark region of ship distortion image are divided. The statistical feature matching method and histogram matching method were used to complete the color correction of the bright and dark regions respectively, and the dark and bright regions were synthesized to obtain the color correction results of ship distortion images. Experimental results show that the proposed method can effectively correct the color of ship distortion image under serial visual communication, and the chroma, saturation and brightness of ship distortion image are improved obviously.
Key words: serial     under visual communication     ship distortion image     color correction method    
0 引 言

串行视觉通信技术是舰船图像信息交互的重要方式。利用串行视觉通信技术进行舰船图像通信传输时,极易造成舰船图像颜色在传输过程中存在偏差[1-3],导致舰船图像出现失真情况。颜色校正方法是提升舰船图像质量的重要方式。将图像颜色校正技术应用于舰船图像颜色校正中,提升舰船图像的视觉效果[4],令传输的舰船图像更加真实。

目前已经有众多学者针对图像颜色校正技术进行研究。郑愈明等[5]将端到端的视差注意力方法应用于立体图像颜色校正中,利用卷积神经网络依据像素的对应关系实现目标图像的颜色校正。该方法利用多尺度特征提取方法提取待校正图像的特征,完成图像的颜色校正。王昊天等[6]将CycleGAN网络应用于水下显微图像颜色校正中,针对水下显微图像容易出现颜色失真情况,利用循环一致性对抗网络,解决水下图像低质量的问题。通过损失函数衡量图像的信息损失,提升水下显微图像质量。以上2种方法虽然可以实现图像颜色的有效校正,但是存在容易受到噪声影响,对颜色失真的改善效果并不明显,存在图像细节丢失的问题。针对以上研究方法在图像颜色校正中存在的问题,本文提出串行视觉通信下舰船失真图像颜色校正方法,以提升串行视觉通信中的舰船图像质量。

1 舰船失真图像颜色校正方法 1.1 串行视觉通信下舰船失真图像采集

舰船图像传输的串行视觉通信结构如图1所示。串行视觉通信的线程监测部分查询到舰船图像传送至串口,主线程调用读线程接收舰船图像,将接收的舰船图像传送至舰船图像缓存区。串行视觉通信的舰船图像处理线程,从舰船图像缓存区读入舰船失真图像,利用舰船失真图像颜色校正方法处理图像,将完成颜色校正的舰船图像传送至相应缓冲区内,在缓冲区内等待串行视觉通信的显示线程以及存储线程处理,通知主线程调用写线程,将相应的舰船图像写入串口。完成舰船失真图像处理后,利用可编程逻辑控制器发送舰船图像传输信号,将舰船图像传输信号写入通信串口。通信串口完成写入后,等待接收串口传送的舰船图像。利用可编程逻辑控制器从通信串口读入舰船图像,依据舰船图像发送相应传送信号,完成舰船图像的串行视觉通信。

图 1 舰船图像传输的串行视觉通信结构图 Fig. 1 Serial visual communication structure of ship image transmission
1.2 舰船失真图像颜色特征提取

串行视觉通信下,为了提升舰船失真图像颜色的校正性能,设置舰船失真图像的自适应颜色阈值,依据所设置的自适应颜色阈值,将舰船失真图像划分为不同层次,所划分的各层次舰船图像中,包含不同的边缘细节信息。针对各层次舰船图像的边缘细节信息,获取舰船失真图像不同尺度的细节函数,依据细节函数提取舰船失真图像的颜色特征信息。 $ I $ 表示串行视觉通信下的舰船失真图像, $ {I_p} $ $ {I_q} $ 分别表示舰船失真图像内像素点 $ p $ $ q $ 的颜色值。设置提取舰船失真图像颜色特征的滤波器归一化系数计算公式如下:

$ {w_p} = \frac{{\sum {{G_{{\sigma _r}}} \times {G_{{\sigma _d}}}} }}{{\left( {{I_p},{I_q}} \right)}} \times \frac{{R \times S}}{{\left( {{\sigma _r},{\sigma _d}} \right)}} {\text{。}}$ (1)

式中: $ S $ $ R $ 分别为舰船失真图像的空域以及颜色阈值; $ {G_{{\sigma _r}}} $ $ {G_{{\sigma _d}}} $ $ {\sigma _r} $ $ {\sigma _d} $ 分别为舰船失真图像的高斯核以及空域参数。

$ {J_I} $ $ {J_k} $ 分别为原始舰船失真图像 $ I $ 的渐进平滑版本以及最平滑版本的基图像, $\ \beta $ $ k $ 分别为随机图像细节层以及多尺度分解层次。舰船失真图像颜色特征提取的自适应颜色阈值如下:

$ \zeta = \frac{{k{w_p}\left( {{J_I} + {J_k}} \right)}}{{\beta \times I}}。$ (2)

放大舰船失真图像的细节层, $ w $ $ o $ 分别为舰船失真图像各细节层的权重以及质量较低的细节层, $ \ \chi $ 为包含大尺度边缘的舰船失真图像像素。将舰船失真图像划分为多层次的表达式如下:

$ W = \frac{{\chi + o + \alpha }}{w}。$ (3)

式中: $ \alpha $ 为舰船失真图像的小尺度细节; $ W $ 为舰船失真图像的层次数量。

$ \theta $ $ g $ 分别为舰船失真图像亮点的亮度分布概率以及像素点 $ p $ 的梯度, $ b $ 为舰船失真图像的强边缘函数,舰船失真图像的多尺度细节函数为:

$ E = \frac{{b + \theta }}{g} + \frac{{p \times b}}{\mu }。$ (4)

式中, $ \mu $ 为舰船失真图像的细节失真幅度。

所提取舰船失真图像颜色特征的表达式如下:

$ r = \frac{{{n_{\max }} + w + E}}{\zeta } + \phi \times W{\text{。}} $ (5)

式中: $ \phi $ 为舰船失真图像亮度变换的映射函数;nmax为舰船失真图像全部像素灰度的最大值。

依据舰船失真图像的边缘梯度,设置自适应颜色阈值,依据自适应颜色阈值将舰船失真图像划分为不同层次,所划分各层次图像的边缘细节信息存在明显差异,依据各层次的边缘细节信息间的差异体现舰船失真图像的颜色特征,将舰船失真图像划分为亮区域与暗区域。

1.3 舰船失真图像亮区域与暗区域的颜色校正

依据所提取舰船失真图像的颜色特征,确定舰船失真图像的亮区域与暗区域。针对舰船失真图像的亮区域与暗区域,采用不同的颜色校正方法,实现舰船失真图像的颜色校正。

1.3.1 舰船失真图像亮区域颜色校正

舰船失真图像的亮区域具有颜色单一以及变化缓慢的特点,利用统计特征匹配方法实现舰船失真图像亮区域的颜色校正。统计特征匹配方法通过令原始图像中不同通道的标准差、均值与目标图像相同的方式,实现图像的颜色校正。舰船失真图像Ij的RGB均值 $ m $ 以及标准差 $ \delta $ 计算公式如下:

$ m = \sum\limits_{j = 1}^n {I_j^{}} /n{\text{,}} $ (6)
$ \delta = \sqrt {\sum\limits_{j = 1}^n {{{\left( {I_j^{} - {m^{}}} \right)}^2}} /n} {\text{。}}$ (7)

式中, $ n $ 为舰船失真图像的通道数量。

$ m_s^{} $ $ \delta _s^{} $ $ m_t^{} $ $ \delta _t^{} $ 分别为原始舰船失真图像以及参考舰船图像亮区域的均值以及标准差。针对亮区域中的像素点 $ p $ ,获取完成颜色校正的亮区域Sm表达式如下:

$ {S_m} = \left( {\delta _t^{}/\delta _s^{}} \right)\left( {m_t^{} - m_s^{}} \right){\text{。}} $ (8)
1.3.2 舰船失真图像暗区域颜色校正

对于舰船失真图像的灰度图像,利用直方图匹配方法令舰船失真图像呈现特定的直方图形状。f(x)与g(y)分别为原始舰船失真图像 $ X $ 与目标舰船失真灰度图像 $ Y $ 的概率密度函数,F(x)与G(y)为两幅图像的累计概率密度函数。 $ X $ 的概率密度函数f(x)与g(y)呈现相同分布的转换函数表达式如下:

$ \varPhi \left( x \right) = {G^{ - 1}}\left( {F\left( x \right)} \right)。$ (9)

式中:Si表示大小为 $ 3 \times N $ 的原始舰船失真图像暗区域; $ N $ 为舰船失真图像颜色校正区域的像素点总数。舰船失真图像暗区域的表达式如下:

$ {S_i} = {\left[ {{R_i},{G_i},{B_i}} \right]^{\rm T}} {\text{。}}$ (10)

式中:RiGiBi为舰船失真图像像素点 $ i $ 的红、绿、蓝3通道数值。随机构造正交矩阵 $ H_{{13 \times 3}} $ $ H_{{23 \times 3}} $ 形成新矩阵 $ \boldsymbol H $ 的表达式如下:

$ \boldsymbol H = {\left[ {\begin{array}{*{20}{c}} {\boldsymbol H_1} \\ {\boldsymbol H_2} \end{array}} \right]_{6 \times 3}} \text{。} $ (11)

将所获取的矩阵 $ \boldsymbol H $ Si相乘,表达式如下:

$ {S_r} = \boldsymbol H{S_i} 。$ (12)

Sr中的元素求取一维概率密度函数,获取令fjgj一致的转换函数表达式如下:

$ {\Phi _j}\left( {{S_{{r_j}}}} \right) = G_j^{ - 1}\left( {{F_j}\left( {{S_{{r_j}}}} \right)} \right) \text{。}$ (13)

式中,GjFj分别为原始舰船失真图像与目标舰船失真灰度图像的累计概率密度。利用变换函数 $ {\varPhi _j} $ $ {S_r} $ 进行变换处理,获取变换后的舰船失真图像表达式如下:

$ {S'_r} = \left[ {{\varPhi _1}\left( {{S_{{r_1}}}} \right), \cdots ,{\varPhi _6}\left( {{S_{{r_6}}}} \right)} \right] 。$ (14)

$ {S'_r} $ 进行左乘 $ {H^{ - 1}} $ 处理,获取原始坐标系下,舰船失真图像暗区域的颜色校正结果表达式如下:

$ S_L^{} = {H^{ - 1}}{S'_r}\text{。}$ (15)

通过以上过程,完成颜色校正的暗区域与亮区域合成,获取最终串行通信下舰船失真图像颜色校正结果。所提取的舰船失真图像颜色特征中,不包含亮区域时,对舰船失真图像依据暗区域的颜色校正方法实施颜色校正。

2 结果与分析

利用VS 2019环境,搭建舰船图像传输的串行视觉通信环境。利用相机采集某舰船航行过程中的图像共235幅。从所采集的舰船图像中,选取20幅串行视觉通信的舰船失真图像作为实验对象。所选取的舰船失真图像存在阴影颜色以及细节丢失情况,部分舰船失真图像中存在光晕。统计传输舰船图像的串行视觉通信网络,传输舰船图像时各线程的通信性能,统计结果如图2所示。可以看出,采用本文方法对舰船失真图像进行串行视觉通信,舰船失真图像传输的舰船图像采集、舰船图像处理、舰船图像显示以及舰船图像存储各线程的通信吞吐量均高于65 Mbps。表明采用本文方法可以实现舰船失真图像的高效传输,利用串行视觉通信技术提升舰船图像传输的通信性能。

图 2 串行视觉通信性能 Fig. 2 Serial visual communication performance

串行视觉通信下,利用相机采集的舰船失真图像如图3所示。

图 3 原始舰船失真图像 Fig. 3 Distorted image of the original ship

采用本文方法对舰船失真图像进行颜色校正,舰船失真图像的颜色校正结果如图4所示。可知,采用本文方法对舰船失真图像进行颜色校正,图像细节的清晰度更高,舰船失真图像中的噪声被有效抑制。本文方法在舰船失真图像结构特征有效保持的基础上,完成舰船失真图像的颜色校正,提升串行视觉通信下的舰船图像质量。

图 4 舰船失真图像颜色校正结果 Fig. 4 Color correction results of ship distortion images

统计采用本文方法对舰船失真图像进行颜色校正,舰船失真图像的原始颜色失真情况以及颜色校正结果,结果如表1所示。可知,采用本文方法对舰船失真图像进行颜色校正,舰船失真图像的色度、饱和度、亮度等颜色失真内容获得了明显校正,这表明在舰船失真图像的颜色存在明显变化以及存在曝光等情况下,恢复舰船图像的颜色信息,保持舰船图像的细节与纹理信息。

表 1 舰船失真图像的颜色校正结果 Tab.1 Color correction results of ship distortion images
3 结 语

本文提出串行视觉通信下舰船失真图像颜色校正方法,该方法有效改善传统颜色校正方法在颜色校正过程中,容易出现噪声的情况。采用该方法校正舰船失真图像颜色,充分考虑舰船失真图像颜色变化的亮区域以及暗区域,全面提升串行视觉通信下传输的舰船图像质量,利用高质量的舰船图像传输,提升舰船图像的应用性。

参考文献
[1]
陈小国, 胡锦泉. 基于颜色校正和细节保持的水下图像增强[J]. 激光与光电子学进展, 2020, 57(24): 153-162.
CHEN Xiaoguo, HU Jinquan. Underwater image enhancement based on color correction and detail preservation[J]. Laser & Optoelectronics Progress, 2020, 57(24): 153-162.
[2]
魏冬, 刘浩, 陈根龙, 等. 基于颜色校正和去模糊的水下图像增强方法[J]. 计算机科学, 2021, 48(4): 144-150.
WEI Dong, LIU Hao, CHEN Genlong, et al. Underwater image enhancement based on color correction and deblurring[J]. Computer Science, 2021, 48(4): 144-150.
[3]
向涛. 基于显著区域提取的红外图像舰船目标检测[J]. 电讯技术, 2020, 60(7): 785-790.
XIANG Tao. Ship detection in infrared image based on salient region extraction[J]. Telecommunication Engineering, 2020, 60(7): 785-790.
[4]
李永刚, 朱卫纲, 黄琼男, 等. 复杂背景下SAR图像近岸舰船目标检测[J]. 系统工程与电子技术, 2022, 44(10): 3096-3103.
[5]
郑愈明, 范媛媛, 牛玉贞. 视差注意力的立体图像颜色校正方法[J]. 小型微型计算机系统, 2022, 43(3): 611-620.
ZHENG Yuming, FAN Yuanyuan, NIU Yuzhen. Parallax attention based stereoscopic image color correction[J]. Journal of Chinese Computer Systems, 2022, 43(3): 611-620.
[6]
王昊天, 刘庆省, 陈亮,等. 改进的CycleGAN网络用于水下显微图像颜色校正[J]. 光学精密工程, 2022, 30(12): 1499-1508.
WANG Haotian, LIU Qingsheng, CHEN Liang, et al. Improved CycleGAN network for underwater microscopic image color correction[J]. Optics and Precision Engineering, 2022, 30(12): 1499-1508.