串行视觉通信技术是舰船图像信息交互的重要方式。利用串行视觉通信技术进行舰船图像通信传输时,极易造成舰船图像颜色在传输过程中存在偏差[1-3],导致舰船图像出现失真情况。颜色校正方法是提升舰船图像质量的重要方式。将图像颜色校正技术应用于舰船图像颜色校正中,提升舰船图像的视觉效果[4],令传输的舰船图像更加真实。
目前已经有众多学者针对图像颜色校正技术进行研究。郑愈明等[5]将端到端的视差注意力方法应用于立体图像颜色校正中,利用卷积神经网络依据像素的对应关系实现目标图像的颜色校正。该方法利用多尺度特征提取方法提取待校正图像的特征,完成图像的颜色校正。王昊天等[6]将CycleGAN网络应用于水下显微图像颜色校正中,针对水下显微图像容易出现颜色失真情况,利用循环一致性对抗网络,解决水下图像低质量的问题。通过损失函数衡量图像的信息损失,提升水下显微图像质量。以上2种方法虽然可以实现图像颜色的有效校正,但是存在容易受到噪声影响,对颜色失真的改善效果并不明显,存在图像细节丢失的问题。针对以上研究方法在图像颜色校正中存在的问题,本文提出串行视觉通信下舰船失真图像颜色校正方法,以提升串行视觉通信中的舰船图像质量。
1 舰船失真图像颜色校正方法 1.1 串行视觉通信下舰船失真图像采集舰船图像传输的串行视觉通信结构如图1所示。串行视觉通信的线程监测部分查询到舰船图像传送至串口,主线程调用读线程接收舰船图像,将接收的舰船图像传送至舰船图像缓存区。串行视觉通信的舰船图像处理线程,从舰船图像缓存区读入舰船失真图像,利用舰船失真图像颜色校正方法处理图像,将完成颜色校正的舰船图像传送至相应缓冲区内,在缓冲区内等待串行视觉通信的显示线程以及存储线程处理,通知主线程调用写线程,将相应的舰船图像写入串口。完成舰船失真图像处理后,利用可编程逻辑控制器发送舰船图像传输信号,将舰船图像传输信号写入通信串口。通信串口完成写入后,等待接收串口传送的舰船图像。利用可编程逻辑控制器从通信串口读入舰船图像,依据舰船图像发送相应传送信号,完成舰船图像的串行视觉通信。
串行视觉通信下,为了提升舰船失真图像颜色的校正性能,设置舰船失真图像的自适应颜色阈值,依据所设置的自适应颜色阈值,将舰船失真图像划分为不同层次,所划分的各层次舰船图像中,包含不同的边缘细节信息。针对各层次舰船图像的边缘细节信息,获取舰船失真图像不同尺度的细节函数,依据细节函数提取舰船失真图像的颜色特征信息。
$ {w_p} = \frac{{\sum {{G_{{\sigma _r}}} \times {G_{{\sigma _d}}}} }}{{\left( {{I_p},{I_q}} \right)}} \times \frac{{R \times S}}{{\left( {{\sigma _r},{\sigma _d}} \right)}} {\text{。}}$ | (1) |
式中:
$ \zeta = \frac{{k{w_p}\left( {{J_I} + {J_k}} \right)}}{{\beta \times I}}。$ | (2) |
放大舰船失真图像的细节层,
$ W = \frac{{\chi + o + \alpha }}{w}。$ | (3) |
式中:
$ E = \frac{{b + \theta }}{g} + \frac{{p \times b}}{\mu }。$ | (4) |
式中,
所提取舰船失真图像颜色特征的表达式如下:
$ r = \frac{{{n_{\max }} + w + E}}{\zeta } + \phi \times W{\text{。}} $ | (5) |
式中:
依据舰船失真图像的边缘梯度,设置自适应颜色阈值,依据自适应颜色阈值将舰船失真图像划分为不同层次,所划分各层次图像的边缘细节信息存在明显差异,依据各层次的边缘细节信息间的差异体现舰船失真图像的颜色特征,将舰船失真图像划分为亮区域与暗区域。
1.3 舰船失真图像亮区域与暗区域的颜色校正依据所提取舰船失真图像的颜色特征,确定舰船失真图像的亮区域与暗区域。针对舰船失真图像的亮区域与暗区域,采用不同的颜色校正方法,实现舰船失真图像的颜色校正。
1.3.1 舰船失真图像亮区域颜色校正舰船失真图像的亮区域具有颜色单一以及变化缓慢的特点,利用统计特征匹配方法实现舰船失真图像亮区域的颜色校正。统计特征匹配方法通过令原始图像中不同通道的标准差、均值与目标图像相同的方式,实现图像的颜色校正。舰船失真图像Ij的RGB均值
$ m = \sum\limits_{j = 1}^n {I_j^{}} /n{\text{,}} $ | (6) |
$ \delta = \sqrt {\sum\limits_{j = 1}^n {{{\left( {I_j^{} - {m^{}}} \right)}^2}} /n} {\text{。}}$ | (7) |
式中,
$ {S_m} = \left( {\delta _t^{}/\delta _s^{}} \right)\left( {m_t^{} - m_s^{}} \right){\text{。}} $ | (8) |
对于舰船失真图像的灰度图像,利用直方图匹配方法令舰船失真图像呈现特定的直方图形状。f(x)与g(y)分别为原始舰船失真图像
$ \varPhi \left( x \right) = {G^{ - 1}}\left( {F\left( x \right)} \right)。$ | (9) |
式中:Si表示大小为
$ {S_i} = {\left[ {{R_i},{G_i},{B_i}} \right]^{\rm T}} {\text{。}}$ | (10) |
式中:Ri,Gi,Bi为舰船失真图像像素点
$ \boldsymbol H = {\left[ {\begin{array}{*{20}{c}} {\boldsymbol H_1} \\ {\boldsymbol H_2} \end{array}} \right]_{6 \times 3}} \text{。} $ | (11) |
将所获取的矩阵
$ {S_r} = \boldsymbol H{S_i} 。$ | (12) |
对Sr中的元素求取一维概率密度函数,获取令fj与gj一致的转换函数表达式如下:
$ {\Phi _j}\left( {{S_{{r_j}}}} \right) = G_j^{ - 1}\left( {{F_j}\left( {{S_{{r_j}}}} \right)} \right) \text{。}$ | (13) |
式中,Gj与Fj分别为原始舰船失真图像与目标舰船失真灰度图像的累计概率密度。利用变换函数
$ {S'_r} = \left[ {{\varPhi _1}\left( {{S_{{r_1}}}} \right), \cdots ,{\varPhi _6}\left( {{S_{{r_6}}}} \right)} \right] 。$ | (14) |
对
$ S_L^{} = {H^{ - 1}}{S'_r}\text{。}$ | (15) |
通过以上过程,完成颜色校正的暗区域与亮区域合成,获取最终串行通信下舰船失真图像颜色校正结果。所提取的舰船失真图像颜色特征中,不包含亮区域时,对舰船失真图像依据暗区域的颜色校正方法实施颜色校正。
2 结果与分析利用VS 2019环境,搭建舰船图像传输的串行视觉通信环境。利用相机采集某舰船航行过程中的图像共235幅。从所采集的舰船图像中,选取20幅串行视觉通信的舰船失真图像作为实验对象。所选取的舰船失真图像存在阴影颜色以及细节丢失情况,部分舰船失真图像中存在光晕。统计传输舰船图像的串行视觉通信网络,传输舰船图像时各线程的通信性能,统计结果如图2所示。可以看出,采用本文方法对舰船失真图像进行串行视觉通信,舰船失真图像传输的舰船图像采集、舰船图像处理、舰船图像显示以及舰船图像存储各线程的通信吞吐量均高于65 Mbps。表明采用本文方法可以实现舰船失真图像的高效传输,利用串行视觉通信技术提升舰船图像传输的通信性能。
串行视觉通信下,利用相机采集的舰船失真图像如图3所示。
采用本文方法对舰船失真图像进行颜色校正,舰船失真图像的颜色校正结果如图4所示。可知,采用本文方法对舰船失真图像进行颜色校正,图像细节的清晰度更高,舰船失真图像中的噪声被有效抑制。本文方法在舰船失真图像结构特征有效保持的基础上,完成舰船失真图像的颜色校正,提升串行视觉通信下的舰船图像质量。
统计采用本文方法对舰船失真图像进行颜色校正,舰船失真图像的原始颜色失真情况以及颜色校正结果,结果如表1所示。可知,采用本文方法对舰船失真图像进行颜色校正,舰船失真图像的色度、饱和度、亮度等颜色失真内容获得了明显校正,这表明在舰船失真图像的颜色存在明显变化以及存在曝光等情况下,恢复舰船图像的颜色信息,保持舰船图像的细节与纹理信息。
本文提出串行视觉通信下舰船失真图像颜色校正方法,该方法有效改善传统颜色校正方法在颜色校正过程中,容易出现噪声的情况。采用该方法校正舰船失真图像颜色,充分考虑舰船失真图像颜色变化的亮区域以及暗区域,全面提升串行视觉通信下传输的舰船图像质量,利用高质量的舰船图像传输,提升舰船图像的应用性。
[1] |
陈小国, 胡锦泉. 基于颜色校正和细节保持的水下图像增强[J]. 激光与光电子学进展, 2020, 57(24): 153-162. CHEN Xiaoguo, HU Jinquan. Underwater image enhancement based on color correction and detail preservation[J]. Laser & Optoelectronics Progress, 2020, 57(24): 153-162. |
[2] |
魏冬, 刘浩, 陈根龙, 等. 基于颜色校正和去模糊的水下图像增强方法[J]. 计算机科学, 2021, 48(4): 144-150. WEI Dong, LIU Hao, CHEN Genlong, et al. Underwater image enhancement based on color correction and deblurring[J]. Computer Science, 2021, 48(4): 144-150. |
[3] |
向涛. 基于显著区域提取的红外图像舰船目标检测[J]. 电讯技术, 2020, 60(7): 785-790. XIANG Tao. Ship detection in infrared image based on salient region extraction[J]. Telecommunication Engineering, 2020, 60(7): 785-790. |
[4] |
李永刚, 朱卫纲, 黄琼男, 等. 复杂背景下SAR图像近岸舰船目标检测[J]. 系统工程与电子技术, 2022, 44(10): 3096-3103. |
[5] |
郑愈明, 范媛媛, 牛玉贞. 视差注意力的立体图像颜色校正方法[J]. 小型微型计算机系统, 2022, 43(3): 611-620. ZHENG Yuming, FAN Yuanyuan, NIU Yuzhen. Parallax attention based stereoscopic image color correction[J]. Journal of Chinese Computer Systems, 2022, 43(3): 611-620. |
[6] |
王昊天, 刘庆省, 陈亮,等. 改进的CycleGAN网络用于水下显微图像颜色校正[J]. 光学精密工程, 2022, 30(12): 1499-1508. WANG Haotian, LIU Qingsheng, CHEN Liang, et al. Improved CycleGAN network for underwater microscopic image color correction[J]. Optics and Precision Engineering, 2022, 30(12): 1499-1508. |