舰船科学技术  2001, Vol. 44 Issue (6): 149-152    DOI: 10.3404/j.issn.1672-7649.2022.06.031   PDF    
基于Retinex算法的舰船无线传感网络目标跟踪方法
林春蕾1,2, 潘光永1,2     
1. 金华市现代制造与材料高新技术研发中心,浙江 东阳 322100;
2. 浙江广厦建设职业技术大学,浙江 东阳 322100
摘要: 为保证不同海上环境下,舰船无线传感网络目标跟踪的可靠性,提出基于Retinex算法的舰船无线传感网络目标跟踪方法。采集舰船目标图像,采用改进的Retinex算法增强舰船目标图像,提升图像细节和质量,通过无线通信方式进行图像传输,依据摄像头标定原理转换目标图像坐标为世界坐标系坐标,获取舰船目标的实际位置,完成舰船无线传感网络目标跟踪。测试结果显示:该方法增强后图像的边缘清晰度提升,跟踪性能良好,帧率的最高结果达到127 fps左右;舰船目标发生遮挡和尺度发生变化2种情况下,仍然能够可靠完成目标跟踪。
关键词: Retinex算法     无线传感网络     目标跟踪     视觉传感器     图像增强    
Target tracking method of ship wireless sensor network based on retinex algorithm
LIN Chun-lei1,2, PAN Guang-yong1,2     
1. Jinhua Modern Manufacturing and Material High-tech Research and Development Center, Dongyang 322100, China;
2. Zhejiang Guangsha Construction Vocational and Technical University, Dongyang 322100, China
Abstract: In order to ensure the reliability of ship wireless sensor network target tracking in different marine environments, a ship wireless sensor network target tracking method based on Retinex algorithm is proposed. Collect the ship target image, use the improved Retinex algorithm to enhance the collected ship target image, improve the image details and quality, transmit the image through wireless communication, convert the target image coordinates to the world coordinate system coordinates according to the camera calibration principle, obtain the actual position of the ship target, and complete the ship wireless sensor network target tracking. The test results show that the edge definition of the enhanced image is improved, the tracking performance is good, and the highest frame rate is about 127 fps; When the ship target is blocked and the scale changes, the target tracking can be completed reliably.
Key words: retinex algorithm     wireless sensor network     target tracking     vision sensor     image enhancement    
0 引 言

舰船无线传感网络主要用于实现其航行相关数据等数据的采集和感知[1],例如温度、湿度、方向、压力、速度以及航行环境等数据。其中无线传感网络目标跟踪[2],是该网络的主要作用之一,其依据网络中的节点,协同实现实时监控、战场状况获取等,达到跟踪目的。舰船目标的有效跟踪,能够提升海上交通管理效果,但是由于海上的背景较为复杂,海浪噪声、光照以及尺度变化等因素均会影响跟踪效果[3],并且舰船数量较多时,如果精准获取其中的跟踪目标,更是舰船长时间跟踪过程中的主要难点。

文献[4-5]均对目标跟踪展开相关研究,分别基于快速正交匹配追踪和基于信息熵,提出相关目标跟踪方法。上述方法在应用过程中,没有对采集的图像实行优化处理,因此,对于相似船只的跟踪容易发生误识现象。Retinex算法是一种视频增强算法,该算法对于图像增强、去雾以及图像恢复方面具备较好的应用效果。因此,本文提出基于Retinex算法的舰船无线传感网络目标跟踪方法,该方法结合计算机视觉技术、摄像头的定标原理和Retinex算法完成舰船无线传感网络目标跟踪。

1 舰船图像无线传感网络目标跟踪方法 1.1 舰船图像无线传感网络目标跟踪方法框架

舰船无线传感网络目标跟踪框架主要由图像采集、无线传感网络以及控制器3部分组成,具体架构如图1所示[6]

图 1 舰船图像无线传感网络目标跟踪方法框架 Fig. 1 Target tracking method framework of ship image wireless sensor network
1.2 基于计算机视觉技术的舰船目标图像采集

计算机视觉技术指的是替代人眼完成目标识别的摄像机和计算机技术,图像采集设备在进行舰船目标感知和图像采集过程中[7],主要结合视觉传感器和视频检测技术完成。在视觉传感器2个不同的方向上,安装2个摄像头,摄像头单次旋转角度为15°,最大旋转角度为180°,每个摄像头的采集面积为1280×1280。为了保证视觉传感器的采集效果,采用OPTCPU(CPU主频)作为处理器,该处理器能够完成传感器的协调控制,并且具备滤波功能,能够实现采集图像的初步处理[8]。将2个摄像头采集的舰船目标图像实行融合后,获取最终的图像采集结果。

1.3 改进Retinex算法的舰船目标图像增强

完成舰船目标图像采集后,为保证目标的跟踪效果,采用Retinex算法对舰船目标图像实行增强处理,并结合实际应用需求,保证增强后的图像不会发生边缘模糊化问题[9],采用L0范数的平滑算子与Retinex算法结合,形成基于L0范数的Retinex舰船目标图像增强算法,L0范数的表达公式为:

$ c\left( f \right) = \# \left\{ {\left. p \right|\left| {{f_p} - {f_{p + 1}}} \right| \ne 0} \right\}。$ (1)

式中:元素分别用 $ p $ $ p + 1 $ 表示,两者之间为相邻;输出时产生的信号用 $ f $ 表示; $ p $ 的信号值用 $ {f_p} $ 表示;舰船目标图像梯度用 $ \left| {{f_p} - {f_{p + 1}}} \right| $ 表示; $ \# \left\{ {} \right\} $ 计数的输出需满足 $ \left| {{f_p} - {f_{p + 1}}} \right| \ne 0 $ 的数量条件,即为c(f),其作为一种约束条件,在舰船目标图像中用于非零梯度数量的表示,和舰船目标图像的梯度尺寸时间没有关联。因此,为保证舰船目标图像梯度的最小化,需同时结合2种图像信号完成,即一维和二维。

基于L0范数的Retinex舰船目标图像增强算法的实现步骤如下:

1)对I(x,y)实行读取,采用L0范数图像平滑因子完成I(x,y)中R,E,B颜色通道的处理。

2)尺度参数 $ \sigma $ 的初始化处理,且 $ \lambda ' $ $ \sigma $ 对应;循环加入L0梯度最小化因子并进行迭代,以此实现I(x,y)不同尺度轮廓的均匀增强。

3)对I(x,y)增强成分实行提取,即获取该图像的轮廓信息,并将其与原始的图像实行融合处理,抑制图像中不重要的图像细节,使图像中的关键细节突出化,实现图像增强,增强后图像为 $ I'\left( {x,y} \right) $

1.4 基于摄像头标定的无线传感网络目标跟踪

为实现舰船无线传感网络目标跟踪,控制器采用摄像头标定原理完成,其标定结果用于完成舰船目标图像和实际坐标图像之间的转换,以此实现舰船目标跟踪。具体目标跟踪流程如图2所示。

图 2 目标跟踪流程 Fig. 2 Target tracking process

摄像机标定方法较多,本文采用直接线性变换(direct linear transformation,DLT)算法完成,该算法能够依据摄像机图像与舰船之间的关联描述结果,构建摄像头几何线性模型,并通过线性方程完成模型求解。在 $ I'\left( {x,y} \right) $ 的次坐标下, $ {\boldsymbol{P}} $ 表示透视投影矩阵,其维数为3×4,为获取 $ {{P}} $ ,依据直接线性变换得出的图像像点和舰船物点之间的成像几何关系的描述结果完成,即

$ s\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = {{\boldsymbol{P}}_{3 \times 4}}\left[ {\begin{array}{*{20}{c}} {{X_W}} \\ {{Y_W}} \\ {{Z_W}} \\ 1 \end{array}} \right]。$ (6)

式中:在图像和世界2种坐标系中,其次坐标和空间点的欧式坐标分别用 $ \left( {u,v,1} \right) $ $ \left( {{X_W},{Y_W},{Z_W}} \right) $ 表示; $ s $ 表示尺度因子,且为未知。

如果 $ X $ $ X' $ 表示2个对应点,属于2个不同的二维平面之间,则2者的映射表达为 $ X' = HX $ ,其中 $ H $ 表示矩阵,等号的左右两侧参数的方向相同,2个之间存在一个非零系数的差距,因此两者的外积结果等于0,则 $ H $ 计算的表达为 $ X' \times HX = 0 $ 。其中, $ H $ 的第 $ j $ 行用 $ {h^{jT}} $ ,那么 $ HX $ 的表达公式为:

$ H{X_i} = \left( {\begin{array}{*{20}{c}} {{h^{1T}}X} \\ {{h^{2T}}X} \\ {{h^{3T}}X} \end{array}} \right) ,$ (7)

$ X' $ 采用 $X' = {\left( {x',y',w'} \right)^{\rm{T}}}$ 代替,如果 $ w' $ 的取值为1, $ \left( {x',y'} \right) $ 表示舰船目标图像上的点,那么得出:

$ X' \times HX = \left( {\begin{array}{*{20}{c}} {y'{h^{3T}}x - x'{h^{2T}}x} \\ {w'{h^{1T}}x - x'{h^{3T}}} \\ {x'{h^{2T}}x - y'{h^{1T}}x} \end{array}} \right) ,$ (8)

对上述公式实行简化处理后,得到:

$ {{\boldsymbol{A}}_{\rm{i}}}h = 0 ,$ (9)

式(9)是关于带测量矩阵 $ h $ 的线性方程, $ {{\boldsymbol{A}}_i} $ 表示矩阵,其维数为3×9,该矩阵中已知坐标点的平方即表示一个对应的各个元素; $ h $ 中共包含9个元素,其表达式为:

$ h = \left( {\begin{array}{*{20}{c}} {{h^1}} \\ {{h^2}} \\ {{h^3}} \end{array}} \right),H = \left[ {\begin{array}{*{20}{c}} {{h_1}}&{{h_2}}&{{h_3}} \\ {{h_4}}&{{h_5}}&{{h_1}} \\ {{h_7}}&{{h_8}}&{{h_9}} \end{array}} \right] ,$ (10)

针对二维平面而言,如果 $ w' $ 的取值为1,获取此平面的 $ {A_i} $ 矩阵,且维数为2×9,其公式为:

$ \left[ {\begin{array}{*{20}{c}} {{0^{\rm{T}}}}&{ - w'{X^{\rm{T}}}}&{y'{X^{\rm{T}}}} \\ {w'{X^{\rm{T}}}}&{{0^{\rm{T}}}}&{ - x'{X^{\rm{T}}}} \end{array}} \right]\left( {\begin{array}{*{20}{c}} {{h^1}} \\ {{h^2}} \\ {{h^3}} \end{array}} \right) = 0 。$ (11)

为获取二维平面中的 $ {\boldsymbol{H}} $ 矩阵,且保证 $ X' = {\boldsymbol{H}}X $ ,求解步骤为:

1)获取二维平面上的坐标点,其数量为 $ n $ ,依据 $ X' \times HX = 0 $ 得出维数为2×9的 $ {{\boldsymbol{A}}_i} $ 矩阵。

2)对Ai实行整理,获取维数为2n×9的矩阵 $ {\boldsymbol{A}} $

3)采用奇异值方法对 $ {\boldsymbol{A}} $ 实行分解处理,采用奇异值最小的单位奇异向量描述矩阵 $ h $ 的结果。

4)依据式(10)即可求解得出单应矩阵 $ {\boldsymbol{H}} $ ,即确定舰船的实际位置,实现舰船跟踪。

2 测试分析

为测试本文方法在舰船跟踪方面的应用情况,将本文方法用于某舰船跟踪中,在舰船上部署无线传感网络,采用本文方法获取舰船目标图像,并对采集的图像实行增强处理,获取处理后的舰船目标视频图像,用于目标跟踪。

采用本文方法对5张图像实行增强处理,并依据上述2个公式评价本文方法的增强效果,见表1

表 1 图像增强效果测试结果 Tab.1 Test results of image enhancement effect

表1可知,本文方法具备较好的舰船目标图像增强效果,由于舰船在行驶过程中采集的图像边缘会存在虚影,增强后图像的边缘清晰度提升,不存在模糊区域,并且图像增强后 $ {C_{i',j'}} $ $ H $ 两种指标结果均明显优于原始图像的结果,表明本文方法增强后,舰船目标图像的细节和质量更佳

为测试本文方法的跟踪性能,以帧率作为评价指标,衡量本文方法在船舰行驶速度逐渐增加的情况下,在3种天气条件下的跟踪性能,结果见图3。可知,在3种天气条件下,随着舰船行驶速度的逐渐增加,帧率的最高结果达到127 fps左右,即使在雨天和雾天的恶劣情况下,帧率的结果依据在121 fps以上,因此,本文方法具备良好的舰船目标跟踪性能,能够在不同的天气环境下,完成目标跟踪。

图 3 跟踪性能测试结果 Fig. 3 Tracking performance test results

为测试本文方法对于舰船目标的跟踪效果,测试本文方法在不同的跟踪步数下,舰船在匀速行驶和变速行驶2种情况下的跟踪误差结果(期望标准低于2%),见图4。可知,随着跟踪步数的逐渐增加,舰船在匀速行驶和变速行驶2种情况下,本文方法的跟踪误差结果均在2%以内,满足期望标准,能够准确完成舰船目标跟踪。

图 4 跟踪效果测试结果 Fig. 4 Tracking effect test results

为直观体现本文方法对于舰船目标的跟踪效果,目标舰船位于多个舰船中时,获取本文方法在舰船目标发生遮挡和尺度发生变化2种情况下,本文方法对于舰船的跟踪结果,见图5图6。由图5图6可知:海面上存在多艘舰船时,目标舰船受到其他船舶只的遮挡下,本文方法依据能够准确识别出不同帧数下的目标船舰;在尺度发生变化时,仍旧能够完成不同帧数下的目标舰船的跟踪,且跟踪结果准确。因此,本文方法的跟踪效果良好,能够实时提供可靠的跟踪结果。

图 5 发生遮挡时的跟踪结果 Fig. 5 Tracking results when occlusion occurs

图 6 尺度发生变化时的跟踪结果 Fig. 6 Tracking results when scale changes
3 结 语

由于海上环境变化较大,为了精准完成舰船目标跟踪,本文提出基于改进Retinex算法的舰船无线传感网络目标跟踪方法。为衡量本文方法在舰船目标跟踪方面的应用,将其用于某舰船中进行测试,结果显示,本文所提方法具备良好的图像增强效果,可提升图像的细节和质量,并且跟踪性能良好,在不同的环境状态以及跟踪情况下,完成舰船目标跟踪,跟踪的误差较低。

参考文献
[1]
孙忠镇, 戴牧宸, 雷禹, 等. 基于级联网络的复杂大场景SAR图像舰船目标快速检测[J]. 信号处理, 2021, 37(6): 941-951.
[2]
王国豪, 李怀忠, 马云明. 考虑目标捕获率和能量限制的无线传感器网络管理[J]. 传感技术学报, 2020, 33(3): 464-470. DOI:10.3969/j.issn.1004-1699.2020.03.023
[3]
刘子龙, 王晨. 基于双模态输入的孪生网络目标跟踪算法[J]. 计算机应用研究, 2021, 38(12): 3796-3800.
[4]
李晓强, 陈建峰, 张蓉蓉, 等. 基于快速正交匹配追踪的无线传感网中目标定位算法[J]. 西北工业大学学报, 2020, 38(1): 31-39. DOI:10.3969/j.issn.1000-2758.2020.01.005
[5]
赵钦炎, 李宗民, 刘玉杰, 等. 基于信息熵的级联Siamese网络目标跟踪[J]. 计算机科学, 2020, 47(9): 157-162. DOI:10.11896/jsjkx.190800160
[6]
张伽伟, 喻鹏, 姜润翔, 等. 基于舰船电场的目标跟踪方法研究[J]. 兵工学报, 2020, 41(3): 559-566. DOI:10.3969/j.issn.1000-1093.2020.03.017
[7]
刘明珠, 苏桃宇, 王依宁. 压扩多尺度Retinex图像增强算法研究[J]. 哈尔滨理工大学学报, 2020, 25(5): 93-99.
[8]
蒲恬, 张子夜, 彭真明. 保持自然度的非均匀光照图像增强的Retinex算法[J]. 数据采集与处理, 2021, 36(1): 76-84.
[9]
骆家杭, 张旭. 基于改进型Retinex算法的彩色图像增强技术[J]. 计算机工程与科学, 2021, 43(5): 891-896. DOI:10.3969/j.issn.1007-130X.2021.05.016