舰船科学技术  2023, Vol. 45 Issue (6): 170-173    DOI: 10.3404/j.issn.1672-7649.2023.06.033   PDF    
深度学习的SAR图像海洋涡旋自动检测及其特征提取
吴进群1,2, 陈戈1, 马纯永1, 郑益勤2     
1. 中国海洋大学,山东 青岛 266100;
2. 航天宏图信息技术股份有限公司,北京 100097
摘要: 本文针对SAR卫星遥感图像海洋涡旋自动检测问题,提出一种基于YOLOX高性能目标检测的海洋涡旋检测模型YOLOX-EDDY,该模型能够精准检测到亚中尺度海洋涡旋。根据SAR图像海洋涡旋的螺旋线形态,本文提出了涡旋中心位置、涡旋尺度和涡旋边缘位置等特征参数自动提取方法,实现了从海洋涡旋自动检测到涡旋特征信息提取的自动化处理。利用国家卫星海洋应用中心和中国资源卫星应用中心提供的高分三号卫星海洋涡旋SAR图像,构建SAR图像涡旋样本库,进行涡旋自动检测模型训练与验证、涡旋特征参数提取实验。实验表明,本文提出方法具有较强的泛化能力,能够实现海洋涡旋精准检测和涡旋特征参数提取。
关键词: SAR图像     YOLOX-EDDY     深度学习     海洋涡旋检测     特征参数提取    
Research on automatic detection of oceanic eddies in SAR image and extraction of its characteristic parameters based on depth learning
WU Jin-qun1,2, CHEN Ge1, MA Chun-yong1, ZHENG Yi-qin2     
1. Ocean University of China, Qingdao 266100, China;
2. PIESAT International Information Technology Limited, Beijing 100097, China
Abstract: Aiming at the problem of automatic detection of oceanic eddies in SAR satellite remote sensing images, this paper proposes an oceanic eddies detection model YOLOX-EDDY based on YOLOX high-performance target detection, which can accurately detect the sub-mesoscale eddies. According to the spiral shape of the oceanic eddies in the SAR image, this paper proposes the automatic extraction method of the feature parameters such as the eddy center position, the eddy scale and the eddy edge position, which realizes the automatic processing from the detection of the oceanic eddies to the extraction of the eddy feature information. Using the oceanic eddies SAR images of GF3 satellite provided by National Satellite Ocean Application Service and China Centre for Resources Satellite Data and Application, the eddy sample library of SAR images is constructed, and the eddy automatic detection model training and validation, and the eddy feature parameter extraction experiments are carried out. The experiment shows that the method proposed in this paper has strong generalization ability, and can achieve accurate detection of oceanic eddies and extraction of oceanic eddies characteristic parameters.
Key words: SAR image     YOLOX-EDDY     deep learning     oceanic eddies detection     feature parameter extraction    
0 引 言

海洋涡旋是一种重要的海洋现象,广泛分布于全球大洋和边缘海中,它在海洋物质输送、能量传递、水声传播以及海洋生产等过程中发挥着至关重要的作用。因此,高效、精准地检测出海洋涡旋对物理海洋研究、军事和民事海洋应用都有重要研究价值。合成孔径雷达(synthetic aperture radar,SAR)是一种全天候、全天时的现代高分辨率微波成像雷达,可以清晰观测到十几千米量级的亚中尺度海洋涡旋,比传统的卫星高度计更具优势。海洋涡旋自身有多种生成机制,进而会导致在SAR图像中表现出不同的特征。其中,在流场辐聚区,由于表面漂浮物的堆积,降低了雷达波的后向散射,在SAR遥感图像上表现为较暗的条带。这种由于流场辐聚区海面漂浮物堆积显现的海洋涡旋称为海洋黑涡,SAR图像中观测到的海洋涡旋大多为海洋黑涡[1],本文研究对象仅为海洋黑涡,不涉及其他显现机制的海洋涡旋。

传统的SAR图像海洋涡旋检测主要通过人工目视解译方法,存在一定的主观判断。随着海量SAR图像的积累,仅使用人工目视解译识别海洋涡旋费时费力,海洋涡旋自动化检测与特征参数自动化提取显得极其重要。国内外不少学者尝试将深度学习应用到海洋涡旋检测领域,主要应用在海表温度或海面高度异常的海洋涡旋识别[2-7],极少涉及SAR图像,深度学习在SAR图像海洋涡旋自动检测方面的研究仍需要进一步深入。

YOLOX是旷视科技于2021年7月发布的最新一代YOLO系列目标检测器[8],本文重点针对海洋涡旋的自动检测与特征参数自动提取2个方面开展研究,提出基于YOLOX高性能目标检测的海洋涡旋检测模型YOLOX-EDDY。根据SAR图像海洋涡旋的螺旋线形态,对检测出的海洋涡旋进行涡旋中心位置、涡旋尺度和涡旋边缘位置等特征参数进行自动提取。

1 数据资料

目前尚未有公开可用的SAR图像海洋涡旋数据集,本文利用国家卫星海洋应用中心、中国资源卫星应用中心提供的高分三号卫星SAR图像数据,其中对高分三号卫星L1A数据进行几何校正、辐射校正处理为L2数据。通过旋转变换、转置变换、平移变换、噪声扰动变换等数据扩充方法[9]对SAR图像数据进行扩充,共建立19720个SAR图像涡旋训练样本数据。

2 研究方法 2.1 SAR图像海洋涡旋自动检测与特征参数提取处理流程

1)制作SAR图像海洋涡旋样本库

海洋涡旋样本库主要包括标签库和样本库,其中样本库包含SAR海洋涡旋图片,将GeoTIFF格式的SAR图像经过图像预处理、数据扩充保存为PNG图片,作为海洋涡旋自动检测模型的输入源;标签库包含海洋涡旋区域的位置信息和类型信息。通过旋转变换、转置变换、平移变换、噪声扰动变换等方法进行SAR图像数据进行数据扩充。

2)构建YOLOX-EDDY海洋涡旋自动检测模型

基于YOLOX检测器构建海洋涡旋自动检测模型YOLOX-EDDY如图1所示。与以前的YOLO算法不同,它包括3个创新点分别是去耦头策略、无锚点策略和高级标签分配策略,使模型检测效果进一步提升。YOLOX-EDDY模型将CSPDarknet作为主干特征提取网络,在主干特征提取网络中加入了Fcous结构,将激活函数替换为SiLU函数,增加了SPPbottleneck空间金字塔池化,采用PAFPN的结构进行融合,将高层的特征信息,先通过上采样的方式进行传递融合,再通过下采样融合方式得到预测的特征图。将主干层提取的3个有效特征层P1,P2,P3输入到PAFPN加强特征提取网络中进行特征融合,得到加强特征层PQ1,PQ2,PQ3。3个加强特征层通过YOLOHead判断特征点是否有海洋涡旋。利用非极大值抑制消除重复的边界框以得到更加准确的检测结果。

图 1 YOLOX-EDDY海洋涡旋自动检测模型框架 Fig. 1 YOLOX-EDDY oceanic eddies automatic detection model framework

3)海洋涡旋特征参数提取

根据海洋涡旋的螺旋线形态,本文提出一种基于骨架化的涡旋特征参数自动提取方法,涡旋特征参数包括涡旋中心位置、涡旋边缘位置、涡旋尺度。海洋涡旋特征参数提取步骤如下:

步骤1 计算YOLOX-EDDY模型检测出的海洋涡旋区域的矩形框的几何中心,作为涡旋中心位置。

步骤2 对检测出的海洋涡旋SAR图像进行二值化、剔除干扰区域、骨架化、螺旋线拟合等步骤,提取海洋涡旋的边缘位置信息。

① SAR图像二值化

采用自适应阈值分割方法对检测出的SAR海洋涡旋图像进行二值化,图像转换为0,1的逻辑运算,黑色区域对应于背景,标记为0,白色区域对应于海洋涡旋,标记为1;

② 去除小于某一指定面积的噪点

统计二值图像中各区域标识为1的像素点个数,默认设置阈值为100,即区域面积小于100,即认为是噪声,将该区域标记为0,变成黑色背景;

③ 孤立像素点填充

填充孤立的内部像素点,例如,被1包围的0,经过形态学填充处理后,该孤立的像素点变为1;

④ 图像骨架提取

经形态学骨架化处理,提取海洋涡旋的轮廓骨架线;

⑤ 毛刺消除处理

由于噪声等因素使得骨架上存在毛刺干扰,进行毛刺消除处理;

⑥ 螺旋线拟合

经过前5步骤处理后,计算出图像中所有的连通区域,获得每个联通区域的坐标索引;计算所有连通区域的像素点个数,筛选出最长的主连通区域弧段;对筛选出的主连通区域进行螺旋线拟合,得到涡旋边缘线。

对数螺旋线方程为 $ {{r}} = a{e^{b\theta }} $ ,两边同时取对数得到 $ \ln r = b\theta + \ln a $ ,将即将 $ \theta $ $ \ln r $ 转换为线性方程[10-12]。通过最小二乘法来求得该直线方程的系数 $ a $ $ b $ ,进而得到最佳逼近涡旋边缘的螺旋线参数系数 $ a $ $ b $ 。其中 $ r $ $ \theta $ 的计算公式为:

$ {{r}}_{i}=\sqrt{{({x}_{i}-{x}_{0})}^{2}+{({y}_{i}-{y}_{0})}^{2}}\text{,} $ (8)
$ {\theta }_{i}={\mathrm{tan}}^{-1}(\frac{{y}_{i}-{y}_{0}}{{x}_{i}-{x}_{0}}) \text{。}$ (2)

式中: $ {x_i} $ $ {y_i} $ 为主连通区域中第i个点的坐标; $ {x_0} $ $ {y_0} $ 为涡旋中心点坐标。

步骤3 计算涡旋边缘线的最小外接圆,以圆圈的半径作为涡旋尺度,如图2所示。其中点代表涡旋中心,曲线代表涡旋边缘位置,虚线代表涡旋尺度。

图 2 涡旋中心、涡旋边缘位置、涡旋尺度结果图 Fig. 2 Eddy center, and eddy edge position eddy scale result diagram
2.2 实验环境

实验环境云服务器为:鲲鹏通用计算增强型KC1,云主机镜像kylinos32核,内存为128 G,Python版本是3.9。Freeze_Train设置为true,采用先冻结主干训练后解冻训练的方式进行训练。对YOLOX-EDDY模型进行训练与测试,得到海洋涡旋的检测最优模型。

利用YOLOX-EDDY模型能够实现海洋涡旋的自动检测,并对检测出有涡旋的SAR图像,进行涡旋中心位置、涡旋边缘位置、涡旋尺度信息的自动提取。

2.3 精度验证分析

选取55景SAR图像作为验证数据集,分别对YOLOX-EDDY模型的自动检测精度与特征参数提取精度进行评价。假设定有海洋涡旋的SAR图像为正样本,无海洋中尺度涡的SAR图像为负样本。55景验证数据集中包含海洋涡旋的正样本数据10景,负样本数据45景(无海洋涡旋)。

为了对YOLOX-EDDY的检测效果进行评价,采用准确率、误报率、漏报率3个指标评价YOLOX-EDDY模型的检测效果,具体计算公式如下:

$ 准确率({\rm{accuracy}})=\frac{TP+TN}{TP+FP+TN+FN}\times 100 \text% \text{,}$ (3)
$ 误报率(\text{f}{\rm{alsalarm}})=\frac{FP}{FP+TN}\times 100 \text%\text{,}$ (4)
$ 漏报率(\text{miss}{\rm{rate}})=\frac{FN}{TP+FN}\times 100 \text%\text{。}$ (5)

式中:TP代表实际和检测都为正的样本个数;FP表示检测为正但实际为负的样本个数,即误报的个数;FN表示检测为负但实际为正的样本个数,即为漏报个数;TN表示检测为负但实际为负的样本个数,如表1所示。

表 1 海洋涡旋检测精度评价体系 Tab.1 Evaluation system of oceanic eddies detection accuracy

通过计算中心位置检测误差、边缘位置检测误差、尺度检测误差评估YOLOX-EDDY模型特征参数提取精度。涡心位置检测误差、边缘位置检测误差、尺度检测误差均采用均方根误差统计结果,均方根误差计算公式为:

$ RMSE = \sqrt {\frac{{\displaystyle\sum\nolimits_{i = 1}^N {{{({X_i} - {Y_i})}^2}} }}{N}} 。$ (6)

式中:N为样本总数, ${X_i}$ 为第i个模型提取值; ${Y_i}$ 为第i个人工目视解译真值结果。

利用YOLOX-EDDY对55景SAR图像进行海洋涡旋检测,并与人工目视解译结果进行对比验证,其中,TP为10个,FP为3个,FN为0个,TN为42个,根据评价指标公式计算得到准确率为94.55%,漏报率为0%,误报率为6.67%。根据式(6)计算,涡旋中心位置检测误差为1.86 km,尺度检测误差2.08 km,边缘位置检测误差为2.32 km。

3 结 语

本文针对SAR卫星图像中的海洋涡旋检测与特征参数自动提取问题,提出一种基于YOLOX高性能目标检测的海洋涡旋检测模型YOLOX-EDDY,该模型能够精准检测亚中尺度涡旋的特征信息,并对检测出有涡旋的SAR图像自动化提取SAR图像涡旋中心位置、涡旋尺度、涡旋边缘尺度等特征参数,实现了SAR图像亚中尺度海洋涡旋自动化精准检测和特征参数自动提取。基于此方法,本文利用高分三号卫星海洋涡旋SAR图像分别进行了涡旋自动检测和特征参数提取实验,提取结果与目视解译数据进行对比,结果表明,YOLOX-EDDY模型能够精准检测海洋涡旋,根据螺旋线形态特征能够自动提取SAR图像中涡旋特征参数。

参考文献
[1]
郑平. SAR图像海洋涡旋检测及其信息提取研究[D]. 北京: 中国科学院大学,2018
[2]
LGUENSAT R, SUN M, FABLET R, et al. Eddynet: A deep neural network For pixel-wise classification of oceanic eddies[J]. IEEE, 2018.
[3]
DUO Z, W WANG, H WANG. Oceanic mesoscale eddy detection method based on deep learning[J]. Remote Sensing, 2019,11(16):1921
[4]
ZHAO H, SHI J, QI X, et al. Pyramid scene parsing Network[J]. IEEE Computer Society, 2016.
[5]
FRANZ K, ROSCHER R, MILIOTO A, et al. Oceanic eddies identification and tracking using neural networks[J]. IEEE.2018.
[6]
芦旭熠, 单桂华, 李观. 基于深度学习的海洋中尺度涡识别与可视化[J]. 计算机系统应用, 2020, 29(4): 65−75
LU Xu-yi, SHAN Gui-hua, LI Guan. Oceanic mesoscale eddy detection and visualization based on deep learning[J]. Computer Systems & Applications, 2020, 29(4): 65−75.
[7]
张家灏, 邓科峰, 聂腾飞, 等. 基于机器学习的海洋中尺度涡检测识别研究综述[J]. 计算机工程与科学, 2021, 43(12): 2115−2125.
ZHANG Jia-hao , DENG Ke-feng, NIE Teng-fei, et al. Overview on ocean mesoscale eddy detection and identification based on machine learning[J]. Computer Engineering & Science, 2021, 43(12): 2115−2125.
[8]
ZOU X, WU Z, ZHOU W, et al. YOLOX-PAI: an improved YOLOX, stronger and faster than YOLOv6[J]. ArXiv E-prints, 2022.
[9]
杜艳玲. 基于海洋遥感影像的中尺度涡自动检测及与渔场动态关系研究[D]. 上海: 上海海洋大学, 2017.
[10]
杨敏, 种劲松. 基于对数螺旋线边缘拟合的SAR图像旋涡信息提取方法[J]. 雷达学报, 2013, 2(2): 226−233.
YANG Min, CHONG Jin-song. A method based on logarithmic spiral edge fitting for information extraction of eddy in the SAR image[J]. Journal of Radar. 2013, 2(2): 226−233.
[11]
蒲平. 图像中对数螺旋线的拟合[J]. 微型机与应用, 2011, 30(12): 44−50.
PU Ping. The fitting of logarithmic spiral in a image[J]. Image Processing and Multimedia Technology, 2011, 30(12): 44−50.
[12]
吴进群, 马纯永, 陈戈, 等. 海洋黑涡自动检测与关键参数反演方法、装置和电子设备[P]. 山东省: CN114494894B, 2022-07-22.