2. 航天宏图信息技术股份有限公司,北京 100097
2. PIESAT International Information Technology Limited, Beijing 100097, China
海洋涡旋是一种重要的海洋现象,广泛分布于全球大洋和边缘海中,它在海洋物质输送、能量传递、水声传播以及海洋生产等过程中发挥着至关重要的作用。因此,高效、精准地检测出海洋涡旋对物理海洋研究、军事和民事海洋应用都有重要研究价值。合成孔径雷达(synthetic aperture radar,SAR)是一种全天候、全天时的现代高分辨率微波成像雷达,可以清晰观测到十几千米量级的亚中尺度海洋涡旋,比传统的卫星高度计更具优势。海洋涡旋自身有多种生成机制,进而会导致在SAR图像中表现出不同的特征。其中,在流场辐聚区,由于表面漂浮物的堆积,降低了雷达波的后向散射,在SAR遥感图像上表现为较暗的条带。这种由于流场辐聚区海面漂浮物堆积显现的海洋涡旋称为海洋黑涡,SAR图像中观测到的海洋涡旋大多为海洋黑涡[1],本文研究对象仅为海洋黑涡,不涉及其他显现机制的海洋涡旋。
传统的SAR图像海洋涡旋检测主要通过人工目视解译方法,存在一定的主观判断。随着海量SAR图像的积累,仅使用人工目视解译识别海洋涡旋费时费力,海洋涡旋自动化检测与特征参数自动化提取显得极其重要。国内外不少学者尝试将深度学习应用到海洋涡旋检测领域,主要应用在海表温度或海面高度异常的海洋涡旋识别[2-7],极少涉及SAR图像,深度学习在SAR图像海洋涡旋自动检测方面的研究仍需要进一步深入。
YOLOX是旷视科技于2021年7月发布的最新一代YOLO系列目标检测器[8],本文重点针对海洋涡旋的自动检测与特征参数自动提取2个方面开展研究,提出基于YOLOX高性能目标检测的海洋涡旋检测模型YOLOX-EDDY。根据SAR图像海洋涡旋的螺旋线形态,对检测出的海洋涡旋进行涡旋中心位置、涡旋尺度和涡旋边缘位置等特征参数进行自动提取。
1 数据资料目前尚未有公开可用的SAR图像海洋涡旋数据集,本文利用国家卫星海洋应用中心、中国资源卫星应用中心提供的高分三号卫星SAR图像数据,其中对高分三号卫星L1A数据进行几何校正、辐射校正处理为L2数据。通过旋转变换、转置变换、平移变换、噪声扰动变换等数据扩充方法[9]对SAR图像数据进行扩充,共建立19720个SAR图像涡旋训练样本数据。
2 研究方法 2.1 SAR图像海洋涡旋自动检测与特征参数提取处理流程1)制作SAR图像海洋涡旋样本库
海洋涡旋样本库主要包括标签库和样本库,其中样本库包含SAR海洋涡旋图片,将GeoTIFF格式的SAR图像经过图像预处理、数据扩充保存为PNG图片,作为海洋涡旋自动检测模型的输入源;标签库包含海洋涡旋区域的位置信息和类型信息。通过旋转变换、转置变换、平移变换、噪声扰动变换等方法进行SAR图像数据进行数据扩充。
2)构建YOLOX-EDDY海洋涡旋自动检测模型
基于YOLOX检测器构建海洋涡旋自动检测模型YOLOX-EDDY如图1所示。与以前的YOLO算法不同,它包括3个创新点分别是去耦头策略、无锚点策略和高级标签分配策略,使模型检测效果进一步提升。YOLOX-EDDY模型将CSPDarknet作为主干特征提取网络,在主干特征提取网络中加入了Fcous结构,将激活函数替换为SiLU函数,增加了SPPbottleneck空间金字塔池化,采用PAFPN的结构进行融合,将高层的特征信息,先通过上采样的方式进行传递融合,再通过下采样融合方式得到预测的特征图。将主干层提取的3个有效特征层P1,P2,P3输入到PAFPN加强特征提取网络中进行特征融合,得到加强特征层PQ1,PQ2,PQ3。3个加强特征层通过YOLOHead判断特征点是否有海洋涡旋。利用非极大值抑制消除重复的边界框以得到更加准确的检测结果。
3)海洋涡旋特征参数提取
根据海洋涡旋的螺旋线形态,本文提出一种基于骨架化的涡旋特征参数自动提取方法,涡旋特征参数包括涡旋中心位置、涡旋边缘位置、涡旋尺度。海洋涡旋特征参数提取步骤如下:
步骤1 计算YOLOX-EDDY模型检测出的海洋涡旋区域的矩形框的几何中心,作为涡旋中心位置。
步骤2 对检测出的海洋涡旋SAR图像进行二值化、剔除干扰区域、骨架化、螺旋线拟合等步骤,提取海洋涡旋的边缘位置信息。
① SAR图像二值化
采用自适应阈值分割方法对检测出的SAR海洋涡旋图像进行二值化,图像转换为0,1的逻辑运算,黑色区域对应于背景,标记为0,白色区域对应于海洋涡旋,标记为1;
② 去除小于某一指定面积的噪点
统计二值图像中各区域标识为1的像素点个数,默认设置阈值为100,即区域面积小于100,即认为是噪声,将该区域标记为0,变成黑色背景;
③ 孤立像素点填充
填充孤立的内部像素点,例如,被1包围的0,经过形态学填充处理后,该孤立的像素点变为1;
④ 图像骨架提取
经形态学骨架化处理,提取海洋涡旋的轮廓骨架线;
⑤ 毛刺消除处理
由于噪声等因素使得骨架上存在毛刺干扰,进行毛刺消除处理;
⑥ 螺旋线拟合
经过前5步骤处理后,计算出图像中所有的连通区域,获得每个联通区域的坐标索引;计算所有连通区域的像素点个数,筛选出最长的主连通区域弧段;对筛选出的主连通区域进行螺旋线拟合,得到涡旋边缘线。
对数螺旋线方程为
$ {{r}}_{i}=\sqrt{{({x}_{i}-{x}_{0})}^{2}+{({y}_{i}-{y}_{0})}^{2}}\text{,} $ | (8) |
$ {\theta }_{i}={\mathrm{tan}}^{-1}(\frac{{y}_{i}-{y}_{0}}{{x}_{i}-{x}_{0}}) \text{。}$ | (2) |
式中:
步骤3 计算涡旋边缘线的最小外接圆,以圆圈的半径作为涡旋尺度,如图2所示。其中点代表涡旋中心,曲线代表涡旋边缘位置,虚线代表涡旋尺度。
实验环境云服务器为:鲲鹏通用计算增强型KC1,云主机镜像kylinos32核,内存为128 G,Python版本是3.9。Freeze_Train设置为true,采用先冻结主干训练后解冻训练的方式进行训练。对YOLOX-EDDY模型进行训练与测试,得到海洋涡旋的检测最优模型。
利用YOLOX-EDDY模型能够实现海洋涡旋的自动检测,并对检测出有涡旋的SAR图像,进行涡旋中心位置、涡旋边缘位置、涡旋尺度信息的自动提取。
2.3 精度验证分析选取55景SAR图像作为验证数据集,分别对YOLOX-EDDY模型的自动检测精度与特征参数提取精度进行评价。假设定有海洋涡旋的SAR图像为正样本,无海洋中尺度涡的SAR图像为负样本。55景验证数据集中包含海洋涡旋的正样本数据10景,负样本数据45景(无海洋涡旋)。
为了对YOLOX-EDDY的检测效果进行评价,采用准确率、误报率、漏报率3个指标评价YOLOX-EDDY模型的检测效果,具体计算公式如下:
$ 准确率({\rm{accuracy}})=\frac{TP+TN}{TP+FP+TN+FN}\times 100 \text% \text{,}$ | (3) |
$ 误报率(\text{f}{\rm{alsalarm}})=\frac{FP}{FP+TN}\times 100 \text%\text{,}$ | (4) |
$ 漏报率(\text{miss}{\rm{rate}})=\frac{FN}{TP+FN}\times 100 \text%\text{。}$ | (5) |
式中:TP代表实际和检测都为正的样本个数;FP表示检测为正但实际为负的样本个数,即误报的个数;FN表示检测为负但实际为正的样本个数,即为漏报个数;TN表示检测为负但实际为负的样本个数,如表1所示。
通过计算中心位置检测误差、边缘位置检测误差、尺度检测误差评估YOLOX-EDDY模型特征参数提取精度。涡心位置检测误差、边缘位置检测误差、尺度检测误差均采用均方根误差统计结果,均方根误差计算公式为:
$ RMSE = \sqrt {\frac{{\displaystyle\sum\nolimits_{i = 1}^N {{{({X_i} - {Y_i})}^2}} }}{N}} 。$ | (6) |
式中:N为样本总数,
利用YOLOX-EDDY对55景SAR图像进行海洋涡旋检测,并与人工目视解译结果进行对比验证,其中,TP为10个,FP为3个,FN为0个,TN为42个,根据评价指标公式计算得到准确率为94.55%,漏报率为0%,误报率为6.67%。根据式(6)计算,涡旋中心位置检测误差为1.86 km,尺度检测误差2.08 km,边缘位置检测误差为2.32 km。
3 结 语本文针对SAR卫星图像中的海洋涡旋检测与特征参数自动提取问题,提出一种基于YOLOX高性能目标检测的海洋涡旋检测模型YOLOX-EDDY,该模型能够精准检测亚中尺度涡旋的特征信息,并对检测出有涡旋的SAR图像自动化提取SAR图像涡旋中心位置、涡旋尺度、涡旋边缘尺度等特征参数,实现了SAR图像亚中尺度海洋涡旋自动化精准检测和特征参数自动提取。基于此方法,本文利用高分三号卫星海洋涡旋SAR图像分别进行了涡旋自动检测和特征参数提取实验,提取结果与目视解译数据进行对比,结果表明,YOLOX-EDDY模型能够精准检测海洋涡旋,根据螺旋线形态特征能够自动提取SAR图像中涡旋特征参数。
[1] |
郑平. SAR图像海洋涡旋检测及其信息提取研究[D]. 北京: 中国科学院大学,2018
|
[2] |
LGUENSAT R, SUN M, FABLET R, et al. Eddynet: A deep neural network For pixel-wise classification of oceanic eddies[J]. IEEE, 2018.
|
[3] |
DUO Z, W WANG, H WANG. Oceanic mesoscale eddy detection method based on deep learning[J]. Remote Sensing, 2019,11(16):1921
|
[4] |
ZHAO H, SHI J, QI X, et al. Pyramid scene parsing Network[J]. IEEE Computer Society, 2016.
|
[5] |
FRANZ K, ROSCHER R, MILIOTO A, et al. Oceanic eddies identification and tracking using neural networks[J]. IEEE.2018.
|
[6] |
芦旭熠, 单桂华, 李观. 基于深度学习的海洋中尺度涡识别与可视化[J]. 计算机系统应用, 2020, 29(4): 65−75 LU Xu-yi, SHAN Gui-hua, LI Guan. Oceanic mesoscale eddy detection and visualization based on deep learning[J]. Computer Systems & Applications, 2020, 29(4): 65−75. |
[7] |
张家灏, 邓科峰, 聂腾飞, 等. 基于机器学习的海洋中尺度涡检测识别研究综述[J]. 计算机工程与科学, 2021, 43(12): 2115−2125. ZHANG Jia-hao , DENG Ke-feng, NIE Teng-fei, et al. Overview on ocean mesoscale eddy detection and identification based on machine learning[J]. Computer Engineering & Science, 2021, 43(12): 2115−2125. |
[8] |
ZOU X, WU Z, ZHOU W, et al. YOLOX-PAI: an improved YOLOX, stronger and faster than YOLOv6[J]. ArXiv E-prints, 2022.
|
[9] |
杜艳玲. 基于海洋遥感影像的中尺度涡自动检测及与渔场动态关系研究[D]. 上海: 上海海洋大学, 2017.
|
[10] |
杨敏, 种劲松. 基于对数螺旋线边缘拟合的SAR图像旋涡信息提取方法[J]. 雷达学报, 2013, 2(2): 226−233. YANG Min, CHONG Jin-song. A method based on logarithmic spiral edge fitting for information extraction of eddy in the SAR image[J]. Journal of Radar. 2013, 2(2): 226−233. |
[11] |
蒲平. 图像中对数螺旋线的拟合[J]. 微型机与应用, 2011, 30(12): 44−50. PU Ping. The fitting of logarithmic spiral in a image[J]. Image Processing and Multimedia Technology, 2011, 30(12): 44−50. |
[12] |
吴进群, 马纯永, 陈戈, 等. 海洋黑涡自动检测与关键参数反演方法、装置和电子设备[P]. 山东省: CN114494894B, 2022-07-22.
|