地球物理学报  2020, Vol. 63 Issue (1): 63-72   PDF    
基于机器学习的极光图像自动分割方法
杨秋菊, 周朋辉     
陕西师范大学物理学与信息技术学院, 西安 710019
摘要:极光是太阳风能量注入到极区的指示器,从观测视野中准确分割出极光区域对研究极光演变如亚暴过程有非常重要的意义.本文基于全卷积神经网络提出了一种弱监督极光图像自动分割策略,数据标记时仅需指定极光区域的一个像素点即可,极大解决了机器学习人工标注数据的压力.首先利用简单单弧状极光图像训练一个初始分割模型Model 1,然后基于该模型,结合热点状和复杂多弧状极光图像获得一个增强的分割模型Model 2,最后对分割结果做进一步优化.本文对2003-2007年北极黄河站越冬观测的2715幅极光图像进行了分割,并和最新论文结果及人工标签进行了定量和定性比较,其中分割结果与人工标签的"交并比"高达60%,证明了本文方法的有效性.
关键词: 全天空极光图像      分割      全卷积神经网络     
Automatic segmentation of auroral images using machine learning techniques
YANG QiuJu, ZHOU PengHui     
School of Physics and Information Technology, Shaanxi Normal University, Xi'an 710019, China
Abstract: Aurora is an indicator of the injection of solar wind energy into the Polar regions. It is of great importance to accurately segment the aurora from the field-of-view for aurora study, such as when studying the evolution of substorms. In this paper, based on deep Fully Convolutional Networks, a weakly supervised auroral image segmentation strategy is proposed. In the process of data labelling, only one pixel in the region of auroras needs to be specified, which greatly solves the pressure of manual labelling for segmentation models. Specifically, we first train an initial segmentation model, called Model 1, using the simple single-arc auroral images (only one distinct auroral arc) and their segmentation labels obtained by the seeded region growing method. Then, an enhanced segmentation model, called Model 2, is learned with (1) the hot-spot auroral images and their segmentation labels based on the Model 1, and (2)as well as the complicated multi-arc images (two or more arcs coexist)and their segmentation labels obtained by the seeded region growing method. Finally, the segmentation results are further optimized by the fully connected conditional random field model. Altogether 2715 auroral images captured at the Arctic Yellow River Station during years 2003-2007 are segmented in this paper. The experimental results are quantitatively and qualitatively compared with the state-of-the-art results and manual labels, of which the intersection-over-union value between the ground truth and the segmented results is as much as 60%, which proves the effectiveness of the proposed method.
Keywords: All-sky auroral images    Segmentation    Fully convolutional network    
0 引言

极光是一种由地球磁层带电粒子与太阳风发生碰撞产生的(Ferraro,1956),出现在地球南北两极高纬度地区绚丽多彩的发光现象.极光研究是人们监测地球近地空间物理过程的重要途径(Gao et al., 2011).对极光图像进行处理和分析一直以来是人们研究极光的一种重要方式.近十几年来,由光学全天空成像仪(All-sky Imager,ASI)拍摄的全天空极光图像数量越来越多,加上极光具有多种多样的形态、光谱、强度等复杂特征,仅用人眼去观察海量极光图像的方式显得尤为繁重(Niu et al., 2018).机器视觉技术的高速发展为高效、准确地分析ASI极光图像提供了坚实的技术基础. Syrjäsuo和Donovan(2004)在加拿大CANOPUS项目中利用计算机视觉技术将ASI极光图像分成了弧型、斑块型、欧米伽型和南北结构型4大类型.Wang等(2010)把局部二值模式(LBP)方法用于极光图像研究,将ASI图像自动分成了弧状、帷幔冕状、辐射冕状和热点状4大类.Gao等(2011)基于自适应局部二值模式(ALBP)方法对极光图像进行了分割.Yang等(2012)提出了一个基于隐马尔科夫模型(HMM)的有效框架来表示极光序列,并将其应用于极光序列分类.Yang等(2015)利用视觉词袋(BoVW)框架进行了大规模的极光图像检索. Zhong等(2018)通过结合从极光图像中提取的多个特征,提出了一种基于多特征潜在狄利克雷分布的极光图像分类方法.

以上极光研究方法都是基于传统机器视觉技术来完成的.Krizhevsky等(2012)提出的深度卷积神经网络模型在基于ImageNet数据集大规模视觉识别挑战赛上夺冠,分类准确率得到了大幅度提高.此后,深度卷积神经网络(DCNN)在各种机器视觉任务中取得巨大成就和广泛应用(Girshick et al., 2014),如图像分类(Krizhevsky et al., 2012Smirnov et al., 2014Wei et al., 2016)、目标检测(Girshick et al., 2014Ren et al., 2015)、目标检索(Yang et al., 2018a, b)等.近期,Clausen和Nickisch(2018)Yang等(2018a, b)已经将深度学习技术引入极光图像分析,他们利用DCNN提取了ASI极光图像特征并进一步实现了极光图像自动分类和检索.由于分类网络模型在训练过程中丢失了局部纹理细节,使其不能很好地表示物体的具体轮廓并分辨出每个像素的类别,因此2015年UC Berkeley的Long等(2015)提出全卷积神经网络(Fully Convolutional Networks,FCN)用于图像语义分割,该网络真正实现了DCNN从图像级别的分类延伸到像素级别的分类.随后,基于FCN、SegNet(Badrinarayanan et al., 2015)、U-Net (Ronneberger et al., 2015)、Deeplab系列(Chen et al., 2015, 2016, 2017)、RefineNet (Lin et al., 2017)、TernausNet(Iglovikov and Shvets, 2018)等诸多分割网络框架被相继提出.

尽管各种深度分割模型层出不穷,但训练深度模型需要大量的标记数据(图 1所示).与图像识别和物体检测相比,为分割任务人工标注像素级标签是一项更困难的任务(Wei et al., 2016),对医学、极光等专业背景很强的图像尤为如此:专家稀缺,时间成本也很高.近几年来,弱监督方式下的语义分割方法受到越来越多的关注,只需要图像级别的标注(Image Level Annotations)(Wei et al., 2016Saleh et al., 2016)或者仅对目标标注一个边界框(Bounding Box)(Papandreou et al., 2016Pinheiro and Collobert, 2015)即可完成分割任务,降低了人工标注的难度.Niu等(2018)利用图像级标签作为监督信息并联合关键局部结构定位,提出了一种弱监督方式下ASI极光图像语义分割方法.极光表象复杂,其非刚性空间结构并随时间快速演变的特性使得人工标注非常繁琐.针对这个问题,本文利用杨秋菊等(2016)改进(Adams and Bischof, 2002)中提出的种子区域生长方法(Seeded Region Growing,SRG)来自动识别极光轮廓,用其作为训练标签来训练FCN-8s模型,整个过程仅需人工指定极光区域的一个像素点作为SRG的“种子点”,极大解决了分割模型人工标注困难的问题.本文的训练策略受到Wei等(2017)针对弱监督任务提出的一种从简单到复杂学习方式的启发,采用从简单到复杂的学习方式实现对极光轮廓进行分割.最后用全连接条件随机场(Dense CRF)模型(Krahenbuhl and Koltun, 2011)对分割结果进行迭代优化以获得较为准确的轮廓边缘.

图 1 基于机器学习的自动分割过程示意图 Fig. 1 Supervised segmentation process using machine learning
1 方法

本文提出了一种从简单到复杂的学习方式来逐步实现极光图像自动分割,如图 2所示.从左往右,先由单弧状极光原始图(Single-Arc-images)和种子区域生长方法(SRG)生成的单弧状标签(SRG-Single-Arc-labels)经过FCN-8s网络训练得到Model 1;用Model 1分割生成的热点状标签(Hot-spot labels)和种子区域生长方法(SRG)生成的多弧状标签(SRG-Multi-Arc-labels),与它们原始图(Hot-spot images、Multi-Arc-images)一起再次经过FCN-8s网络训练得到Model 2,最后经过全连接条件随机场模型(Dense CRF)迭代优化得到分割结果(Seg-results).以下部分是对本文数据标注、FCN-8s网络架构和Dense CRF模型的详细介绍.

图 2 训练流程图 Fig. 2 The flow chart of the model training process
1.1 数据标注

本文首先采用种子区域生长(SRG)方法对单弧状极光图像进行自动分割,该方法操作简单,对轮廓清晰的图像分割较为准确.如图 3所示,从左往右,第1列是ASI极光原始图像,第2列是用种子区域生长方法生成的分割结果,第3列是从第2列提取出的标注区域进行二值化得到的训练标签.SRG是图像分割的一种常用算法,杨秋菊等(2016)基于ASI极光图像测定极光弧宽时利用该方法对极光弧轮廓进行提取.该方法从某个种子点出发,按照设定的生长准则,逐步加入邻近像素,经适当的约束条件去判断该像素点属于边界区域或是目标区域,当达到终止条件时,区域生长终止,目标区域形成一个封闭区域,从而实现目标提取,整个过程通过迭代运算完成(Adams and Bischof, 2002).区域生长结果的好坏由初始点(种子点)的选取、生长准则及终止条件决定.杨秋菊等(2016)通过人机交互方式选定种子点,即根据极光弧轮廓所在的区域,手动从中选择一个像素点作为算法种子点,生长准则是像素间差值小于某个阈值,该阈值设置为种子点像素值的25%,终止条件是一直进行到再没有满足生长准则条件的像素点为止.

图 3 基于SRG方法的图像标注示意图 其中Original表示原始图,Mask表示种子区域生长法生成的标注区域,Label是提取出来的Mask标注区域,也即本文用到的训练标签. Fig. 3 Diagrams of image labelling based on the SRG method Original means the auroral images, Mask is the label obtained by SRG method, and Label is the training label used in the experiments that extracted from the Mask.

弧状极光是最常见的一种极光类型,多表现为由东向西延伸的条带状结构,具有分立的射线状结构,其形状结构比较简单,轮廓较清晰(如图 6第1列所示),标注相对容易.相反,热点状是一类非常复杂的极光类型,包含射线、束、斑点、不规则斑块等多种极光结构,主要特点是存在明显的极光亮斑(如图 6第5列所示),人工标注难度很大.为了能够较为方便、准确地标注出热点状极光区域,本文采用训练好的初始分割模型(Model 1)对热点状极光图像进行分割,该过程如图 2所示.值得说明的是,本文提出的训练策略中并没有用初始分割模型对多弧状图像进行分割,原因是在一幅多弧状图像里面存在像素强弱不等的弧状结构,而FCN-8s网络对于像素比较强的弧状结构易于学习,对于像素比较弱的弧状结构难于学到.为了强化像素较弱的弧状结构,我们在标注时,尽量将种子点选在像素较弱的弧状区域,如图 3第2行所示,标注的弧状区域像素明显弱于相邻的弧状区域.

图 6 分割结果对比图 第1、5列分别表示弧状(Arc)、热点状(Hot-spot)极光原始图,第2、6列分别表示本文的分割结果,第3、7列分别表示Niu等人的分割结果,第4、8列表示人工标签. Fig. 6 Comparison of segmented results The 1st and 5th columns are the original images of arc and hot-spot auroras respectively, the 2nd and 6th columns show the segmentation results of this paper, the 3rd and 7th columns represent the segmentation results by Niu et al., and the 4th and 8th columns are the manual labels, respectively.
1.2 全卷积神经网络(FCN-8s)

FCN网络架构采用端到端(end-to-end)的方式实现了图像语义分割,即输入一幅图像后在输出端得到每个像素所属的类别(前景/背景).如图 4所示,该网络框架基于VGGnet16 (Long et al., 2015)分类网络框架改进而来,网络的前五层依然采用卷积层(conv)和池化层(pool)交替连接来进行特征提取,激活函数采用ReLU函数,最后的全连接层替换为卷积核大小1×1的卷积层,该替换优化了在分类网络中因全连接层而限制图像大小必须是固定维度的特殊性,网络输入数据维度可以是任意大小的图像.

图 4 FCN-8s网络架构 Fig. 4 Network structure of FCN-8s

由于FCN网络架构在前五层特征提取过程中,池化层采用最大池化的方式大大减小了网络参数,同时也降低了图像的维度和分辨率.为了与输入图像的原有维度保持一致,对conv7层经过1×1的卷积层生成的像素类别预测结果(feature map)进行双线性插值,即上采样处理;为了提高图像的分辨率,如图 4所示,先是将pool4层经过1×1的卷积层产生附加像素类别预测结果,将conv7层生成的像素预测结果经过2倍上采样层与pool4层产生的附加像素类别预测结果进行融合,同样的方式将pool3层经过1×1的卷积层产生新的附加像素类别预测结果,与conv7层和pool4层融合后的像素类别预测结果经过2倍上采样再进行融合,最后将融合后的结果采用双线性插值的方式8倍上采样得到与输入图像同样大小的维度,即本文用到的FCN-8s网络架构.

1.3 全连接条件随机场模型(Dense CRF)

在深度卷积神经网络(DCNN)中,卷积层、最大池化层利用表征不变特性,对网络起到很好的减参作用,使得网络输出的特征图(feature map)非常平滑.但对于图像分割来说,这个特性会导致图像中一些局部纹理细节丢失严重,从而影响某些像素点准确定位,本文利用Dense CRF算法对分割结果进行优化.该算法主要参照(Chen et al., 2016Krähenbühl and Koltun, 2011)来计算完成.Dense CRF是由一个一元势函数和一个二元势函数构成.其定义如下(Chen et al., 2016):

(1)

在公式(1)中,x表示像素值,ij表示图像中像素点的位置.一元势函数中θi(xi)=-log(P(xi)),P(xi)表示每个像素点是所属类别的概率,本文中该值来自FCN-8s网络最终计算输出的所有像素点准确值.该函数反映了每个预测像素标签对真实像素所属类别的影响.对于二元势函数中θij(xixj)(Krähenbühl and Koltun, 2011),其定义为

(2)

其中μ(xixj)表示标签兼容性函数,当xixj时,μ(xixj)=1,否则为0.k(m)(fifj)表示两个不同像素点之间的高斯核,其中fi表示像素i的特征向量.ω(m)表示线性组合权重.两个高斯核之间采用线性组合(Chen et al., 2016),

(3)

其中p表示像素位置,I表示像素灰度强度.第一个核的作用在于强制相似灰度强度和邻近位置像素具有相同的标签,而第二个内核在强制平滑时仅考虑像素位置的空间邻近性(Chen et al., 2016).ω1ω2和超参数σασβσγ通过网格搜索来获得,本文中σα网格大小30×30,σβ网格大小10×10,σγ网格大小2×2.最后,平均场近似(Mean Field Approximation)被用来进行Dense CRF迭代优化,该近似法为近似推断产生了一个迭代的信息传递.平均场近似算法可以近似计算一个分布Q(X)=∏iQi(Xi),然后采用最小化KL-离散度进行迭代更新,其中迭代更新过程中信息传递可以用特征空间的高斯滤波进行,具体细节可以参考(Krähenbühl and Koltun, 2011).

2 实验过程及结果

Hu等(2009)基于北极黄河站观测数据将日侧极光卵划分成4个极光活动区,并进一步将日侧极光细分为弧状、帷幔冕状、辐射冕状和热点状4大类,本文主要研究形状轮廓比较显著的弧状和热点状两种类型.训练集和验证集采用2003—2007年北极黄河站越冬观测的部分数据,其中2264幅弧状图像,451幅热点状图像.测试集采用人工标注的100幅极光图像,其中弧状和热点状图像各50幅(这100幅图像的人工标签仅用来评估算法的有效性,并不参与模型训练).在2.1节的训练策略中,Aurora-seg策略:训练数据集共计2092幅,其中Model 1用962幅弧状图像作为训练集(787幅)和验证集(175幅),Model 2用451幅热点状和679幅弧状图像作为训练集(925幅)和验证集(205幅).其他两种对照训练策略中,Aurora-seg1策略使用的数据集和Aurora-seg策略的数据集一样,以保持数据集一致性;Aurora-seg2策略的训练集和验证集用且仅用到了全部弧状极光图像,其中Model 1用1275幅弧状图像作为训练集(1044幅)和验证集(231幅),Model 2用989幅弧状图像作为训练集(809幅)和验证集(180幅),相比Aurora-seg策略用到的数据集,弧状图像由1641幅扩充至2264幅,总的训练数据集也由2092幅扩充至2264幅.

2.1 训练策略

本文将训练策略命名为Aurora-seg,具体流程如图 2所示,两次训练均采用经典的FCN-8s网络(Long et al., 2015)作为训练框架,其中,Model 1用ImageNet数据集预训练好的VGGnet16分类网络模型(Simonyan and Zisserman, 2015)作为网络初始化.单弧状极光图像作为训练集和验证集,超参数设置为固定学习率1×10-13、动量0.95;Model 2用热点状和多弧状极光图像作为训练集和验证集,在1.1节中指出,热点状极光的标记图像来自Model 1,多弧状标记图像依然采用SRG方法生成.同时Model 2利用Model 1训练结果进行初始化,超参数设置为固定学习率1×10-13、动量0.98.相比Model 1,Model 2用到的数据复杂度较高,网络学到的语义特征更加抽象,分割模型泛化能力(generalization)更强.

本文在实验过程中还对比了以下两种训练策略:第一种(Aurora-seg1):Model 1来自Aurora-seg策略,用Model 1对热点状和多弧状极光图像均进行分割,分割结果作为Model 2新的训练集和验证集,但Model 2初始化网络模型依然采用VGGnet16分类网络模型.第二种(Aurora-seg2):此策略训练阶段用且仅用到全部的弧状数据集(由1641幅扩大到2264幅),Model 1用弧状(单弧状为主)图像训练得到的初始网络分割模型,Model 2只用多弧状极光图像作为训练集和验证集,并用Model 1作为初始化网络,此策略旨在证明热点状图像参与训练的必要性.最后经过测试集验证,实验结果表明Aurora-seg训练策略是最佳策略.

本文用1.3节中提到的Dense CRF模型对上述三种训练策略分割结果均进行了迭代优化,使得分割区域边缘更加光滑,分割结果更为准确.

2.2 测试过程

对于任意一幅新来的测试图像(未参与训练过程),送入2.1节训练好的Model 2即可得到分割结果,然后用Dense CRF做进一步优化,即可得到最终结果(如图 1所示).本文后面的对比实验,都是基于这个结果进行定量和定性比较.

2.3 实验结果

本文用人工标记的弧状和热点状各50幅极光图像来评估分割策略的有效性.采用通用的分割结果和分割基准(ground truth)的“交并比”IoU(intersection-over-union)作为分割评估指标,其表达式如下:

(4)

其中ApredAtrue分别表示预测分割结果和分割基准.图 5分别展示一幅弧状和一幅热点状极光图像IoU求解流程.其中最后一幅图像中,蓝色部分表示未被检测出的区域或者多余被分割出的区域.

图 5 IoU计算示意图 Fig. 5 Calculation of IoU
2.3.1 三种训练策略比较

三种训练策略经过Model 2分割的结果如表 1所示,Aurora-seg训练策略在两类图像的平均分割结果中平均IoU最高.与Aurora-seg1相比,弧状分割结果略有提高,说明本文在1.1节中介绍的数据标记策略是合理的;与Aurora-seg2相比,热点状分割结果提高明显,说明热点状极光参与训练的必要性.

表 1 三种训练策略分割结果比较 Table 1 Comparison of the results of the three training strategies

Dense CRF被用来进一步优化上述分割结果,结果如表 2所示.相比表 1,整体IoU均有不同幅度的提升.此外,我们可以看到Aurora-seg策略平均分割结果最好,弧状和热点状两类极光图像分割结果均高于其他两种策略,说明本文选用的Aurora-seg是三种训练策略当中最佳的.

表 2 CRF优化后的分割结果 Table 2 Segmentation results after CRF
2.3.2 与现有方法对比

表 3是本文的分割结果与Niu等(2018)的结果比较,他们利用图像级标签作为监督信息进行联合关键局部结构(KLS)定位和极光图像分类,该分割方法使得极光图像分割准确率提高很多,是目前极光图像分割最好的结果.本文与其结果进行比较,可以看到,本文平均IoU高出他们0.084,具体而言,弧状IoU提高了0.058,热点状提高了0.110,提高比较明显.由此说明了本文提出的分割方法是有效的.图 6给出了部分分割结果对比实例,从左往右,分别表示极光原始图像、Aurora-seg、Niu等人的分割结果、人工标签(ground truth).

表 3Niu等(2018)分割结果对比 Table 3 Comparisons with the segmented results by Niu et al. (2018)
2.4 失败案例

本文在1.1节中提到,FCN-8s网络架构对像素强弱不同的弧状结构学习时的难易程度不同,尽管在人工标注时也做了相应处理,但当观测视野中极光强度变化很大时,本文分割模型仍很难分割出像素较弱的极光区域,图 7中展示了部分失败的分割结果.

图 7 分割结果较差案例 第1、4列分别表示弧状(Arc)、热点状(Hot-spot)极光原始图,第2、5列分别表示本文的分割结果,第3、6列表示人工标签. Fig. 7 Examples of the failed segmented results The 1st and 4th columns are the original images of arc and hot-spot auroras respectively, the 2nd and 5th columns show the segmentation results of this paper, and the 3rd and 6th columns are the manual labels, respectively.
3 结论和讨论

本文采用一种由简单到复杂的两步式极光图像分割策略.针对极光变化复杂、逐像素人工标注非常困难这一问题,采用弱监督方式对极光图像进行分割.利用传统自动分割方法获得粗糙的像素级标签,整个过程人工参与的地方只有区域生长方法的种子点选取,解决了机器学习分割模型中训练标签难以获取的问题.实验结果表明,本文提出的分割策略对弧状和热点状两类极光图像分割是有效的,相比目前最新的实验结果,分割准确率均得到了不同程度的提高.整个实验过程简单易实现,可以很好地迁移至其他复杂自然数据集上,解决复杂图像分割中人工标注样本困难这一难题.此外,本文利用传统种子区域生长方法(SRG)为初始训练模型FCN-8s提供训练标签,并用Dense CRF模型迭代优化处理FCN-8s训练得到的分割结果,有效提升了分割精度.这进一步说明将传统计算机视觉技术与深度学习技术结合是一种有效的研究思路.

当然,本文利用SRG方法生成FCN-8s训练标签时,由于SRG方法分割精度有限,极光图像越复杂,训练标签中的噪声越多.当观测视野中极光强度变化很大时,本文分割模型仍很难分割出像素较弱的极光轮廓.另一方面,本文只对弧状、热点状极光图像进行分割,尽管Davis(1978)提到弧状是离散极光的最基本形式,但帷幔冕状、辐射冕状等极光类型的研究仍有着十分重要的意义.在后续工作中,我们将针对所有极光观测图像展开实验,并在模型训练阶段提高难分样本(hard examples)的比重,进一步提升极光分割精度.

致谢  感谢中国极地研究中心提供极光图像数据.
References
Badrinarayanan V, Kendall A, Cipolla R. 2015. Segnet:A deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495.
Chen L C, Papandreou G, Kokkinos I, et al. 2015. Semantic image segmentation with deep convolutional nets and fully connected CRFs.//International Conference on Learning Representations 2015. San Diego, CA, USA, 1-14.
Chen L C, Papandreou G, Kokkinos I, et al. 2016. DeepLab:semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(4): 834-848.
Chen L C, Papandreou G, Schroff F, et al. 2017. Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv: 1706.05587.
Clausen L B N, Nickisch H. 2018. Automatic classification of auroral images from the Oslo Auroral THEMIS (OATH) data set using machine learning. Journal of Geophysical Research:Space Physics, 123(7): 5640-5647. DOI:10.1029/2018JA025274
Davis T N. 1978. Observed characteristics of auroral forms. Space Science Reviews, 22(1): 77-113.
Ferraro V C A. 1956. The polar aurora. Nature, 178(4536): 713.
Gao X B, Fu R, Li X L, et al. 2011. Aurora image segmentation by combining patch and texture thresholding. Computer Vision and Image Understanding, 115(3): 390-402. DOI:10.1016/j.cviu.2010.11.011
Girshick R, Donahue J, Darrell T, et al. 2014. Rich feature hierarchies for accurate object detection and semantic segmentation.//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 580-587.
Hu Z J, Yang H, Huang D, et al. 2009. Synoptic distribution of dayside aurora:Multiple-wavelength all-sky observation at Yellow River Station in Ny-Ålesund, Svalbard. Journal of Atmospheric and Solar-Terrestrial Physics, 71(8-9): 794-804. DOI:10.1016/j.jastp.2009.02.010
Iglovikov V, Shvets A. 2018. TernausNet: U-Net with VGG11 encoder pre-trained on imagenet for image segmentation. arXiv preprint arXiv: 1801.05746.
Krähenbühl P, Koltun V. 2011. Efficient inference in fully connected CRFs with Gaussian edge potentials.//Advances in Neural Information Processing Systems. 109-117. arXiv preprint arXiv: 1210.5644
Krizhevsky A, Sutskever I, Hinton G E. 2012. ImageNet classification with deep convolutional neural networks.//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: Curran Associates Inc, 1097-1105.
Lin G S, Milan A, Shen C H, et al. 2017. RefineNet: Multi-path Refinement Networks for High-Resolution Semantic Segmentation.//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE Computer Society, 5168-5177.
Long J, Shelhamer E, Darrell T. 2015. Fully convolutional networks for semantic segmentation.//IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE Computer Society, 3431-3440.
Niu C, Zhang J, Wang Q, et al. 2018. Weakly supervised semantic segmentation for joint key local structure localization and classification of aurora image. IEEE Transactions on Geoscience and Remote Sensing, 56(12): 7133-7146. DOI:10.1109/TGRS.2018.2848725
Papandreou G, Chen L C, Murphy K P, et al. 2016. Weakly-and semi-supervised learning of a deep convolutional network for semantic image segmentation.//2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 1742-1750.
Pinheiro P O, Collobert R. 2015. From image-level to pixel-level labeling with convolutional networks.//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 1713-1721.
Ren S Q, He K M, Girshick R, et al. 2015. Faster R-CNN: towards real-time object detection with region proposal networks.//Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge, MA, USA: MIT Press, 91-99.
Ronneberger O, Fischer P, Brox T. 2015. U-net: Convolutional networks for biomedical image segmentation.//International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer, 234-241.
Saleh F, Aliakbarian M S, Salzmann M, et al. 2016. Built-in foreground/background prior for weakly-supervised semantic segmentation.//European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 413-432.
Simonyan K, Zisserman A. 2015. Very deep convolutional networks for large-scale image recognition.//International Conference on Learning Representations 2015. San Diego, CA, USA, 1-13.
Smirnov E A, Timoshenko D M, Andrianov S N. 2014. Comparison of regularization methods for imagenet classification with deep convolutional neural networks. AASRI Procedia, 6: 89-94. DOI:10.1016/j.aasri.2014.05.013
Syrjäsuo M T, Donovan E F. 2004. Diurnal auroral occurrence statistics obtained via machine vision. Annales Geophysicae, 22(4): 1103-1113. DOI:10.5194/angeo-22-1103-2004
Wang Q, Liang J M, Hu Z J, et al. 2010. Spatial texture based automatic classification of dayside aurora in all-sky images. Journal of Atmospheric and Solar-Terrestrial Physics, 72(5-6): 498-508. DOI:10.1016/j.jastp.2010.01.011
Wei Y C, Liang X D, Chen Y P, et al. 2016. Learning to segment with image-level annotations. Pattern Recognition, 59: 234-244. DOI:10.1016/j.patcog.2016.01.015
Wei Y C, Wei X, Lin M, et al. 2016. HCP:a flexible CNN framework for multi-label image classification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(9): 1901-1907. DOI:10.1109/TPAMI.2015.2491929
Wei Y C, Liang X D, Chen Y P, et al. 2017. STC:A simple to complex framework for weakly-supervised semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(11): 2314-2320. DOI:10.1109/TPAMI.2016.2636150
Yang Q J, Liang J M, Hu Z J, et al. 2012. Auroral sequence representation and classification using hidden Markov models. IEEE Transactions on Geoscience and Remote Sensing, 50(12): 5049-5060. DOI:10.1109/TGRS.2012.2195667
Yang Q J, Qiu Q, Han D S. 2016. A new method for thecalculation of auroral arc widths based on dayside all-sky image. Scientia Sinica Terrae (in Chinese), 46(8): 1141-1148. DOI:10.1360/N072015-00568
Yang X, Gao X B, Tian Q. 2015. Polar embedding for aurora image retrieval. IEEE Transactions on Image Processing, 24(11): 3332-3344. DOI:10.1109/TIP.2015.2442913
Yang X, Gao X B, Song B, et al. 2018a. Aurora image search with contextual CNN feature. Neurocomputing, 281: 67-77. DOI:10.1016/j.neucom.2017.11.059
Yang X, Gao X B, Song B, et al. 2018b. ASI aurora search:an attempt of intelligent image processing for circular fisheye lens. Optics Express, 26(7): 7985-8000. DOI:10.1364/OE.26.007985
Zhong Y F, Huang R, Zhao J, et al. 2018. Aurora image classification based on multi-feature latent Dirichlet allocation. Remote Sensing, 10(2): 233.
杨秋菊, 丘琪, 韩德胜. 2016. 一种新的基于日侧全天空图像的极光弧宽测定方法. 中国科学:地球科学, 46(8): 1141-1148.