2. 三峡大学天文与空间科学研究中心, 湖北 宜昌 443002;
3. 三峡大学计算机与信息学院, 湖北 宜昌 443002
2. Center of Astronomy and Space Science Research, China Three Gorges University, Yichang 443002, China;
3. College of Computer and Information Technology, China Three Gorges University, Yichang 443002, China
太阳耀斑[1-2]是由太阳突然释放磁场能量造成的。长期观测发现，大多数耀斑发生在黑子群的上空，且黑子群的磁场极性越复杂，发生大耀斑的几率越高。因此，黑子群的磁类型可以作为预测太阳耀斑的重要依据。典型的黑子群分类方法可以分为基于图像学的边缘检测法、数学形态法和小波分析法，以及基于数据驱动的机器学习方法。近年来随着观测条件的进步，与太阳活动有关的数据迅速增长，基于机器学习方法的优势越来越显著[3]。
2008年，文[4]采用McIntosh分类方法，提出了一种混合系统。该系统使用从太阳和日光层天文台/迈克尔逊多普勒成像仪(Solar & Heliospheric Observatory/Michelson Doppler Imager, SOHO/MDI)磁图中提取的活动区域数据，对白光图上的黑子群进行自动检测，从白光图中检测到黑子后，使用磁图对它们进行分组/聚类，通过集成图像处理和神经网络自动对检测到的黑子组分类，系统存在分组错误和小型黑子漏检的缺陷。
2010年，文[5]采用改良后的7类Zurich分类方案，使用支持向量机(Support Vector Machine, SVM)实现对太阳全日面白光图上黑子群的自动分类。在数据预处理阶段使用边缘检测、噪声去除以及二值化分割黑子群和日面，之后对黑子群进行无监督分割，将属于同一组的黑子合并，然后提取每个黑子组的属性，最后使用支持向量机进行分类。该方法精度对图片质量和失真程度有所要求，且分割过程对结果输出的速率有较大影响。
2019年，文[6]使用卷积神经网络对黑子群的磁类型进行分类，在数据预处理阶段将图像分为白光图、磁图以及两者的合成图，采用卷积神经网络对3类图像进行分类，结果显示单独使用白光图的分类效果最佳。文[6]认为，磁图结构相对白光更为复杂，使用卷积神经网络不能准确地提取特征，是造成磁图分类不佳的主要原因之一。
双流卷积神经网络可以融合对象不同维度的特征，为分类任务提供更多的特征信息。在动作识别领域，双流卷积神经网络一个分支用于提取视频中某一帧的空间信息，另一个分支用于提取光流图的时间信息，融合之后进行动作识别。该方法识别打斗行为的平均识别率可以达到89.3%，高于单一分支情况[7]。
威尔逊山(Mount Wilson)方案判断黑子群磁类型需要用到不同维度的特征信息，首先通过白光图观察黑子群结构，然后查看对应磁图的磁极分布，最后将两者结合起来确定黑子群的磁类型。鉴于威尔逊山方案的特点，本文将双流卷积神经网络用于黑子群磁类型分类，一个分支用于提取白光图特征，另一个分支用于提取磁图特征，不同类型的特征在全连接层进行融合。分类结果显示，双流卷积神经网络对黑子群磁类型的分类准确率高于卷积神经网络对单一白光图或磁图的分类。
1 数据集与预处理本文使用的数据集为SOLAR-STORM1[8]，它由空间环境人工智能预警创新工坊整理提供，可以在天池实验室(https://tianchi.aliyun.com/dataset/)公开下载。该数据集基于威尔逊山黑子群磁类型分类方案，分为白光图和磁图两部分，由于同一时刻的同一观测对象有白光图和磁图两类图像，所以两者是一一对应的，每个白光图部分或磁图部分含Alpha，Beta和Betax 3个类型。
我们将Alpha，Beta和Betax中6205号、6207号和6206号之后的划归至测试集，其余作为训练集，具体分布情况如表 1。
| Alpha | Beta | Betax | Sum | |
| Trainset | 4 709 | 7 353 | 2 407 | 14 469 |
| Testset | 567 | 496 | 109 | 1 172 |
| Sum | 5 276 | 7 849 | 2 516 | 15 641 |
原始数据集是FITS(Flexible Image Transport System)格式，其中白光图像素范围为[200, 74 000]，磁图像素范围为[-5 000, 5 000]。我们将白光图值域压缩至[0, 255]转换为JPEG(Joint Photographic Experts Group)格式，将磁图[-800, 800]内的像素压缩至[0, 255]以加强特征。图 1分别为Alpha，Beta和Betax的白光图和磁图。从图 1可以看出，Alpha类为单极黑子群，Beta类为极性相反的双极黑子群，Betax类为复杂的多极黑子群。
|
| 图 1 Alpha，Beta和Betax的白光图和磁图 Fig. 1 Continuum and magnetogram of Alpha, Beta and Betax |
由于拍摄太阳黑子的时间间隔为96 min，短时间内黑子群演化并不明显，导致一定时段内，观测对象的图像之间相似度很高。如图 2，Beta类中26号在一天内不同时刻拍摄的白光图和磁图几乎看不出变化。
|
| 图 2 26号对象不同时刻的白光图和磁图 Fig. 2 Continuum and magnetogram of object 26 at different times |
为了避免数据切分时训练集和验证集有相似图像，造成准确率虚高，我们将数据按对象进行子类归集，之后按对象划分训练集和验证集并以十折交叉验证的方式训练和测试。
2 实验方案 2.1 双流卷积神经网络分类方法本文首先建立两条不同的卷积神经网络，以残差网络50(Residual Network 50, ResNet50)为骨干网；接着将白光图和磁图分别输入，由于图像从不同分支进入，所以卷积神经网络的权重不存在共享。两类图经过网络提取特征后形成特征向量，然后将特征向量进行拼接，之后进入全连接层，以Softmax进行分类。网络结构如图 3。
|
| 图 3 双流卷积神经网络结构图 Fig. 3 Structure diagram of dual-stream CNN |
ResNet由文[9]为解决深层网络的退化现象提出，基本思想是在ResNet单元内设置跳跃链接，这样原始信息能够直接传递至后面的层。常见的ResNet网络层数有18, 34, 50和101等。ResNet基本结构如图 4，其中，x为输入；f(x)为映射函数；H(x)为输出。
|
| 图 4 ResNet模块 Fig. 4 ResNet module |
由ResNet模块可知，f(x)=H(x)-x，即ResNet模块学习的是输入和输出之间的差值。当网络到达某层为最优状态时，卷积神经网络需要进一步更新权重，而ResNet模块只需做恒等映射，避免了网络退化。
2.1.2 防止过拟合的措施为了避免模型过拟合，实验中进行了数据增强，添加Dropout，L2和标签平滑3种正则化方法。数据增强使用旋转、水平镜像、放缩来丰富数据分布，以提高模型的泛化能力。
Dropout值设为0.5，即随机设定特征向量中的一半为0，本质是在该层引入噪声，避免因为某些不显著的偶然性获得正确的结果。
L2正则化可以强制使权重参数取较小的值，以防止过拟合，实现方法是在损失函数(Loss)中添加权重系数的平方。交叉熵损失函数为
| $ Loss=-\sum\limits_{i=0}^{n-1} q_{i} \log p_{i}, $ | (1) |
其中，n为样本总量；i为类别序数；q为样本实际标签；p为样本预测标签。添加L2正则化后
| $ Loss=-\sum\limits_{i=0}^{n-1} q_{i} \log \left(p_{i}\right)+\frac{\lambda}{2 n} \sum\limits_{w} w^{2}, $ | (2) |
其中，λ为正则化参数，设为0.001；w为权重。
由(2)式可知，如果权重值变大，损失函数值就会增大，所以为了降低损失函数值，模型会逐步调低w的值，这样即使输入值差异很大，模型的预测变化也不会很大。
标签平滑调整(1)式的q，当样本标签转换为独热编码的形式后，真值为1，其他为0，而由Softmax计算得到的p在训练过程中需逐步逼近q，Softmax计算公式为
| $ S_{i}=\frac{\mathrm{e}^{i}}{\sum _{j} \mathrm{e}^{j}}, $ | (3) |
其中，i为类别序数；j为类别总数。通过(3)式的计算，模型的输出变为概率分布，再结合(2)式可知，由于样本标签非0即1，分类正确时的损失函数值趋近0，分类错误时的损失函数值趋近-∞。这种激励惩罚机制过于极端，只适用于数据集能够覆盖所有可能性或数据集标注完全正确的情况。为了缓和这种极端的激励惩罚机制，标签独热编码的形式改为
| $ q_{i}= \begin{cases}1-\varepsilon & k=y \\ \varepsilon /(n-1) & k \neq y\end{cases}, $ | (4) |
其中，ε为超参数，设为0.1；k为类别标签；y为样本真实标签。由(4)式可知，由于拉近了类间距离，减小类内距离，模型的泛化能力得到进一步提高。
2.2 实验对比组方法为了形成实验对比，另设ResNet50和文[6]使用的卷积神经网络模型，所有模型除网络结构外数据划分、超参数、防过拟合措施等均采用相同配置。本文采用的卷积神经网络模型结构如图 5。该结构具有3个卷积层，卷积核尺寸均为5×5，每层卷积核数量均为上一层的两倍，以达到提取图像特征的目的，特征提取后形成特征向量输入全连接层，随后以Softmax分类器进行分类。输入层将白光图、磁图以及两者构成的双通道图分别输入网络进行训练，最终获得7组数据。
|
| 图 5 对比组采用的卷积神经网络结构图 Fig. 5 CNN structure diagram used by the comparison group |
实验以各模型的准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数(F1-score)和混淆矩阵评估模型的分类性能。以Alpha为例，上述指标计算公式为
| $ \begin{gathered} A=\frac{T A+T B+T X}{T A+T B+T X+A B+A X+B A+B X+X A+X B} , \end{gathered} $ | (5) |
| $ P=\frac{T A}{T A+B A+X A}, $ | (6) |
| $ R=\frac{T A}{T A+A B+A X} , $ | (7) |
| $ F_{1}=\frac{2 T A}{2 T A+A B+A X+B A+B X}. $ | (8) |
其中，TA是正确将Alpha类识别为Alpha类；TB是正确将Beta类识别为Beta类；TX是正确将Betax类识别为Betax类；AB是错误将Alpha类识别为Beta类；AX是错误将Alpha类识别为Betax类；BA是错误将Beta类识别为Alpha类；BX是错误将Beta类识别为Betax类；XA是错误将Betax类识别为Alpha类；XB是错误将Betax类识别为Beta类。3类别的混淆矩阵如表 2。
| Recognized Alpha | Recognized Beta | Recognized Betax | |
| Observed Alpha | TA | AB | AX |
| Observed Beta | BA | TB | BX |
| Observed Betax | XA | XB | TX |
由于实验采用十折交叉验证，实验中用StratifiedKFold将训练集切分为10份，每次选1份作为验证集，其余的作为训练集，最后统计模型在测试集的分类情况。评价指标取加权均值，混淆矩阵按模型对应的混淆矩阵的和计算。各模型实验结果如表 3。
| Model | Data | Average accuracy/% | Weighted precision/% | Weighted recall/% | Weighted F1-score/% |
| CNN | Continuum | 75.00 | 76.58 | 75.00 | 75.28 |
| CNN | Magnetogram | 74.69 | 76.96 | 74.69 | 74.68 |
| CNN | Two-channel (continuum and magnetogram) |
75.38 | 76.53 | 74.82 | 75.07 |
| ResNet50 | Continuum | 81.48 | 82.96 | 81.48 | 81.69 |
| ResNet50 | Magnetogram | 83.98 | 84.63 | 83.98 | 84.09 |
| ResNet50 | Two-channel (continuum and magnetogram) |
83.09 | 83.89 | 83.09 | 83.04 |
| Dual-stream ResNet50 | Continuum and magnetogram | 84.93 | 85.27 | 84.93 | 84.87 |
从表 3可以看出，双流ResNet50的各项指标都最高，即使有映射寻优能力的ResNet50，在缺失部分数据的情况下也不及双流ResNet50。这表明对同一测试集，双流ResNet50有更好的分类能力。
由于实验测试集类别不平衡，模型指标以加权F1分数为主要参考，其他指标为辅助参考。通过对比相同数据源、不同模型之间的实验结果可知，ResNet50的F1分数相比卷积神经网络有较大提高，当数据为白光图、磁图、双通道图时，加权F1分数提高了6.41%，9.41%和7.97%，准确率提高了6.48%，9.29%和7.71%。这表明ResNet50的特征提取能力比卷积神经网络强，能够提取更有用的特征。
通过对比相同模型、不同数据源之间的实验结果可知，当模型使用卷积神经网络时，白光图F1分数最高，双通道图次之，磁图最低；当模型使用ResNet50时，磁图F1分数最高，双通道图次之，白光图最低。在不同模型下白光图和磁图呈现不同的分类优势，可能的原因是卷积神经网络架构简单、深度较浅，ResNet50架构复杂、深度较深，而白光图结构简单，磁图结构复杂，所以当磁图进入卷积神经网络后，卷积神经网络不能提取有利于分类的特征；当白光图进入卷积神经网络后，所提取的特征相较于磁图对分类更有利。而ResNet50的分类能力较卷积神经网络更强，所以当磁图进入ResNet50时，其复杂的结构得以提供更多有利于分类的信息；当白光图进入ResNet50时，由于结构简单，提供给分类的信息相对于磁图较少。
由于ResNet50分类较强，比较ResNet50和双流ResNet50的实验结果可知，使用双通道图的模型的分类能力相比磁图模型有所下降，这说明白光图和磁图形成的双通道图输入模型后，互相之间有影响，对形成分类所需的特征向量有负面作用。最后以使用磁图的ResNet50为基线，对比双通道图ResNet50和双流ResNet50的实验结果发现，两者都有白光图的加入，但使用双通道图的模型F1分数下降，双流ResNet50的F1分数上升，说明双流ResNet50在使用数据的总和及提取数据特征方面相对其他模型更有优势。
根据文[6]的结果可知，模型使用白光图、磁图和双通道图的F1分数分别为94.20%，87.22%和88.61%，结果均优于双流ResNet50。造成这种情况的可能原因有：(1)数据质量有差异，文[6]采用的数据集是在太阳盘中心±75°经度以内且背景噪声较小的黑子群图像，而SOLAR-STORM1数据集中存在部分临边的黑子群和噪声大的图像。(2)数据集的切分方式不同，文[6]采用随机切分方式，同一黑子群在短时间内演化不明显时，可能导致训练集和测试集中存在相似度较高的图像。本文按照黑子群对象切分，同一黑子群的图像不会在训练集和测试集同时出现。(3)训练方式不同，文[6]对数据集做一次切分，本文采用十折交叉验证计算平均值。
双流ResNet50的混淆矩阵见表 4。从表 4可以看出，Alpha和Betax误判为Beta的几率较高，Beta误判为Alpha的几率相比误判为Betax的几率高出一倍。
| Recognized Alpha | Recognized Beta | Recognized Betax | |
| Observed Alpha | 5 092 (89.8%) | 575 (10.1%) | 3 (0.1%) |
| Observed Beta | 639 (12.9%) | 4 007 (80.8%) | 314 (6.3%) |
| Observed Betax | 24 (2.2%) | 211 (19.4%) | 855 (78.4%) |
以Alpha类7169号对象为例，如图 6，该对象在10月27日和29日显示为一个单极黑子群，此时模型分类正确，而在28日黑子群右上方，出现了另一个黑子，该黑子特征被模型提取后，整幅图分类为Beta。所以演化过程中短暂性出现的黑子可能是模型误判的原因之一。
|
| 图 6 7169号对象2017年10月的白光图和磁图 Fig. 6 Continuum and magnetogram of object 7169 in Oct. 2017 |
以Beta类6242号对象为例，如图 7。初期黑子群双极清晰，但在演化过程中右方黑子逐渐消散，而左方黑子依旧存在，所以当末期黑子群的图像进入模型后容易误判为Alpha。这种由于演化形成了模糊的类型特征可能是模型分类精度不佳的主要原因之一。
|
| 图 7 6242号对象初期和末期的白光图和磁图 Fig. 7 Continuum and magnetogram of the early and late stages of object 6242 |
另以Betax类6975号对象为例，如图 8。该对象末期逐渐向日面边缘靠近，由于投影效应和临边昏暗效应，黑子群白光图特征模糊，磁场测量的精度下降。所以当黑子群接近日面边缘时，图像质量降低可能也是模型分类精度不佳的原因。
|
| 图 8 6975号对象末期的白光图和磁图 Fig. 8 Continuum and magnetogram of the late stages of object 6975 |
SOLAR-STORM1数据集为FITS格式，文件大小为7 GB，体积较大，读取速度较慢，转换为JPG格式后，文件大小为600 M，读取速度较快，并且保留了黑子群的特征，所以在实验中采用转换为JPG格式的数据集。
4 结论本文针对SOLAR-STORM1数据集的特点，采用双流卷积神经网络方法开展黑子群磁类型分类研究，并与其他方法进行了对比实验。实验结果表明，双流卷积神经网络对黑子群磁类型分类效果更好。与使用单通道的方法相比，双流卷积神经网络避免仅使用一种图像造成的数据缺失，实现了数据利用最大化；与使用双通道的方法相比，双流卷积神经网络避免图像特征提取过程中，白光图和磁图的互相影响。在相同数据源的情况下，深层模型的特征提取能力比浅层模型要强。在算法特征提取能力强的情况下，仅使用磁图比仅使用白光图的分类精度要高，而使用双通道图像的精度介于两者之间。
尽管双流卷积神经网络表现了较好的分类性能，但由于部分对象在演化过程中特征逐渐消散，部分图像有临边昏暗现象，双流卷积神经网络出现误判情况。接下来的工作将针对这两方面的原因对双流卷积神经网络做进一步的优化。
| [1] |
梁波, 林语琦, 戴伟, 等. 基于多变量LSTM网络的太阳黑子活动预测分析[J]. 天文研究与技术, 2020, 17(3): 322–333 LIANG B, LIN Y Q, DAI W, et al. Prediction and analysis of sunspot activity based on multivariable LSTM network[J]. Astronomical Research&Technology, 2020, 17(3): 322–333. DOI: 10.3969/j.issn.1672-7673.2020.03.008 |
| [2] |
朱健, 杨云飞, 苏江涛, 等. 基于深度学习的太阳活动区检测与跟踪方法研究[J]. 天文研究与技术, 2020, 17(2): 191–200 ZHU J, YANG Y F, SU J T, et al. A detection and tracking method for active regions based on deep learning[J]. Astronomical Research&Technology, 2020, 17(2): 191–200. DOI: 10.3969/j.issn.1672-7673.2020.02.008 |
| [3] |
刘辉, 季凯帆, 金振宇. 机器学习在太阳物理中的应用[J]. 中国科学: 物理学力学天文学, 2019, 49(10): 105–117 LIU H, JI K F, JIN Z Y. The application of machine learning in solar physics[J]. Scientia Sinica: Physica, Mechanica&Astronomica, 2019, 49(10): 105–117. |
| [4] | COLAK T, QAHWAJI R. Automated McIntosh-based classification of sunspot groups using MDI images[J]. Solar Physics, 2008, 248(2): 277–296. DOI: 10.1007/s11207-007-9094-3 |
| [5] | ABD M A, MAJED S F, ZHARKOVA V. Automated classification of sunspot groups with support vector machines[J]//Technological Developments in Networking, Education and Automation. 2010: 321-325. |
| [6] | FANG Y, CUI Y, AO X. Deep learning for automatic recognition of magnetic type in sunspot groups[J]. Advances in Astronomy, 2019, 2019(123): 1–10. |
| [7] | 高阳. 基于双流卷积神经网络的监控视频中打斗行为识别研究[D]. 西安: 西安理工大学, 2018. GAO Y. Fighting behavior detection in surveillancevideo by two-stream convolutional networks[D]. Xi'an: Xi'an University of Technology, 2018. |
| [8] | SOLAR-STORM1: automatic recognition of magnetic type in sunspot groups[DS/OL]. (2020-08-18)[2021-02-09]. https://tianchi.aliyun.com/dataset/dataDetail?dataId=74779. |
| [9] | HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the Institute of Electrical and Electronics Engineers Conference on Computer Vision and Pattern Recognition. 2016: 770-778. |