基于观测图像识别的天文望远镜智能故障辅助诊断系统
张豫龙1,2, 王建峰1, 李陶然1, 葛亮1, 兀颖1,2, 赵勇1,2, 姜晓军1,2     
1. 中国科学院光学天文重点实验室(国家天文台), 北京 100101;
2. 中国科学院大学天文与空间科学学院, 北京 100049
摘要: 设计并构建了基于观测图像识别的望远镜智能故障辅助诊断系统,通过收集望远镜在观测时的故障图像与传感器信息来综合判断望远镜在观测时产生的故障,并给出相应的解决建议。利用卷积神经网络方法进行图像智能识别,并使用故障树分析法寻找望远镜系统的薄弱点。经过仿真与实测检验,证明了系统能够有效地发现判断故障并给出建议,提高了望远镜的可靠性,为故障诊断技术智能化做好了铺垫。
关键词: 故障诊断    故障树    图像识别    天文望远镜    
The Intelligent Fault Auxiliary Diagnosis System of Astronomical Telescope Based on Observation Image Recognition
Zhang Yulong1,2, Wang Jianfeng1, Li Taoran1, Ge Liang1, Wu Ying1,2, Zhao Yong1,2, Jiang Xiaojun1,2     
1. Key Laboratory of Optical Astronomy, National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100101, China;
2. School of Astronomy and Space Science, University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: We designed and built an intelligent auxiliary system for fault diagnosis of telescope based on observation image recognition. The system collects the measured image and sensor information of the telescope to comprehensively judge the faults during observation, and gives corresponding solutions. We use the convolution neural network method to intelligently identify images and use fault tree analysis to find the weak points of the telescope system. The simulation and actual tests prove that the system can effectively find, judge faults and give suggestions. It improves the reliability of the telescope and accumulates experience for the intelligentization of fault diagnosis technology.
Key words: Fault diagnosis    Fault tree    Image identification    Astronomical telescope    

望远镜是天文研究的重要工具,其高效稳定运行是保证有效天文观测的前提。因此,为了实现长时间稳定的观测运行,故障诊断系统不可或缺。

故障诊断系统是一种分析故障时的系统数据并迅速判断、定位故障点的程序系统,它能在望远镜发生故障时迅速响应,给出解决方案。故障诊断技术在多个领域中已有应用,早在20世纪60年代,美国斯坦福大学首次提出了基于专家系统的故障诊断方法,将行业内专家的知识库应用在故障诊断领域[1]。20世纪70年代,关于控制系统的故障诊断技术在麻省理工学院首次提出[2]。在天文方面,美国针对哈勃望远镜维护困难的问题开展了对望远镜控制系统故障诊断技术的研究[3]。澳大利亚也于90年代将故障诊断技术应用于澳大利亚望远镜(Australia Telescope)中,实现了基于传感器的望远镜故障诊断[4]。在国内,故障诊断技术在天文方面也有所应用。南极望远镜上使用了智能镜面除霜系统,用于加热望远镜镜面来确保其不受霜雪的影响[5]。Mini-GWAC使用了基于故障树与传感器的望远镜故障诊断系统,实现了系统的安全全自动控制[6]

然而,传统的故障诊断系统在故障信息获取受限的条件下很难发挥原有的作用。诊断方法单一,信息获取渠道单一,例如上世纪研制的中小口径望远镜,往往没有完备的传感器设备,传统故障诊断系统无法准确地通过传感器获取系统所需信息,运行效果大打折扣。如今人工智能技术突飞猛进[7],故障诊断系统也变得多方法融合化、多渠道信息化与智能化,利用这些技术可以很好地弥补传统故障诊断系统的不足,最大化发挥故障诊断的效果。

本文提出的基于观测图像识别的天文望远镜智能故障辅助诊断系统使用了卷积神经网络的图像识别模块,利用望远镜故障时产生的观测图像,将图像的智能识别技术与故障诊断系统相结合,很好地解决传感器不完备的老式中小口径望远镜信息获取不充分的问题。此外,信息获取越充分,故障判定的准确性就越高,所以这一系统也可以辅助传统的基于传感器的故障诊断系统,增加信息获取渠道,提高故障诊断的准确率。

1 基于观测图像识别的望远镜智能故障辅助诊断系统设计

本文提出的故障辅助诊断系统是基于望远镜观测时的图像、过往的故障记录、故障的解决方案以及可能的传感器信息运作的。传感器与图像信息经分析整合后,通过与过往故障记录比对可以给出关于望远镜可能的故障原因、故障概率并从故障的解决方案中给出相应建议。因此本系统采用以下的设计方案。

1.1 系统总体设计

基于观测图像识别的望远镜智能故障辅助诊断系统主要由4部分组成:信息收集模块、数据库模块、推理模块与人机交互界面。结构如图 1

图 1 基于观测图像识别的望远镜智能故障辅助诊断系统结构框图 Fig. 1 Structure of intelligent fault-assisted diagnosis system for telescope based on observation image recognition

系统各组成部分功能如下:

(1) 信息收集模块:负责接收传感器和观测图像传递的信息,其中有基于卷积神经网络的图像识别算法,负责根据重训练的故障模型分辨实测图像的大致故障类型。之后它将收集到的故障信息传递给数据库模块与推理模块并展示到人机交互界面。此外,信息收集模块也负责监视望远镜的实时运行状况,它通过判断图像质量以及传感器返回的参数确定目前的状态,并将数据与参数存储于系统运行数据库中,以便出现故障时推理模块进行调阅。

(2) 数据库模块:为整个系统的知识储备与运行库,分为系统运行数据库与故障知识库。系统运行数据库中存储着故障ID、方法ID、路径权重、对应关系以及望远镜的运行数据,是整个系统运行的基本保障。故障知识库存储了故障树中记录的相应故障知识,包括故障基础知识与概率性的权重信息。

(3) 推理模块:包含推理机与解释器,它负责将信息收集模块、系统运行数据库与故障知识库中的相关信息收集并推理,以一定的逻辑策略判断可能的结果,并将结果送往人机交互界面。推断故障成立时,推理模块也会将结果返回至知识库中储存,作为日后工程师维护望远镜的方向性依据。

(4) 人机交互界面:用于展示信息并接受用户的控制,是用户与系统之间的重要交互渠道。

1.2 故障树设计与分析

本系统采用了基于故障树的逻辑结构设计,故障树是一种树型结构,能够清晰地反映上层“树干”与下层“树枝”之间的逻辑与因果关系。系统从顶事件出发,逐步依据信息与树状结构向下层判断,一旦确定底事件,对应的故障就被确定了。故障树的顶事件是望远镜的实测图像异常,代表着望远镜系统失效。通过对以往故障记录进行电子化整理并统计兴隆观测基地8台望远镜的历史故障,建立故障库,咨询相关专家,决定将故障树中层分为星像拉长、星像滑跃、星像消失3大类。依据望远镜的结构细分至系统乃至部件的失效,建立起兴隆观测基地8台光学望远镜的系统故障树如图 2,故障标记说明如表 1

图 2 望远镜系统故障树 Fig. 2 Fault tree of telescope system
表 1 望远镜系统故障树标记事件 Table 1 Description of the labels in telescope system fault tree
Label Fault
T Telescope image abnormal
A1 Elongated star image
A2 Slid star image
A3 Disappeared star image
B1 Tracking system failure
B2 Rotating eliminate system failure
B3 CCD system failure
B4 The light path is completely blocked
C1 Telescope cover not open
C2 The dome completely blocked the light path
D1 The dome not open
X1 The shutter not closed
X2 Optical path failure
X3 Tracking motor stopped for a short time
X4 Barrel center of gravity slipped
X5 Transmission structure slid
X6 Tracking motor stopped
X7 Transmission structure failure
X8 User misoperation
X9 Oil pump failure
X10 Hardware limit
X11 Inaccurate code wheel
X12 Rotating eliminate motor failure
X13 CCD failure
X14 CCD communication system failure
X15 Clouds obscured star image
X16 The shutter not opened
X17 Cover motor failure
X18 Cover communication system failure
X19 Tracking motor faults
X20 Dome motor failure
X21 Dome mechanical failure
X22 Dome cover motor failure
X23 Dome cover communication system failure
X24 Dome cover mechanical and component failure

故障图像经由重训练的图像识别模型分类至3个图像大类之一,再与各系统通信进一步判断至底事件。底事件拥有各自的权重,成功判定的故障与工程师反馈的故障都会记入其中并实时进行调整,在因条件所限无法精确判断时可以作为概率的参考。因为对于单台望远镜的故障往往具有重复性,所以权重与概率的分布也具有较高的参考价值。

故障树的定性与定量分析能有效找出系统的薄弱环节,工程师在维护时可以针对这些部位重点排查,从而降低望远镜在运行时的故障率,使用布尔代数化简法进行定性分析,过程如下:

$T=A_{1}+A_{2}+A_{3}\\ A_{1}=B_{1}+B_{2}+X_{1}+X_{2} ; \quad A_{2}=X_{3}+X_{4}+X_{5} ; \quad A_{3}=B_{3}+B_{4};\\ B_{1}=X_{6}+X_{7}+X_{8}+X_{9}+X_{10} ; \quad B_{2}=X_{11}+X_{12} ; \quad B_{3}=X_{13}+X_{14} ; \quad B_{4}=C_{1}+C_{2}+X_{15}+X_{16};\\ C_{1}=X_{17}+X_{18} ; \quad C_{2}=D_{1}+X_{19}+X_{20}+X_{21};\\ D_{1}=X_{22}+X_{23}+X_{24}. $ (1)

可以得出:

$T=X_{1}+X_{2}+X_{3}+X_{4}+X_{5}+X_{6}+X_{7}+X_{8}+X_{9}+X_{10}+X_{11}+X_{12}+X_{13}+X_{14}+X_{15}+X_{16}+\\ \;\;\;\;\;\;X_{17}+X_{18}+X_{19}+X_{20}+X_{21}+X_{22}+X_{23}+X_{24}. $ (2)

即最小割集为

{X1} {X2} {X3} {X4} {X5} {X6} {X7} {X8} {X9} {X10} {X11} {X12} {X13} {X14} {X15} {X16} {X17} {X18} {X19} {X20} {X21} {X22} {X23} {X24}共24个最小割集,均为一阶割集。即故障树中所包含的每个底事件均直接影响望远镜的成像质量,薄弱部位和各底事件的故障概率直接相关。下面根据所统计的望远镜故障记录计算各底事件的发生概率。

兴隆观测基地的望远镜在发生故障时,工程师会在解决故障的同时填写故障报表并存档,分析统计这些存档可以获取望远镜故障树底事件的发生概率。统计兴隆观测基地2016~2018年8台望远镜故障报表并计算平均每台每年的底事件发生概率,结果如表 2

表 2 故障树底事件发生概率 Table 2 Probability of fault tree bottom event
Label Fault Probability
/%
X1 The shutter not closed 20.83
X2 Optical path failure 4.17
X3 Tracking motor stopped for a short time 12.50
X4 Barrel center of gravity slipped 4.17
X5 Transmission structure slid 16.67
X6 Tracking motor stopped 16.67
X7 Transmission structure failure 8.33
X8 User misoperation 4.17
X9 Oil pump failure 12.50
X10 Hardware limit 20.83
X11 Inaccurate code wheel 8.33
X12 Rotating eliminate motor failure 4.17
X13 CCD failure 8.33
X14 CCD communication system failure 20.83
X15 Clouds obscured star image 4.17
X16 The shutter not opened 4.17
X17 Cover motor failure 12.50
X18 Cover communication system failure 20.83
X19 Tracking motor faults 4.17
X20 Dome motor failure 12.50
X21 Dome mechanical failure 8.33
X22 Dome cover motor failure 12.50
X23 Dome cover communication system failure 8.33
X24 Dome cover mechanical and component failure 8.33

根据故障树分析,系统的最小割集均为一阶割集,即任意底事件的失效均导致顶事件失效。根据表 2的结果计算平均每年顶事件至少失效一次的概率:

$P(T)=1-\left[1-P\left(X_{1}\right)\right]\left[1-P\left(X_{2}\right)\right]\left[1-P\left(X_{3}\right)\right]\left[1-P\left(X_{4}\right)\right] \cdots \cdots\left[1-P\left(X_{24}\right)\right] \approx 0.929\;575, $

其中,发生概率较大的故障有相机快门闭合失效、触发望远镜限位保护、CCD通讯系统故障和镜盖的通讯系统故障,平均每台望远镜一年有20.83%的概率发生一次此类故障。望远镜维护人员在日常维护检修时,应重点注意上述薄弱部位的故障,及时发现问题并更换故障配件,可以提高望远镜系统运行的可靠性,减少观测时因故障造成的损失。

1.3 故障训练集的建立

卷积神经网络的图像识别模块需要故障训练集进行重训练。在系统中,要求模块能够识别星像拉长、星像滑跃、星像消失与正常图像。故障训练集的图片来源主要有3种:观测图像中筛选、望远镜实地拍摄与人工绘制。从观测中获得的图像主要为兴隆观测基地80 cm望远镜2017~2018年的图像与85 cm望远镜在2019年的图像,其中筛选了星像滑跃23幅,星像拉长50幅,正常观测图像1 037幅。望远镜实地拍摄使用兴隆观测基地60 cm望远镜,人为拍摄故障的星像图像,其中拍摄星像拉长626幅,星像消失1 104幅,鉴于保护望远镜的目的无法拍摄星像滑跃的图像。人工绘制是为了补充难以从常规渠道获得的故障图像,共补充星像滑跃44幅,星像拉长73幅。标记上述图片并将其中90%作为训练集,10%作为测试集使用。

重训练参数中,训练步数设置为9 000,学习率设置为0.01,无随机裁剪、缩放、翻转,经过重训练成功获得所需模型。测试准确率为97.63%,其中,特征明显的图像均分类正确,拉长较短、滑跃较长的图像有小概率出现混淆。

2 初步测试结果

根据上文所述的系统设计,使用Python编写代码,成功构建基于图像的望远镜智能故障辅助诊断系统。为了测试系统是否能够正常工作,尝试人工模拟故障进行检测。此外,还将实际观测中的故障数据输入虚拟望远镜中检测,判断系统给出的结果是否与故障记录一致。

2.1 模拟故障虚拟环境测试结果

使用望远镜控制软件“兴隆基地通用望远镜控制前沿机”生成的虚拟望远镜来进行本系统的实验测试。测试通过人为手动模拟望远镜的故障检验系统是否能够正常工作。模拟的故障为“用户误操作”,即用户因为不慎停止跟踪而产生望远镜的实测图像拉长的现象。实验过程中使用实测的星像拉长图片对系统进行引导,系统诊断结果如图 3。结果显示,系统成功地根据实测图片及虚拟望远镜的状态信息判断,导致这幅图片产生的故障原因,系统在虚拟环境下使用成功。

图 3 模拟测试结果 Fig. 3 The result of simulation test
2.2 基于实测数据的测试结果

兴隆观测基地的80 cm望远镜于2016年1月18日在观测时发生故障,通过查询筛选获取了1月18日拍摄的故障图像与望远镜当时的运行日志、系统与位置信息,调整虚拟望远镜的参数状态还原故障场景。测试结果如图 4。系统成功判断出图像异常,且异常为“星像消失”。根据故障树的逻辑,在星像消失的分支下,系统先尝试与CCD系统通讯,获取了CCD状态正常且CCD通讯系统正常的反馈,之后与镜盖系统通讯,确认镜盖开启度小于阈值,通讯系统正常而镜盖很可能未打开,所以通过排除法寻找并给出了“镜盖电机故障”的底事件,与基地故障报表记述一致。这表明在望远镜的实际使用中,系统可以发挥应有的作用,帮助维护人员快速定位故障并参考对应的解决建议。

图 4 真实数据测试结果 Fig. 4 The result of real data test

如果系统因为条件所限无法精确判定至故障树的底事件,系统会根据以往的故障记录和工程师的反馈确定故障现象可能原因的权重。每一台望远镜的故障通常会重复出现,所以故障原因的概率分布也具有一定的意义,故障解决后系统可以根据反馈对概率进行调整,系统对单个望远镜的模糊故障诊断的精确度,为维护人员提供一定的方向指导。

收集并统计判断了兴隆观测基地望远镜2019年产生的48次故障,能够直接判定底事件的故障31次;根据权重模糊判断且参考项概率最高者为故障原因的故障10次;故障原因仅包含在参考项中5次;故障原因未包含在参考项中2次;综合判定正确率为85.42%,错误率为14.58%。

3 结论

本文介绍并利用Python构建了一种基于观测图像识别的望远镜智能故障辅助诊断系统,分析了系统的故障树,根据分析结果得出兴隆观测基地望远镜易发生镜盖电机故障、快门闭合失效、限位保护、CCD通讯故障与镜盖通讯故障。在日后的维护中着重关注这些部位可以有效提高望远镜的日常稳定性。本系统能够监视望远镜的运行状态,创新之处在于望远镜系统故障时可以使用观测时的故障图像作为一条新的信息获取渠道,通过智能图像识别初步进行故障的分类,并针对发现的故障给出相应的维修建议,为故障诊断系统的智能化做好了预研与铺垫。系统经进一步完善也可以与其它故障诊断系统联合使用,辅助进行故障诊断,提高诊断的准确率,为望远镜的稳定运行提供保障。

参考文献
[1] 姜长城.门式起重机远程监测及诊断分析系统研发[D].南京: 东南大学, 2018.
[2] 房汉鸣, 税爱社, 汪辉, 等. 基于大数据的控制系统故障诊断方法综述[J]. 单片机与嵌入式系统应用, 2016, 16(4): 6–9
[3] MONAHAN C M, PATTERSON-HINE F A, IVERSON D L. Automated telescope monitoring and diagnosis[C]//The Astronomical Society of the Pacific Conference Series. 1995: 120-128.
[4] LANDAU R. Intelligent fault diagnosis at the Australia telescope[C]//Proceedings of the Astronomical Society of Australia. 1994: 180-187.
[5] 冯晴晨, 李晓燕. 基于故障树的南极天文光学望远镜镜面除霜系统的可靠性分析[J]. 天文研究与技术, 2018, 15(1): 111–118
[6] 付夏楠, 黄垒, 魏建彦. Mini-GWAC控制系统的故障诊断专家系统[J]. 天文研究与技术, 2016, 13(3): 366–372 DOI: 10.3969/j.issn.1672-7673.2016.03.014
[7] 戴进, 刘振宇. 基于深度学习的图像识别算法研究的综述[J]. 计算机产品与流通, 2018(3): 188
由中国科学院国家天文台主办。
0

文章信息

张豫龙, 王建峰, 李陶然, 葛亮, 兀颖, 赵勇, 姜晓军
Zhang Yulong, Wang Jianfeng, Li Taoran, Ge Liang, Wu Ying, Zhao Yong, Jiang Xiaojun
基于观测图像识别的天文望远镜智能故障辅助诊断系统
The Intelligent Fault Auxiliary Diagnosis System of Astronomical Telescope Based on Observation Image Recognition
天文研究与技术, 2020, 17(3): 392-398.
Astronomical Research and Technology, 2020, 17(3): 392-398.
收稿日期: 2019-11-19
修订日期: 2019-12-06

工作空间