应用气象学报  2014, 25 (4): 427-435   PDF    
引用本文
杨欣怡, 吕伟涛, 杨俊, 张舸, 马颖, 姚雯, 李清勇. 3种阈值方法在闪电通道图像识别中的应用[J]. 应用气象学报, 2014, 25(4): 427-435.
Yang Xinyi, Lü Weitao, Yang Jun, Zhang Ge, Ma Ying, Yao Wen, Li Qingyong. Applications of 3 Threshold Methods to the Lightning Channel Image Recognition[J]. Journal of Applied Meteorological Science, 2014, 25(4): 427-435  
3种阈值方法在闪电通道图像识别中的应用
杨欣怡1,2, 吕伟涛2, 杨俊2, 张舸1, 马颖2, 姚雯2, 李清勇3     
1. 成都信息工程学院，成都 610225;
2. 中国气象科学研究院灾害天气国家重点实验室/雷电物理和防护工程实验室，北京 100081;
3. 北京交通大学，北京 100044
2013-11-06 收到, 2014-04-18 收到修改稿.
资助项目: 国家自然科学基金项目 (41075003，41105121)，中国气象科学研究院基本科研业务费专项 (2013Z006)    
通讯作者: 吕伟涛, email: wtlu@cams.cma.gov.cn.
摘要: 该文实现了3种常见的阈值算法在闪电通道识别中的应用。针对某些闪电通道图像对比度较低的特点，首先对原始图像去除背景光照不均的影响并进行图像增强，再根据所处理的闪电通道图像的具体情况，选择全局自适应阈值法、局部自适应阈值法或基于Otsu自适应阈值的Canny算子对增强后的图像进行边缘检测，进而对闪电通道进行识别。对所提取到的闪电通道进行形态学和细化处理，最终提取到由连续的像素点序列表示的闪电通道。针对数字图像中闪电通道背景的不同特点，文中提到的3种阈值方法能够有针对性地对不同图像进行通道检测，在保证准确获得清晰边缘信息的同时，较好地兼顾了对弱边缘信息的提取，有效保证了对闪电通道的识别效果。
关键词: 闪电图像    通道识别    自适应阈值    局部阈值    Canny算子    
Applications of 3 Threshold Methods to the Lightning Channel Image Recognition
Yang Xinyi1,2, Lü Weitao2, Yang Jun2, Zhang Ge1, Ma Ying2, Yao Wen2, Li Qingyong3     
1. Chengdu University of Information Technology, Chengdu 610225;
2. Laboratory of Lightning Physics and Protection Engineering, State Key Laboratory of Severe Weather, Chinese Academy of Meteorological Sciences, Beijing 100081;
3. Beijing Jiaotong University, Beijing 100044
Abstract: General digital cameras, camcorders as well as the BOYS camera specially developed for the lightning observation, are all important tools for lightning research. They are used to obtain the basic data for understanding geometry features of channels and main development processes of lightning. For a long time, extracting lightning channel coordinates from digital images is based on manual processing methods with the relatively low efficiency. With the development of the photoelectric techniques, more and more advanced optical devices are used in lightning observation, such as high-speed cameras and the Automatic Lightning Processing Feature Observation System (ALPS), and data obtained become much richer. How to automatically process these data and improve the efficiency of data extraction and analysis is an urgent need to be addressed. Considering the complexity of lightning discharges and various characteristics of the lightning channel, only one algorithm is not enough to obtain a satisfying recognition result in all situations. Therefore, 3 common threshold methods are applied jointly in the lightning channel recognition. Firstly, the impact of the uneven illumination is eliminated by subtracting the background and the contrast of the image is enhanced. Secondly, global adaptive threshold method, local adaptive threshold method or adaptive Canny operator method is applied for edge detection. And then, morphological and thinning processes are carried out to get the lightning channel represented by the continuous sequence of pixels. Considering different characteristics of the lightning channel digital image, selecting appropriate algorithm can ensure getting a clear edge information even including weak edges, guaranteeing a good recognition effect finally. Through experiments, it can be concluded that for the lightning channel with simple structure and relatively uniform brightness, all algorithms mentioned above can get a good recognition result, among which the global adaptive threshold method is simpler and more efficient. Local adaptive threshold method can calculate the threshold for different images universally. And for the low-contrast images with a smooth background, using adaptive Canny operator method can achieve a satisfactory recognition result.
Key words: lightning image     channel identifying     adaptive threshold     local adaptive threshold     Canny operator    
引言

闪电是自然大气中的超强、超长的放电现象，伴随着强烈的发光，因此光学观测是对闪电的重要观测手段之一[1]。普通的商用相机、摄像机以及为闪电观测专门研发的BOYS相机等都曾作为研究雷电过程的关键工具，为人们认识闪电通道的几何形状特征、主要发展过程、放电形式等提供了基础数据。随着技术发展，越来越多的先进的光学观测设备 (如高速摄像机、闪电发展特征观测系统 (ALPS)、闪电连接过程光学观测系统 (LAPOS) 等) 在雷电观测中得到了应用，进一步揭示了先导过程、连接过程以及通道发展的细微变化特征等[2-11]。

长期以来，对闪电照片中通道坐标的提取，研究人员大多采用人工处理方式，资料处理效率较低。周恩伟[12]通过算法实现了单一通道闪电图像的自动处理，获得了闪电通道的亮度信息，但未实现提取反映闪电通道形态特征的信息，且处理效果受图像的亮度、模糊程度的影响较大。本文针对数字图像中闪电通道自动识别处理的需求及现有方法存在的不足，实现了全局自适应阈值法[13]、局部自适应阈值法[14]和基于Otsu自适应阈值的Canny算子[15](简称自适应阈值的Canny算子)3种算法在闪电通道识别中的应用，并将3种方法对不同亮度和不同复杂程度的闪电通道的识别结果进行对比。

1 数字图像中闪电通道的识别

闪电数字图像有背景光线较暗、闪电放电主通道发光较亮的特点，目标物和背景交界处两边的像素在灰度值上有很大差异，梯度较大，但一些亮度较暗的闪电通道分叉部分与背景之间的对比度较小，识别过程中易造成遗漏。针对闪电通道图像的实际特点，本文根据待识别的闪电通道数字图像的不同特点，选用相应的识别方法进行通道识别，使不同特点的闪电通道均能得到较好的识别效果。图 1是本研究所采用算法的流程图。首先对试验所获得的闪电通道图像利用背景差法去除背景，减小因背景中云或地物亮度较大对闪电通道识别造成的影响，再对去除背景光照影响后的图像进行增强，扩展图像灰度值的动态范围，提高图像的对比度。分别采用3种阈值方法对增强后的图像进行闪电通道识别，探讨各种方法的适用性，并对所提取到的闪电通道进行形态学和细化处理，最终提取由连续的单个像素点表示的闪电通道。为了更清晰地对比各个方法的识别效果，本文将识别结果统一为黑色背景、白色目标物，并对处理结果中的部分图像进行了反色处理。

图 1. 算法流程图 Fig 1. Algorithm flowchart

2 闪电通道识别流程及描述 2.1 图像预处理

由于闪电大多发生在雷暴活动中，通常背景较暗，闪电通道数字图像直方图的组成成分大多集中在灰度级低的一侧，灰度级覆盖范围不均匀，且图像中闪电通道所占的比例较小，闪电通道与背景的像素数量差异较大，图像直方图往往不呈明显的双峰结构，低亮度处的像素数比其他地方高很多；且闪电发生时拍摄到的闪电通道图像中常包含有较高亮度的云块，容易导致对闪电通道的误判，所以首先采用背景差法去除背景亮度的干扰：利用闪电发生前不受放电过程影响的5帧图像的平均作为校准图像，将待处理图像 (闪电通道图像) 与校准图像作差值，去除背景亮度造成的影响[16]。为使闪电图像更加清晰，突出闪电通道与背景之间的差异，增强图像的可视性，提升图像的识别效果，采用直方图拉伸的方法对所处理的闪电图像进行预处理以提高图像的对比度。图 2是对一幅闪电图像利用背景差法去除背景光照影响并进行图像增强后的结果。

图 2. 图像预处理结果 (a) 闪电通道原图，(b) 背景图像，(c) 背景差法获得的闪电通道图像，(d) 增强后的闪电通道图像 Fig 2. Image preprocessing results (a) the original image of the lightning channel, (b) background image, (c) the lightning channel image obtained by the frame difference method, (d) the enhanced lightning channel image

2.2 闪电通道识别

全局自适应阈值 (最大类间方差) 法[17]的计算较为简单高效，因此得到广泛应用。其基本思路是按图像的灰度特性，将图像分为背景和前景 (目标物) 两部分，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景时都会导致方差变小，因此类间方差最大的分割意味着错分的概率最小[13]。利用最大类间方差法可以根据图像自适应计算出全局阈值，再采用二值化处理来识别闪电通道。该方法对简单情况下的闪电通道识别效果好、简单高效。

局部自适应阈值法[14]可以较好地兼顾图像由于阴影、照度不均或不同对比度的影响，阈值计算是动态的，用所选定的像素及周围3×3邻域内的加权均值减去一个常数C作为阈值对图像进行分割，这里C=5。局部自适应阈值抗噪能力强，对一些全局阈值不易分割的图像可以得到较好的分割效果。

在众多的图像边缘检测方法中，Canny算子与其他边缘检测算子相比，在噪声抑制和边缘检测之间取得了较好的平衡，能够在滤除图像噪声、保留细节边缘方面获得不错的效果。Canny算子[18]边缘检测是利用高斯滤波器对图像进行平滑处理，滤除图像噪声；再计算平滑后的图像幅值和方向并进行非极大值抑制，确定候选边缘点；最后根据设置的高低阈值检测和连接边缘。为了提高Canny算子对不同图像的适用性，这里用自适应阈值的Canny算子[15]对闪电通道进行提取，将Otsu自适应计算的阈值设为Canny算子的高阈值，低阈值取为高阈值的1/2。该方法对低对比度图像的边缘提取具有一定优势。

识别过程中根据图像自身特征有针对性地选择合适的方法对闪电通道进行识别，3种算法过程中均不人为设定阈值参数，在实际应用中能够有效地提取到闪电通道不同亮度的边缘信息。图 3分别为这3种算法对图 2中增强后的闪电通道图像识别到的结果，从结果可以看出，由于自适应阈值的Canny算子对低对比度图像有较好的识别度，选用自适应阈值的Canny算子对这类能够通过背景差法去除背景光照影响的闪电通道图像进行识别，可以获得最好的识别效果。而另外两种方法，全局自适应阈值法对噪声和目标物的大小敏感，不能获得较好的分割效果，也无法识别出左侧较暗的闪电通道；局部自适应阈值法识别到的闪电通道没有自适应阈值的Canny算子识别结果连续。

图 3. 3种阈值方法闪电通道识别结果 (a) 自适应阈值的Canny算子，(b) 全局自适应阈值法，(c) 局部自适应阈值法 Fig 3. Results of the lightning channel recognition by three kinds of threshold methods (a) adaptive Canny operator method, (b) global adaptive threshold method, (c) local adaptive threshold method

2.3 形态学处理

直接提取到的闪电通道图像有时纹路间有间断、通道轮廓间未完全闭合，为得到更平滑连续的闪电通道可以对提取到的闪电通道图像进行形态学[19]处理。首先对获得的闪电通道图像进行膨胀处理以修复大部分间断，膨胀最简单的应用之一是将裂缝桥接起来，通常采用“十”字型的结构元素。然后对图像进行闭运算，使闪电通道轮廓线更为光滑，消弭通道轮廓间狭窄的间断和长细的鸿沟，填补轮廓线中的断裂。通过形态学处理可以获得闭合的闪电通道，但形态学处理会造成部分通道纹路变粗，通过后续的细化操作可以消除此影响。对图 3中自适应阈值的Canny算子识别到的闪电通道形态学处理后的结果如图 4所示。

图 4. 形态学处理结果 Fig 4. Morphological processing result

2.4 闪电通道细化

为得到单个像素点坐标序列表示的闪电通道，可以按照图像细化的方法进行处理。到目前为止，关于细化方法的研究工作已有很多成果，多采用模板匹配方法[20]。细化能够在去除通道上不影响连通性的轮廓像素的基础上，较好地保留原图结构特征，获得目标物单位宽度的中心骨架，细化后的闪电通道能为后续进一步提取闪电通道坐标及查找通道分叉点提供便利。不足之处是当闪电通道结构较复杂、分叉通道间交叉部分较多时，交叉部分细化的结果与闪电通道实际的形态结构会有差异。图 5为图 4经上述步骤处理后的闪电通道的细化结果。

图 5. 闪电通道细化结果 Fig 5. The result of the morphological skeleton

3 识别结果及讨论

对闪电的高速摄像观测多采用黑白CMOS高速摄像机，得到的是灰度图像，本文处理分析均为这类图像，彩色图片可以转换为灰度图像后用本文提供的方法进行处理。

由前面各个步骤的识别结果可以看到，背景差法较好地去除了背景中亮度较高的云块对闪电通道识别的影响，且增强后的闪电通道图像的视觉效果得到了一定改善，通道部分与背景之间的对比度得到增强，有利于对一些本身亮度较暗的闪电通道分叉部分的识别。自适应阈值的Canny算子可以很好地提取到较完整的、不同亮度的闪电通道边缘信息，且闪电通道图像中一些对比度较低、较难分辨的闪电通道分叉部分也得到了较好的识别效果，可对比图 3a对图 2d中左侧较暗闪电通道部分的识别结果。后续对识别到的闪电通道进行形态学处理，闭合了提取到的闪电通道，通道间的断裂也得到了修复，使提取到的闪电通道更加平滑连续。经过细化处理后的闪电通道结果给出了保留原闪电通道形态特征的、由单个像素点表示的闪电通道最终提取结果，识别结果与实际闪电通道具有较好的一致性。

为比较不同方法在不同闪电通道情况时的识别效果，选取了3幅具有代表性的闪电通道图像，包含了不同复杂程度、不同亮度情况下的闪电通道，处理结果如图 6~图 8所示 (图中仅给出了各方法的通道识别结果，省略了图像预处理等步骤的结果图)。

图 6. 闪电通道识别结果示例1 (a) 闪电通道原图，(b) 自适应阈值的Canny算子，(c) 全局自适应阈值法，(d) 局部自适应阈值法 Fig 6. Lightning channel recognition of Example 1 (a) the original image of the lightning channel, (b) adaptive Canny operator method, (c) global adaptive threshold method, (d) local adaptive threshold method

图 7. 同图 6，但为闪电通道识别结果示例2 Fig 7. The same as in Fig. 6, but for Example 2

图 8. 同图 6，但为闪电通道识别结果示例3 Fig 8. The same as in Fig. 6, but for Example 3

从识别结果可以看出，对背景单一、通道结构较为简单的闪电通道, 选用全局自适应阈值法可以识别到较完整的闪电通道 (如图 6所示)。但由于闪电发生的瞬间相对亮度较亮，部分云体亮度受闪电通道亮度的影响也较亮，所以闪电起始之前的图像不一定包含有亮度较大的云块，即校准图像 (平均背景图像) 与闪电通道图像中像素对应的空间背景亮度信息不一致，采用背景差法不一定能够很好地去除较亮云体的影响，这种情况下全局自适应阈值法无法很好地从背景中识别出闪电通道。由于自适应阈值的Canny算子对图像低对比度部分的敏感性，容易受镜头上的雨水、云或地物等亮度较高的部分的影响，也有可能提取到除闪电通道之外的边缘信息，针对这类图像局部自适应阈值法能够得到较为满意的识别结果 (如图 8所示)。

对局部自适应阈值法的识别结果中非闪电通道的部分，如图 8d的下部所示，由于闪电数字图像中背景处亮度较大的地物与闪电通道相比，提取到的轮廓长度有很大差异，属于闪电通道之外的背景的边缘信息相对较少，通过查找轮廓并计算轮廓长度，设置一个阈值能够比较容易地去除大部分属于背景的轮廓。

图 9分别为对图 6~图 8中根据图像自身特点选择合适的方法提取到的闪电通道进行形态学和细化操作后的结果。其中图 6采用的方法为全局自适应阈值法，图 7采用自适应阈值的Canny算子，而图 8采用局部自适应阈值法，最终识别得到的闪电通道连续性好，且识别精度较高，与实际闪电通道保持了较好的一致性。

图 9. 闪电通道细化结果 (a) 细化结果示例1，(b) 细化结果示例2，(c) 细化结果示例3 Fig 9. Results of the morphological skeleton (a) Example 1, (b) Example 2, (c) Example 3

4 小结

阈值法是图像目标识别中最基本的方法，在此基础上逐渐发展了全局自适应阈值法、局部自适应阈值法以及自适应阈值的Canny算子等识别方法，这些算法在指纹识别及地基云自动检测等领域均获得了较好应用[21-22]。本文主要探讨了这3种方法在数字图像闪电通道识别中的应用情况，得到了以下主要结论：

1) 对结构简单、亮度较为均一的闪电通道，3种方法均可得到较好的识别效果。对这类图像选用全局自适应阈值法时间复杂度小、简单高效。

2) 闪电通道不仅在几何结构特征上千变万化，不同通道之间的亮度也有一定差异，采用一个全局阈值很难保证对所有图像均获得很好的识别精度。

3) 局部自适应阈值法可对不同闪电通道图像自适应计算阈值，有更好的通用性，通常可以避免识别出除闪电通道之外的轮廓，适用于有云或地物的情况，但对低对比度部分的通道识别能力弱于自适应阈值的Canny算子。

4) 自适应阈值的Canny算子更适用于不包含地物或亮度明显的云块、背景较为均一且闪电通道中低对比度的分叉部分较多的闪电通道图像。

因此，根据待处理的闪电通道图像的具体特点，选用合适的识别方法对闪电通道进行提取，能够获得更好的闪电通道识别效果。但本文只给出了几个闪电通道个例的识别结果，考虑到闪电放电是一种复杂现象，闪电通道的分叉多种多样，固定算法很难对所有的闪电图像获得理想的识别效果，进一步改进和提高识别方法在不同情况下的通用性，以提取更完整的闪电通道几何特征还需要更多的研究工作。

参考文献
[1] 王道洪, 郄秀书, 郭昌明. 雷电与人工引雷. 上海: 上海交通大学出版社, 2000: 1–12.
[2] 张义军, 周秀骥. 雷电研究的回顾和进展. 应用气象学报, 2006, 17, (6): 829–834. DOI:10.11898/1001-7313.20060619
[3] 刘欣生, 肖庆复. 人工引发雷电的静态摄影及特性分析. 高原气象, 1998, 17, (1): 106–110.
[4] 张义军, 孟青, 马明, 等. 闪电探测技术发展和资料应用. 应用气象学报, 2006, 17, (5): 611–620. DOI:10.11898/1001-7313.20060504
[5] 李俊, 张义军, 吕伟涛, 等. 一次多回击自然闪电的高速摄像观测. 应用气象学报, 2008, 19, (4): 401–411. DOI:10.11898/1001-7313.20080403
[6] 张义军, 吕伟涛, 郑栋, 等. 负地闪先导-回击过程的光学观测和分析. 高电压技术, 2008, 34, (10): 2022–2028.
[7] 王才伟, 刘欣生, 董万胜, 等. 人工触发闪电通道的发光特征. 高原气象, 1998, 17, (1): 10–23.
[8] 吕伟涛, 张义军, 周秀骥, 等. 火箭触发闪电通道的亮度特征分析. 气象学报, 2007, 65, (6): 983–993. DOI:10.11676/qxxb2007.093
[9] 孔祥贞, 郄秀书, 王才伟, 等. 首次回击具有双接地点的地闪光学和电学特征的个例分析. 高原气象, 2003, 22, (3): 259–266.
[10] Zhou Enwei, Lu Weitao, Zhang Yang, et al. Correlation analysis between the channel current and luminosity of initial continuous and continuing current processes in an artificially triggered lightning flash. Atmos Res, 2013, 129: 79–89.
[11] Lu Weitao, Zhang Yijun, Li Jun, et al. Optical observations on propagation characteristics of leaders in cloud-to-ground lightning flashes. Acta Meteor Sinica, 2008, 22, (1): 66–76.
[12] 周恩伟. 触发闪电放电过程的光电同步观测与分析. 北京: 中国科学技术大学, 2010.
[13] Otsu N. A threshold selection method from gray level histograms. IEEE Trans Systems, Man and Cybernetics, 1979, 9, (1): 62–66. DOI:10.1109/TSMC.1979.4310076
[14] 杨俊, 吕伟涛, 马颖, 等. 基于局部阈值插值的地基云自动检测方法. 气象学报, 2010, 68, (6): 1007–1017. DOI:10.11676/qxxb2010.095
[15] 梁光明, 孙即祥, 马琦, 等. Otsu算法在Canny算子中的应用. 国防科技大学学报, 2003, 25, (5): 36–39.
[16] 武斌, 张广庶, 王彦辉, 等. 双接地负地闪VHF辐射源放电通道和光学通道的对比分析. 高原气象, 2013, 32, (2): 519–527.
[17] 杨俊, 吕伟涛, 马颖, 等. 基于自适应阈值的地基云自动检测方法. 应用气象学报, 2009, 20, (6): 713–720. DOI:10.11898/1001-7313.20090609
[18] Canny J. A computational approach to edge detection. IEEE Trans Pattern Analysis and Machine Intelligence, 1986, 8, (6): 679–698.
[19] RafaelC G, RichardE W. 数字图像处理. (阮秋琪, 译). 上海: 电子工业出版社, 2007: 423–431.
[20] 杨威, 郭科, 魏义坤. 一种有效的基于八邻域查表的指纹图像细化算法. 四川理工学院学报, 2008, 21, (2): 61–62.
[21] 高太长, 刘磊, 赵世军, 等. 全天空测云技术现状及进展. 应用气象学报, 2010, 21, (1): 101–106. DOI:10.11898/1001-7313.20100114
[22] 朱彪, 杨俊, 吕伟涛, 等. 基于KNN的地基可见光云图分类方法. 应用气象学报, 2012, 23, (6): 722–727.