2015, Vol. 51
文章信息
- 丁小康, 闫磊, 孔建磊, 刘晋浩
- Ding Xiaokang, Yan Lei, Kong Jianlei, Liu Jinhao
- 基于二维激光与图像的人工林采育目标检测方法
- A Target Detection Method for Artifical Harvesting Based on 2D Laser and Images
- 林业科学, 2015, 51(7): 129-135
- Scientia Silvae Sinicae, 2015, 51(7): 129-135.
- DOI: 10.11707/j.1001-7488.20150714
-
文章历史
- 收稿日期：2014-07-16
- 修回日期：2014-10-28
-
作者相关文章
据2014年第8次全国森林资源清查结果显示,我国现有森林面积2.08亿 hm2,森林覆盖率达21.63%,人工林保存面积0.69亿hm2,居世界前列,预计到2020年,我国森林面积将再增加4 000万hm2。随着我国林地面积的不断增加,必须加快林业产业的发展,建立发达的林业产业体系。森林采伐是林业产业的一部分,目前,我国现有的林业机械,大多功能单一,只能完成单项的林业作业,大多数地区仍然使用油锯进行伐木,使用拖拉机进行集材,有些地区甚至还采用牲畜集材。这种落后的人工抚育和采伐技术已远远满足不了林业生产需要,严重制约了我国林业产业的发展(刘晋浩等,2006)。
为满足我国林业产业快速发展的需要,作者所在课题组成功研制了国内首台联合伐木机,集伐木、打枝、造材、归装等多功能于一体,能够完成人工林采伐的全部作业过程,作业效率可达人工采伐生产的80倍以上。但由于林地环境复杂及障碍物的影响,造成连续采伐作业间断,并增加了操作员的危险性,降低了作业效率,因此,准确识别采育目标并获取其方位信息十分重要。
在林业装备的智能检测系统研究方面,国外取得了较显著的成果：芬兰庞赛公司生产的联合采伐机,通过激光测距仪及角度传感器等信息融合得到了立木的精确测量数据,提高了工作效率；美国约翰迪尔公司生产的多个型号联合采伐机装配测量和控制系统,在作业过程中,可通过三维激光扫描测距系统自动测量立木的胸径、高度等数据并实时反馈；芬兰赫尔辛基理工大学在联合采伐机的伐木头上安装了2部3D激光测距仪,采用非接触测量的方法,融合惯性测量系统的数据,自动获取立木信息,提高了联合采伐机的采伐和造材作业时的效率以及智能化水平(Jutila et al., 2007；Miettinen et al., 2007；Ohman et al., 2007)。
在林区的立木检测算法方面,国外也开展了许多工作：Pfeifer等(2004)利用三维激光系统实现了单个树木的三维模型重建,从而可获取树木参数信息；Hopkinson等(2004)采用地面激光测量系统获取了立木的位置、高度、立木间距密度等数据；Thies等(2004)采用地面激光测量系统对树木胸径、树高和倾斜度等参数进行了估测,并进行了试验验证；Simonse等(2003)利用霍夫变换和圆拟合提出了一种基于数字地面模型的树干自动检测方法；在此基础上,Aschoff等(2004)加入了椭圆拟合算法来检测树干,并用线性回归法对检测结果进行了验证；Király等(2007)提出了一种聚类算法和所谓的“新月”算法来测量树木的高度。
在国内,吴春峰等(2009)采用三维激光扫描系统对立木进行扫描,得出胸径、树高等数据,从而得出立木材积,试验结果表明激光扫描获得的立木材积数据可以替代传统方法测算的立木材积数据,在森林资源调查中可大大提高工作效率；罗旭等(2007)、韩光瞬等(2005)利用三维激光扫描系统对立木进行扫描,通过对点云数据进行分析,获取了立木高度、胸径、树冠体积、表面积等测树因子,与伐倒木后的实测数据比较表明,此方法可以满足森林资源调查的精度要求；王典等(2011)进行了基于二维激光扫描的林木联合采育机作业环境测量,提出了最小二乘法拟合活立木直径的策略,并通过系统聚类的方法对作业林木间大型障碍物进行了区分识别。
综上可以看出,虽然国内已经使用激光扫描系统来测量树木,但多传感器信息融合技术尚没有在联合伐木机的障碍物识别中应用。因此本文将多传感器信息融合技术引入到林木联合采伐装备中,基于二维激光测距仪和红外热像仪对目标进行信息采集,用二维激光测距仪获取障碍物位置数据,利用可见光图像提取图像中的颜色和区域特征,并将红外图像与可见光图像进行融合得到物体反射特性,有效对采育目标进行识别与定位,以提高作业效率,降低操作风险。
1 基于激光与图像的信息采集系统本研究中,采用SICK LMS291二维激光扫描仪和FLUKE Ti55 红外热像仪搭建信息采集系统,如图 1所示。2种传感器设置在同一平面上,以便于数据标定,并安装在三脚架上来调整位置和角度,同时连接至上位机进行数据采集控制。采集到的激光和图像数据如图 2所示,其中,二维激光测距仪用来获取障碍物位置数据,可见光图像用来提取图像中的颜色和区域特征,红外图像则可以得到物体的温度特性。
 |
图 1 基于激光和图像的信息采集系统 Fig. 1 Information collection system based on laser and image |
 |
图 2 信息采集系统采集到的图像与激光数据 Fig. 2 Images and laser data captured by information collection system |
基于相机和激光的测量系统,其标定过程分为2部分：单传感器标定和多传感器联合标定。
2.1 红外热像仪内部参数标定图 3所示为红外照相机的针孔成像模型。任意选取空间点Pw,其在世界坐标系的值为(Xw,Yw,Zw),p(u,v)是Pw在像平面坐标系的投影点,其相机坐标系的值为(Xm,Ym,Zm)。相机坐标系Zc轴与像平面垂直,且相机坐标系与像平面XO2Y平行,f为相机的焦距。通过坐标归一化,可得相机坐标系到像素坐标系的转化关系(Bouguet,2013)如下：
| $\left[ \begin{gathered} u \hfill \\ v \hfill \\ 1 \hfill \\ \end{gathered} \right] = k \cdot K \cdot \left[ \begin{gathered} {X_c}/{Z_c} \hfill \\ {Y_c}/{Z_c} \hfill \\ {\text{ }}1 \hfill \\ \end{gathered} \right] = \left( {k/{Z_c}} \right)\left( \begin{gathered} {f_u}{\text{ }}s{\text{ }}{u_{0{\text{ }}}}{\text{ }}0 \hfill \\ 0{\text{ }}{f_v}{\text{ }}{v_0}{\text{ }}0 \hfill \\ 0{\text{ }}0{\text{ }}1{\text{ }}0 \hfill \\ \end{gathered} \right)\left[ \begin{gathered} {X_c} \hfill \\ {Y_c} \hfill \\ {Z_c} \hfill \\ 1 \hfill \\ \end{gathered} \right]$ | (1) |
 |
图 3 单目相机的针孔成像模型 Fig. 3 Pinhole imaging model of monocular camera |
本试验的相机视场角很小,畸变不明显,因此畸变系数设置为s=0,只需求解内部参数K,fu,fv,u0和v0。在Matlab相机标定工具工作环境中,自行设计黑白标定板,运用张氏标定法,摆放不同位置,获取相机内部参数的求解：
| $K=\left[ \begin{align} & 5983.82\text{ 0 1310}\text{.5} \\ & 0\text{ }594.61\text{ }859.4 \\ & 0\text{ }0\text{ }1 \\ \end{align} \right]\text{ }$ | (2) |
图 4所示为激光与图像外部联合标定的坐标系转换关系。假设空间中一点Pw在激光雷达坐标系下的坐标为Pl=[Xl,Yl,Zl],经过坐标系的旋转和平移后得到该点在摄像机坐标系下的坐标为Pc=[Xc,Yc,Zc]。激光扫描仪获取的激光数据具有真实的空间信息,因此通过3×3的空间旋转矩阵Φ和3×1的平移矩阵Δ,可得相机坐标系和激光坐标系的转换关系(Bouguet,2013)如下：
| ${{P}_{c}}=\Phi {{P}_{1}}+\Delta $ | (3) |
 |
图 4 外部参数联合标定原理 Fig. 4 Joint calibration principle for external parameters |
展开可得：
| $\left[ \begin{gathered} {X_c} \hfill \\ {Y_c} \hfill \\ {Z_c} \hfill \\ 1 \hfill \\ \end{gathered} \right] = \left[ \begin{gathered} {\varphi _1}{\varphi _2}{\varphi _3}{\Delta _1} \hfill \\ {\varphi _4}{\varphi _5}{\varphi _6}{\Delta _2} \hfill \\ {\varphi _7}{\varphi _8}{\varphi _9}{\Delta _3} \hfill \\ 0{\text{ }}0{\text{ }}0{\text{ }}1 \hfill \\ \end{gathered} \right] \cdot \left[ \begin{gathered} {X_1} \hfill \\ {Y_1} \hfill \\ {Z_1} \hfill \\ 1 \hfill \\ \end{gathered} \right]$ | (4) |
由式(4)可知,坐标系间的旋转矩阵和平移矩阵转化为求解上式矩阵中12个未知数的问题,通过选取已知点,得到求解上式的超定方程组,通过求解可得到旋转矩阵和平移矩阵的解如下：
| $\Phi =\left[ \begin{align} & 0.8708\text{ }0.0409\text{ }1.0000 \\ & 0.0044\text{ }-0.0413\text{ 2}\text{.0000} \\ & \text{-0}\text{.0000 }-0.0000\text{ }3.0000 \\ \end{align} \right]$ | (5) |
| $\Delta ={{\left[ -150.976\text{ }5,214.363\text{ }6,2920 \right]}^{\text{T}}}$ | (6) |
将计算出的结果代入式(3),得到激光与图像的标定结果如图 5所示。
 |
图 5 激光与图像标定结果 Fig. 5 Calibration result for laser points and image |
信息采集系统的高度基本为胸径位置,图 5中树木位于斜坡上,采集系统平行于斜坡对目标进行测量,因此使得激光标定点位置偏高；但数据点仍集中在树干部位,不影响检测结果。
3 图像融合与特征提取 3.1 可见光图像与红外图像融合本文中采用的红外热像仪可以同时采集可见光图像和红外图像。单用一种图像会受到环境条件的限制,当光线条件差或者有障碍遮挡时,红外图像可以有效检测目标；当温差不明显时,可见光图像可以更好地检测目标。因此,将二者进行图像融合,可以避免单一传感器信息的不准确性,取长补短,使图像信息更加丰富。
本文利用“轮廓波”变换来进行像素级的图像融合。“轮廓波”变换是Do等(2002)提出来的,它可以将图像进行多尺度、多方向分解,在细微的方向轮廓和线条表达方面具有独特的优势。图 2中可见光图像和红外图像的融合结果如图 6所示。
 |
图 6 图像融合结果 Fig. 6 Image fusion result |
基于上述工作基础,对目标进行特征提取。特征的选择要具有代表性,能够对目标进行描述并代表其特性。本文根据信息数据以及目标特点,选择了温度、颜色和形状特征3个方面。
温度特征是根据红外温度对照表,计算目标区域内平均温度得出；颜色特征由RGB表示,也是通过计算区域内的平均RGB获得；形状特征包括宽高比和矩形度,宽高比是目标区域最大宽度和最大高度的比值,矩形度是目标区域面积与其最小外接矩形面积的比值,这2项形状特征都可有效地表达树木的特性。
基于以上提取的特征,每一个目标样本对应一个6维的特征向量,作为目标识别算法的输入。
4 采育目标识别模型的选择支持向量机(SVM)最早是由Vapnik(1995)提出的,是一种新的机器学习算法,其主要思想是将线性不可分的问题通过映射到高维空间转换为线性可分问题。与其他模式识别算法相比,SVM计算复杂度低且具有更好的泛化能力,因此本文选取SVM模型对采育目标进行识别。
SVM模型主要是通过样本训练学习来求解分类最优平面,只考虑离平面最近的点。广义的最优平面求解问题可转化为求下列函数的最小值(Vapnik,1995)：
| $\phi \left( w,\xi \right)=\frac{1}{2}\left( w\cdot w \right)+C\left( \sum\limits_{i=1}^{n}{{{\xi }_{i}}} \right)$ | (7) |
当样本数据线性不可分时,需要引入核函数Ψ(xi,x),将样本向量映射到高维空间,变成高维空间中线性可分。引入核函数的目标函数可表示如下：
| $f\left( x \right) = \operatorname{sgn} \left[ {\sum\limits_{i = 1}^m {{\alpha _i}{y_i}\psi \left( {{x_i},x} \right) + b} } \right]$ | (8) |
常用的核函数有线性函数、多项式函数、径向基函数等,其中最为广泛使用的是径向基函数,其参数复杂性较低,并能够实现非线性映射,因此,本文采用径向基函数作为核函数：
| $\psi \left( x,y \right)=\exp \left( -\frac{{{\left\| x-y \right\|}^{2}}}{2{{\sigma }^{2}}} \right)$ | (9) |
SVM模型的分类性能取决于误差惩罚参数C和内核参数σ,2个参数各自的取值大小会对分类器性能造成相反的影响,因此,需要找到平衡点,使得2个参数的取值能够得到最优的分类结果。本文采用3种不同的参数优化算法：网格搜索法(GS)(Liu et al., 2010)、粒子群优化(PSO)(Eberhart et al., 1995)和遗传算法(GA)(Chen et al., 2004)对C和σ的取值进行优化,计算得到2个参数最佳的取值。
4.1 网格搜索法网格搜索法是一种统计分析算法,其基本实现过程为：
1)首先对C和σ给定取值范围,在该范围内将C和σ的取值进行网格划分；
2)然后遍历每一个网格的取值,计算每个网格取值时分类器的分类结果；
3)最后选出分类结果最优时所对应的C和σ取值,作为其最优解。
4.2 粒子群优化粒子群算法是一种基于群体智能的启发式全局搜索算法,其基本原理是在一个复杂的搜索空间中,通过粒子群间的竞争与合作来实现全局最优搜索。其实现过程为：
1)在某一范围内初始化C和σ的取值,形成一组粒子群,并设定其每个粒子的位置和速度；
2)计算每一组取值下分类器的分类结果,将其与当前的个体极值和全局极值进行对比并更新；
3)同时更新当前粒子的位置和速度；
4)当误差小于设定值或者满足迭代次数时,停止计算并输出结果,否则返回步骤2。
4.3 遗传算法遗传算法是一种模仿生物进化的优化算法,其实现过程为：
1)在某一范围内初始化C和σ的取值,形成第一代个体,并设定其选择概率、交叉概率和变异概率；
2)计算每个个体取值下分类器的分类结果；
3)通过选择因子、交叉因子和变异因子完成生物进化过程,生成下一代个体；
4)当满足进化代数时停止计算并输出结果,否则返回步骤2。
5 结果与分析本研究的数据采集地点在北京奥林匹克森林公园,公园模拟北京当地乡土生态环境及植物自然群落的组合规律。奥林匹克森林公园现有绿化面积478 hm2,乔灌木55万余株,植物品种280余个,绿化覆盖率95.61%。试验中,信息采集系统对采育目标采集数据的高度基本固定在胸径位置,并且平行于地面,数据分析主要集中在树干位置,因此不受林地坡度以及林下大量灌草植被的影响。另外,本研究中只对图像中激光标定的区域进行目标识别,即只考虑激光扫描到的最前端的目标,因此也基本不受复杂背景林地的影响。基于激光与图像的信息采集系统是安装在林业装备上的,受复杂林地条件影响的是林业装备,安装有该系统的林业装备能适用的林地,该系统就能适用。
本研究中,针对不同树种共采集了400组采育目标样本,经过激光和图像预处理后,提取了包括温度、颜色、宽高比、矩形度等样本特征。样本数据中,随机选取300个作为训练样本集,其余100个作为测试样本。
采用3种优化算法对向量机参数进行了优化,包括网格搜索法(GS)、粒子群优化算法(PSO)和遗传算法(GA),另外还选取了模型默认值作为对照组,优化结果如表 1所示。
|
从表 1可以看出,不同优化算法优化后的C和σ取值结果有很大不同。其中,默认参数C=2,σ=0.5作为参考对比。显然,经过优化后的SVM模型具有更好的识别正确率,可以达到90％以上。其中经过遗传算法优化后的SVM模型具有最高的识别正确率,达到了96.7％。图 7是通过ROC曲线来显示不同优化算法下SVM模型的分类性能。
 |
图 7 不同优化算法下SVM模型的ROC曲线 Fig. 7 ROC curves of SVM models with different optimization algorithms |
图 7中,纵坐标TPR表示正类样本分类正确率,横坐标FPR表示有多少负类样本被错误判断成为了正类样本。图 7形象地说明了每个模型的性能,越接近左上角的ROC曲线具有越高的识别精度,其分类性能越好。
选取优化后性能最好的SVM模型对本研究采集的400组数据进行训练和测试,其结果如图 8所示。
 |
图 8 采育目标识别结果 Fig. 8 Identification result for harvesting targets |
从图 8可以看出,被正确检测到的采育目标由矩形框出来显示在可见光图像中,并按照从左到右的顺序由数字序号标示出来,每个目标所对应的位置信息也同时被显示出来,便于操作者进行下一步操作。
6 结论与讨论本文提出了一种基于多传感器融合的采育目标识别方法。首先,基于二维激光测距仪和红外热像仪搭建了信息采集系统,其中激光可获取采育目标的方位信息,可见光图像可获取的颜色和区域特征,红外图像可获取物体的温度特性；然后将激光与图像进行标定,获取图像中的目标区域；同时,将可见光图像与红外图像进行融合,融合后的图像信息更丰富,并减少了由单一传感器所引起的不确定性,起到互补的作用；之后在目标区域内对采育目标进行特征提取,包括温度、颜色和形状特征等,为目标识别提供具体依据；最后,在获得采育目标特征的基础上,运用当前流行的机器学习算法——支持向量机,通过大量样本训练和学习,建立特征参数与采育目标的数学模型,并对其参数进行优化,提高识别性能。结果显示,本文中采用的优化后的模型识别正确率能够达到96%以上,具有较好的识别效果。
本文将多传感器融合技术引入到林业智能装备中,取代常用的昂贵的三维激光扫描系统,采用二维激光与图像结合的方式,一方面节省了成本,另一方面,相对于庞大的三维激光数据,本研究中的数据复杂度较低,处理速度更快；同时,多传感器之间的互补作用,使得对目标的测量和识别更为准确,为采育目标的实时识别提供理论基础。本研究中采用的方法能够为林业装备林间作业提供所需的信息,提高作业效率,降低操作风险。
| [1] |
韩光瞬, 冯仲科, 刘永霞, 等. 2005.三维激光扫描系统测树原理及精度分析. 北京林业大学学报, 27(S2): 187-190. (Han G S, Feng Z K, Liu Y X, et al. 2005. Forest measurement principles and precision analysis of three-dimensional laser scanning system. Journal of Beijing Forestry University, 27(S2): 187-190[in Chinese]).(  1)
|
| [2] |
刘晋浩, 王丹. 2006. 谈国内外人工林抚育机械的现状及发展趋势. 森林工程,22(3):12-14. (Liu J H, Wang D. 2006.The actuality and development trend of plantation tending machines at home and abroad. Forest Engineering, 22(3):12-14[in Chinese]).( 1)
|
| [3] |
罗旭, 冯仲科,邓向瑞,等. 2007. 三维激光扫描成像系统在森林计测中的应用. 北京林业大学学报, 29(S2): 82-87. (Luo X, Feng Z K, Deng X R, et al. 2007. Application of 3D laser scanning imaging system in forest measuring. Journal of Beijing Forestry University, 29(S2): 82-87[in Chinese]).( 1)
|
| [4] |
王典, 刘晋浩, 王建利. 2011. 基于系统聚类的林地内采育目标识别与分类. 农业工程学报, 27(12): 173-177. (Wang D, Liu J H, Wang J L. 2011. Identification and classification of scanned target in forest based on hierarchical cluster. Transactions of the Chinese Society of Agricultural Engineering, 27(12): 173-177[in Chinese]).( 1)
|
| [5] |
吴春峰, 陆怀民. 2009. 基于激光扫描的立木材积测定关键技术研究. 哈尔滨: 东北林业大学硕士学位论文. (Wu C F, Lu H M. 2009.Research of measuring standing volume based on laser scanning system. Harbin: MS thesis of Northeast Forestry University[in Chinese]).( 1)
|
| [6] |
Aschoff T,Spiecker H. 2004.Algorithms for the automatic detection of trees in laser scanner data. International Archives of Photogrammetry, Remote Sensing and Spatial Information Science, 36(8):71-75.(1)
|
| [7] |
Aschoff T, Thies M, Spiecker H. 2004.Describing forest stands using terrestriallaser-scanning. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 35(5): 237-241.(1)
|
| [8] |
Bouguet J Y.2013. Camera calibration toolbox for matlab. http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/parameters.html.(2)
|
| [9] |
Chen P W, Wang J Y, Lee H. Model selection of SVMs using GA approach. Proc of 2004 IEEE Int Joint Conf on Neural Networks, 2035-2040.(1)
|
| [10] |
Do M N, Vetterli M.2002.Contourlets: a directional multi-resolution image representation. Proceedings 2002 International Conference on Image processing, 357-360.(1)
|
| [11] |
Eberhart R, Kenney J. 1995.A new optimizer using particle swarm theory. Proc of the Sixth International Symposium on Micro Machine and Human Science, 39-43.(1)
|
| [12] |
Hopkinson C, Chasmer L,Young-Pow C,et al. 2004.Assessing forest metrics with a ground-based scanning lidar. Canadian Journal of Forest Research,34(3):573-583.(1)
|
| [13] |
Jutila J, Kannas K, Visala A.2007. Tree measurement in forest by 2D laser scanning. International Symposium on Computational Intelligence in Robotics and Automation, 491-496.(1)
|
| [14] |
Király G, Brolly G. 2007.Tree height estimation methods for terrestrial laser scanning in a forest reserve. ISPRS Workshop on Laser Scanning 2007 and Silvi Laser 2007,36(3):211-215.(1)
|
| [15] | Király G, Brolly G. 2008.Modelling single trees from terrestrial laser scanning data in a forest reserve. The Photogrammetric Journal of Finland, 21(1):37-50. |
| [16] |
Liu X L, Jia D X, Li H. 2010.Research on Kernel parameter optimization of support vector machine in speaker recognition. Science Technology and Engineering, 10(7): 1669-1673.(1)
|
| [17] |
Miettinen M, Ohman M, Visala A, et al. 2007. Simultaneous localization and mapping for forest harvesters. IEEE International Conference on Robotics and Automation, 517-522.(1)
|
| [18] |
Ohman M, Miettinen M, Kannas K, et al.2007. Tree measurement and simultaneous localization and mapping system for forest harvesters. The 6th International Conference on Field and Service Robotics, 369-378.(1)
|
| [19] |
Pfeifer N, Gorte B, Winterhalder D.2004. Automatic reconstruction of single trees from terrestrial laser scanner data. ISPRS XXth Congress, 114-119.(1)
|
| [20] |
Simonse M, Aschoff T, Spiecker H, et al.2003.Automatic determination of forest inventory parameters using terrestrial laser scanning. Institute for Forest Growth, Freiburg, Germany, 1-7.(1)
|
| [21] |
Thies M, Pfeifer N, Winterhalder D, et al.2004.Three-dimensional reconstruction of stems for assessment of taper, sweep and lean based on laser scanning of standing trees. Journal of Forest Research, 19(6): 571-581.(1)
|
| [22] |
Vapnik V.1995.The nature of statistical learning theory.New York: Springer.(2)
|