文章信息
- 丁永前, 邢智雄, 姜懿倬, 程浩明, 徐明皓
- DING Yongqian, XING Zhixiong, JIANG Yizhuo, CHENG Haoming, XU Minghao
- 光谱指数测量中窄带图像的光强自适应分割方法
- Light intensity self-adaption segmentation method of narrow-band image in measuring spectral index
- 南京农业大学学报, 2020, 43(3): 574-581
- Journal of Nanjing Agricultural University, 2020, 43(3): 574-581.
- http://dx.doi.org/10.7685/jnau.201908022
-
文章历史
- 收稿日期: 2019-08-11
由于作物冠层对特定波段的反射光谱与作物的生长信息和氮素含量等营养状况信息之间存在相关性[1], 国内外众多学者利用各种光谱指标来研究反射光谱与作物生长信息之间的定量关系[2-4], 据此建立的农作物营养状态检测模型可以及时监控农作物的生长发育状况, 为变量施肥决策系统的实施提供支持, 促进精准农业的应用和推广[5-6]。
早在1969年, Jordan发现近红外和红光反射比与作物的叶面积指数之间有着良好的相关性, 提出了最早的一种植被指数——比值植被指数(ratio vegetation index, RVI), 比值植被指数作为第1个可量化的指标被应用于作物生长信息的非接触式测量之中[7]。随后有学者提出了归一化植被指数(normalized difference vegetation index, NDVI), 用于检测植被的生长状态、植被覆盖度等信息[8]。
光谱诊断结果依赖于所建立的作物生长状况和反射光谱指数之间的定量关系模型, 近年来高光谱技术的应用大大促进了这种关系模型的建立[9]。但这种定量关系模型大都是在实验室稳定光源环境条件下得出, 其良好的诊断效果局限在叶面水平, 一旦应用到冠层水平, 其精度和准确度显著下降[10]。在作物生育早期, 土壤背景对冠层的反射光谱信号有非常大的影响[11-12]。因此, 即便有冠层水平的诊断模型, 由于冠层水平的定量关系是在全冠层状态下建立, 在作物生育早期或植被覆盖率不高的情况下也无法有效使用[13]。所以, 在田间实际使用时需要考虑消除土壤背景的影响[14]。目前, 商用化的主动光源式反射光谱仪均采用非图像处理方式, 无法消除土壤背景干扰, 采用图像处理的方式是解决以上问题的有效途径, 但如何有效提取冠层区域图像和消除外界光环境变化带来的影响, 是图像处理面临的2个关键问题。
NDVI的构建一般需要近红外和可见光2个窄带波段的反射光谱信息, 反射光谱信息可以从窄带光谱图像中提取, 但需要有效提取出窄带图像中对应的作物冠层区域, 因此, 如何有效分割出近红外和可见光窄带图像中的作物冠层区域是构建NDVI的首要问题。其次, 目前国内、外基于光谱图像信息处理的光谱仪大多依赖于结构光环境进行测量, 以构建稳定的测量环境, 这对实际田间应用十分不便。本文应用窄带图像自身的特征, 提出了在自然光环境条件下有效提取窄带图像中冠层信息的方法, 为构建NDVI等光谱指数提供基础数据。
1 材料与方法反射光谱仪测量波段的近红外波段几乎被作物冠层全反射, 而可见光波段则被冠层叶绿素强吸收, 土壤对这2个波段的吸收程度视土壤的实际情况有所不同。一般情况下, 近红外波段的窄带图像中的土壤背景和作物冠层之间存在强反差特性, 容易采用图像分割技术实现区域分割, 而可见光波段窄带图像的土壤和冠层之间界限模糊, 两者之间难以分割。本文拟采用近红外波段窄带图像容易分割的特性, 先实现其冠层区域的图像分割, 然后根据近红外图像的分割结果和测量装置的空间几何特征实现可见光窄带图像的冠层区域分割, 同时研究对光环境变化具有较好适应性的图像分割算法。
1.1 窄带图像分割原理图 1为检测装置的工作原理图, 检测装置含2个性能参数一致的相机, 在2个相机镜头上分别安装有不同中心波长的窄带滤光片, 以获取不同波段的窄带图像。2个相机安装时, 主光轴相互平行, 间距为a, 镜头平面平齐。根据安装特点, 将左侧相机沿着与主光轴垂直方向平移距离a后可与右侧相机重合。当测量高度到达或超过一定距离时, 2个相机所拍摄的图像形变差异可以通过旋转和平移等几何变换有效消除, 实际的旋转和平移量可以根据2个相机的几何校正参数加以确定。利用近红外窄带波段图像中作物冠层和土壤具有高反差的特性, 首先实现近红外图像中冠层和土壤的分割, 将近红外波段的图像进行几何变换, 推算出可见光窄带图像的冠层像素坐标, 从而实现可见光窄带图像的分割。
1.2 窄带图像冠层区域分割方法 1.2.1 窄带相机几何安装参数的标定标定窄带相机几何安装参数时采集不同高度下的标定板图像, 如图 2所示。图像采集要点如下:1)让标定板遍历整个图像区域; 2)让标定板左右旋转, 以便计算2个相机之间的变换矩阵; 3)2个相机镜头的焦距保持一致, 图像采集完以后使用Matlab R2016a相机标定工具箱进行角点检测, 并计算2个相机的内、外参矩阵[15]。
1.2.2 近红外窄带图像中作物冠层区域的分割方法对于近红外波段的图像, 其作物冠层和土壤具有高反差特性(图 3), 通过对几何变换后的近红外窄带图像进行二值化处理, 将处理得到的二值图与原灰度图对应坐标的像素点进行逻辑“与”操作即可分割出近红外窄带图像中的作物冠层区域。
1.2.3 可见光窄带图像中作物冠层区域的分割方法由于可见光波段图像的作物冠层和土壤的区别不明显(图 4), 故我们用近红外窄带图像的分割结果, 通过几何变换推算出可见光窄带图像中的作物冠层区域。首先, 利用1.2.1节中窄带相机几何安装参数标定的结果对近红外窄带图像进行旋转和平移变换, 变换公式如式(1)和式(2)所示。
(1) |
(2) |
式中:C为图像的坐标矩阵; x、y分别为图像的横、纵坐标; R和MT分别为标定得到的旋转矩阵和平移矩阵的转置。然后, 将变换后的图像进行二值化处理, 假设处理得到的二值图为L1(x, y), 将处理得到的二值图与可见光波段的灰度图像中对应坐标的像素点进行逻辑“与”操作即可分割出可见光波段窄带图像中的作物冠层区域, 如式(3)所示。
(3) |
式中:V(x, y)为可见光窄带图像灰度图; fg(x, y)为分割结果图。
1.3 自适应光环境的图像分割方法近红外窄带图像的作物冠层和土壤反差明显, 易于分割, 但常规分割方法中的分割阈值会随光照度的变化而变化, 光照度适应性差。在不同的光照度环境条件下, 图像的灰度值和光照度呈正相关关系, 该特性可用来设计一个稳定的归一化阈值来分割图像, 实现对光环境的自适应性。图 5是一幅近红外窄带图像的灰度直方图, 灰度值较小的波峰代表背景土壤部分, 灰度值较大的波峰代表叶面部分, 我们采用2个波峰间的波谷灰度值与该图像的最大灰度值之比(T)作为分割图像的归一化阈值, 该阈值在光照度变化时具有较高的稳定性, 利用该阈值可以有效避免检测装置对于结构光的依赖。
归一化阈值分割方法的系统框图如图 6所示。假设f(x, y)为输入的灰度图, g(x, y)为分割后的二值图, 设灰度直方图波谷点在f(x, y)中对应的坐标为(x1, y1), 则波谷点对应的灰度值如式(4)所示, 归一化阈值如式(5)所示。利用归一化阈值进行分割的结果如式(6)所示。
(4) |
(5) |
(6) |
式中:Gmax为窄带图像的最大灰度值; Gmin为波谷灰度值; T为归一化阈值。
1.4 试验装置 1.4.1 试验装置的硬件结构试验装置实物如图 7所示, 其主要功能模块为:1)主控模块:以2个stm32f767核心板作为主控芯片, 控制窄带相机的采集以及图像处理。2)窄带图像采集分析模块:搭载2个分别加装660和770 nm窄带滤光片的OV2640相机, 2个相机的镜头焦距均为12 mm, 2个镜头中心轴距为17 mm; 同时加装2块分辨率为480×800的TFTLCD屏显模块, 以实时显示和分析图像数据。3)数据存取模块:包含2块内存为32 GB的SD卡, 实时存储采集得到的窄带图像、光照度等原始数据及分析结果。4)光照度和时间监测模块:配备有1个量程为20×104 lx的光照度传感器、1个stm32f103最小系统以及1块OLED, 用于实现环境光照度的实时监测以及RTC时钟的读取和显示, 为线下的数据分析提供依据。
1.4.2 试验装置的软件结构试验装置软件结构的主要实现过程如图 8所示。各部分的具体实现方法为:1)图像去噪算法:由于农作物区域图像的噪声大多属于斑点噪声, 中值滤波能够在去除斑点噪声的同时较好地保存边缘特性[16], 故采用中值滤波对图像进行去噪处理。2)光强自适应图像分割算法:采用归一化阈值进行图像分割, 以自适应外界光环境的变化。3)图像编码方式:图像像素矩阵在单片机内存中以数组形式储存, 保存到SD卡时编码为8位256灰度的BMP位图。完成分割后得到的二值图采用1位深度的二值BMP编码格式, 即1个字节存储8个二值像素, 利于储存和发送。
2 结果与分析 2.1 试验过程 2.1.1 窄带相机几何参数标定采用标定板规格为7.2 cm×6 cm的棋盘格, 每个方格为1.2 cm×1.2 cm。以10 cm为拍摄高度调整间隔, 采集80~140 cm高度下的标定板图像, 按1.2.1节的图像采集方法, 每个高度采集20组图像。将每组图像的二值图中对应像素点进行逻辑“异或”操作计算几何变换前的重合率, 作为对照组。使用Matlab R2016a的立体相机标定工具箱StereoCalibration计算每组图像的旋转和平移矩阵, 根据标定结果将标定板进行几何变换, 变换后超出图像范围的像素点舍去, 将变换后的图像进行二值化并将每组二值图进行逻辑“异或”操作计算变换后的重合率。重合率的计算方式如下。
(7) |
(8) |
(9) |
式中:f(x, y)为2幅二值图的“异或”结果; l(x, y)和r(x, y)分别为左、右相机拍摄标定板的二值矩阵; N为不重合像素点数; X为重合率。
2.1.2 冠层图像的采集以绿萝冠层为试验测试对象, 绿萝植株高度约为25 cm, 近红外和可见光波段图像采集分别采用中心波长为770和660 nm的滤光片, 采集距离冠层顶部80~140 cm高度下的近红外和红光窄带图像, 高度调整间隔为10 cm, 每个高度采集5组不同区域的图像。同时, 为了便于分析660 nm波段图像的分割准确率, 将右侧相机的660 nm窄带滤光片换成770 nm窄带滤光片以后重复采集80~140 cm高度下绿萝冠层的窄带图像, 每个高度采集5幅图像。
2.1.3 光适应性测试试验图像采集将试验装置固定在120 cm的高度下, 设定其自动采集光照度为10 000~26 000 lx时50幅绿萝冠层同一区域的近红外窄带图像, 利用Matlab R2016a计算每幅近红外窄带图像的归一化阈值, 并利用最大类间方差算法[17]计算其非归一化阈值, 作为对照组。
2.2 试验结果 2.2.1 标定板图像几何变换结果通过标定, 可以得到每个高度的旋转矩阵和平移矩阵, 旋转矩阵大小为3×3, 平移矩阵大小为1×3。7个高度的旋转矩阵中对应元素的均值和标准差如表 1所示, 参数序号1~9分别对应3×3旋转矩阵中自上而下、自左而右的每一个元素, 由每个参数的均值可知每个高度的旋转矩阵均约等于单位阵[1 0 0;0 1 0;0 0 1], 由每个参数的标准差可知随着高度的增加旋转矩阵各参数的值基本稳定不变。由于图像是二维的, 故取平移矩阵的前2个参数, 即x轴和y轴方向(由相机的安装位置可知y轴方向为2个相机水平平齐方向, x轴方向为y轴方向的垂直方向)的偏移量来进行几何变换, x轴和y轴方向的偏移量和拍摄高度的拟合关系分别如图 9和图 10所示, 可知x轴方向偏移量和拍摄高度呈负相关关系, y轴方向偏移量基本稳定, 不随拍摄高度变化。
参数序号Parameter number | |||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | |
均值Mean | 0.999 4 | -0.007 1 | 0.017 2 | 0.006 6 | 0.983 0 | -0.011 5 | -0.016 7 | 0.011 6 | 0.982 5 |
标准差Standard deviation | 0.000 6 | 0.004 4 | 0.025 9 | 0.005 1 | 0.029 7 | 0.168 5 | 0.026 1 | 0.168 5 | 0.029 5 |
利用2.1.1节的方法计算每个高度的20组标定板图像几何变换前、后重合率的均值和标准差。由表 2可知:几何变换前的平均重合率与高度正相关, 且标准差均值为1.65%;几何变换后的平均重合率均在99.86%以上, 且标准差均值为0.011%。由此可见, 通过几何变换能够有效提高左、右图像的重合率, 这为利用近红外图像的分割结果实现可见光图像的分割提供了事实依据。
高度/cm Height |
变换前Before transformation | 变换后After transformation | |||
均值/% Mean | 标准差/% Standard deviation | 均值/% Mean | 标准差/% Standard deviation | ||
80 | 69.35 | 3.32 | 99.86 | 0.014 | |
90 | 74.84 | 2.14 | 99.87 | 0.015 | |
100 | 81.35 | 1.10 | 99.88 | 0.014 | |
110 | 85.11 | 0.97 | 99.89 | 0.008 | |
120 | 88.22 | 0.76 | 99.88 | 0.009 | |
130 | 90.24 | 0.94 | 99.88 | 0.013 | |
140 | 91.17 | 2.35 | 99.89 | 0.006 |
首先, 将绿萝冠层的770 nm波段(近红外)窄带图像的灰度图按照2.2.1节窄带相机几何标定的结果进行旋转和平移变换, 变换后不在原图范围内的像素点舍去, 同时将660 nm波段(红光)窄带图像中对应的像素点也舍去; 然后将几何变换后的近红外窄带灰度图进行二值化处理, 如图 11所示; 最后利用其二值图对红光窄带图像进行分割, 分割效果如图 12所示。
对于左、右相机均加装近红外窄带滤光片所采集的窄带图像, 分别计算几何变换前、后的分割准确率。每个高度5组图像分割准确率的均值和标准差如表 3所示, 可见几何变换后的分割准确率均在99%以上。同时几何变换前、后分割准确率的标准差均值分别为2.74%和0.24%, 说明在一定高度范围内的图像分割效果基本稳定。
高度/cm Height |
变换前Before transformation | 变换后After transformation | |||
均值/% Mean | 标准差/% Standard deviation | 均值/% Mean | 标准差/% Standard deviation | ||
80 | 82.72 | 4.24 | 99.37 | 0.63 | |
90 | 82.97 | 3.46 | 99.52 | 0.40 | |
100 | 84.30 | 2.00 | 99.75 | 0.05 | |
110 | 85.29 | 2.00 | 99.72 | 0.08 | |
120 | 85.03 | 2.00 | 99.71 | 0.09 | |
130 | 82.27 | 2.83 | 99.55 | 0.20 | |
140 | 84.64 | 2.65 | 99.64 | 0.20 |
由最大类间方差法计算得到的50幅绿萝冠层近红外窄带图像的非归一化阈值与光照度的拟合关系如图 13所示, 其相关系数(R2)为0.586 6;而其归一化阈值随光照度的变化情况如图 14所示, 其相关系数(R2)为0.091 6, 远小于非归一化阈值的相关系数, 故归一化阈值(T)在外界光照度变化时基本稳定不变, 即与外界光照度没有相关性。
3 结论本文基于自主设计制作的测量装置, 对NDVI等光谱指数构建中窄带图像的有效分割方法及其对自然光环境的适应性进行了研究, 提出了一种具有光强自适应性的窄带图像分割方法, 并开展了相关试验测试。结果表明:根据窄带相机的几何参数标定结果, 通过旋转和平移几何变换, 能够实现左、右相机所拍摄窄带图像的高度重合, 7个不同高度标定后的平均重合率均在99.86%以上, 且重合率的标准差均小于0.015%。近红外窄带图像由于土壤和冠层之间的高反差特征, 易于实现图像区域分割, 结合近红外图像的分割结果, 可以实现可见光波段窄带图像的有效分割, 对于本文的试验对象, 在80~140 cm高度内分割准确率均能达到99%。但是, 如果冠层高度不同, 分割准确率会存在差异, 其原因是不同高度的对象, 左、右图像达到重合时的平移量是不同的; 通过光照度10 000~26 000 lx环境下50幅绿萝冠层近红外窄带图像的归一化阈值与光照度的相关系数为0.091 6, 而其非归一化阈值与光照度的相关系数为0.586 6, 可见基于归一化阈值的分割方法对光环境的变化具有很强的适应性和稳定性, 能够克服目前光谱指数检测装置对结构光的依赖性。测试结果总体表明, 本文提出的窄带图像分割方法简单有效且基本稳定, 能为构建消除土壤背景干扰的NDVI等光谱指数提供基础数据。
[1] |
倪军, 姚霞, 田永超, 等. 便携式作物生长监测诊断仪的设计与试验[J]. 农业工程学报, 2013, 29(6): 150-156. Ni J, Yao X, Tian Y C, et al. Design and experiments of portable apparatus for plant growth monitoring and diagnosis[J]. Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(6): 150-156 (in Chinese with English abstract). |
[2] |
丁永前, 朱艳, 李杨, 等. 基于主动光源的作物冠层反射光谱测量方法[J]. 农业机械学报, 2013, 44(12): 209-214. Ding Y Q, Zhu Y, Li Y, et al. A method for measuring reflection spectrum of crop canopy based on active light source[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(12): 209-214 (in Chinese with English abstract). |
[3] |
杨建宁, 张井超, 朱艳, 等. 便携式作物生长监测诊断仪的性能试验[J]. 农业机械学报, 2013, 44(4): 208-212, 201. Yang J N, Zhang J C, Zhu Y, et al. Experiments on performance of portable plant growth monitoring diagnostic instrument[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(4): 208-212, 201 (in Chinese with English abstract). |
[4] |
卢少林, 倪军, 曹卫星, 等. 基于主动光源的作物生长信息监测仪的设计与试验[J]. 农业工程学报, 2014, 30(23): 199-206. Lu S L, Ni J, Cao W X, et al. Design and experiment for crop growth information monitoring instrument based on active light source[J]. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(23): 199-206 (in Chinese with English abstract). |
[5] |
丁永前, 李杨, 谭星祥, 等. 冠层反射光谱测量中主动光源光谱稳定性控制[J]. 农业机械学报, 2014, 45(6): 284-290. Ding Y Q, Li Y, Tan X X, et al. Control stability of active light source spectra during measuring reflectance of canopy[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(6): 284-290 (in Chinese with English abstract). |
[6] |
李杨.主动光源式反射光谱测量仪检控电路的设计与性能测试[D].南京: 南京农业大学, 2015: 12-14. Li Y. Design and performance test of detection and control circuit for reflectance spectroscopy measuring instrument based on active light source[D]. Nanjing: Nanjing Agricultural University, 2015: 12-14(in Chinese with English abstract). http://cdmd.cnki.com.cn/Article/CDMD-10307-1017042316.htm |
[7] |
Jordan C F. Derivation of leaf area index from quality of light on the forest floor[J]. Ecology, 1969, 50: 663-666. DOI:10.2307/1936256 |
[8] |
Huete A R. A soil-adjusted vegetation index(SAVI)[J]. Remote Sensing of Environment, 1988, 25(3): 295-309. DOI:10.1016/0034-4257(88)90106-X |
[9] |
Gitelson A A, Gritz Y, Merzlyak M N. Relationships between leaf chlorophyll content and spectral reflectance and algorithms for non-destructive chlorophyll assessment in higher plant leaves[J]. Journal of Plant Physiology, 2003, 160(3): 271-282. |
[10] |
Asner G P, Martin R E. Spectral and chemical analysis of tropical forests:scaling from leaf to canopy levels[J]. Remote Sensing of Environment, 2008, 112(10): 3958-3970. DOI:10.1016/j.rse.2008.07.003 |
[11] |
Haboudane D, Miller J R, Tremblay N, et al. Integrated narrow-band vegetation indices for prediction of crop chlorophyll content for application to precision agriculture[J]. Remote Sensing of Environment, 2002, 81(2/3): 416-426. |
[12] |
Zarco-Tejada P J, Berjón A, López-Lozano R, et al. Assessing vineyard condition with hyperspectral indices:leaf and canopy reflectance simulation in a row-structured discontinuous canopy[J]. Remote Sensing of Environment, 2005, 99(3): 271-287. DOI:10.1016/j.rse.2005.09.002 |
[13] |
Yu K, Lenz-Wiedemann V, Chen X P, et al. Estimating leaf chlorophyll of barley at different growth stages using spectral indices to reduce soil background and canopy structure effects[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 97: 58-77. DOI:10.1016/j.isprsjprs.2014.08.005 |
[14] |
Daughtry C S T, Walthall C L, Kim M S, et al. Estimating corn leaf chlorophyll concentration from leaf and canopy reflectance[J]. Remote Sensing of Environment, 2000, 74(2): 229-239. |
[15] |
方博文, 张晓东, 陈敬义, 等. 基于双目视觉的行车中障碍距离检测方法研究[J]. 机械设计与制造, 2019(4): 94-98. Fang B W, Zhang X D, Chen J Y, et al. Research on detecting method of obstacle distance in driving based on binocular vision[J]. Machinery Design & Manufacture, 2019(4): 94-98 (in Chinese with English abstract). |
[16] |
Govindaraj V, Sengottaiyan G. Survey of image denoising using different filters[J]. International Journal of Science, Engineering and Technology Research, 2013, 2(2): 344-351. |
[17] |
Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62-66. DOI:10.1109/TSMC.1979.4310076 |