数字图像处理技术在国内外农业信息化领域应用日益广泛, 图像分割作为图像处理的关键步骤, 采用的方法直接影响着图像特征的准确提取, 进而影响着研究问题的有效解决与突破, 如作物病虫害检测、病斑识别和作物营养状态的评估效果等^[1-4]。相关文献针对大田环境下农作物图像与复杂背景的分割难题提出了许多算法和模型^[5-11]。Pérez等^[9]利用(G-R)/(G+R)颜色组合分量实现彩色图像中植物与土壤的分离。针对基于超绿特征(excess green index, ExG)的K-means聚类算法对作物图像分割不佳的问题, 赵博等^[10]结合微粒群算法(particle swarm optimization, PSO)优化聚类中心, 对多类作物图像分割较为准确, 但设计的试验样本背景简单, 尚未涉及复杂大田背景下研究对象的分割。伍艳莲等^[11]结合图像空间和颜色信息的自适应带宽均值漂移阈值分割算法, 对大田复杂背景下农作物图像的分割效果很好, 但运行速度较慢, 且尚未涉及光照不均导致的分割难题。

农作物的分割除受复杂背景干扰, 其纹理、颜色、形态等生物特征值随自然光照的变化而变化, 因此, 光照不均也是进行图像分割、目标识别和特征提取等存在较大误差的原因之一。国内外学者对分布相对集中、形态较规则的果实类图像, 从图像增强角度进行了降低自然光照对分割不利影响的研究^[12-15]。利用R-B和灰色共生矩阵作为特征向量空间, 对顺光和逆光下苹果图像的K均值聚类分割适应性较好, 但对受光少、亮度低的果实分割尚不理想^[12]。熊俊涛等^[13]基于双边滤波的Retinex图像增强, 可有效分割和识别阴天弱光、阴影遮挡下荔枝果实和果梗。徐黎明等^[14]利用同态滤波使光照不均杨梅图像的亮度增强, L^*a^*b^*颜色空间下K均值分割的准确性提高。宋怀波等^[15]针对不同自然场景不同阴影影响下的苹果图像, 设计的基于光照无关图的表面阴影去除法, 克服了光照过强的困扰, 有效提高了目标图像分割的准确性。

大田作物分布散乱、叶片重叠, 冠层图像采集与成像过程易受光照影响导致图像边缘模糊、对比度降低, 目标图像的分割困难。黄芬等^[16]提出的H分量K均值聚类分割, 一定程度降低了光照不均对小麦冠层提取的干扰, 但对受光照不足或过足造成的阴暗叶片与反光叶片, 分割效果不佳。分析大田复杂环境下强光、弱光、遮阴及逆光等光照条件下小麦冠层图像特点, 研究适宜的图像增强算法及图像分割指标, 通过补偿光线、均匀光照, 以拉大目标与背景的对比度, 去除阴影与光斑的干扰, 有望进一步降低自然光照对小麦冠层目标图像识别与生物特征值提取的不利影响, 对农业信息化研究具有重要意义。

1 材料与方法 1.1 数据采集 1.1.1 冠层图像采集与样本筛选

于南京农业大学国家信息农业工程技术中心的如皋试验基地, 设计随机裂区栽培试验。共12个处理方案:种植密度, 行距40 cm(D1)、20 cm(D2);氮素水平, 不施氮(N0)、纯氮150 kg · hm^-2(N1)、纯氮300 kg · hm^-2(N2);品种, '生选6号'(V1)、'扬麦18号'(V2)。各重复3次, 共36个试验小区。选择5个拍摄日期:2013年3月14日(拔节中期), 4月1日(拔节后期); 2014年3月8日(拔节中期), 3月31日(拔节后期), 4月15日(抽穗期), 拍摄时间为09:00—12:00, 用单反相机Olympus E-620以1.0 m高度、90°采集到180幅冠层图像样本。

不同自然光照条件下的冠层图像表现为:1)阴天或逆光下对比度较低, 叶片阴暗、阴影干扰严重; 2)光照剧烈时, 肥大叶片的表面反射率过大, 且受其遮挡, 瘦小叶片表面暗沉, 地面出现光斑、阴影等现象。180幅冠层图像中光照相对均匀的有168幅, 首先计算每幅图像I分量的均值I_m, 其次计算I_m的均值I_A, 作为光照强弱的区分阈值; 剩余12幅光照不均的冠层图像, 按照表现出的光照特征, 分为5类(表 1), 每类图像挑选1幅典型图像, 作为本文图像增强与分割的研究对象。

1.1.2 氮素营养参数测量

小麦氮含量化学测定与图像采集同期进行, 每小区选择20株长势相近的植株, 对地上部破坏性取样, 凯氏定氮法测定小麦植株的叶片氮含量(leaf nitrogen content, LNC)。选择决定系数R²和均方根误差(root mean square error, RMSE)比较RGB颜色组合标准化指数(normalized color mix index, NCMI)^[5]与LNC的相关程度。

1.2 颜色空间选择 1.2.1 图像增强的颜色空间

HSI颜色空间的3个独立分量:色度H(hue)反映不同波长的光的颜色, 饱和度S(saturation)表示颜色的深浅, 这2个分量均与光照强度变化无关, 明亮度I(intensity)则表示人眼对光的明暗感受程度, 与图像的颜色信息无关, 与光照相关^[17]。对于光照强弱不均的小麦冠层图像, 考虑提取HSI空间的分量I并增强处理以降低光照的影响。

1.2.2 图像分割的颜色空间

L^*a^*b^*是一种均匀的颜色空间, 由亮度L^*, 色度a^*(-a代表绿色, +a代表红色)和色度b^*(-b代表蓝色, +b代表黄色)3个分量组成^[18], 如图 1所示, B为一个像素点颜色A在a^*b^*平面的投影点, 直线L过原点O与B, 与a^*轴正方向形成夹角α, 其计算公式如下:

(1)

式中:a、b分别代表a^*分量和b^*分量, arctan(b/a)的取值范围为-90°~+90°, α取值范围是0°~360°。L^*a^*b^*色彩空间中, 任一像素点的颜色信息都唯一对应一个α值, 且同一α对应的不同颜色相似^[18], 与亮度分量L^*相关程度较小, 理论上, α值不仅可完全反映图像的颜色特征, 且不受光度变化影响, 图像分割考虑采用α模型作为特征分量, 以避免大田自然环境下光线不均对小麦冠层图像干扰而造成的误差。

1.3 图像增强 1.3.1 PCNN算法的自适应改进

脉冲耦合神经网络(pulse coupled neural networks, PCNN)是基于小型哺乳动物大脑视觉皮层的同步神经信号传导现象提出的神经网络模型^[19], 对图像增强处理的效果表现为^[20]:1)检测并突出图像边缘, 增加反差, 弥补图像纹理局部间的像素差异及细微间断; 2)作为高通滤波器, 通过将变化较大的分量压缩至动态范围, 可有效适应边框突出及亮度强弱变化较大的图像信号, 有望解决小麦冠层图像弱光、受光不均引起的对比度低、边缘不突出及阴影遮挡等问题。其中, PCNN的链接输入参数β_xy及动态阈值θ_xy的预设非常关键, 通常由研究人员经过多次试验测试设定。本文设计了β_xy及θ_xy的自适应计算, 见公式(2)—公式(11), 以克服上述人工固定值法耗时且工作繁琐的问题^[20], 可为大量图像样本的增强研究提供自动可计算方法。基于此自动计算的PCNN称为基于链接强度自适应和动态阈值设定的PCNN改进算法(简称I_PCNN)。

1) 链接强度系数β_xy。β_xy调节着周围神经元对某一神经元的影响。图像像素间的相关性可用来衡量矩阵内元素在行或列方向的相似度, 而梯度则可反映图像边缘细节信息, 设置β_xy为相关性r_xy和梯度g_xy的比值, 可使其自适应局部区域不同像素强度的分布特征。

假设神经元即中心像素坐标为(x, y), 选取3×3窗口, 则该窗口所有像素坐标用A表示, 如式(2):

(2)

(3)

(4)

(5)

(6)

(7)

(8)

式中:D表示方差; cov则为协方差; E是x或者y的均值(期望); d₁、d₂、d₃及d₄分别表示0°、45°、90°及135°方向的梯度。

2) 动态阈值θ_xy的计算。动态阈值θ_xy通过控制神经元的点火情况, 调整每个神经元的输出。为减少模型自身所依赖的数学特性对其细节过分增强的干扰, 本文结合HSI中表征光强的I分量计算θ_xy, 如式(9)所示。公式既考虑到了全局性, 即图像整体的最大值, 又考虑到了像素点的局部性, 即周围像素的关联性, 以均匀光照、增强图像的对比度。

(9)

(10)

式中:Brimax即亮度矩阵I中强度最大的分量值; La是拉普拉斯算子; covn即对I和La进行卷积运算。结合θ_xy的PCNN图像增强如式(11)所示, α_θ为动态阈值的衰减常数。

(11)

1.3.2 基于I分量的同态滤波器

同态滤波是一种通过削弱低频增强高频, 以削弱光照强度增加对比度的特殊滤波方法, 对光照不足或不均图像进行光线补偿, 锐化边缘, 突出细节, 最终使图像更清晰, 利于分割^[21]。同态滤波的滤波效果与传递函数H(u, v)密切相关, 本文选择动态巴特沃斯传递函数对I分量图进行同态滤波, 简称I_HomoFil。

(12)

(13)

(14)

式中:m、n为动态算子; 当0 < r_L < 1, r_H>1, 高频增益r_H被增强, 低频增益r_L则被削弱, 可压缩图像整体亮度范围, 提高图像的对比度, 去除光斑, 减弱阴影; 常数c在r_L和r_H间过渡, 控制滤波器函数斜面的锐化陡度^[22];(M₀, N₀)为M×N的图像在Fourier变换后中心所在处, D(u, v)为点(u, v)到Fourier变换中心的距离; D₀为截止频率, 本文采用最大值来快速设定D₀值, 见公式(15)—公式(18)。

(15)

(16)

(17)

(18)

1.4 图像分割

K均值聚类是一种基于样本间相似性度量实现类内相似度最高、类间相似度最低、同时达到局部最优的无监督聚类算法^{[5, 16]}。针对受光不均匀、光斑阴影及反光严重等的小麦冠层图像, 提出了基于图像增强和α角度模型的K均值聚类算法(简称K-means_Imgenh & Angmod), 具体流程见图 2。首先, 转换至HSI颜色空间, 对光照不均图像的I分量进行自适应增强处理, 对饱和度S分量进行1.5倍拉伸; 其次, 转换至L^*a^*b^*颜色空间, 提取α角度模型作为K均值聚类分割的特征分量。

2 分割算法的分析与对比 2.1 图像增强结果分析

以I_A为界(见1.1.1节), 5幅原图按光线强弱分为2类, 图 3-a、b光照较弱或阴影遮挡; 图 3-c、d、e光照较强、光斑及反光现象较严重, 分别采用I_PCNN和I_HomoFil进行图像增强。I_PCNN对前2幅原图(图 3-a、b)增强处理效果见图 4, 图 4-a亮度提升, 深色背景土壤和目标小麦间的反差增加明显; 图 4-b阴影及遮挡的干扰减弱, 突出了小麦叶片边缘的高亮细节。I_HomoFil对后3幅原图(图 3-c、d、e)增强处理前后的I分量图见图 5-A、B, α角度模型直方图见图 5-C、D。增强处理后, I分量图有效均匀了光照, 较好保持了小麦图像边缘及高亮部分, α角度模型直方图中的波峰、波谷相对更为明显, 且孤立的像素点基本被削弱, 图 5-C中α∈[42, 45]左右的像素点孤峰集合, 被分散到去除光照不利因素后更接近颜色信息的像素值集合[20, 30]间(图 5-D)。

2.2 分割算法的分析与对比

选择如下3种同时采用K均值聚类的算法, 从“图像增强”和“颜色空间”2个角度对比分割效果:未做增强处理的基于L^*a^*b^*空间α角度模型的K均值聚类(简称算法1)、未做增强处理的基于HSI空间下H分量的K均值聚类^[16](简称算法2)及本文进行图像增强自适应处理的基于L^*a^*b^*空间α角度模型的K均值聚类(简称算法3), 分割效果见图 6。

弱光条件拍摄的前2幅原图冠层整体偏暗(图 3-a、b), 其中, 拔节中期的图 3-a冠层覆盖率较低, 极少互相遮挡, 裸露的土壤及砂砾较为突出, 拔节后期的图 3-b冠层覆盖率较高, 表面受光不均, 叶片互相遮挡有阴影、光斑, 分割难点在于阴暗叶片与土壤的区别, 枯黄杂草、砂砾等噪声的剔除, 以及光斑叶片与受光不均叶片的空洞遗留与边缘细节的处理。3种算法对图 3-a的分割处理见图 6-a1、a2、a3, 算法1易将深色叶片划为背景区域(红圈), 部分有效叶片信息被剔除, 后2种算法对深色叶片的保留较完整; 算法2抗噪性较差(黄圈), 错将部分枯黄杂草分割为前景小麦, 而算法3去除背景噪声效果明显, 对深色土壤区域周围的小麦叶片分割较完整。图 6-b1、b2、b3蓝圈、红圈区域小麦叶片受光较少, 亮度较低, 存在其他叶片投影产生的阴影, 算法1同样存在过分割现象, 易将深色叶片分割为土壤背景, 算法2、3对处于土壤阴影上方及光斑附近的深色目标叶片识别较准确, 且算法3对边缘光线充足处叶片细节的分割更完整; 黄圈区域叶片受光充足, 反射率较大, 算法1、3对叶片分割后遗留的空洞少于算法2, 且算法3空洞的减少更为明显, 对叶片的保留更完整, 目标获取更准确。可见, 算法1难于解决阴暗叶片的过分割问题, 算法2抗噪性较差, 算法3对偏暗冠层图像采用I_PCNN进行的光线补偿与边缘锐化处理, 抗噪性明显提高, 分割提取的叶片空洞明显减少, 对深色叶片及叶片边缘细节的分割更准确。

后3幅原图(图 3-c、d、e), 冠层整体偏亮, 存在反射率较大导致的高亮叶片、受光不均叶片、光斑与阴影的分割难题, 以及砂砾及阴影噪声的干扰问题。拔节中期的图 6-c1、c2、c3红圈区域显示, 算法1对光照极为敏感, 高亮叶片尖端大多被分割为背景图像, 算法2、3对反射率较大叶片的保留较为完整; 黄圈区域, 算法2抗噪性较弱, 遗留了多余的背景信息, 算法1、3则有效排除了细小、繁杂的砂砾及阴影噪声的干扰。拔节后期的后2幅图冠层覆盖率明显增大, 土壤背景减少, 叶片及地面均存在明显的阴影和光斑, 图 3-d叶片边缘细微反光, 图 3-e叶片受光极不均匀, 部分叶片反光严重。对比图 6-d1、d2、d3, 图 6-d2的红圈区域难以剔除繁杂的砂砾噪声, 算法2对土壤背景的欠分割严重, 算法1、3对土壤阴影的剔除效果明显, 但图 6-d1蓝圈区域显示, 算法1对光线的敏感性导致其对小麦光斑及受光引起泛黄叶片区域的分割缺损严重。图 6-e1、e2、e3红圈区域显示, 算法1、2对反光区域目标叶片的分割缺失严重, 算法3对叶片边缘细节保留较完整, 在不均匀光照的黄圈区域表现出更强的抗干扰性, 尤其对反光叶片的细节保留更完整, 空洞区域更小。可见, 算法1对光照极为敏感; 算法2抗噪性较弱; 算法3对反射率较大的高亮图像进行的I_HomoFil处理, 可有效提高对深色土壤及叶面光斑的抗扰性, 对小麦冠层的细节形态保留更完整。

2.3 基于NCMI的定量分析

计算5幅冠层图像的RGB颜色组合标准化指数NCMI^[5], 分别求取与叶片氮含量(LNC)的决定系数R²和均方根误差RMSE, 定量分析算法的分割效果, 结果见图 7。算法3的R²为0.95, 相较算法1高出0.08, RMSE则降低了0.64, 相较算法2高出0.04, RMSE则降低了0.35。可见, 对于筛选的5幅样本, 经算法3分割处理后获得的NCMI值与LNC的相关程度高于算法1和算法2。

3 结论

本文针对大田复杂环境下因光照不均及叶片互相遮挡, 导致的小麦冠层图像阴暗、高亮反光叶片的分割问题, 以及其与阴影、光斑及遮挡的分割难题, 分析算法1对光照极为敏感, 算法2对枯黄杂草、砂砾、阴影等的抗噪性较差的特点, 提出了一种结合脉冲耦合神经网络(pulse coupled neural network, PCNN)与同态滤波的自适应图像增强和基于L^*a^*b^*颜色空间α角度模型的K均值聚类分割算法。

对光照强弱不一的5幅典型冠层图像的分割结果显示, 本文算法一定程度加大了深色土壤和目标小麦叶片的反差, 减弱了阴影遮挡的干扰, 突出高亮叶片的边缘细节, 相较算法1和2, 对光斑、阴影遮挡、反光突出的图像分割更为完整准确, 基于分割结果提取计算的NCMI与叶片氮含量LNC的R²和RMSE均高于算法1和2, 分别为0.95和0.91。

本文从图像增强角度对大田复杂光照环境的小麦冠层图像的分割问题进行了探索研究, 研究结果初步显示了方法对大田复杂光照环境下小麦冠层图像分割的有效性与适应性, 可为提取大田复杂背景与环境下作物图像的色彩信息提供新的研究方法, 但后期仍需要展开进一步的适应性检验。