仔猪断奶后, 因体内母源抗体水平降低, 机体抵抗力下降, 外部生长环境和饮食变化容易导致仔猪腹泻^[1]。断奶仔猪腹泻在规模猪场中发病率达25%, 严重的超过70%^[2-3], 断奶前后因腹泻死亡的仔猪数占总死亡数的49.11%^[4], 直接影响生猪养殖业的经济效益。在积极预防的前提下, 及时、精准地识别出腹泻仔猪对于降低仔猪死亡率有重要意义。传统的人工观察手段无法24 h连续、定点进行, 导致难以在第一时间发现群养仔猪中的个体患病情况; 长期人工介入观察也不现实。因此, 亟需一种自动监测手段代替人工观察法智能识别腹泻仔猪。

机器视觉技术因其易安装、无侵入、设备便宜等优点成为检测生猪养殖状况、评价猪只福利的重要技术手段之一^[5], 目前已广泛应用于猪的姿态识别^[6-8]和行为检测^[9-11]。针对猪只排泄行为异常自动检测的研究, 国内外均处于起步阶段。Ahmed等^[12]使用三轴加速度传感器监测腹泻病猪的运动量和运动方式变化, 实现断奶仔猪腹泻的早期检测, 但穿戴式设备会影响仔猪的正常生长发育, 仔猪的啃咬也会降低传感器采集数据的可信度^[13]。朱伟兴等^[14]针对育肥猪, 采用机器视觉的方法, 利用运动目标检测算法和基于像素块对称特征的图像识别算法定位日排泄总次数超标的异常猪只, 识别正确率为78.38%。与育肥猪相比, 断奶仔猪因日龄小更爱集群玩耍, 时有在排泄区域站立、打闹却未排泄的现象, 仅通过仔猪在排泄区出现的总次数判定猪只异常易增加病猪误报率。

实践与研究表明, 绝大多数仔猪选择靠近墙处定点排泄^[15], 且排泄姿态肉眼可辨, 其腹泻产物为颜色和形态异常的病便^[16], 从而具备了使用机器视觉技术识别断奶仔猪腹泻的可行性。仔猪排泄行为与粪便异常是腹泻检测的两个关键点, 为此, 本文提出了基于机器视觉技术, 采用深层卷积神经网络结合时空信息融合判定法自动识别断奶仔猪腹泻的方法, 且国内外未见相关报道。

1 材料与方法 1.1 试验数据 1.1.1 数据采集

试验数据于2019年3月19日至4月23日在安徽省亳州市谯城区生猪个体养殖户采集。选取一圈12头断奶仔猪(2019年3月20日断奶, 28日龄)作为试验对象, 品种为长白和大白。猪栏大小为3.2 m×3.0 m, 选用海康威视公司型号为DS-2CD3346WD-I的红外夜视摄像头, 安装在猪舍排泄区的正上方2.25 m, 进行视频采集, 镜头焦距2.8 mm, 监控范围约3.0 m×1.7 m, 图像分辨率2 560像素×1 440像素, 视频数据利用海康网络硬盘录像机DS-7916N-K4/16P存储。图 1为猪舍排泄区视频采集示意图。

猪舍监控视频连续24 h录制, 但由于晚上时段猪只多处于睡眠状态, 因此每日只选取白天断奶仔猪较为活跃的时段视频作为研究素材, 具体为每日的07:00至18:00。白天光线良好, 采集的视频帧为3通道彩色图像。试验期间监控猪舍共饲养12头仔猪(单只母猪单次产仔), 采用猪用油笔在猪背标记代表身份的编号, 从阿拉伯数字和英文字母中选取易涂写且不易混淆的12个编号:0~8、F、H、X, 确保视频中的猪身编号清晰明显。

1.1.2 数据集内容

根据猪只是否排泄, 将断奶仔猪在排泄区可能出现的全部姿态分为3类, 姿态的定义见表 1。图 2为3类姿态对应的图像。从图中可以看出, 仔猪确有靠近墙根排泄的习性, 与已有报道相符^[15]。同时, 选取的12张图像展示了每只仔猪的背部编号情况。

为更好地通过粪便的形态外观描述断奶仔猪的腹泻情况, 采用徐元庆等^[17]和Hu等^[18]的方法对粪便进行评分。1分:粪便较硬或呈颗粒状(不常见); 2分:正常粪便, 松软成形(无腹泻); 3分:粪便松散, 部分成形(轻度腹泻); 4分:半液体粪便, 粪水未分离(中度腹泻); 5分:水样粪, 粪水分离(重度腹泻)。当粪便评分为3或以上时认为仔猪发生腹泻。本文将评分为5的粪便作为腹泻判断依据, 病便颜色一般为白色、黄色、棕色, 形态一般有水样、粥样、糊状。部分病便如图 3所示。试验猪舍中病便数量有限且形态单一, 为扩充数据集中病便数量, 满足深度学习对训练数据量的需求, 对其他保育舍以同样方式采集视频, 获取包含病便的视频图像。

1.1.3 数据集制作

试验数据集制作过程如下:(1)图片获取:从录制的视频中截取仔猪在监控视频范围内活动的视频片段, 采用python3.6编写脚本文件每隔50帧(2 s)从视频文件中提取1张图片, 保存为jpg格式; (2)数据清洗:删除既无完整猪体又无病便的无效图片, 得到有效图片共8 008张; (3)数据标注:使用开源工具LabelImg进行人工标注。图片标注后, 会对应生成相同文件名且后缀为.xml的文件, 该文件记录了标注框的位置和目标类别等信息; (4)划分数据集:为更好地进行模型的参数训练和性能预测, 按约9 : 1的比例划分数据集^[19-20], 即将数据集总体看作10份, 其中9份用作训练集训练深度卷积神经网络模型, 保证训练集中数据量充分, 让模型学习保育舍排泄区中可能出现的各种情况, 得到1组“见多识广”的模型参数, 有助于增强模型应用识别能力; 另外留有的1份用作测试集, 测试集是模型建立过程中“没见过”的数据, 用于评判模型在新数据上的预测性能。划分后得到训练集7 128张(12种背部编号样本共14 976个, 3种姿态样本共17 894个, 评分为5的病便样本11 149个)、预测集880张(12种背部编号样本共2 017个, 3种姿态样本共2 369个, 评分为5的病便样本1 273个); (5)数据集格式化:制作PASCAL VOC标准格式数据集, 用于模型训练和预测。

1.2 断奶仔猪腹泻检测模型设计与训练

试验中基于深度卷积神经网络(CNN)对姿态、病便、背部编号进行一体化分类, 主要包括2个部分, 一是通过在保育舍采集得到的视频图像经过人工标注输入到CNN中经过迭代离线训练得到1个包含神经网络参数的模型, 二是基于网络模型实现在线评测得到用于腹泻检测的目标分类结果。网络模型训练流程如图 4所示。

1.2.1 模型网络结构

本文采用类YOLOv3网络模型, 网络结构如图 5-a所示。该结构从2个方面满足本研究数据集需要。一方面, 模型采用类残差网络(图 5-b)构造的DarkNet-53作为基础网络, 使网络层数能够不断加深且不易造成梯度消失或训练退化的问题, 从而加强对图像特征的学习, 提高对仔猪姿态、病便、猪背编号多类目标的识别精确度^[21-22]。另一方面, 通过结合有跨越性设计的类FPN结构, 将低阶特征和高阶特征有机融合起来, 提高对不同尺度目标的检测精度, 适合同时进行猪体姿态、背部编号、病便形态(大、中、小)3种目标的检测。

1.2.2 模型损失函数

试验中训练迭代神经网络时优化的是损失函数(loss function, 简称Loss), 通过反向传播(back propagation, BP)不断更新模型, 使Loss不断减少^[23-24]。网络损失函数的优化目标是使预测的坐标值、目标置信度以及类别概率与真实标签值的误差最小。因此, 损失函数定义为:

(1)

式中:s×s表示将整幅图片分成s×s个栅格, Loss_coord、Loss_iou和Loss_cls分别指定位误差、IOU误差和分类误差。其定义公式如下:

(2)

(3)

(4)

式中:λ_coord为定位误差项权重; B为每个栅格负责目标个数; I_nm^obj与目标标定坐标框IOU最大的边界框所在的栅格负责该目标坐标预测; x_n, y_n, w_n, h_n为标定坐标; 为预测坐标, n表示某一个栅格; λ_noobj为不含目标边界框的权重; 为置信度的标定值和预测值; 为包含目标的栅格分类概率的标定值和预测值。

1.2.3 模型训练参数

模型训练参数设置如下:(1)训练共迭代30 000次; (2)采用batch值为64的mini-batch随机梯度下降法训练; (3)网络的输入图像宽和高从原始模型的416像素×416像素改为608像素×608像素, 使输入图像更清晰, 其中的目标更容易为模型所辨认; (4)学习策略为步进型, 学习率初始化为0.001, 并在迭代次数为24 000次时将学习率缩小为初始学习率的1/10, 27 000次时在之前基础上继续缩小为当前学习率的1/10, 实现步进式学习, 防止出现训练后期因学习率过大导致无法拟合的问题。动量(momentum)设为0.9, 权值衰减速率(decay)设为0.000 5, 每一次迭代学习率衰减方式定义为:

(5)

式中:lr_n为第n次迭代时的学习率; lr_initial为学习率初始值。

模型训练的硬件平台配置:1个有效内存为31.1GiB的GTX1080Ti显卡, 2个Xeon Gold 5118 CPU, 训练耗时约89 h。

1.2.4 模型评价指标

本文采用平均精度均值(mean average precision, mAP)和召回率(recall, R)2个评价指标评判模型性能。腹泻检测模型共包括16个类别, 若正样本为病便, 则负样本为剩余15个类别。平均精度均值涉及精确率(precision, P)和精度均值(average precision, AP)的概念。精确率是衡量模型对病便的识别能力, 具体是指模型识别出的所有病便中真病便所占的比例; 精度均值是PR(Precision-Recall)曲线与坐标轴围成的面积, 用来衡量模型对每个类别的检测性能。平均精度均值mAP是对16个类别各自对应的精度均值取平均, 可用来衡量模型对全部类别的检测性能; 召回率是衡量模型对病便检测的覆盖能力, 是从所有病便中识别出的病便的比例, 涉及公式如下:

(6)

式中:TP为真正样本(真阳性, true positive); FP为假正样本(假阳性, false positive); FN为假负样本(假阴性, false negative); C表示所检测目标类别的数量, 本文C为16;k为类别序号。

1.3 时空信息融合法判定断奶仔猪腹泻

本研究提出时空信息融合法将腹泻检测模型用于识别监控视频中仔猪腹泻情况, 主要包括2部分内容:一是识别视频中的仔猪排泄行为, 二是从时序和距离进行排泄行为与病便的关联, 实现腹泻检测。检测流程示意图如下:

1.3.1 仔猪排泄行为识别方法

本文提出姿态段的概念, 识别视频中的仔猪排泄行为, 使模型从静态姿态识别过渡到动态行为识别, 并通过简化姿态段提高过渡的准确率。某段时间内仔猪会保持同一类别的姿态, 这段时间的姿态形成一个姿态段。姿态段是姿态在时间序列上出现次数的叠加, 能更准确地反映一段时间内的猪只行为。若简化后的姿态段中包含显著排泄姿态, 说明仔猪进行了排泄, 记录排泄姿态位置和帧数信息用于视频检测。

1.3.2 仔猪腹泻视频检测方法

采用时空信息融合法判定视频中仔猪腹泻行为, 对于符合时间序列先后且满足空间距离相近2方面要求的, 认为目标猪腹泻, 通知管理人员诊治病猪, 清除病便, 便于后续的腹泻仔猪自动监测。图 7为目标检测包围框及其中心点距离示意图。

当仔猪腹泻行为得到确认后, 从精准用药角度出发, 需进一步确认腹泻仔猪的身份。本文将猪身编号与当前帧中的姿态进行匹配, 找到编号所属的猪背, 以图 7中的4号仔猪为例, 匹配方法如下:(1)计算编号中心点D与所有检出姿态中心点A和C的距离, 选取与D点距离最小的C点对应的包围框作为备选框; (2)检查D点是否位于备选框内部, 若是, 将备选框内的猪只与该D点对应的身份编号关联。

2 结果与分析 2.1 不同迭代次数对模型效果的影响

在本次试验中, 训练共迭代30 000次, 网络损失函数Loss曲线能直观体现训练的动态过程, 损失值降低程度反映网络收敛的情况。图 8展示了整个训练过程中损失函数随迭代次数的变化趋势。在前1 000次的迭代中损失值迅速下降, 整个过程从1 237.39收敛至2.64, 在1 000次到25 000次迭代中损失值缓慢减小, 而25 000次后损失值保持稳定没有显著变化, 最终模型收敛至0.11附近, 训练效果较理想。

在训练模型中, 模型的好坏并不是迭代的次数越多越好, 过多的训练可能会导致过拟合, 所以需要对训练出来的模型进行测试和评估。本文在训练过程中每迭代1 000次输出1个模型, 故本次训练共输出30个模型, 每隔5 000次取1个模型进行分析, 依次得到模型1~6。

训练得到的模型性能参数见表 2。当迭代次数为25 000次时, 模型5表现出最佳状态, 此时, 累计使用1 600 000幅图片, 总损失0.112 853, 平均损失0.122 356, 学习率0.000 1。各评价指标均优于训练次数较少的模型1~4, 说明在0~25 000次迭代过程中, 模型性能整体上是随迭代次数的增加而提升, 两者呈正相关性; 而随着迭代次数的进一步增加, 平均精度均值和召回率开始逐渐降低, 模型可能出现了一定程度的过拟合, 其性能随迭代次数的增加反而降低, 此时两者呈负相关性。因此, 本文选取模型5作为最优模型用于后续分析。

采用最优模型在测试集上预测结果如表 3所示, 测试集包含12类编号(0~8、F、H、X)、3类猪只姿态、1类病便共16个类别, 各类别AP均达到80%以上, 具有良好的识别性能。背部编号标写清晰稳定, 12个编号的精度均值取平均达98.45%, 用于仔猪身份识别性能可靠。3种姿态识别的整体AP为90.18%, 其误差来源主要是模型对其他保育舍中的仔猪姿态进行了预测, 在扩增病便样本数量的环节, 制作数据集时仅对图像上的病便进行框注, 并未框注其他保育舍中的仔猪姿态, 模型对未知猪只识别后给出预测结果, 一定程度上体现了模型泛化能力。利用最优模型对保育舍排泄区的仔猪姿态识别情况见图 9。

2.2 时空信息融合法在断奶仔猪视频检测中的应用 2.2.1 断奶仔猪行为检测时的姿态段简化

在实际猪舍猪只运动过程中, 有时会出现1~2 s的姿态混淆情况, 例如猪只出现了1 s左右的排泄姿态, 但猪并没有排泄, 为了避免这种情况, 设计检测算法时按时间序列统计姿态段, 删除小于50帧(2 s)的不稳定姿态段, 留下的姿态段均为稳定姿态段, 稳定的姿态段更能表征猪的行为。编号0仔猪姿态段简化前、后的内容对比如表 4和表 5所示。

简化后姿态段极大减小了姿态变动中的偶然误差, 有助于降低视频行为分析算法的复杂度, 提高算法对视频中仔猪行为识别的准确性。

2.2.2 断奶仔猪腹泻视频检测试验

为评估本文提出的基于机器视觉技术的仔猪腹泻识别方法对腹泻仔猪的检测能力, 构建了一个断奶仔猪腹泻视频数据集。避开用于模型训练的视频片段, 从30 d左右的试验周期中截取121条排泄区有猪的视频片段, 每条时长10 s至30 min不等, 视频内容包含断奶仔猪未排泄(not excreting, NE)、公猪排尿(boar urination, BU)、非腹泻显著排泄(significant excretion of non-diarrhea, SEND)、腹泻(diarrhea, D)共4种行为情况, 充分考察模型的现实场景应用能力。定义断奶仔猪腹泻检测准确率为算法正确识别出的仔猪腹泻次数与所有被算法认为是腹泻的视频片段数目之比, 腹泻检测召回率为算法正确识别出的断奶仔猪腹泻次数与视频中实际出现的仔猪腹泻次数之比。结果见表 6。

从表 6可知, 人工观察视频记录得到的实际腹泻次数为49次, 而采用本文方法共检测出48次腹泻, 通过人工验证, 正确识别腹泻的次数为47次, 将非腹泻显著排泄行为识别成腹泻1次, 实际发生腹泻却被识别成非腹泻显著排泄2次。出现误检是因为有2头猪同时近距离排泄, 但仅1头猪腹泻, 2头猪均离病便较近, 算法将2头猪都算作腹泻仔猪。漏检是由于病便在刚一落地就被其他猪拱掉, 未被算法识别, 算法仅识别出排泄姿态, 故把腹泻识别为非腹泻显著排泄。断奶仔猪腹泻识别的准确率和召回率分别为97.92%和95.92%。从试验结果可以看出, 在深度卷积神经网络实现待检目标分类的基础上, 采用排泄姿态与异常粪便之间时空信息融合判定的方法能较准确地识别绝大部分断奶仔猪腹泻情况。图 10为视频检测过程。

在排泄行为的识别上, 本文方法也表现出了较强的识别能力, 对非腹泻显著排泄、非腹泻非显著排泄(公猪排尿)行为的检测准确率分别为94.64%和91.67%, 召回率分别为92.98%和97.06%, 为下一步依靠排泄行为发生的频率和日排泄总次数进行病猪预检提供可靠的技术支撑。对于未排泄行为的检测准确率高(100%), 但由于漏检数量较多导致召回率较低(85.92%)。漏检原因:一方面是仔猪在排泄区仅做短暂停留(小于8 s)后就离开排泄区, 为增强算法的实际应用能力, 特删除无效目标以缩小待检目标集合, 提高有效检测速度; 另一方面互相打闹的仔猪快速奔跑的过程中, 背部编号模糊扭曲, 削弱了算法对背部编号的识别能力, 导致未能识别编号, 增加漏检概率。

本模型能较好地在排泄区行为检测中准确识别猪只身份。识别错误的情况少, 在算法识别出的262猪次的行为中, 仅将1例未排泄行为对应的猪身编号识别错误(将奔跑打闹的4识别成5), 但排泄时的猪只一般保持静立不动, 故模型在识别未排泄猪只身份时遇到的错误并不影响对腹泻仔猪身份识别能力。

3 讨论

及时监测腹泻断奶仔猪对后续针对性治疗具有重要的时效意义。本文基于机器视觉技术提出一种排泄姿态与异常粪便结合的断奶仔猪腹泻自动识别方法, 采用FPN算法将高层与底层特征融合, 准确快速检测腹泻仔猪的姿态、背部编号和病便, 试验表明该模型的检测精度高、速度快, 且具备同时检测大、中、小3种尺度目标的能力, 对于姿态(3种)、背部编号(12种)和病便共16种目标的检测, 当迭代25 000次时接近模型最优效果, 平均精度均值和召回率分别为95.75%和89.13%。

文中提出姿态段的概念, 给出姿态段的计算和简化方法, 使模型从静态的排泄姿态识别过渡到动态的排泄行为识别, 给生猪养殖过程中的猪只行为监测提供新的可行思路。该方法可以用于识别猪只的其他与姿态维持时间相关的行为, 如采食、饮水、爬跨等。提出时空信息融合判定法实现断奶仔猪腹泻视频检测, 在本文构建的视频数据集上测试算法的准确率和召回率分别为97.92%和95.92%, 略优于前人研究结果^[14], 说明深度卷积神经网络可胜任断奶仔猪腹泻过程中涉及的目标检测研究, 结合时空信息融合判定法能较准确地识别排泄区腹泻仔猪。

针对新旧粪便叠加问题, 考虑到新粪便的温度一般高于旧粪, 而热红外图像易于体现温度差异, 后续研究可加入红外热成像仪进行新旧粪的辅助区分。腹泻仔猪往往会频繁排泄, 提出“断奶仔猪腹泻检测可靠性得分”的概念, 即当日监控时间内第n次发现该猪腹泻, 则此时该猪腹泻的可靠性得分为n, 通过可靠性得分高低, 体现某猪腹泻的可能性大小。可靠性得分的引入能一定程度上解决仅依赖一次诊断结果导致的可靠性低问题, 提高检测结果的可信度。

断奶仔猪腹泻存在一个由无至有, 由轻至重的发展过程, 如果能在病情较轻甚至还未发病之前预测, 会更有意义。本研究将评分为5的粪便作为腹泻判断依据, 此时断奶仔猪腹泻已较为明显, 后续研究可以将评分为3和4的粪便纳入考虑范畴, 作为对判断依据的扩充, 提高检测的灵敏度。随着试验的深入, 可以在研究仔猪排泄行为的基础上, 从采食量、饮水量、运动量等方面综合探究, 捕捉仔猪腹泻的前兆, 实现断奶仔猪腹泻的早期预警, 提高新技术和算法对于猪只福利和猪场经济效益的应用价值。