猪肉是我国居民重要的消费肉类, 随着自动化、信息化技术在养殖领域中的应用, 传统的养殖方式将向福利养殖、精细养殖方式转变。目前的规模化养殖条件下, 呼吸系统疾病在母猪中发病率高、致死率高。在母猪的产前行为中, 其分娩前呼吸速率会明显加快, 因此母猪的呼吸速率是评价母猪健康、产前预测的重要指标^[1-5]。目前, 母猪呼吸速率的测量主要靠人工观察计数, 人力负担重, 主观性强, 且增加了人畜疾病感染的概率, 因此无接触、精确地测量母猪的呼吸频率具有重要意义。

Chen等^[6]使用超宽带收发模块向人体胸腔发射超宽带脉冲, 通过模型评估反射脉冲中由空气、皮肤、脂肪、肌肉反射的信号比重来测定人体呼吸频率。但猪舍中, 猪的胸腔朝向地面, 直接将超宽带收发模块置于塑料漏缝地板容易受到母猪啃咬、水分渗入等不利因素影响, 造成元器件损坏, 因此该方法运用到猪呼吸检测上有一定难度。Min等^[7]将超声波模块正对人体腹部, 通过测量呼吸过程中因腹部体积变化而产生的距离变化间接测量呼吸频率。但由于猪腹部朝向地面, 实际测量中需要将超声波模块固定于塑料漏缝地板, 无法保证测量阶段能够正对猪腹部, 因此该方法难以精确测量猪的呼吸频率。高小强等^[8]提出了一种基于霍尔传感器微阵列的呼吸频率检测方法, 将内置永磁铁的腹带系在人体腹部位置, 通过呼吸过程中由于永磁铁位置变化而产生的霍尔效应间接测量人体的呼吸频率。该方法为接触式测量方法, 实际应用中不仅会引起猪的应激反应, 而且也不适用于规模化养殖。唐亮等^[9]设计了一种基于面积特征算子的检测方法, 通过检测猪脊腹部的面积变化规律来反映猪的呼吸频次。该方法精确度较高, 但是该方法采集的彩色图像易受猪舍光照环境和脏污的影响, 且算法较为复杂。

为满足实际生产中测定母猪呼吸频率的需求, 本文提出了一种基于Kinect的呼吸频率检测方法, 测定定位饲养条件下梅山母猪侧卧时的呼吸频率, 该方法将动态区域检测、DBSCAN密度聚类算法、曲线拟合、周期测定分别应用于图像预处理及曲线分析部分。该方法实现无接触测量, 为建立基于机器视觉技术的呼吸频率检测系统提供了理论支撑。

1 材料与方法 1.1 母猪侧卧腹部图像采集

试验于江苏农博园小梅山猪国家级育种中心(南京农业大学教学科研基地, 江苏农林职业技术学院猪场)进行, 采用微软公司研发的Kinect 3D体感摄像机拍摄母猪侧卧深度图像, 图像像素为512×424, 帧速为10帧·s^-1。选用10头30月龄的梅山母猪作为试验对象, 所有的试验母猪均位于2.2 m×0.8 m的限位栏内, 猪栏床面为塑料漏缝地板。拍摄时间选取在喂食时间06:00、14:00后的2 h。为保证照片拍摄高度一致, Kinect放置在限位栏正中央相对地面高1.3 m处, 最大测量误差为3 mm。采用PC机进行图像处理和数据分析, 开发环境分别为Visual Studio 2015和Matlab 2016a, 开发语言采用C++。

1.2 侧卧腹部深度图像特征分析

为了精确、实时测定母猪呼吸频率, 需要准确提取深度图像中的腹部区域以提升测定精度, 减少后续图像处理中的运算量。因此需要根据深度图像的特征, 确定有效的提取方案。现选取深度图像中随机一幅图像进行特征分析。从图 1可以看出, 前景目标为母猪的腹部区域, 背景为限位栏及漏缝塑料地板。拍摄的深度图像已经过灰度化处理, 深度图像中前景和背景的颜色相近, 难以确定阈值对图像二值化处理, 因此无法通过轮廓准确提取获得腹部区域。

本文在此基础上提出利用动态区域检测算法提取腹部区域, 整体呼吸频率测定方法分为以下4步:1) 基于动态区域检测算法提取图像中的腹部区域并标记其中所有像素点的坐标, 有效排除图像中无关区域的干扰; 2) 使用DBSCAN密度聚类算法计算步骤1中像素点的质心, 并以该质心为中心点从后续图像中分割出分辨率为30×30的局部图像; 3) 计算步骤2中腹部局部图像深度均值, 使用离散傅里叶变换得到拟合曲线并在Matlab中绘制深度-时间曲线; 4) 确定步骤3中曲线的极值点, 求出1次呼吸过程的周期, 进而得到检测时间段内母猪的呼吸频率。

2 结果与分析 2.1 动态区域获取

为了准确提取母猪腹部区域, 笔者首先采用动态区域检测算法对母猪侧卧深度图像进行预处理, 方法如下:

1) 提取4帧图像I₀、I₁、I₂、I₃, 每帧图像之间采样间隔为0.5 s。使用式(1) 将每帧图像中所有像素点灰度值G转化成深度值D放入对应的数组A₀、A₁、A₂、A₃中保存, 数组长度与深度图像像素点数目一致。

(1)

式中:K为固定值31.25。

2) 设定阈值TH, 将A₀、A₁、A₂、A₃分为A₀、A₁, A₁、A₂, A₂、A₃这3组, 每组数组之间进行差值运算, 将结果保存至数组R₀、R₁、R₂中。依次遍历R₀、R₁、R₂, 当R_k中角标为i的元素绝对值大于阈值时, 则认为该元素所对应的深度图像中的像素点在空间上产生距离变化, 并将此元素值赋值为1, 反之则认为该元素对应的像素点未产生距离变化, 将其赋值为0, 见式(2)。

(2)

式中:abs表示对括号内元素进行绝对值运算; otherwise表示其余情况。

3) 记录所有R₀(i)、R₁(i)、R₂(i)均为1的角标i, 并将角标值转换为深度图像中对应像素点的坐标值保存, 得到点集X={X⁽¹⁾, X⁽²⁾, …, X⁽ⁿ⁾}。

为验证该算法的有效性, 将步骤3中的坐标点绘制成轮廓图。由图 2可见:图像经过该算法处理后能够准确提取腹部轮廓, 但也存在部分噪点, 对后续识别产生干扰。

2.2 基于DBSCAN密度聚类算法的腹部质心提取 2.2.1 算法流程及聚类结果

为了提高图像运算效率同时排除图 2中噪点的干扰, 采用DBSCAN密度聚类算法提取腹部区域质心。DBSCAN密度聚类算法常用于数据挖掘^[10], 能够基于密度进行任意形状的空间聚类并有效排除噪声点的干扰^[11]。DBSCAN密度聚类算法以扫描半径r和最小点包含数mc为参数^[12], 其中心思想是将样本中满足如下2个条件的点集归为1个簇:1) 点集中任意一点与周围点的欧氏距离小于等于扫描半径r; 2) 该点集的元素数目大于等于最小点包含数mc。簇内的点称为核心点, 以核心点为圆心, 扫描半径r为半径的区域称为邻域, 簇边界上的点称为边界点, 不属于任何簇的点称为噪点^[13]。本文采用C++实现算法, 方法如下:

1) 从点集X中任选一点X^(k), 如果X^(k)尚未归为某个簇C_i或未被标记为噪点, 则将X^(k)邻域内的点归为点集T中。如果T的元素数目小于mc, 则将X^(k)标记为噪点, 反之新建簇C并将X^(k)归入该簇中。

2) 选取T中未被处理的点p, 如果其邻域内的点数目小于mc, 则将p标记为噪点, 反之则将p归为C中并将p领域内的点归为T中。

3) 重复步骤二, 直至遍历点集T。

4) 重复上述步骤, 直至遍历点集X。

分析DBSCAN密度聚类算法的实现步骤可知, 聚类结果对扫描半径r、最小点包含数mc的选取十分敏感。当扫描半径r较大或最小点包含数mc较小时, 簇的数量少, 聚类效果好, 但簇内包含噪点。而当扫描半径r较小或最小点包含数mc较大时, 簇的数量多, 聚类效果差, 但能有效排除噪点干扰。经过理论计算, 分别选取1.43、8作为扫描半径r和最小点包含数mc, 聚类结果如图 3所示。

由图 3可见:点集X经算法聚类后, 效果明显。图中红色区域代表簇中元素数量最多的簇, 黑色代表噪点及其余簇。经对比可知, 红色区域为母猪腹部区域且该簇面积最大, 元素数量最多, 可由此特性确定腹部区域簇C_b及该簇包含的点集X_b。

2.2.2 腹部区域质心提取

腹部区域质心p(x, y)是点集X_b中所有点的坐标值均值运算后的结果, 质心坐标可由式(3) 确定。

(3)

确定质心p(x, y)的坐标后, 以p为中心点, 从剩余深度图像中截取分辨率为30×30的局部图像并将其余像素点灰度值设置为255, 结果如图 4所示。

由图 4可见:DBSCAN密度聚类算法可有效确定母猪腹部区域质心, 进行局部图像提取, 排除图像中噪点的干扰, 并将图像处理的像素点个数减少至900个, 能够显著提高后续步骤图像运算效率。

2.3 连续母猪呼吸信号的获取 2.3.1 基于离散傅里叶变换的曲线拟合

在质心提取的基础上, 遍历局部深度图像并结合式(3), 将每个像素点对应的深度值经均值运算后可得到深度均值点集D={D⁽¹⁾, D⁽²⁾, …, D⁽ⁿ⁾}, D中相邻两点的采样间隔为0.1 s。在测定母猪呼吸频率时, 需要根据深度-时间曲线确定1个完整呼吸过程的周期进而得到呼吸频率。但由于通过试验采集的深度数据由离散点组成, 无法通过试验数据确定曲线的极值点进而求出呼吸周期, 因此需要将离散的深度信息转换为连续信息。

曲线拟合的核心思想是用连续曲线刻画离散点集的函数关系, 拟合原理是通过构造解析函数y=f(x, c)反映点集D中元素的变化规律。式中:x, y代表元素的坐标值; c=(c₁, c₂, …, c_n)为待定参数。当y=f(x, c)呈线性关系时称为线性模型, 反之称为非线性模型^[14]。为确定可以通过已有曲线模型进行拟合, 随机从点集D中选取50组连续的数据绘制散点图, 结果如图 5所示。

由图 5可见:散点的分布呈非线性关系且存在周期性, 符合周期性离散信号的特征, 因此采用离散傅里叶变换进行曲线拟合。傅里叶变换是数字信号处理领域一种重要算法^[15], 其原理为任何连续测量的时序或信号, 都可以表示为不同频率的正弦波信号及余弦波信号的无限叠加^[16], 因此在实际应用中对离散原始信号的处理只需通过累加的方式计算原始信号中不同正、余弦波信号的频率、振幅和相位, 将信号从时间域转变为频率域进而研究信号的频谱结构和变化规律。曲线拟合的具体步骤如下:

1) 将所求函数表示为如下形式:

(4)

式中:X_k表示傅里叶幅度。

2) 通过观察图 5可得1个周期的散点数目为40, 由傅里叶变换的特点:1个长度为N的信号可以分解成N/2+1个正余弦信号可知, 所求函数可表示为21个正弦波和21个余弦波叠加的形式。

(5)

式中:ReX[k]、lmX[k]为不同频率正、余弦波的频率。

3) 通过式(6)、(7) 计算式(5) 中ReX[k]和lmX[k]的取值, 式中x[i]代表输入信号。

(6)

(7)

通过以上步骤可以求出叠加正、余弦函数的频率、振幅和相位值, 因此也就得到拟合函数具体的表达式。从深度均值点集D中随机选取连续的200个点并在Matlab中使用该表达式绘制拟合曲线, 结果如图 6所示。

2.3.2 连续呼吸信号频率计算

由图 6可知:曲线拟合效果较好, 深度-距离曲线有明显的周期性且选取的母猪基本保持匀速呼吸。该曲线共含有5个峰值点p₁(0.604 3, 870.5)、p₂(4.952, 870.9)、p₃(9.675, 875.1)、p₄(13.5, 864.9)、p₅(17.7, 874.6), 表示在20 s内母猪至少经过5次完整的呼吸过程, 1次完整呼吸过程的周期T可用式(8) 计算得到。式中:Δy_i代表相邻峰值点y坐标之差的绝对值, 代入峰值点坐标可得T=4.27 s, 再将T代入式(9) 计算得到母猪每分钟的呼吸频率F为14 min^-1。

(8)

(9)

2.4 试验验证

选取10头梅山母猪为试验对象, 在母猪侧卧并保持静止状态时分别对每头母猪不间断采集1 min的深度图像, 根据不同的处理方式分为两部分:1) 用于提取腹部质心的完整深度图像100张。2) 经腹部质心提取后用于计算深度均值的局部深度图像500张。在图像采集过程中同时进行人工计数, 通过记录1 min内母猪的吸气次数确定呼吸频率。将本文方法计算出的呼吸频率与人工计数得到的呼吸频率绘制成表格, 结果如表 1所示, 其中相对误差以人工计数为真值计算得到。试验结果表明:通过本文方法测定的呼吸频率最大相对误差为-27.3%, 最小相对误差为-6.3%, 平均相对误差为14.7%, 测定准确率达到85.3%。

3 结论

1) 提出了一种基于Kinect的梅山母猪呼吸频率测定方法, 该方法实现无接触测定定位饲养条件下梅山母猪呼吸频率。

2) 提出了基于动态区域检测算法、DBSCAN密度聚类算法的腹部质心提取方法, 测试结果表明该方法能够有效提取梅山母猪腹部区域的局部深度图像, 排除图像噪点的干扰并提高图像处理效率。

3) 试验结果表明:该方法正确率达到85.3%, 可以测定定位饲养条件下梅山母猪呼吸频率, 为建立基于机器视觉技术的呼吸频率检测系统提供了理论支撑。