文章信息
- 徐亚妮, 沈明霞, 闫丽, 刘龙申, 陈彩蓉, 许佩全
- XU Yani, SHEN Mingxia, YAN Li, LIU Longshen, CHEN Cairong, XU Peiquan
- 待产梅山母猪咳嗽声识别算法的研究
- Research of predelivery Meishan sow cough recognition algorithm
- 南京农业大学学报, 2016, 39(4): 681-687
- Journal of Nanjing Agricultural University, 2016, 39(4): 681-687.
- http://dx.doi.org/10.7685/jnau.201510035
-
文章历史
- 收稿日期:2015-10-23
2. 黑龙江八一农垦大学信息技术学院, 黑龙江 大庆 163319
2. College of Information and Technology, Heilongjiang Bayi Agricultural University, Daqing 163319, China
猪肉是我国居民的主要肉食品,猪的健康将直接关系到人类的健康。其中,母猪健康尤为重要,关系到仔猪的成活率,在养殖过程中备受关注。对于目前集约化的生猪养殖方式而言,呼吸系统疾病是母猪患病率较高的疫病,严重时能引起大量母猪死亡。而咳嗽作为呼吸系统疾病的主要症状,尤其是早期症状,对咳嗽音的检测已成为诊断母猪是否患有呼吸系统疾病(如肺炎、支气管炎等)的重要依据[1, 2, 3]。而目前主要依靠饲养员观察判断,人力负担重、主观性强且易疏忽,因此,实时准确地自动检测母猪咳嗽情况,能够在一定程度上提高对呼吸系统疾病的诊治效率,进一步达到预防此病传播的目的,对改善母猪健康状况、减少农户经济损失、提升养殖自动化水平是有利的,这也是动物福利养殖的要求[3]。
目前,国内基于自动控制技术对包括母猪在内的家畜生长状况的研究,主要有以下几个方面:1)禽舍环境对家畜的生理及生产指标的影响[4, 5, 6];2)将体温作为判断猪健康状况的基本指标[7],研究母猪体温与繁殖性状的关系[8];3)基于三轴加速度传感器对家畜行为信息的采集与分析[9, 10];4)关于母猪和仔猪之间的声音联系及声音对母猪生产及行为的影响研究[11]。目前国内尚没有关于以母猪声音作为其生长及健康状况判断依据的自动监测方面的研究报道。国外对家畜声音的研究较多,Milone等[12]建立了基于隐马尔科夫模型的自动识别系统,通过牧草高度的不同成功地对奶牛摄食声音进行了自动识别;Meen等[13]对奶牛发声和奶牛行为之间的关系进行了研究,得到了不同行为下发声的频率差异显著的结果;Ferrari等[1]通过提取猪的咳嗽声特征来识别区分感染和非感染呼吸系统疾病的咳嗽声,设计在线咳嗽声计数算法来识别猪舍内生病的猪;Exadaktylos等[3]提出了基于信号频域特征识别病猪咳嗽声的实时算法,具体是运用模糊C均值聚类方法训练出了各声音的特征参照量,用欧几里德距离得到分类阈值,以此进行咳嗽声与其他声音的分类识别。
笔者在已有的咳嗽声识别算法的基础上,基于曲线目标优化思想及改进的模糊C均值聚类方法对母猪咳嗽声识别算法做了进一步研究,包括声音获取、信号处理、特征提取、声音识别等部分。在母猪福利养殖领域,本研究可为建立一个早期呼吸系统疾病的智能自动诊断系统提供数据支持。
1 材料与方法 1.1 试验材料试验在江苏农林职业技术学院农博园猪场进行,选择了10头距离预产期1周左右的梅山母猪,其中有明显咳嗽症状的母猪5头(编号1~5),正常母猪5头(编号6~10)。针对每一个试验个体,构建如图 1所示的声音采集室,长2.5 m,宽1.2 m,高1.5 m,主体采用金属架构,顶部选用塑料盖,床面为铁质漏缝地板,左右两侧安装有通风设备,调温调湿设备、食槽及饮水装置在图中不予标示。在采集室顶部塑料盖中央安装了4个采集节点以构建无线多媒体传感器网络,按节点序号1~4的顺序,以5 s的时间间隔,依次采集1.5 s长度的声音并发送出去。采用此种声音采集节点工作方式,一是尽可能减少空间采集位置对声音信号特征的影响;二是在其他节点工作时,不工作节点处于休眠状态,降低了系统整体功耗;三是除去了数据传输前对声音处理的工作量,能快速获得声音样本。试验时,不考虑室内环境因素对声音信号的影响,且避开早、中、晚3段饲养员喂食时间进行声音样本采集,每头母猪声音采集过程持续8 h左右。
|
图 1 母猪声音采集室 Fig. 1 Sow sounds collection chamber |
运用无线多媒体传感器网络[14]获取大量声音数据,用于训练模型和测试。这是一种全新的信息获取和处理技术,与传统传感器网络相比,无线多媒体传感器网络更多地关注于音频、视频、图像等大数据量和大信息量媒体的采集与处理。系统总体结构如图 2所示,声音信号采集节点负责母猪个体声音信号的采集,并将采集到的数据通过ZigBee上传至网关节点;网关节点将数据以Socket通信方式转发至远程中心服务器上;服务器上位机软件通过对采集到的母猪声音信号进行处理分析,识别母猪咳嗽声。最终,管理员可根据识别结果,综合其他因素初步判断母猪健康状况。
|
图 2 系统总体结构图 Fig. 2 System overall structure |
试验过程中用到的采集节点,选用ST公司出品的32位单片机STM32F103RCT6作为微控制器,使用专用的音频处理芯片VS1003对MIC采集的音频进行解码,并外置供电模块。此外,以TI公司的CC1101芯片为核心设计了无线射频模块,用以完成数据的无线传输。声音节点要求功耗低,在试验过程中无需更换电池;合理选定无线传输距离,在保证足够传输距离的同时尽量降低功耗。试验采集到的母猪声音主要包括咳嗽声、尖叫声、呼噜声、饮水声、金属叮当声及环境噪声等,并在有经验的专业饲养员帮助下对采集到的母猪声音样本进行分类(表 1)。呼噜声的功率谱密度明显区别于咳嗽声和尖叫声[3],而金属叮当声、饮水声、环境噪声等随机性很大,在此试验中仅针对母猪咳嗽声和尖叫声作识别分类研究。
| 母猪编号Sow No. | 母猪声音 Sow sounds | |||||
| 咳嗽声Cough | 尖叫声Scream | 呼噜声Snore | 饮水声Drinking water | 金属叮当声Metallic clang | 环境噪声等Environmental noise and others | |
| 1 | 343 | 573 | 432 | 58 | 74 | 1 957 |
| 2 | 382 | 526 | 521 | 49 | 66 | 1 875 |
| 3 | 377 | 544 | 423 | 51 | 69 | 1 965 |
| 4 | 315 | 578 | 548 | 60 | 71 | 1 912 |
| 5 | 397 | 492 | 504 | 55 | 63 | 1 894 |
| 6 | 11 | 887 | 516 | 65 | 97 | 1 863 |
| 7 | 2 | 798 | 489 | 80 | 108 | 1 964 |
| 8 | 18 | 907 | 618 | 43 | 92 | 1 762 |
| 9 | 0 | 1 022 | 481 | 69 | 94 | 1 768 |
| 10 | 15 | 759 | 549 | 59 | 89 | 1 964 |
在对母猪声音信号特征分析之前,首先从以下几个方面进行预处理,处理过程中所用到的采样频率为44 100 Hz,采样精度为16位。
1) 滤波:主要由于通风设备、调温调湿设备的使用,会使采集到的声音信号中含有噪音,因此要消除那些带有干扰信号的频率波段。试验中设计了5阶的巴特沃斯低通滤波器实现滤波目的。巴特沃斯低通滤波器可用如下公式表示:
为通频带边缘的数值。
2) 加窗分帧:只有稳态的信息才能进行信号处理,而每一帧内的信号可以看作为稳态信号,因此要进行分帧操作。采用交叠分段的方法对滤波后的声音信号进行分帧,即在相邻两帧之间设置一部分重叠,从而使帧与帧之间平滑过渡,以保持信号的连续性。分帧实际上相当于乘以一个有限长的窗函数y(n)=
,一般选用汉明窗(Hamming)来实现[15]。其定义如下:
3) 端点检测:采用基于短时平均能量和短时平均过零率的双门限算法对样本信号进行端点检测,以准确确定样本中有效信号的起始点和终止点位置,将有用的信号从静音和背景噪音中分离出来,缩短后续信号处理时间,提高效率[16]。设分帧处理得到的第n帧声音信号为xn(m),其短时能量用En表示,计算公式为
在MATLAB程序处理过程中,采用离散信号相邻取样值改变符号的方法来计算过零率,即相邻取样值乘积为负数。
1.3.2 声音信号的功率谱密度对信号进行预处理后,运用离散傅里叶变换(discrete Fourier transform,DFT)求信号的功率谱密度(power spectral density,PSD)。信号的功率谱密度反映了信号能量随频率的变化关系,是声音识别过程中需要依据的信号频率特征[17]。对一个离散信号x(n),假设其为第m帧声音信号,采样点为N,这个离散序列可表示为{x(0),x(1),…,x(N-1)},其离散傅里叶变换为
式中:fs为起始频率; fe为终止频率; fr为频率分辨率;Pi为频率i处的功率谱密度。
针对母猪咳嗽声和尖叫声,求得它们低于15 000 Hz的功率谱密度。从图 3可以看出:频域图(frequency domain)主要显示了低于10 000 Hz的信号频谱,母猪咳嗽声的高能部分集中在300 Hz左右,而尖叫声的高能部分则集中在650 Hz附近。此外,在低于5 000 Hz的部分,咳嗽声的功率谱密度比尖叫声的功率谱密度波动性更大。尽管这两种声音之间存在这些差异,但它们的功率谱密度曲线走势和两类声音的总体能量相差不大,仅通过此特征难以从量的角度准确识别这两类声音,因此笔者提出基于目标优化的思想训练声音特征。
|
图 3 母猪咳嗽声与尖叫声的时域、频域及功率谱密度(PSD)图 Fig. 3 Time domain,frequency domain and power spectral density(PSD)figures for a cough and a scream sound of sow |
以1号母猪为参照,从获得的样本中随机选取咳嗽声和尖叫声各20个构成训练集,按1.3.2节求得各自的PSD,分别记为{XN1,XN2,…,XN20}和{YN1,YN2,…,YN20},其中:下标N为各曲线的点数。此处运用目标优化的思想,按点N分别计算到各Xni、Yni距离最近的目标值Xn和Yn,i=1,2,…,20,n=1,2,…,N,即
为提高程序运算效率,转化为求到各Xni、Yni距离平方和最小的值,目标函数分别为:
模糊C均值(fuzzy C-means,FCM)聚类算法,主要是通过优化目标函数得到每个样本点对所有类中心的隶属度,从而决定样本点的类属,以达到自动对样本数据进行分类的目的[18]。笔者对FCM聚类算法进行改进,由点的聚类来实现线的聚类,具体方法和步骤如下:
1) 分别以1.4节中获得的PSDXref和PSDYref作为2个聚类中心m1(n)和m2(n),聚合的2个类别用ω1和ω2表示。
2) 每一个要分类的样本用ZN表示,按点N计算到各聚类中心的距离
3) 计数值j和k反映了样本ZN的N个点的聚类情况,根据它们的值定义如下的识别方法
1.4 节中运用简单的目标优化思想,训练出了母猪咳嗽声和尖叫声的功率谱密度特征曲线。如图 4所示:粗实曲线代表母猪咳嗽声的PSD特征,粗虚曲线代表母猪尖叫声的PSD特征。为保证分类效果清晰,此处只显示用于训练母猪咳嗽声PSD特征的样本曲线,省略显示用于训练母猪尖叫声PSD特征的样本曲线。从图中可以看出,除了1 500 Hz以下频段的PSD特征较为接近之外,1 500 Hz以上频段的PSD特征基本上都相差10 dB左右;此外,4 000 Hz以下频段部分的功率谱密度波动较大,4 000 Hz以上频段部分的功率谱密度曲线较为平缓。简而言之,通过曲线目标优化得到的母猪咳嗽声和尖叫声的PSD特征是有明显差异的,这样提取出的信号特征可以认为是有效的。为减少计算机的数据处理量,在接下来的声音识别过程中,滤除掉1 500 Hz以下频段部分(即特征相似段),只对1 500 Hz以上频段部分进行分类识别。
|
图 4 母猪咳嗽声和尖叫声功率谱密度特征曲线 Fig. 4 Characteristic curve of sow cough and scream sounds′ PSD |
根据上述提取到的声音特征曲线,对表 1中采集到的母猪咳嗽声和尖叫声样本按个体进行识别,结果如表 2所示。可以得出:对于提取出参考特征的1号母猪而言,声音识别准确率达到了90%以上;忽略提取出参考特征的1号母猪,对于其他有明显咳嗽症状的母猪,咳嗽声和尖叫声的识别准确率分别约为86.1%和86.6%;对于正常母猪,尖叫声的识别准确率约为80.3%,剔除7号和9号母猪的特殊数据后得到的咳嗽声识别准确率约为79.9%;忽略个体差异,咳嗽声和尖叫声的总体识别准确率分别约为83.4%和83.1%。这样的识别率预示着本文的识别算法是有效的。但由于参考特征是由有明显咳嗽症状的1号母猪声音样本提取得到的,所以对其他有明显咳嗽症状的母猪和正常母猪声音的识别率有一定影响,但对整体的识别效果影响不大,不会影响到后期对母猪健康状况的判断。当然,识别一段时间内咳嗽连续情况比识别单声咳嗽更重要[3]。一段时间内咳嗽的连续情况才能更准确地反映出母猪的身体状况,才能作为判断母猪是否患有呼吸系统疾病的依据,这是后续需要进一步研究的内容,也是在真正的自动化监管过程中所需要解决的。
| 母猪编号Sow No. | 咳嗽声 Cough sound | 尖叫声 Scream sound | |||||
| 数量Quantity | 识别量Identification quantity | 准确率/%Accuracy | 数量Quantity | 识别量Identification quantity | 准确率/%Accuracy | ||
| 1 | 323 | 299 | 92.6 | 553 | 505 | 91.3 | |
| 2 | 382 | 331 | 86.6 | 526 | 468 | 89.0 | |
| 3 | 377 | 321 | 85.1 | 544 | 478 | 87.9 | |
| 4 | 315 | 267 | 84.8 | 578 | 494 | 85.5 | |
| 5 | 397 | 349 | 87.9 | 492 | 414 | 84.1 | |
| 6 | 11 | 9 | 81.8 | 887 | 727 | 82.0 | |
| 7 | 2 | 1 | 50.0 | 798 | 625 | 78.3 | |
| 8 | 18 | 14 | 77.8 | 907 | 737 | 81.3 | |
| 9 | 0 | — | — | 1 022 | 821 | 80.3 | |
| 10 | 15 | 12 | 80.0 | 759 | 603 | 79.4 | |
1) 以无线多媒体传感器网络作为采集和传输母猪声音数据的手段,能达到快速、稳定、全自动的效果。
2) 本文基于目标优化思想提取声音特征,简单、高效;并以改进的模糊C均值聚类算法对单独的咳嗽声和尖叫声进行识别,识别准确率均能达到约83%以上,理论上能作为母猪呼吸系统疾病早期诊断的手段之一。
3) 对于同一品种的不同个体,同一参考特征对识别率有一定影响,但对整体识别效果影响不大,不会影响到后期对母猪健康状况的判断;而对于不同品种的个体之间,提取到的参考特征是否有差异,有待研究。
| [1] | Ferrari S,Silva M,Guarino M,et al. Cough sound analysis to identify respiratory infection in pigs[J]. Computers and Electronics in Agriculture,2008,64:318-325. |
| [2] | Guarino M,Jans P,Costa A,et al. Field test of algorithm for automatic cough detection in pig houses[J]. Computers and Electronics in Agriculture,2008,62:22-28. |
| [3] | Exadaktylos V,Silva M,Aerts J M,et al. Real-time recognition of sick pig cough sounds[J]. Computers and Electronics in Agriculture,2008,63:207-214. |
| [4] | 吴鹏威. 半开放式鸡舍不同季节环境参数变化规律及其对蛋鸡生产性能影响的研究[D]. 保定:河北农业大学,2013:17-44. Wu P W. Research about variation of semi-open sheds in different seasons on environmental parameters and its effect on the performance of laying hens[D]. Baoding:Hebei Agricultural University,2013:17-44(in Chinese with English abstract). |
| [5] | 颜志辉. 极端温度对奶牛生产与生理影响及其调控措施研究[D]. 北京:中国农业大学,2014:33-58. Yan Z H. Research of extreme temperatures on the production performances and physiological conditions of Holstein dairy cows and regulations[D]. Beijing:China Agricultural University,2014:33-58(in Chinese with English abstract). |
| [6] | 何勇军,李美花. 猪舍及其部分环境指标对猪生产的影响[J]. 畜牧与兽医,2006,38(4):26-28. He Y J,Li M H. Effects of pig house and its some environmental indicators on pig production[J]. Animal Husbandry and Veterinary Medicine,2006,38(4):26-28(in Chinese). |
| [7] | 柏广宇,刘龙申,沈明霞,等. 基于无线传感器网络的母猪体温实时监测节点研制[J]. 南京农业大学学报,2014,37(5):128-134. DOI:10.7685/j.issn.1000-2030.2014.05.021. Bai G Y,Liu L S,Shen M X,et al. Design of sow body temperature monitoring node based on wireless sensor network[J]. Journal of Nanjing Agricultural University,2014,37(5):128-134(in Chinese with English abstract). |
| [8] | 张丁华,王艳丰,李鹏伟,等. 体温与母猪生殖行为关系观察及应用初探[J]. 中国猪业,2008(1):32-33. Zhang D H,Wang Y F,Li P W,et al. First exploration of observation and application of the relationship between body temperature and sow reproductive behavior[J]. China Swine Industry,2008(1):32-33(in Chinese). |
| [9] | 刘龙申,沈明霞,姚文,等. 基于加速度传感器的母猪产前行为特征采集与分析[J]. 农业机械学报,2013,44(3):192-196. Liu L S,Shen M X,Yao W,et al. Acquisition and analysis of sows' behavior befor farrowing based on acceleration sensor[J]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(3):192-196(in Chinese with English abstract). |
| [10] | 郭东东. 基于三轴加速度传感器的山羊行为特征识别研究[D]. 太原:太原理工大学,2015:9-30. Guo D D. Research on 3D acceleration sensor recognition for goats' behavior characteristics[D]. Taiyuan:Taiyuan University of Technology,2015:9-30(in Chinese with English abstract). |
| [11] | 张俊辉,顾宪红,郝月. 母猪与仔猪的声音联系及互作[J]. 中国畜牧兽医,2011,38(8):113-117. Zhang J H,Gu X H,Hao Y. Contact and interaction of the voice of sows and piglets[J]. China Animal Husbandry and Veterinary Medicine,2011,38(8):113-117(in Chinese). |
| [12] | Milone D H,Galli J R,Cangiano C A,et al. Automatic recognition of ingestive sounds of cattle based on hidden Markov models[J]. Computers and Electronics in Agriculture,2012,87:51-55. |
| [13] | Meen G H,Schellekens M A,Slegers M H M,et al. Sound analysis in dairy cattle vocalisation as a potential welfare monitor[J]. Computers and Electronics in Agriculture,2015,118:111-115. |
| [14] | Akyildiz I F,Melodia T,Chowdhury K R. A survey on wireless multimedia sensor networks[J]. Computer Networks,2007,51(4):921-960. |
| [15] | 汤丽平,张健,任羽. 基于无线传感器网络的咳嗽音检测系统研究[J]. 传感器与微系统,2011,30(12):25-27. Tang L P,Zhang J,Ren Y. Research on detection system of cough sound based on wireless sensor networks[J]. Transducer and Microsystem Technologies,2011,30(12):25-27(in Chinese with English abstract). |
| [16] | 石锐,李宁,何庆华. 咳嗽识别中的端点检测方法[J]. 重庆理工大学学报(自然科学版),2010,24(8):43-48. Shi R,Li N,He Q H. Method of endpoint detection in cough recognition[J]. Journal of Chongqing University of Technology(Natural Science Edition),2010,24(8):43-48(in Chinese with English abstract). |
| [17] | 曹晏飞,陈红茜,滕光辉,等. 基于功率谱密度的蛋鸡声音检测方法[J]. 农业机械学报,2015,46(2):276-280. Cao Y F,Chen H Q,Teng G H,et al. Detection of laying hens vocalization based on power spectral density[J]. Transactions of the Chinese Society for Agricultural Machinery,2015,46(2):276-280(in Chinese with English abstract). |
| [18] | 王军玲,王士同,包芳,等. 基于空间距离的快速模糊C均值聚类算法[J]. 计算机工程与应用,2015,51(1):177-183. Wang J L,Wang S T,Bao F,et al. Fast fuzzy C means clustering algorithm based on spatial distance[J]. Computer Engineering and Applications,2015,51(1):177-183(in Chinese with English abstract). |



