2. 北京农业信息技术研究中心, 北京 100097;
3. 国家农业信息化工程技术研究中心, 北京 100097
中国是世界上最大的水产养殖国。据2016年中国渔业统计年鉴可知,我国2015年全年的水产品总产量达到6 699.65万吨,比2014年增长3.69%。其中,养殖产量4 937.90万吨,占总产量的73.70%,同比增长3.99%[1-2]。在水产养殖中,工厂化循环水养殖模式作为一种新型的高效养殖模式,近年来得到越来越多的重视[3]。其中,鱼类的投喂控制作为渔业养殖中重要的一环,是循环水养殖系统中需要极度重视的问题,过度投喂或者投喂不足,都会对鱼类的正常生长造成影响;此外,饲料成本也是工业养殖中需要考虑的问题,提高饲料的利用率,不仅会增加养殖效益,也会减少残饵对鱼类生活的水环境的影响[4-6]。因此在循环水养殖系统中,对鱼类的精准投喂控制提出了更高的要求。在投喂控制中,首先需要对鱼群的摄食行为进行检测,以此判断是否要继续投喂。作为一种无损检测技术,近年来,计算机视觉成为了一个热门的研究课题。利用计算机视觉技术获得鱼的生物信息在高投入、高产出、风险较高的水产养殖中很有意义[7-12]。
目前,在鱼类摄食行为的研究中,计算机视觉的主要应用方向是通过对鱼群行为进行检测分析,以此判断鱼群的摄食状态[13-19]。赵建等[20]利用改进动能模型结合由鱼群摄食活动引起的水面反光区域的变化特征的方法对鱼群的摄食活动强度进行评估,避免了复杂鱼群目标的前景提取以及鱼群内个体跟踪,实验中对养殖对象的大小和规模提出了一定的要求;于欣等[21]采用基于鱼群运动特征统计方法,对鱼群的异常行为进行了检测研究,研究中采用光流法得到鱼群的速度与转角两个行为特征,然后利用基于标准互信和局部距离异常因子两种方法对鱼群的异常行为进行检测,检测精度达到99.5%以上,该方法未对光照条件不理想情况下的检测精度进行研究;陈彩文等[22]利用图像的纹理特征对鱼群的摄食行为进行检测,避免了对单条鱼的追踪,方法简单,但是检测精度有待进一步提高;ZHOU等[23]利用近红外图像,提出了一种基于支持向量机和灰度梯度共生矩阵的反射帧分类去除方法来量化鱼类行为,该方法具有很高的检测精度,但是该方法对实验条件和光照条件具有一定的要求;朱佩儒等[24]根据斑马鱼的身体特点和成像特征,提出了基于鱼眼和头部显著特征的检测方法,然后通过统计学习方法设计鱼头检测器,可以快速、准确地检测鱼头的位置和方向,在遮挡情况下也具有很好的处理效果,这个方法针对的是单条鱼的跟踪,对整个鱼群的群体行为没有进行相关的阐述;徐盼麟和韩军[25]以单摄像机结合镜面成像的方法进行观察视频拍摄,通过鱼类行为自动观测系统对鱼类行为数据实现自动化提取,然而此方法主要针对的是水箱内鱼类行为数据的自动化观测和提取,对池塘养殖未进行相关的检测研究。以上方法都只是利用了鱼群的单一特征信息,没有对鱼群的特征信息进行综合利用。
BP(back propagation)神经网络[26]是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。利用神经网络进行分类,可以节省大量的人工成本和时间成本,具有很高的应用价值。
综上所述,本文提出了基于图像特征的鱼群摄食行为检测方法。该方法利用鱼群图像的形状与纹理信息作为输入量,通过BP神经网络对鱼群的摄食状态进行检测。该方法简单易行,实用性强,能够用于指导水产养殖中的精准投喂控制。
1 材料与方法 1.1 实验对象实验所采用的数据均来自于北京小汤山国家精准农业示范基地。在实验中,选用镜鲤(Cyprinus carpio specularis)为实验对象,体长为15~20 cm。在开展实验前,实验鱼在基地暂养数月,使其充分适应实验环境。实验时,为保证成像质量,相机安装在水槽的斜上方进行拍摄。
1.2 视频采集系统实验系统如图 1所示。在采集数据时,养殖池内溶解氧(DO)保持在5~7 mg/L,水温保持在15.5~18.2 ℃。实验所采用的相机为尼康D90, 其采集到的是24-bit RGB、1280×720彩色图像,格式为JPEG,采集帧率为24帧/s。实验中采集了鱼群摄食前后的视频,然后每隔1 s截取一帧,从中挑选了成像质量较好的300张序列帧图片,对其进行分析处理。
因为光照、遮挡等原因,在鱼类的行为检测中进行单条鱼的分割与识别是困难的。为了避免对单条鱼的检测,降低实验难度,以整个鱼群的图像特征作为切入点,对鱼群的摄食行为进行检测。在养殖过程中,经观察发现:镜鲤在非摄食阶段一般会聚集在水底自由活动,行为单调统一(图 2a);在摄食阶段,鱼群会迅速聚集到水槽表面,杂乱无章地开始抢食(图 2b)。
结合陈彩文等[22]的实验发现,随着鱼群摄食行为的变化,鱼群图像的形状和纹理特征也会发生相应的变化。根据这个结果,提取鱼群图像的形状与纹理特征,结合BP神经网络对鱼群行为进行检测,以此判断鱼群此时的摄食状态。实验过程中,首先对采集到的图片进行处理,主要的处理过程有:利用均值法生成背景图片,根据视频帧分解生成的各张序列帧图片与背景图片相减提取目标鱼群。对生成的目标图片进行灰度化处理,利用灰度共生矩阵提取目标图片的纹理特征。对灰度化的目标图片再进行二值化处理,然后利用Canny算子进行边缘提取。最后,根据得到的纹理与形状信息,利用BP神经网络对鱼群的摄食状态进行检测。详细实验流程如图 3所示。
形状是刻画物体的基本特征之一, 用形状特征区别物体非常直观。由图 4可知,在摄食前,鱼群的边缘图像较为紧凑;在摄食过程中,鱼群无序地进行抢食,造成鱼群的边缘图像变得散乱。
形状参数[27]作为图像形状的一个特征,能够反映图像的紧凑性,当图像越散乱,图像的形状参数越大。根据鱼群摄食前后的边缘图像的变化规律,可以利用形状参数来描述鱼群的摄食状态。形状参数的计算如下:
式中:L为周长;S为面积。周长的计算方法是图像边缘上像素的个数,面积的计算方法为感兴趣区域的像素个数。
2.2 鱼群纹理特征的提取纹理[28]是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性,主要通过像素及其周围空间邻域的灰度分布来表现,即局部纹理信息。局部纹理信息不同程度的重复性,即为全局纹理信息。由图 5可知,在摄食前,鱼群聚集在一起,行为单调统一,此时鱼群图像的纹理特征相对比较简单;而在摄食过程中,鱼群杂乱无章地进行抢食,此时鱼群图像的纹理特征开始变得复杂。
作为随机性的一个度量,熵[29-30]很好地反映了图像中纹理的复杂程度或非均匀度。图像的纹理越复杂,熵值就越大;图像中的纹理越少,灰度越均匀,熵值也就越小。利用图像熵,能够很好地描述在投喂过程中,鱼群摄食状态的变化。熵值的计算公式如下:
式中:pi是某个灰度在该图像中出现的概率,灰度范围从0到255。
2.3 BP神经网络模型的构建BP神经网络[31-32]模型是目前应用最为广泛的网络模型之一,属于多层前馈的人工神经网络,由输入层、输出层和一个或若干个隐含层构成。传递函数通常是Sigmoid型函数,所以可以实现输入和输出间的任意非线性映射。采用BP人工神经网络技术构建的非线性评价模型,可以避免人为确定各指标的权重带来的主观性,使评价结果的准确性提高。
根据传统BP神经网络训练过程基本步骤,构建3层前馈型单隐含层BP神经网络,选取形状参数F和图像熵H共2个节点为预测模型输入层,选取摄食状态D一个节点为输出层,隐含层神经元个数q和输入层神经元个数M之间近似关系为q=2M+1,因此确定隐含层共5个节点,BP结构为2-5-1,建立起BP神经网络预测模型,网络结构图如图 6所示。BP神经网络训练前,为减弱各主控因素不同量纲的数据对网络模型训练与预测值的影响,对各输入层的数据做归一化处理。
根据得到的图像熵与形状参数,对鱼群的摄食行为进行描述,可以得到如图 7和图 8所示结果。
由图 7和图 8可以很明显地发现,图像熵和形状参数都可以很好地对鱼群的摄食行为进行描述。在1~100帧时,鱼群处于未摄食的状态;在101~200帧时,鱼群图像的熵和形状参数均发生较大的变化,此时鱼群处于摄食状态;201~300帧时,鱼群已经摄食完毕,此时发生的熵和形状参数的巨大变化的主要原因是个别鱼争食残饵。
3.2 基于BP神经网络的鱼群摄食行为检测将得到的2组特征值作为BP神经网络的输入数据,摄食状态作为输出数据,对BP神经网络进行训练和测试。其中,随机选取300个样本中的200个样本用作训练集,剩余100个样本用作测试集,利用建立好的BP神经网络模型进行训练与预测。训练完成后,可以得到BP神经网络迭代结果如图 9所示。由图 9可知,在经过第9次迭代时达到设定的训练精度,训练停止。训练结果如图 10所示。通过本次训练,拟合度R2=0.97。
为了验证本方法的可行性,将本方法与单一的基于图像纹理的检测方法作对比。陈彩文等[22]利用图像纹理信息进行鱼类的摄食行为检测。该文同样以镜鲤为试验对象,基于计算机视觉技术,提出了一种通过分析鱼群的纹理来评估鱼群摄食活动强度的方法。利用灰度共生矩阵对逆差矩、相关性、能量和对比度这4个纹理特征进行分析,检测鱼群的摄食行为。为了数据的统一,本文选取其中的两个特征值进行鱼群摄食行为的检测。由文献可知,相关性反映了图像中灰度共生矩阵的元素值在行或列方向上的相似程度。当矩阵元素值均匀相等时,相关值就越大;相反,如果矩阵元素值相差很大,则相关值就较小。能量是灰度共生矩阵中所有像素点灰度值的平方和,反映图像纹理的粗细程度和灰度分布的均匀程度。如果共生矩阵的所有值相等,则能量小;相反,如果其中一些值大而其他值小,则能量值大。文章中指出鱼群的纹理信息在0°、45°、90°和135°的方向上的变化趋势大致相同,所以本文中用图片0°方向上的相关性和能量2个纹理特征值来表征鱼群的摄食活动强度。
对采集到的图片进行灰度化处理,提取相应的纹理信息。然后同样建立一个2-5-1的BP神经网络模型,输入相关性和能量,输出鱼群的摄食状态。对模型进行训练和测试,得到图 11、图 12的结果。
由图 11可知,利用纹理信息进行鱼群摄食行为检测时,在经过第3次迭代时达到目标精度,训练停止。训练结果如图 12所示。通过本次训练,拟合度R2=0.90。
3.4 用两种方法测得的鱼群摄食行为检测结果的比较 3.4.1 两种方法的检测结果对比经BP神经网络测试后,对本文提出的方法和基于纹理的检测方法的检测结果进行统计,统计结果如表 1所示。
由表 1可知,与单一纹理信息作为输入参数的BP神经网络模型相比,利用本文方法可以得到更高的准确率。
3.4.2 BP神经网络的评价指标及结果对比为了衡量计算偏差以及检验模型,采用决定系数R2,均方误差MSE,运行时间这3个检验值对模型进行评价。其中,R2用于判定回归模型的拟合程度,说明用自变量表示因变量的变异程度,取值范围为[0, 1],当R2接近1,则表示模型拟合效果好;MSE可以用来评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。以下是这两种检验值的公式:
式中:yi为实际值;
在利用BP神经网络对鱼群的摄食行为进行预测时,通过本方法,即同时利用图像的形状和纹理特征作为输入参数,与通过利用图像单一的纹理特征作为输入参数时,得到的对比结果见表 2。
由表 2可知,与单一的纹理特征作为输入参数的方法相比,本文所提出的方法拟合度R2更高,MSE值更小,能够更好地检测出鱼群的摄食行为变化。虽然在利用单一的纹理特征时,运行时间会更短一些,但是在实际养殖中,对如此小的时间单位并不要求十分精确,所以本方法可以更好地应用在鱼群的摄食行为监测中。
4 结论利用图像的形状与纹理特征,结合BP神经网络对鱼群的摄食行为进行检测,避免了对鱼群行为的检测,直接利用鱼群图像的形状与纹理信息,通过BP神经网络对鱼群的摄食行为进行检测,方法简单,避免了水面抖动、水花等的不利影响,提高了检测精度,有助于精准投喂的实施,可以减少养殖过程中的人工成本与饲料成本,降低养殖代价。通过与单一的基于纹理的检测方法作对比,可以发现本方法具有更好的准确率和更高的拟合度,能够更好地被应用于鱼群的摄食行为检测与识别。
此外,在进行数据处理时,实验条件相对比较理想,所以图片的成像质量较好。在后续的研究中,将进一步研究带干扰情况下的鱼类摄食行为检测。最终目的是实现精准投喂,目前只是对鱼群的摄食状态进行简单的分类,并没有对鱼类的摄食强度、投喂量等进行详细的研究分析,这将是后续研究工作的重点。
[1] |
农业部渔业渔政管理局. 2016中国渔业统计年鉴[M]. 北京: 中国农业出版社, 2016: 3-9. Fisheries and Fisheries Administration Bureau of the Ministry of Agriculture. China fishery statistical yearbook[M]. Beijing: Chinese Agriculture Press, 2016: 3-9. |
[2] |
李晓将. 浅谈墨江县引进库区罗非鱼网箱养殖的意义[J]. 农民致富之友, 2013(8): 56-57. LI X J. Discussion on the significance of cage culture of tilapia in the introduction of reservoir area in[J]. Agricultural Science, 2013(8): 56-57. |
[3] |
王峰, 雷霁霖, 高淳仁, 等. 国内外工厂化循环水养殖研究进展[J]. 中国水产科学, 2013, 20(5): 1100-1111. WANG F, LEI J L, GAO C R, et al. Review of industrial recirculating aquaculture research at home and abroad[J]. Journal of Fishery Sciences of China, 2013, 20(5): 1100-1111. |
[4] |
CHANG C M, FANG W, JAO R C, et al. Development of an intelligent feeding controller for indoor intensive culturing of eel[J]. Aquacultural Engineering, 2005, 32(2): 343-353. DOI:10.1016/j.aquaeng.2004.07.004 |
[5] |
HUNTINGFORD F A, ADAMS C, BRAITHWAITE V A, et al. Corrigendum[J]. Journal of Fish Biology, 2007, 70(4): 1311-1316. DOI:10.1111/jfb.2007.70.issue-4 |
[6] |
于承先, 徐丽英, 邢斌, 等. 集约化水产养殖信息系统的设计与实现[J]. 农业工程学报, 2008, 24(S2): 235-239. YU C X, XU L Y, XING B, et al. Design and implementation of information system for intensive aquaculture[J]. Transactions of the CSAE, 2008, 24(S2): 235-239. |
[7] |
胡利永, 魏玉艳, 郑堤, 等. 基于机器视觉技术的智能投饵方法研究[J]. 热带海洋学报, 2015, 34(4): 90-95. HU L Y, WEI Y Y, ZHENG D, et al. Research on intelligent bait casting method based on machine vision technology[J]. Journal of Tropical Oceanography, 2015, 34(4): 90-95. DOI:10.11978/j.issn.1009-5470.2015.04.013 |
[8] |
KATO S, TAMADA K, SHIMADA Y, et al. A quantification of goldfish behavior by an image processing system[J]. Behavioural Brain Research, 1996, 80(1/2): 51-55. |
[9] |
PAPADAKIS V M, PAPADAKIS I E, LAMPRIANIDOU F, et al. A computer-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering, 2012, 46: 53-59. DOI:10.1016/j.aquaeng.2011.11.002 |
[10] |
徐建瑜, 崔绍荣, 苗香雯, 等. 计算机视觉技术在水产养殖中的应用与展望[J]. 农业工程学报, 2005, 21(8): 174-178. XU J Y, CUI S R, MIAO X W, et al. Application and prospect of computer vision technology in aquaculture[J]. Transactions of the CSAE, 2005, 21(8): 174-178. |
[11] |
范良忠, 刘鹰, 余心杰, 等. 基于计算机视觉技术的运动鱼检测算法[J]. 农业工程学报, 2011, 27(7): 226-230. FAN L Z, LIU Y, YU X J, et al. Fish motion detecting algorithms based on computer vision technologies[J]. Transactions of the CSAE, 2011, 27(7): 226-230. |
[12] |
江丹丹, 桂福坤. 基于视频图像的鱼类行为轨迹追踪[J]. 浙江海洋学院学报(自然科学版), 2015, 34(2): 112-117. JIANG D D, GUI F K. Fish motion trajectory tracing technology using video images[J]. Journal of Zhejiang Ocean University(Natural Science), 2015, 34(2): 112-117. |
[13] |
LIU Z Y, LI X, FAN L Z, et al. Measuring feeding activity of fish in RAS using computer vision[J]. Aquacultural Engineering, 2014, 60(3): 20-27. |
[14] |
MALLET D, PELLETIER D. Underwater video techniques for observing coastal marine biodiversity:a review of sixty years of publications (1952-2012)[J]. Fisheries Research, 2014, 154: 44-62. DOI:10.1016/j.fishres.2014.01.019 |
[15] |
PAPADAKIS V M, PAPADAKIS I E, LAMPRIANIDOU F, et al. A computer-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering, 2012, 46: 53-59. DOI:10.1016/j.aquaeng.2011.11.002 |
[16] |
PAUTSINA A, CÍSAŘ P, ŠTYSD, et al. Infrared reflection system for indoor 3D tracking of fish[J]. Aquacultural Engineering, 2015, 69: 7-17. DOI:10.1016/j.aquaeng.2015.09.002 |
[17] |
WU HS, ZHAO Q, ZOU D P, et al. Automated 3D trajectory measuring of large numbers of moving particles[J]. Optics Express, 2011, 19(8): 7646-7663. DOI:10.1364/OE.19.007646 |
[18] |
QIAN Z M, WANG S H, CHENG X E, et al. An effective and robust method for tracking multiple fish in video image basedon fish head detection[J]. BMC Bioinformatics, 2016, 17: 251. DOI:10.1186/s12859-016-1138-y |
[19] |
WANG SH, CHENG X E, QIAN Z M, et al. Automated planar tracking the waving bodies of multiple zebrafish swimming in shallow water[J]. PLoS One, 2016, 11(4): e0154714. DOI:10.1371/journal.pone.0154714 |
[20] |
赵建, 朱松明, 叶章颖, 等. 循环水养殖游泳型鱼类摄食活动强度评估方法研究[J]. 农业机械学报, 2016, 47(8): 288-293. ZHAO J, ZHU S M, YE Z Y, et al. Assessing method for feeding activity of swimmingin RAS[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(8): 288-293. DOI:10.6041/j.issn.1000-1298.2016.08.038 |
[21] |
于欣, 侯晓娇, 卢焕达, 等. 基于光流法与特征统计的鱼群异常行为检测[J]. 农业工程学报, 2014, 30(2): 162-168. YU X, HOU X J, LU H D, et al. Anomaly detection of fish school behavior based on features statistical and optical flowmethods[J]. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(2): 162-168. |
[22] |
陈彩文, 杜永贵, 周超, 等. 基于图像纹理特征的养殖鱼群摄食活动强度评估[J]. 农业工程学报, 2017, 33(5): 232-237. CHEN C W, DU Y G, ZHOU C, et al. Evaluation of feeding activity of shoal based on image texture[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(5): 232-237. DOI:10.11975/j.issn.1002-6819.2017.05.034 |
[23] |
ZHOU C, ZHANG B H, LIN K, et al. Near-infrared imaging to quantify the feeding behavior of fish in aquaculture[J]. Computers and Electronics in Agriculture, 2017, 135: 233-241. DOI:10.1016/j.compag.2017.02.013 |
[24] |
朱佩儒, 刘烨, 王硕鸿, 等. 基于学习的斑马鱼检测与跟踪[J]. 计算机应用与软件, 2015, 32(9): 227-230, 250. ZHU P R, LIU Y, WANG S H, et al. Learning-basedzebrafish detection and tracking[J]. Computer Applications and Software, 2015, 32(9): 227-230, 250. |
[25] |
徐盼麟, 韩军. 基于视频的水箱内鱼类行为观测系统[J]. 湖南农业科学, 2011(19): 140-142. XU P L, HAN J. Automated observation system for fish behavior based on video[J]. Hunan Agricultural Sciences, 2011(19): 140-142. DOI:10.3969/j.issn.1006-060X.2011.19.043 |
[26] |
鲁娟娟, 陈红. BP神经网络的研究进展[J]. 控制工程, 2006, 13(5): 449-451, 456. LU J J, CHEN H. Researching development on BP neural networks[J]. Control Engineering of China, 2006, 13(5): 449-451, 456. |
[27] |
侯铜, 姚立红, 阚江明. 基于叶片外形特征的植物识别研究[J]. 湖南农业科学, 2009(4): 123-125, 129. HOU T, YAO L H, KAN J M. Plant recognition research based on shape features of leaf[J]. Hunan Agricultural Sciences, 2009(4): 123-125, 129. |
[28] |
徐小军, 邵英, 郭尚芬. 基于灰度共生矩阵的火焰图像纹理特征分析[J]. 计算技术与自动化, 2007, 26(4): 64-67. XU X J, SHAO Y, GUO S F. Flame image texture features analyse based on gray level cooccurrencematrix[J]. Computing Technology and Automation, 2007, 26(4): 64-67. |
[29] |
陈成钢, 艾涛. 基于灰度共生矩阵的纹理分析的统计方法[J]. 天津农学院学报, 2014, 21(2): 33-38. CHEN C G, AI T. Statistical method of texture analysis based on gray co-occurrence matrix[J]. Journal of Tianjin Agricultural University, 2014, 21(2): 33-38. |
[30] |
郭德军, 宋蛰存. 基于灰度共生矩阵的纹理图像分类研究[J]. 林业机械与木工设备, 2005, 33(7): 21-23. GUO D J, SONG Z C. A study on texture image classifying based on gray-level co-occurrence matrix[J]. Forestry Machinery & Woodworking Equipment, 2005, 33(7): 21-23. |
[31] |
焦李成, 杨淑媛, 刘芳, 等. 神经网络七十年:回顾与展望[J]. 计算机学报, 2016, 39(8): 1697-1716. JIAO L C, YANG S Y, LIU F, et al. Seventy years beyond neural networks:retrospect and prospect[J]. Chinese Journal of Computers, 2016, 39(8): 1697-1716. |
[32] |
韩磊, 李锐, 朱会利. 基于BP神经网络的土壤养分综合评价模型[J]. 农业机械学报, 2011, 42(7): 109-115. HAN L, LI R, ZHUH L. Comprehensive evaluation model of soil nutrient based on BP neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(7): 109-115. |
2. Beijing Research Center for Information Technology in Agriculture, Beijing 100097, China;
3. National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China