中国水产养殖面积已达718.952万hm²，超过77.29%的水产品出自人工养殖。尽管养殖规模不断扩大，但传统粗放型的养殖方式对环境所带来的压力日益明显，提高水产行业的自动化、智能化水平是渔业生产的迫切需求^[1]。其中，提高饲料的利用率是精细化养殖的一个关键环节，如何根据鱼类的摄食需求而实施精准投喂是生产过程中急需解决的难题。按需投喂可减少饲料浪费，改善水质环境，降低鱼类疾病暴发的风险，还可避免因摄食不足而导致鱼类生长缓慢等问题，最大程度地保证养殖福利与养殖效益^[2-3]。

随着计算机技术与视觉技术的快速发展，利用视觉技术分析鱼类的行为，由行为特征判断鱼类的摄食需求是当前国内外的研究热点，研究方法可分为直接与间接分析法。前者是直接对鱼类个体或群体进行目标跟踪，借助于转速、游速、质心位置、聚散度等参数，由鱼群的形状、纹理和颜色特征反映鱼类的摄食活跃程度^[4]。SADOUL等^[5]通过分析摄食前后鱼群面积和扩散程度等信息，利用分散性和游动活性的两个指标表征鱼群的活跃程度；陈彩文等^[6]采用鱼类摄食时的图像纹理特征评估鱼类的摄食强度；陈明等^[7]采用鱼类摄食状态下图像纹理特征加权融合的方法描述鱼类的摄食行为。上述方法对精细化养殖具有指导作用，但目标跟踪法通常需要清澈的水体、稳定的光源与背景，以保证鱼类前景目标提取与背景图像剔除，而这些条件在养殖现场往往难以满足。再有，一些鱼类的体色会趋向于养殖池颜色而逐渐变化，背景与目标图像会相互融合，这使得直接分析法在转化为实际应用时面临很大挑战。

间接分析法是指根据鱼类运动时产生的水面波纹或残饵剩余量评估鱼类摄食活跃程度的方法。赵建等^[8]提出了基于水面反光区域纹理特征的摄食活跃程度判定方法，该方法无须跟踪鱼群目标，降低了对水体清澈度的要求，但反光区域的纹理具有高度复杂性，需要耗费大量的计算资源，难以做到实时监测；ATOUM等^[9]提出了基于残饵检测的自动投喂系统，受光照变化、水面反射、溅起的水花等因素的影响，残饵检测的鲁棒性提升存在较多困难。

基于以上原因，探索新的方法表征鱼类的摄食行为对实现精准投喂具有重要意义。鱼类在水体中同时存在水平及垂直移动，形成复杂多变的三维运动轨迹。运动维度的增加使分析难度也成倍增加，当前的成像设备以二维图像为基础，难以反映鱼类在深度方向的分布信息，只能将鱼类的三维空间行为投影到二维图像上进行分析，这将导致鱼类目标的重叠与遮挡，致使大量运动信息丢失，同时会导致目标图像与背景图像混叠在一起，很难通过现有的图像处理方法实现特征信息提取，这一直是图像处理的难题。

鱼类在深度方向上的分布包含着丰富的生理信息，例如：鱼类缺氧时会浮到水面高频率、高强度呼吸；鱼类饥饿时，在水体表面的活动频率会明显增加，食物投放后，鱼类在水面完成摄食活动，饱食后沉入水底。除此之外，鱼类被寄生虫感染、水体被污染或鱼类濒临死亡时都会在水体表面呈现出不同的运动特征。人类通过观察水体表面的鱼类行为以获取水体环境信息及鱼类生理信息，已经是一种有效的监测手段，在实践中积累了丰富的经验，在表征鱼类的行为时，借鉴于人类视觉原理对解决当前图像处理所存在的问题大有裨益。

人类视觉主要由双眼从不同的位置与角度注视物体，左右眼分别检测物体左右侧的信息，人类大脑通过对比这两幅有相位差异的“影像”以定位出物体的距离，即获取深度信息，从而产生强烈的立体感。人类在观察鱼类行为时，可根据需求将注意力集中在水体表面或底部，使空间上相互分开的物体在成像时不会重叠，快速构建出鱼类在不同深度方向上的空间行为信息。基于此原理，本文采用近红外深度图(depth image)监测鱼类的摄食行为。深度图是指包含视点场景对象表面距离信息(即深度值)的图像或图像通道，其像素点的值是传感器与物体表面的距离，它直观地反映了物体表面的几何形状，因此被广泛应用于三维场景的重建、测量、扫描、识别等应用。近年利用近红外深度图研究鱼类^[10]、小龙虾^[11]、母猪^[12]等动物行为的成果已有发表，但利用近红外深度图研究鱼类摄食行为的工作未见报道，本文采用深度相机实时监测鱼类的摄食过程，为解决精准投喂问题提供了新的研究思路。

1 材料与方法 1.1 实验材料

实验采用南方市场常见的鲤(Cyprinus carpio)作为研究对象，鲤鱼苗由玉林市鑫坚种养有限公司提供，鱼苗体长8 cm左右，总数70条，颜色为灰褐色。在实际的养殖过程中，养殖鱼的体型、尺寸、颜色有可能存在差异，为了模拟实际养殖场景，也为了验证该系统在复杂情况下的可靠性，实验时在灰褐色的鲤鱼群体中加入了4条有颜色差异的锦鲤一起共养，锦鲤的体长为15 cm左右，比其他鲤鱼苗的体型稍大，由于都属于鲤科(Cyprinidae)鱼类，共养群体没表现出攻击行为。养殖池的直径为0.76 m，深度为0.70 m，实验鱼在养殖池内养殖40 d以上，以充分适应养殖环境。

1.2 实验系统构建

系统采用微软公司生产的KINECT 2.0深度相机(也称体感相机)为主成像设备，该设备采用飞行时间(time of flight，TOF)技术、通过测量发射光脉冲与接收光脉冲的相位延迟以获取场景的距离信息，是一款具有毫米级测量精度的技术产品，在工业及农业领域具有潜在的应用价值。系统总体框图如图 1所示，其内部包含3个重要组件：红外光源发射器、红外摄像机和彩色摄像机。红外光源发射器向视场区域连续发射经调制的红外光谱，光照射到粗糙物体表面，经反射后进入红外摄像机。由于物体表面不同点至红外传感器平面的距离不同，则反射光在空间的飞行时间不同，发射脉冲与接收脉冲产生相位差，系统内部的高速数字信号处理器通过处理相位差矩阵，重建出一幅分辨率为424×512的深度图。虽然深度图与传统的二维图像在表象上极为相似，但两者所表达的内容不同：深度图的像素点代表深度值，反映了视角范围内目标的轮廓特征；传统二维图像的像素点表示颜色信息或亮度信息，反映了目标的光学特性。KINECT 2.0系统还配备了分辨率为1 920×1 080的彩色摄像头，彩色与红外相机在出厂时已经经过位置校准，两摄像头的成像视角基本一致，可通过软件校准使彩色图与深度图对齐。关于深度相机的原理在文献[13]中有详细说明，在此不做详细讨论。

系统所采用的硬件配置，性能上高于运行KINECT 2.0所需的基本配置，CPU处理器为64位的Intel Core i7(3.6 GHz)处理器，系统内存为16G，操作系统为64位的WINDOWS 10.0系统，软件开发平台为微软公司的C#(Visual Studio 2015)，数据库采用微软公司的Access平台，创建的关系型数据表用于实时存储实验数据。

1.3 数据采集与统计分析

为了取得最佳的成像效果，将KINECT深度相机放置于养殖池正上方中心向下俯拍，如图 1所示，KINECT深度相机的有效测量范围是50~450 cm，在此距离之外的测量会存在较大误差。实验时深度相机与养殖池水面的距离设定为85 cm，以保证红外相机与彩色相机的视点范围能覆盖整个养殖池水面；拍摄距离增加可使成像范围增大，但对微小物体的成像精度会有所降低，反之亦然。

深度图的成像效果如图 2所示，采用算法将距离数值转化为灰度数值，则深度图中的不同灰度代表了不同深度。图 2a为鱼类非摄食状态的深度图，此时鱼类与养殖池底部非常接近，两者的灰度值相近，很难通过灰度差异分辨出鱼的轮廓。图 2b为摄食状态的深度图，此时鲤在水面抢食浮性饲料，前景目标与背景的深度值差异较大，其灰度值差异明显，可直观分辨出摄食鲤鱼的外形。

为了表征鱼类摄食与非摄食状态的差异，图 3对不同水体深度的像素点分布进行了统计分析。实验时水体的总深度设定为40 cm，则深度相机与养殖池底部的总距离为125 cm。非摄食状态下，鱼主要处于水体底部，此时在大于等于125 cm处的分布概率较大，而在86~90 cm的水体表面的分布概率较低。在摄食阶段，鱼类浮到水面抢食，则像素点在水体表面的分布概率增大，而在水体底部的分布概率变小。图 3中91~125 cm表示水体的中部，摄食时，鱼类在水体中部活动的时间增多，其概率分布也有所增加。51~85 cm表示水面至摄像头的无遮挡空间，其概率分布主要由养殖池的池壁成像所致，因此在摄食与非摄食阶段其概率分布基本一致。0~50 cm是无效的测量范围，其分布概率为0。需要注意的是，由于红外光源在水面反射而使某些像素点亮度饱和，深度相机无法准确测量光源反射处的深度值；再有就是当前景目标与背景图像的深度值突变时，系统也无法准确测量出目标边缘的深度数值，硬件生产商将这些无效测量点用深度值0表示。在摄食阶段，水面上摄食鱼类的边缘轮廓与养殖池底部距离较远，此时鱼的边缘轮廓的深度值为0，故摄食阶段深度值为0的像素点概率分布会大于非摄食阶段。根据概率分布的特征，可直观分析出鱼类摄食与非摄食阶段的状态差异。

1.4 数据处理

基于以上的分析，鱼类摄食阶段的明显特征是水体表面的像素分布明显增大，在饲料投下时，水体表面的目标分布可直观反映出鱼类的摄食情况，因此首先通过程序对深度图的像素点做如下的处理：

式中：Z(x, y)表示深度图坐标为(x, y)处的深度值, 则Z(x, y)的取值范围是500~4 500 mm，由于深度图的分辨率为424×512，则像素坐标x和y的取值范围分别为0~423和0~511。公式(1)表示：当像素点的值为500~910时，此像素点被设置为1，用灰度值255(白色)表示；而不在此范围的像素点，用灰度值0(黑色)表示，则深度图可表征为黑白图。实验时Z(x, y)的最高阈值设定为910 mm，而深度相机与水面的实际高度为850 mm，当鱼类在水面及水面以下60 mm范围活动时，则进入了深度相机的有效成像区间，此时鱼类的运动行为将全部被红外相机捕捉。由于近红外光对水体具有较强的穿透特性^[14]，即使是浑浊的水体，深度相机对活动于水体表面的鱼类也能清晰成像。游泳型鱼类主要以浮性饲料为主，当饵料投放时，摄食鱼类及水面饲料在深度图中清晰可见。

通过对比鱼类摄食彩色图(图 4)与摄食深度图发现，经本文方法处理过的深度图不存在复杂的背景干扰，只存在黑白两种状态，实现了基于距离特征的前景目标提取与背景图像剔除。首先，深度图能更有效地监测水面的饲料颗粒，在彩色图中饲料颗粒与背景图像混在一起难以识别，而在深度图中呈现为白色颗粒状，易于识别。其次，深度图能更有效地监测摄食鱼群，图 4的椭圆标志区表示体积较大的锦鲤在水面抢食，方形区域表示体型稍小的鲤鱼鱼群在水面抢食，在彩色图中，摄食与非摄食状态的鱼类具有相似的外观表象，难以准确判断出某时刻的摄食鱼类数量，而在深度图中，只有在水面抢食的鱼类才能成像，非摄食状态的鱼类处于较深的水体，会被当作黑色背景。例如，图 4的六边形区域表示处在较深水体的鲤鱼，由彩色图难以判断此鱼是否处于抢食状态，但深度图的对应位置没有相应的鱼群目标，可知该对象超出了成像范围，属于非摄食状态的鱼类。上述分析表明：深度图能更有效地表征出鱼类的摄食特征，且图像质量不易受环境因素干扰。

1.5 鱼类摄食强度的测量

摄食活动强度是反映鱼类饱食程度的有效指标，在自动投喂过程中，该参数可作为投喂控制的关键信号。鲤科鱼类在高强度抢食时会在不同深度的水体里交替变化，引起深度图的目标像素点总和产生明显变化。因此本文将目标像素点的变化率作为鱼类摄食强度的评估指标，该方法无须对二维图像进行分析处理，而直接对像素点的数量进行累加求和，将传统的二维图像处理过程转变为一维数据的统计分析过程，计算量大幅度降低^[15]，计算公式如下：

(2) 式中：f(k)表示第k幅深度图的目标像素点总和，经公式(1)处理，Z(x, y)用0或1表示，每幅深度图共有424×512像素点，通过程序设定二重循环，对所有像素点求和累加，所求得的f(k)即为在水面抢食的鱼类目标与饲料颗粒的像素总和，在水面抢食的鱼类越多，则f(k)值越大，反之则越小。

饲料投放时，鱼类会迅速游出水面争抢饲料，目标进入有效成像区，为了提高抢食效率，鱼类在水面快速移动并呈现出不同的抢食姿态，使水面产生强烈震荡；当KINECT系统的红外光源投射到水面时，红外光因水面波纹的震荡和鱼类身体的多角度变化而产生多方向散射，散射光返回红外摄像机时，深度图的像素数值会产生明显波动；鱼类抢食的强度越强，像素点的波动也越明显，根据f(k)的值与波动程度，可有效地反映出鱼类的摄食强度。

对比不同摄食强度的深度图发现：当有大量的鱼类在水面抢食时，图 5a的目标像素点明显增多，从白色区域可观察到鱼类抢食时的身体轮廓与饲料颗粒的分布情况，此时f(k)数值最大。当摄食一段时间后，鱼类饥饿程度下降，则在水面抢食的鱼类数量减少，抢食强度有所降低，如图 5b所示。当接近饱食状态时，鱼类在水面摄食的活跃程度将进一步降低，只有少量鱼偶尔抢食，已经饱食的鱼从饲料旁游过而不抢食^[16-17]，此时的状态如图 5c所示。当饱食后，鱼类会沉入到水底，深度图如图 5d所示。

鱼类抢食过程的行为曲线如图 6a所示，横轴代表时间，纵轴代表目标像素点的总和。当水面无鱼类抢食时，f(k)值恒定在23 000左右，在时间点10：29：32时投下饲料后，鱼类迅速游到水面抢食，瞬间达到了最高强度的抢食状态，此时的f(k)的值高达33 500，类似于图 5a的高强度摄食。投食持续90 s，鱼类一直保持较高强度的抢食状态，f(k)的波动范围大。程序实时地判断f(k)值的大小，当其值超过设定阈值23 000时，程序自动将当前的日期、时间、深度值3项数据存储到ACCESS数据表中，则鱼类的摄食过程以数据表的形式被完整记录，与传统的存储方法相比，存储数据表所需的空间远远小于存储视频所需空间，本文的方法大幅度地降低了数据存储量，有效地避免了数据冗余，提高了处理速度与精度，对精准投喂的实时控制具有重要意义。

1.6 鱼类摄食活动强度的量化

鱼类的摄食活跃程度可由f(t)的波动程度反映，由文献[18]可知，导数可有效表征函数的变化率，若f(t)为连续函数，其导数定义为

文中的f(k)表示f(t)的离散化结果，表示第k幅深度图的目标像素点总和，离散化后Δt→0，则离散信号f(k)的导数可表示为

f′(k)表示两幅深度图之间的变化率，鱼类的抢食强度越强，则f′(k)的值越大。对图 5的数据进行求导，结果如图 6b所示，在非摄食阶段，f′(k)接近于0，随着抢食活跃程度的增加，f′(k)的值迅速变化。f(k)值反映了在水面摄食鱼类的数量，而f′(k)的值反映了鱼类在水面抢食的活跃程度，即为变化程度，借助于上述两参数，可有效表征出鱼类的摄食活动强度。

2 结果 2.1 单轮多次投喂的深度数据与人工观察结果的相关性分析

根据上述分析，深度图的像素变化可反映出鱼类瞬时摄食强度，但在水产养殖过程中对鱼类摄食行为的持续监测具有更重要的意义。虽然采用常规的视频影像能完整记录鱼类的摄食行为，但视频存储的大容量需求使得数据的处理、分析、特征提取存在较大困难，很难满足实时监测的需求，本文采用深度数据更进一步探索较长时段内鱼类的摄食规律。

在实验前72 h，鱼类停止喂食，肠胃处于排空状态。实验采用人工投喂方式，分3次完成一整轮的投喂过程，投喂饲料的总量以鱼体总质量的2%作为参考，将饲料总量分成质量相等的3份，则在投喂瞬间，水面饲料的像素总和基本一致，最大程度降低饲料颗粒对实验分析的影响。在饲料投放后，整个摄食过程的深度数据由系统自动记录，中间无人工干预。

图 7是由Access数据表记录的从开始投喂至鱼类饱食的整个过程，在时间点12：39开始投喂饲料，投料后鱼类迅速浮出水面抢食，纵坐标f(k)的值瞬间达到最高强度抢食状态，蓝色点在短时间内出现的次数及跳变的范围可反映出f′(k)的大小，黑色点跳动的幅度越大表示摄食强度越强。随着时间推移，抢食强度逐渐减弱，至时间点12：55，第一次投放的饲料抢食完成，图 7最左边的三角形记录了第一次摄食过程，系统自动记录的结果与人眼观察到的鱼类行为特征具有一致性。

第一次投食结束后，如果鱼类已经饱食，则会沉入水底保持相对静止状态；反之会有大量鱼浮到水面继续寻找食物，等待食物的再次投放。在12：57至13：14时间段，通过人工观察，水面没有残余饲料，但有大量的鱼在水面游动觅食。图 7的圆圈是系统记录的数据，准确反映了鲤鱼探寻食物的行为特征。

在13:15再次投下饲料，图 7中间的三角区域是系统记录的第二次摄食过程，在大体趋势上反映了先强后弱的摄食特征，与第一次摄食过程相比，其摄食强度有所减弱。在时间点13：30，人工观察到水面饲料已经基本消耗完，但仍有鱼类在水面游动，说明鲤鱼未完全饱食。在13：31最后一次投放饲料，图 7最右边的三角形示意图记录了最后一次摄食过程，从黑色点的分布可知：随着投喂次数的增加，无论是抢食强度还是抢食次数都呈下降趋势，而抢食完水面饲料所需时间呈增长趋势。

由上可知，在人工投喂过程中，采用深度数据记录的摄食行为与人工观察到的摄食特征具有一致性，深度数据可直观反映出鱼类从饥饿到饱食，摄食强度由强变弱的变化趋势。在自动投喂过程中，根据深度数据，模拟出人工的投喂策略，有望解决精准投喂的难题。

2.2 鱼类行为的持续监测与行为规律分析

ACCESS数据库能长时间保存鱼类行为数据，图 8是时间跨度为12小时的鱼类行为数据，最左侧的矩形区域展开后即为图 7的摄食图。图 8的整体变化趋势表明：鲤鱼在饱食状态下，在溶解氧含量稳定的情况下，多数时间处于养殖池底部或中部较缓慢游动，而在水面活动的概率较低，这一现象与之前的报道^[19-20]结果一致。饱食后4小时，鱼类因能量消耗而使饱腹指数降低，浮出水面探寻食物的概率增大，偶尔表现出较强的探食行为，例如在19：12所示的黑色点区域。在19：30之后，进入无光照的夜间，鲤科鱼类在水面的活动频次降低。

通过多次实验发现鲤鱼具有一个稳定的行为特征：在单轮多次投喂之后，鱼类进入饱食状态，接下来几天不再投喂，但在每天的上午8：00~10：00会有大量的鱼类在水面探寻食物；过了此时间段，即使没有饲料投放，鱼类在水面的活跃程度也会降低，如图 9所示。此现象可能表明鲤鱼在8：00~10：00具有最强的摄食欲望，此特征可否作为主动投喂的实施依据还需深入探索。

2.3 高强度摄食与缺氧情况下深度图像的异同

虽然游泳型鱼类主要在水面完成摄食过程，但鱼类行为复杂，并不是所有的水面行为都与摄食有关，当水中溶解氧含量降低、水温升高、氨氮含量超标时，鱼类在水体表面的活动频率也会增高。为了提高摄食行为监测的可靠性，将养殖环境温度恒定在22 ℃，通过单轮多次投喂的方式使鱼类饱食后关闭增氧机，鱼类停止进食24 h，之后再次投喂。实验结果表明：鱼类在缺氧状态下的进食量明显减少，鱼类只食用身旁的饲料而不激烈抢食，由于摄食过程消耗更多氧气，在摄食一段时间后，大量的鱼类在水面张大嘴巴高频率呼吸，其行为曲线如图 10a所示。尽管高强度摄食与缺氧都会导致鱼类在水面活动增加，导致f(k)处于高数值状态，但两种情况表现出不同的行为特征：鱼类高强度抢食时会引起水面的剧烈波动，因此f′(k)波动剧烈，如图 6b所示；而缺氧状态下鱼类活动缓慢，f′(k)值波动较小，如图 10b所示。因此，利用深度图像素点的变化率f′(k)可有效反映出鱼类的行为属性，所提出的方法对水体溶解氧的监测也具有参考价值。

3 讨论 3.1 深度相机优缺点分析

本文采用近红外深度图表征鱼类的摄食活动，与之前的方法相比，该方法不受养殖现场光照条件限制，系统自带的主动式近红外光源不会对鱼类的白昼节律造成干扰，降低了光照对鱼类行为的影响，保证了数据的客观性。采用深度相机成像，数据采集与处理过程由深度相机内部的高速处理器完成，大量的计算工作由上位机(PC机)转移至深度相机系统，实时性大幅度提高。上位机只需分析经深度相机处理后的图片，计算复杂度进一步降低。上位机与深度相机系统的任务分解对于自动投喂系统的设计具有重要意义，上位机负责投喂模型的运算与投喂控制，而深度相机负责鱼类行为的收集与处理，容易构建基于鱼类行为反馈的分步式自动投喂控制系统。

然而，近红外深度相机是近10年才逐渐发展起来的新技术，与传统相机相比，当前深度相机分辨率较低，价格较贵，成像范围较窄，在很多应用场合还受限。受光源功率的影响，本文所采用的KINECT系统只能对清澈水体里40 cm深度的目标进行成像，如果水体较浑浊，有效成像深度还会进一步降低，因此本文的方法对于分析水体表面的鱼类行为具有更优的效果。

3.2 深度数据实时监测对自动投喂的指导作用

本文以简洁的数据形式较准确地反映出鱼类的摄食规律，在此基础上，利用深度数据实时地监测鱼类的摄食状态将成为可能。在设计智能化投喂系统时，可考虑采用单轮多次投喂方式，每次投喂后，利用深度数据实时判断摄食鱼类的数量，并根据其活跃程度，动态地调整投喂量与投喂间隔。同时，采用深度图实时记录水面的残余饲料，根据水面饲料的残余量决定投喂的启停，最大程度地优化投喂过程。由于本文未采用复杂的算法，系统的实时性得以提升，但本文的方法只适用于分析在水面摄食并且摄食后习惯沉入水底的鱼类，例如鲤鱼、叉尾等品种。在鱼类沉入水底的瞬间，水面只剩饲料颗粒，采用深度图可快速地判断水面饲料的残余量。通过计算投喂起始点至饲料下降到某个阈值所需时间可判断出鱼类的饱食情况，由抢食强度及饲料的消耗速度两个参数可决定投喂的停止时机。

对于摄食前后都徘徊于水面而不喜好沉入水底的鱼类(例如罗非鱼)，仍然可以采用深度图分析水面的残余饲料。但此时深度图包含有鱼和饲料的混合前景，必须采用常规的图像处理方法或深度学习方法计算残余饲料量，这将导致计算量的上升，使实时性变差。如何设计出最优的算法使实时性及通用性都得以提升，还需更多的探索。

对于底层摄食鱼类或对于摄食活动不激烈的虾类，主要是根据饲料的残余量控制投喂的启停^[21]，由于深度相机具有以深度数值消除背景的能力，可考虑将密封箱体沉入水体底部，深度相机安装在箱体底部的内侧向上拍摄，箱体上方用“亚克力板”透明材质设计，用于收集残余饲料，则深度相机的红外光可穿过透明介质以实时监测落入箱体顶部的残余饲料，采用深度滤波的方式，可消除残余饲料以外的背景，增强复杂水体里识别残余饲料的能力, 进而提高饲料的利用率，论文提出的方向值得在深度及广度上展开更深入的研究。