长江航道是沿江经济发展的主通道和沿江综合运输体系的主骨架，被称为“黄金水道”。“智能航道”是指在数字航道基础上，利用智能传感器、物联网、自动控制、人工智能（artificial intelligence，AI）等技术，自动获取航道系统要素信息，通过融合处理与深度挖掘，实现航道规划科学化、建养智能化、管理现代化^[1]。航道感知是利用各种感知设备、技术手段和方法，动态监测和实时采集航道设施、船舶、水位、航道断面等几大类感知对象的业务特征和事件信息，形成物联传感数据，导航定位、卫星和无人机遥感等监测和观测数据，以及视频解析数据和分析信息，实时为航道维护管理、船舶航行提供可靠的航道信息，是构建虚拟航道及实时刻画实体航道条件的技术基础。研究基于无人机、无人船的数字航道要素和状态的智能感知和检测是推进长江智能航道建设的关键。

目前航道要素采集主要有基于移动测量的数字化采集和基于物联网的固定点数字化感知方法^[2]。传统的航道要素感知方法是基于移动测量的数字化采集，是由测量人员利用专业测量设备，如船载测深系统、声学多普勒流速剖面仪（acoustic doppler current profilers，ADCP）^[3]等，主要对河床地形、水深、洲滩岸线等航道要素进行测量。该方法受人力、物力、工作条件等限制。基于物联网的固定点数字化感知方法综合利用通信技术、基于导航卫星的位置服务技术和物联网技术，是航道要素感知的新方法。该方法主要适用于航标、山区河段可视距离、水位等航道要素的感知，但这种数据采集方式会受到布设方案、传感设备性能和工作环境的影响。

随着无人机、无人船航测系统的成熟，将无人机、无人船和AI识别技术应用在智能航道建设中，构造面向数字航道的视频智能感知方案，提高航道要素数据获取和检测的能力，具有越来越重要的应用价值和广阔的发展前景^[4-6]。本文设计了面向长江航道要素提取和检测的智能感知方案，在无人机、无人船上搭载高清相机，获取长江航道图像视频数据，并利用AI识别技术对图像视频数据中的航道要素进行识别、检测，以提高航道巡查的智能化水平。

1 航道要素感知与管理

航道感知对象分类目前没有统一标准，可以参照的标准有国际要素分类标准、《国民经济行业分类与代码》（GB/T4754—94）及《基础地理信息要素分类与代码》等。孙星等^[7]将水上交通状态感知信息分为内河水上交通流、航道通航环境信息、通航枢纽船舶行为、船舶状态数据和船载危险货物状态等。长江环境独特，需要进一步限定其航道感知要素分类，可参照《长江电子航道图制作规范》进行划分，吕永祥^[8]提出航道要素应包含航道河床、水文状况和航标等；李学祥等^[2]将长江航道要素分为航道尺度、水文气象、地形地貌、助航设施和通航建筑物等内容。

由欧盟建立的河流信息系统（river information system，RIS）将船舶报关与导航、航道信息管理、水上监控各个方面进行统一管理^[9]。Goralski等^[10]对航海相关的三维可视化展开研究，将雷达系统和电子地图结合起来，应用到海上航道运输安全领域。长江航道局研发了长江电子航道图系统^[11]，整合长江全线航道基础地理信息数据、航标数据、水位数据、航道实际维护尺度数据等，对航道地理信息数据进行统一管理。三维实景航道也是长江电子航道图未来的发展趋势^[12]。

长江干线数字航道构建了一个涵盖航标、水位、船舶、视频、航道地形等水上、水下重要航道要素的立体感知体系^[13]，如图 1所示，通过水位遥测遥报系统、航标遥测遥报系统，航道尺度监测系统形成一个水文和气象条件的通航要素感知系统，通过建立船舶自动识别系统（automatic identification system，AIS）、船舶交通服务（vessel traffic services，VTS）、闭路视频监控（closed circuit television，CCTV）和射频识别（radio frequency identification，RFID）等系统，实现在航船舶位置和动态的感知，基本实现了长江干线2 628 km（不含长江口航道）航标、水位、地形等航道基本要素的采集^[14]，采集情况见表 1。

然而，由于长江干线航道地理位置和客观条件特殊，要素演变复杂，动态监测系统实际应用还存在以下问题：

1）航标巡航效率低下。航标是标示航道边界、引导船舶安全航行最重要的辅助设施，是水上“红绿灯”。在数字航道系统中提供了航标动态监测功能，但仍需人工出航，通过目视判断航标外观、完整性、航标灯闪烁等状态，分析航标报警原因。在水上能见度较低时，目视结果不精确，影响航标判读效果。另外，航标的误报警现象也使得无效出航次数增多。

2）航道整治建筑物检测手段单一。堤坝是常见的航道整治建筑物，起着改善航道条件的功能。洪水期时，坝体受水流冲击极易损毁，需定期开展建筑物完整性检测。目前多采用人工监测手段对整治建筑物进行监测，因船舶吃水和礁石等因素，巡航人员只能远距离检查整治建筑物是否存在缺损，检测手段单一，效率比较低下。

3）水位分析滞后。水位对船舶航行、航道治理和预警具有重要作用。数字航道系统受航道条件影响，水位感知设备出现异常情况较多，水位数据监测仍需人工测量核对。

另一方面，智能航道对航道感知体系的要求则更加全面透彻。要求在数字航道的基础上，扩展航道感知要素种类，通过融合长江干线全线航标遥测遥控、水位遥测遥报、视频分析、无人船、无人机、北斗系统、雷达、AIS、高分遥感等监测手段构建陆水空天的感知网络；从水上、水下等全方位实现航道要素信息全河段、全天候获取；全面感知航标、水文、洲滩岸线、河床地形、典型河段、航道整治建筑物、控制河段交通流等航道要素。数字航道的监测体系不能满足智能航道建设的需要。

面向航道关键要素航标、水位和整治建筑物，研究基于无人机、无人船和AI目标识别技术的航道关键要素采集和监测技术，设计面向数字航道的视频智能感知方案，提升航标水位的实时性、稳定性，扩充数字航道动态监测手段，缩小与智能航道建设的差距，充分发挥数字航道数据优势，推动数字航道向智能航道转变。

2 基于无人机、无人船的数字航道视频智能感知方案 2.1 数字航道视频智能感知流程

通过无人机、无人船搭载高清相机拍摄长江航道图像视频，采用视频图像数据传输技术将数据传输至后台AI识别应用系统，利用AI识别技术对图像视频数据中的航道要素进行识别、检测、分析，构造数字航道视频智能感知平台。基本流程见图 2。

1）航道要素采集。长江沿线地形各异，呈带状地形，以平行长江沿线方向为航线方向，依据测区实地踏勘情况和原有地形资料，综合考虑地形测图精度和无人机续航时间，依据地形设计无人机、无人船巡航路线和航测范围。航线设计时充分考虑航向、旁向重叠度，确保无航摄漏洞。利用无人机体积小、造价低、使用方便的特点，在无人船上集成水深测量系统、图像采集系统、高精度定位系统以及三维激光扫描系统，提高航道要素信息的综合采集效率。

2）数据处理。数字航道视频智能感知方案通过推流（或拉流）模式实现无人机视频流的实时发送预览及接收存储，完成无人机拍摄的实时视频流和定位数据的接收，并将实时视频流保存为历史视频文件，相关定位数据保存到数据库。

3）AI目标检测。视频AI算法采用OpenCV视频抽帧方法将视频抽取为图片，通过对图片的预处理、AI算法处理、后处理、上传等操作，基于时间序列将实时视频流数据和定位数据融合，通过机器视觉和深度机器自学习的卷积神经元网络完成目标对象的识别，可以实现对水尺、航标、护坡、丁坝和船舶等关键航道要素的采集，并通过对视频中的关键信息进行标记等，形成相应事件的处理和告警。

4）预警与处置。基于消息流推送和数据订阅模式技术和目标AI的识别结果，根据定义的规则和报警等级条件，确定预警规范和等级，自动推送相关等级预警信息给对应接收人员；对于无法识别及不在预警规则里的信息，要进行人工研判并提出预警。长江电子航道图、实时视频、识别结果、无人机轨迹、喇叭喊话、布控点列表等数据内容可被同时展示在数字航道系统大屏上。

2.2 无人机无人船AI识别应用平台

依据数字航道视频智能感知流程，设计和搭建了无人机无人船AI识别平台。平台架构见图 3。

数据采集层是系统的基础，即感知设备层，包含无人机和无人船等设备，通过无人机无人船系统采集航道要素等视频数据。

基础环境层包含基础硬件环境、基础软件环境和基础网络环境，用于支撑无人机无人船视频采集、视频传输、AI识别分析的实现。

数据资源层按照规范的程序和数据标准，对数据资源进行标准化处理、交换以及管理，包含基础数据、无人机与无人船系统数据、视频数据、地理信息数据和AI识别数据。

服务层基于基础环境层提供的统一平台化系统及数据资源层提供的数据处理服务提供AI识别服务、流媒体传输与分发服务、电子航道图接口服务、流程服务、总线服务、中间件服务、组件服务、统一身份服务等。

应用层是无人机、无人船AI识别平台提供的对外应用服务，是平台与用户在信息服务、信息管理的对话过程中的直接界面，主要实现航标识别与状态检测、整治建筑物缺损检测、船舶识别与分析、水尺观读等应用。

3 基于AI识别的航道要素感知与检测

基于无人机无人船视频AI识别应用平台，系统实现了对航道要素的智能感知和检测，如表 2所示，打造航道视频智能巡查新模式。

3.1 航标状态检测与航标报警原因判读

航标遥测遥控系统可实现对航标位置的实时监测，对移位航标迅速响应预警。但系统不能对航标移位的原因进行判定，常出现航标误报警导致无效出航现象。系统通过无人机在指定区域拍摄影像并回传数据，通过AI识别分析航标是否发生位置偏移并判断航标清洁保养状态，利用目标检测技术实现航标移位的可视化检测，其检测准确率在94.7% 左右。在夜晚场景下，对航标灯闪烁状态进行分析，解析航标灯颜色、单闪或双闪、闪烁周期，判断航标灯是否正常工作，准确率高达99%。无人机和AI目标识别有效弥补了航标报警和夜间航标巡查的缺陷。

进行航标视频巡检时，由于无人机在采集图像过程中的航向变化，航标目标的背景环境及阴影区域会存在一定差异，同时由于无人机航拍会带来尺度变化，航标识别结果会受到航道小型船只、沿岸标识及施工机械的干扰。夜间航标灯质检测时，受到城市光污染源的影响，如船舶灯光、沿岸城市灯光等，因此采集视频时需注意无人机航线规划，对飞手的要求较高。

3.2 水尺精确观读

水位遥测遥报系统实现了对水位站数据的自动填报，然而受环境等因素影响，系统运行不稳定，导致水位数据观测不准确，常需要人工跋涉观读水尺。平台利用无人船出航拍摄水位站数据，通过目标检测识别和文本识别技术获取水尺读数，并将其与系统中的水位数据进行比对，可以实现遥测水位数据的精度检验。

在实际应用过程中，对无人船的操控要求很高，无人船与水尺之间的距离最好不要超过5 m，且镜头必须正面面对水尺，保持数秒的稳定拍摄，否则会因为角度、距离等，造成水尺读数出现差异。

3.3 整治建筑物巡查

针对航道整治建筑物受水流冲击极易损毁的问题，对整治建筑物要定期开展检测工作以保障其完整运行。系统通过无人机定线巡航与定点拍照确保每次现场巡检影像视角相同，实现了水上整治建筑物毁损情况的精确比对，可有效检测出其缺损情况，提高了巡检效率，有效掌握堤坝、桥梁等表观纹理。

整治建筑物的缺损识别存在误检，其原因在于随着潮水涨落，整治建筑物护滩形状与缺口形状具有相似性，识别结果会受到沙滩的干扰。受到检测样本的限制，整治建筑物的缺损检测处于初级阶段，随着长江数字航道的提升完善，持续扩充整治建筑物数据样本，推动视频AI识别技术在航道整治建筑物巡查上的高效应用。

4 结束语

针对长江数字航道存在的航道动态监测手段单一、航道要素多维采集能力不足、数据分析手段和模型欠缺等问题，本文结合无人机、无人船数据采集的优势，研究基于计算机视觉的AI目标检测等方法，设计长江数字航道关键要素的视频智能感知方案，搭建和实现了基于无人机、无人船的视频AI识别应用平台。

通过无人机航拍和AI系统智能识别航标位置、航标灯质状态、水尺读数、护坡丁坝整治建筑，建立有效的巡航记录，降低出航成本，有效掌握水尺、航标、塔标等助航设施表观纹理，提升外业测量工作效率和测图精度，提高观测成果建模质量。通过无人机、无人船视频巡航，自主检测航道水上目标，为航道维护无人化值守、航道工程的无人化安全监管提供了解决思路和方案。

视频AI识别应用平台受天气影响较大，恶劣天气条件下出航无人机存在损毁的危险。另外，视频图像数据实时传输会受无线网络带宽影响，采用5G网络传输仍存在网络延迟以及有部分区域无信号的情况。无人机、无人船在长江航道上的应用推广除了提高硬件设备外，在目标检测方面，需要提升目标检测模型性能，解决航拍图像中目标尺度变化剧烈和目标被遮挡问题，同时航道要素感知有较高的实时性要求，提升模型的检测效率也是研究重点之一。

未来，随着陆水空天航道感知网的建立，进一步对视频AI识别系统功能扩容，利用高准确度的图像视频识别技术检测非法采砂、漂浮物垃圾识别、河道沿岸违章建筑侵占等活动，落实长江保护政策。进一步推动无人机、无人船协同作业，结合视频感知能力，以提升航道多维空间信息感知能力，推动长江数字航道的智能感知与智能决策。