2. 大连市自主航运安全技术重点实验室,辽宁 大连 116026
2. Dalian Key Laboratory of Safety amd Security Technology for Autonomous Shipping, Dalian 116026, China
大型化船舶靠泊过程中船员视野盲区大,不仅削弱了其对周围环境的态势感知能力,还导致船舶与泊位间距离的判断精度下降,从而大幅提升了靠泊作业的安全风险。因此,大型化或有视野盲区船舶靠泊过程需优化环境感知系统,以提供准确、实时、可视化的信息,实现复杂环境中精确、安全、高效地靠泊[1]。无人机可辅助船舶在靠泊时实现这些功能。
目前辅助靠泊数据的收集主要依靠岸基设备或船载仪器,声呐[2]和超声波传感器[3]被固定在岸端实现对船与岸的距离、靠泊航速等信息的实时传递。但利用岸基设备感知靠泊信息时,灵活性较差;而船端设备机动性好,能够更好地获取靠泊信息。如Mizuchi等[4]在多个视角建立可视化体系,辅助识别可用距离。甘兴旺等[5]将摄像机、雷达与船舶自动辨识技术相结合改善测距的准确性。张山甲等[6]利用相机对港区一块醒目的标记点进行辨识,并利用透视投影方法得到该标记点与船舶标记之间的距离。费鹏等[7]在无人船安装双目摄像机,通过算出影像的视差量确定位置。上述研究主要获取船舶与泊位间距离信息,然而大多仅限于数据,且获得步骤繁琐,欠缺实时性,无法将其融合并直观简便地传输给驾驶台[8]。常规的多摄像机图像融合技术,尽管可以获得船四周的场景,但是在装配时,其安装的方位和角度都是固定的,因此在调节视角方面存在局限性[9]。无人机不但能够监测船舶周边环境,而且可以对空中拍摄的视频进行处理,从而计算出船舶停靠的相关参数,并将其传送到驾驶台和岸端[10]。魏宁等[11]利用无人机航拍数据集构建船岸间动态信息模型,可准确、实时地识别船舶靠泊距离与角度数据。董瑞恒等[12]在此基础上将船舶和岸线转移到三维体中,利用最近距离求解算法探索船舶与泊位线之间的最近距离,进一步验证了无人机辅助靠泊的可行性。但是上述研究成果还未涉及船舶靠泊应用下图像识别算法的迭代、航拍数据集背景复杂情况下的目标分割优化与实时监测。随着计算机图像技术的发展,YOLO系列图像识别算法推出了在航拍领域更具鲁棒性的YOLO v11;而视网膜分割掩膜任务框架因其可以可多维方向性增强病理分割效果,在铁路、公路、航空、医学领域广泛使用。将两者融合提升无人机辅助靠泊的性能成为可能。
鉴于此,本文提出一种基于无人机视角的辅助靠泊距离实时测定办法。首先,采用无人机获取船舶停靠泊位的视频影像,并对其制作数据集。在YOLO v11-seg模型中加入视网膜分割掩膜任务框架,对船舶边界进行精细分割,得到高分辨率掩膜。其次,采用掩膜提取和几何分析相结合的方法,获取船舶和泊位面的多边形坐标,并在此基础上计算出两者的边界线。最后,利用点集距离矩阵法和动态距离匹配技术,转化实际距离。
1 YOLO模型与改进 1.1 YOLO v11算法与视网膜分割掩膜概述YOLO v11作为一种多任务实时检测算法,它在视觉识别领域中取得了显著的进步[13]。YOLO v11改进的主干网络与颈部框架增强了特征获取能力,提升了检测精度;优化了架构设计与训练流程的同时并实现了计算效率与准确性的平衡。该算法继承了YOLO系列算法的优势,在工程实践中得到广泛应用。无人机拍摄的船舶靠泊视频包含了船舶、水面和泊位等多种因素[14]。实验中使用YOLO v11-seg模型训练数据集,快速识别视频中的船舶,同时可降低复杂致因对船舶轮廓分割的影响。
视网膜分割掩膜是一种用于实例分割的任务框架,该方法扩展了Retina Net架构,在单阶段检测器的基础上实现了高质量的实例分割功能。并且通过在多个层次上提取特征图,并将其传递到相应的解码路径中,使模型能够在不同的空间分辨率下保持对物体细节的关注。视网膜分割掩膜的核心原理在于Mask R-CNN基本框架,从而能够有效地捕捉不同尺度的目标对象船舶,如图1所示。
|
图 1 Mask R-CNN基本工作框架 Fig. 1 Basic working framework of mask R-CNN |
此外,利用特征金字塔网络(FPN),并通过引入额外分支来进行掩膜预测,如图2所示。
|
图 2 特征金字塔网络结构 Fig. 2 Feature pyramid network structure |
无人机采集的视频中,由于常见的能见度低、光线弱的原因,普遍难以用常规的图像识别算法精确识别出船舶和泊位的细节[15]。掩膜提取功能在实例分割任务中不仅能够识别图像中的对象,还能够提供对象的精细边界信息[16]。鉴于此,本实验中将视网膜分割掩膜任务框架添加到YOLO v11-seg模型中,来建立一个改进模型。
改进模型中,首先将YOLO v11模型骨干部分的空间金字塔加入掩膜预测功能,融合为一个分支,其次改进颈部的卷积层为边缘提取层,为避免极端情况下,船舶与泊位相撞后仍出现距离自识别的情况,对头部进行改造,加入多边形相交检测指令,即判断船舶和泊位是否相交,将两者最小距离距离直接设为0。此外,为了应对类别不平衡问题,本实验采用focal loss函数替代传统框架中的交叉熵损失,提高改进后的模型对于泊位、泊位线等难样本的学习能力,进一步增强了鲁棒性。改进后的YOLO v11-seg模型网络结构如图3所示。
|
图 3 改进后的YOLO v11-seg模型网络结构图 Fig. 3 Network structure diagram of the improved YOLO v11-seg model |
改进模型使用原型掩码和掩码系数来生成对象的精确掩膜。原型掩码是潜在的掩码基础,而掩码系数则与每个检测到的对象一一对应。在改进模型的前向传播过程中,输入的船舶和泊位特征图首先经过边界框回归和分类,生成对象的边界框坐标和分类概率。然后,特征图通过原型掩码生成器,生成若干原型掩码。接着,特征图通过掩码系数卷积层生成掩码系数。通过将每个检测对象的掩码系数与原型掩码进行组合,可以生成对应的对象掩膜。模型的输出包括对象的边界框坐标、分类概率、掩码系数以及通过掩码系数和原型掩码组合计算出的具体的实例掩膜。前者将船舶与泊位精确地分割,边缘清晰,如图4所示。
|
图 4 船舶与泊位处理前后对比图 Fig. 4 Comparison of ships and berths before and after treatment |
为计算船舶边缘到泊位线的距离最小值,本文提出一种测距流程。包括最近点提取方法和实际距离转换方法。首先搜索最小值的全局索引获取最近点的具体位置,得到两点之间的像素距离;然后,通过动态距离匹配,得到最近的实际距离,如图5所示。
|
图 5 最近距离求解流程图 Fig. 5 Flowchart of the nearest distance solution |
计算最近的像素距离之前,精确筛选出相距最近的两点尤为关键。将船舶和边缘泊位边缘所有可用点汇总为点集距离矩阵,并将点与点之间两两组合,罗列出所有点对。具体原理为给定2个点集A和B,分别有n个点和m个点,构建一个n×m的点集距离矩阵,其中每个元素
| $ {D}_{ij}=\sqrt{{\left({A}_{j}-{A}_{i}\right)}^{2}+{\left({B}_{j}-{B}_{i}\right)}^{2}} 。$ | (1) |
这种方法适用于处理非相交多边形时,可以评估多边形间的距离关系。通过scipy.spatial.distance.cdist计算2个多边形,即船舶和泊位点与点之间的欧氏距离。利用矩阵维度遍历搜寻最小值的全局索引,为了获取最近点的具体位置,应确定最小距离对应的点集船和点集岸中点的索引。其中,
| $ Inde{x}_{船}={\mathrm{arg}}\underset{i}{\min }(\underset{j}{\min }({D}_{ij})),$ | (2) |
| $ {Index}\text {岸} = {\mathrm{arg}}\underset{i}{\min }(\underset{j}{\min }({D}_{ij}))。$ | (3) |
将矩阵索引转换为坐标点,即得到船舶多边形上的最近点与泊位线多边形上的最近点,两点之间的距离即为最近像素距离。
2.2 像素距离计算与实际距离转换为了得到船舶长和宽的像素距离数据,引入最小外接矩形。最小外接矩形可以通过OpenCV库中的minAreaRect函数来计算,输入掩膜点集中心点、宽高、旋转角度等数据,该函数可以搜寻已知轮廓的最小面积外接矩形,识别和测量图像中船舶的大小和形状。通过计算最小外接矩形的长和宽,可以获取船舶的像素距离数据,如图6所示。
|
图 6 实验中船舶做最小外接矩形示意图 Fig. 6 Schematic diagram of the ship making the minimum external rectangle in the experiment |
在实验中,船舶与无人机之间的距离一直实时变化,这导致船舶在无人机拍摄的视频图像中的像素尺寸不为定值。因此,首先实时测定船舶长和宽的像素数据,其次,将船舶真实的长和宽与该数据做比,得到实时的比例因子(米/像素),最后,用已测得的船舶与泊位线间最近的像素距离乘比例因子,即可完成实时动态距离匹配,得到最近的实际距离。
3 靠泊分割实验与效果对比 3.1 数据收集与分类本文从大量的无人机航拍船舶靠泊的视频中提取以船舶和泊位为目标的图像,并通过网络收集了若干类似的无人船照片,总共
训练模型所使用的计算机CPU为16 vCPU Intel(R) Xeon(R) Platinum 8352V CPU @ 2.10GHz,GPU为VGPU-32GB(32GB)* 1,运行内存为32G,操作系统为Windows 11,实验环境为python3.11。详细参数见表1。
|
|
表 1 模型训练参数 Tab.1 Model training parameters |
为了更好地评价影像分割的准确性,选择平均精度均值(mAP、mAP50:95)、模型参数量(Params)和检测时间作为评估指标。这里,mAP50:95表示在交并比阈值从0.5~0.95范围内的平均精度均值,Params表示模型中的参数个数。计算过程为:
| $ P=\frac{T P}{T P+F P},$ | (4) |
| $ R = \frac{TP}{TP + FN},$ | (5) |
| $ mAP = \frac{1}{k} \sum_{i=1}^k \int_0^1 P(R) {\mathrm{d}}R 。$ | (6) |
式中:P为准确率;R为召回率;TP为实际和预测均为真的数量;FP为实际为假,预测为真的数量;FN为实际为真,预测为假的数量;k为类别数。
3.4 不同模型实验对比为验证本文所改进模型的先进性,选取图像分割模型SAM-YOLO、YOLO v5n、YOLO v7、YOLO v8n和YOLO v11进行对比,在同一配置下使用本文数据集进行对比,结果见表2。
|
|
表 2 分割模型实验结果对比 Tab.2 Comparison of experimental results of the segmentation model |
可知,与未改进YOLO v11算法相比,mAP提升了5.7个百分点,精度提升明显。与SAM-YOLO、YOLO v5n、YOLO v7和YOLO v8n基础分割模型相比,mAP和mAP50:95均有一定程度的提升,而且模型的参数量较小,检测时间短。通过实验可得,研究提出的算法在保证所需模型轻量化的前提下,提高了算法的准确率,实现了对船舶、泊位轮廓的精确自动提取,以及对二者间最近距离的实时检测。
4 实验测距及其结果 4.1 实验器材本实验使用的无人机DJI mini 4k如图7(a)所示,采用的实验船如图7(b)所示,详细设备参数见表3,相机参数见表4。
|
图 7 实验所用无人机和船舶 Fig. 7 Shows the unmanned aerial vehicles and ships used in the experiment |
|
|
表 3 实验器材数据 Tab.3 Data of experimental equipment |
|
|
表 4 相机参数 Tab.4 Camera parameters |
在无人船试验中,无人机与船之间的垂直距离小于3 m时,不能完整成像;在22 m以上,整艘船在视频影像上变得较小,难以精确辨识。实验时,为比较在不同高度下无人机的测距精度,分别选取4、10、15、20 m 4个高度。为充分对比测距的精度,根据不同高度取等10组测量数据与真实值进行对比,结果如表5所示。
|
|
表 5 在不同飞行高度测距最大偏差数据与平均偏差数据 Tab.5 Shows the maximum deviation data and average deviation data of ranging at different flight altitudes |
通过多次试验发现,无人机高度越高,机载摄像机与船只之间的距离就会越大,从而导致船舶的细节信息不能被提取出来;而在机位固定的情况下,无人机飞行高度过低,难以识别船舶的整个靠泊动作,且因视角等因素加大相关误差。经过多轮测量比对,发现无人机高度在10 m时最佳。船靠泊距离可视化测量模型如图8所示。
|
图 8 船舶靠泊距离可视化测量模型 Fig. 8 Visual measurement model of ship berthing distance |
当无人机在此高度和机位时船舶大小尺寸合适,可以捕捉到船舶的整个靠泊过程,并且全程识别船舶边缘到泊位线的最短距离,同时达到误差最小化。
5 结 语本研究开发了一种结合无人机采集数据的智能化靠泊距离监测模型,通过图像识别技术达到高精度距离感知。利用无人机采集船舶靠泊过程的高清视频数据构建数据集。算法设计方面,在YOLO v11-seg实例分割模型的基础上引入了视网膜分割掩膜多尺度特征融合框架达成了船舶边缘的精确化分割,能够生成高分辨率的语义掩膜。基于分割结果,开发了完整的距离测量流程,提取船舶和泊位的多边形轮廓坐标,然后通过几何分析方法精确确定两者的边缘线。最后,结合点集距离矩阵算法和动态距离匹配技术,将像素距离准确转换为现实港口中的实际物理距离。实验结果表明,改进后的YOLO v11-seg模型在船舶分割实验中mAP达到了92.8%,在实际距离测量中,可以将船舶与泊位间最近距离的平均测量误差控制在0.04 m,显著优于传统测量方法。
本方法不仅以较高的测量精确度识别船舶靠泊距离信息,并且具有实时化、智能化的特点。但该方法仅在小型无人船上进行了实验,后续拟通过对大尺度船舶及真实码头的试验,进一步提升所提算法的可行性。
| [1] |
ZHANG H Z, ZHANG Y J, ZHOU Z Y, et al. Research on autonomous berthing control of MASS based on real time kinematic[J]. Ocean Engineering, 2024, 310(1): 118635. DOI:10.1016/j.oceaneng.2024.118635 |
| [2] |
SAKAKIBARA S, KUBO M. Ship berthing and mooring monitoring system by pneumatic-type fenders[J]. Ocean Engineering, 2010, 34(8-9): 1174-1181. DOI:10.1016/j.oceaneng.2006.07.006 |
| [3] |
NOMURA Y, YAMAMOTO S, HASHIMOTO T. Study of 3D measurement of ships using dense stereo vision: towards application in automatic berthing systems[J]. Journal of Marine Science and Technology, 2021, 26(2): 573-581. DOI:10.1007/s00773-020-00761-2 |
| [4] |
MIZUCHI Y, OGURA T, HAGIWARAY, et al. Distance measurement system using AStereo camera and radial pattern target for automatic berthing control[J]. Journal of Power System Engineering, 2013, 17(5): 121-127. DOI:10.9726/kspse.2013.17.5.121 |
| [5] |
甘兴旺, 魏汉迪, 肖龙飞, 等. 基于视觉的船舶环境感知数据融合算法研究[J]. 中国造船, 2021, 62(2): 201-210. GAN X W, WEI H D, XIAO L F, et al. Research on visual-based data fusion algorithm for ship environmental perception[J]. Shipbuilding of China, 2021, 62(2): 201-210. DOI:10.3969/j.issn.1000-4882.2021.02.018 |
| [6] |
张山甲, 王建华, 郑翔. 基于视觉伺服的欠驱动无人水面艇自主靠泊方法[J]. 船舶工程, 2020, 42(7): 144-151. ZHANG S J, WANG J H, ZHENG X, et al. Autonomous berthing method of underactuated unmanned surface vehicle based on visual servo[J]. Ship Engineering, 2020, 42(7): 144-151. DOI:10.13788/j.cnki.cbgc.2020.07.24 |
| [7] |
费鹏, 李鑫. 无人水面艇的双目视觉应用[J]. 珠江水运, 2019, 27(6): 83-84. FEI P, LI X. The application of binocular vision in unmanned surface vessels[J]. The Pearl River Water Transportation, 2019, 27(6): 83-84. DOI:10.14125/j.cnki.zjsy.2019.06.035 |
| [8] |
王昱博, 王建华, 郑翔. 基于泊位水岸线检测的无人艇自主靠泊方法[J]. 船舶工程, 2022, 44(4): 30-37. WANG Y B, WANG J H, ZHENG X. Autonomous berthing method for unmanned surface vessel based on berth shoreline detection[J]. Ship Engineering, 2022, 44(4): 30-37. DOI:10.13788/j.cnki.cbgc.2022.04.06 |
| [9] |
KIM H, KIM D, PARK B, et al. Artificial intelligence vision-based monitoring system for ship berthing[J]. IEEE Access, 2020, 8: 227014-227023. DOI:10.1109/ACCESS.2020.3045487 |
| [10] |
MIZUCHI Y, OGURA T, KIM Y, et al. Vision-based markerless measurement system for relative vessel positioning[J]. IET Science, Measurement & Technology, 2016, 10(6): 653−658.
|
| [11] |
魏宁. 基于无人机视觉的无人船靠泊信息感知研究[D]. 大连海事大学, 2024.
|
| [12] |
董瑞恒, 张英俊, 张浩泽. 基于无人机视觉的船舶靠泊距离感知研究[J]. 电子测量技术, 2025, 48(2): 170-177. DONG R H, ZHANG Y J, ZHANG H Z. Research on ship berthing distance perception based on UAV vision[J]. Electronic Measurement Technology, 2025, 48(2): 170-177. DOI:10.19651/j.cnki.emt.2417099 |
| [13] |
朱婷婷, 滕广, 张亚军, 等. 基于改进YOLO v11的番茄表面缺陷检测方法[J]. 农业机械学报, 2025, 56(6): 546-553. ZHU T T, TENG G, ZHANG Y J, et al. Improved YOLO v11 method for surface defect detection of tomato[J]. Transactions of the Chinese Society for Agricultural Machinery, 2025, 56(6): 546-553. |
| [14] |
LI L, LU Y, YANG D. Aerial visual data-driven approach for berthing capacity estimation in restricted waters[J]. Ocean & Coastal Management, 2024, 248: 106961.1-106961.12. DOI:10.1016/j.ocecoaman.2023.106961 |
| [15] |
周秀珊, 文露婷, 介百飞, 等. 改进YOLO v11的水面膨化饲料颗粒图像实时检测算法[J]. 智慧农业, 2024, 6(6): 155-167. ZHOU X S, WEN L T, JIE B F, et al. Real-time detection algorithm of expanded feed image on the water surface based on improved YOLO v11[J]. Smart Agriculture, 2024, 6(6): 155-167. |
| [16] |
张莹莹, 高迪驹, 孙彦琰. 基于图像增强和YOLO的船舶火灾检测方法[J]. 上海海事大学学报, 2024, 45(2): 68-74. ZHANG Y Y, GAO D J, SUN Y Y. A ship fire detection method based on image enhancement and YOLO[J]. Journal of Shanghai Maritime University, 2024, 45(2): 68-74. |
2026, Vol. 48
