智能船舶技术的发展受到关注的程度持续上升，随着当前阶段智能算法开发优化对软硬件测试验证需求的增加，虚拟测试验证评估技术的研究成为智能船舶领域不可或缺的一环。学者们在测试评估研究中开发了基于不同场景的智能评估系统，为智能船舶测试验证评估系统的构建提供了参考。

胥凤驰等^[1]首先通过数据收集、场景定义等方式进行典型目标数据库和任务场景数据库构建，再利用这些数据库生成测试用例，并以任务载荷加载的方式进行智能船艇测试验证。李丽娜等^[2]通过在仿真模拟平台下依据避碰规则构建场景，研究船舶拟人智能避碰决策算法（Personifying Intelligent Decision-making for Vessel Collision Avoidance, PIDVCA），研究测试评估PIDVCA算法在船艇会遇态势的决策判断性能。聂伟等^[3]根据轮机模拟器考核评估需求，提出结合专家系统和模糊综合评估方法，提高培训效率并节约成本。王语仑^[4]针对复杂仿真系统运行耗时长和浪费人力的问题，提出一种基于专家系统的仿真运行有效性评估方法，吸收大量专家知识的同时充分利用仿真历史数据，挖掘出其内部隐含的时序数据规律并转化为专家系统内部规则，完善规则库。张叶等^[5]在传统航海模拟器船舶操纵评估模型的基础上，提出一种基于K近邻算法（K-Nearestneighbor，KNN）和多目标优化的船舶操纵智能评估模型。王海超等^[6]基于船舶模拟器搭建了人员落水救助操纵智能化评估系统，通过专家调查法获取Williamson旋回救助落水人员评价指标体系。利用航海模拟器获取人员落水救助操纵样本数据，结合专家调研的主观得分构建BP神经网络对样本进行训练测试得到智能评估模型。王德龙^[7]基于K近邻算法和多目标优化理论建立了基于船舶操纵避碰的智能评估模型并对其有效性进行评估。方诚^[8]研究改进了二维正态云模型参数的航迹云相似度评估算法，对单船进出港的航迹情况进行综合性评估。

本文基于船舶模拟器搭建虚拟仿真测试平台，构建包括控制算法的智能评估体系架构。

指标选取是影响航行控制算法评估效果的首要因素。兼顾算法测试的全面性与实用性，对航行控制算法的评估指标设计主要考虑到船舶航行的安全性、能效性和操纵性。针对在直线航段和弯曲航段中船舶操纵特点的不同，在评估指标的选取中进行区分。由此，构建相应的评估指标体系，如图1所示。由不同测试评估场景的航行性能进行区分，直线段评估指标包括船舶保向性、跟踪响应时间、船位偏移量、操舵次数、超调量、振荡次数；弯曲段评估指标包括船位偏移量、操舵次数、超调量、振荡次数、最大舵值、复航尺度、复航时间。

图 1 评估指标 Fig. 1 Evaluation index

船舶保向性是指在直线段中船舶受到风、流等外力作用调整到最佳航向后的航向保持能力；跟踪响应时间是指直线段中船舶受外力作用调整到最佳航行状态需要的时间；船位偏移量是指船舶抵抗风、流作用而偏移航道中线的横向距离；操舵次数是指在单位距离内船舶维持或改变航向操舵的次数；振荡次数是指控制航向过程中，船首向左或向右摇摆的次数；超调量是指由初始的航向调整到计划的航向中超出既定航向的最大值；动航向稳定性是指维持稳定转向角度航行能力；最大舵值是指转向过程中的最大操舵角；复航尺度是指转向过程中船舶驶离既定航线的距离；复航时间是指转向过程中船舶行驶回既定航线的时间。

船舶航行控制算法的智能评估系统，作为船舶虚拟仿真测试平台的子系统，利用测试平台所记录的船舶控制参数，实现对船舶航行控制算法性能的评估。船舶航行控制算法智能评估系统框架分为算法导入模块、虚拟测试平台模块和智能评估模块，如图2所示。首先通过客户端将待评估的航行控制算法从接口输入到虚拟仿真测试平台中，导入到模拟测试的虚拟船舶模型中；在已构建的虚拟场景中针对不同的测试任务进行控制算法的操纵模拟试验，得到船舶操纵过程中的航行数据，提取评估所需的相关指标数据，导入到评估模块。针对直线和弯曲航段选取不同的指标进行评估，通过专家经验库、评价规则库及数据驱动的修正对指标进行3级评估，最终通过系统的可视化界面呈现评估结果。

图 2 航行控制算法评估模块 Fig. 2 Navigation control algorithm evaluation module

智能评估系统的构建需要采集数据、整理处理数据集、构建专家经验库和评价规则库、确定算法模型、提供智能评估接口和可视化测试平台。数据采集是从船长、引航员、大副和三副的船舶模拟操纵试验中获取的相关航行数据，作为专家评估的基础数据集；算法模型对每一次试验情况进行评估打分；模型生成包括模型训练和模型优化两部分，当训练数据集和算法模型确认后，将训练数据集应用到算法模型中进行训练，再经过参数调整、算法优化后得到训练的模型数据；智能评估接口需要确认接口输入、输出信息以及如何通过输入信息和训练模型数据得到输出信息，生成最后的测试评估成绩和指标参数情况。在基于船舶模拟器的虚拟仿真测试平台支持下，完成数据采集、评估指标、规则库建立、算法模型生成与改进，综合各项指标权重评估，形成最终的评估结果。智能评估系统的评估模块架构如图3所示。

图 3 智能评估模块架构 Fig. 3 Intelligent evaluation module architecture

智能评估模块主要是由导入评估指标、专家经验库、评价规则库、数据驱动修正和可视化平台等构成。首先，专家经验库由船长、引航员、大副和三副等专家，通过 Transas航海模拟器在构建的航道水域虚拟测试场景下，进行若干次的无风无流的航行操纵试验，并收集专家们的航行数据进行汇总，筛除误差统计绘制出专家的航迹包络线区域，作为专家的经验数据。其次，评价规则库通过风、流船舶外部作用产生的影响进行本体建模。创建基于船舶行为响应的规则语言，利用推理引擎进行规则的推理，获得在不同环境变化扰动下船舶行为响应结果，作为进一步评估算法操纵性能的评价规则库。再次，利用船舶模拟器在特殊工况下进行模拟试验，获得的最佳航行状态数据补充和修正规则库中推理失败或误差较大的数据。最后，在基于船舶模拟器虚拟测试平台中，实现观察评估结果和各项指标参数的可视化，具体包括船位、航向、船首向、航速、操舵角度等因素，进行统计和展示。系统提供评估规则的调用，可实现本次评估所使用的全部评估指标和评分计算规则。自动对各项评估指标评分，根据不同场景的航行条件实现对不同评估目标的规则差异化评估，计算最终结果。评估结束后，可随时调取试验过程中的任何一次试验数据进行查看和调用。

本文虚拟仿真测试水域，包含直线航段和弯曲航段，航道全长25 km，平均宽度400 m，水深不小于16 m。将该航道划分为8段：第1段，长度4 km，方位318°；第2段，长度3.6 km，方位305°；第3段，长度2 km，方位300°；第4段，长度6 km，方位280°；第5段，长度3 km，方位274°；第6段，长度1.7 km，方位297°；第7段，长度1.7 km，方位320°；第8段，长度3 km，方位330°。在CAD软件中绘制出航道基本框架，如图4（a）所示。通过3 Dmax软件构建该航道水域场景，供船舶模拟器进行船舶虚拟仿真操纵试验，虚拟仿真航道水域场景如图4（b）所示。

图 4 虚拟测试水域构建 Fig. 4 Construction of virtual test waters

根据专家的船龄、驾驶经验与职务的权威性航迹包络线有所区别，由资历最深、驾驶经验最丰富的船长构成的包络线即为最优航迹区域，资历和经验次之的航迹包络线区域成绩随之降低。当测试算法所操纵出的航迹位于最优的专家包络线区域内，则该航迹被评为优秀的航迹之一，具体成绩需要后续的指标评估进一步确定。

当船舶所在测试水域场景中受到风、流的影响时，船舶航行状态随之受到不同程度的外部扰动影响，进而考验航行控制算法的操纵性能优劣。船舶在不同航段、不同程度的风流扰动下，应采取的最佳调整行为也有所不同，进而针对各种环境条件下的变化，船舶航行行为也需有针对性地改变。以船舶自身航行行为机理进行建模，构建出评估指标的评价规则库。其运行机制如图5所示。

图 5 评价规则库运行机制 Fig. 5 Rule base reasoning mechanism

其中，建立了概念类、对象属性、数据属性和实例/个体。定义本船类（egoship）；行为类（behavior），如左转向（leftsteering），右转向（rightsteering），把定（steady）；航行场景类（sailing scenario），如直线段场景（straightway scenario），弯曲段场景（bending scenario）。本船可执行直线段航行行为和弯曲段航行行为，因此本船和行为类具有decision对象属性，decision定义域是EgoShip，值域是Behavior。

建立完整的评估指标规则推理结果，即规则库。

规则推理在搜索过程中的推理效率受搜索空间大小的影响，少数复杂的推理结果可能会失败或出现错误，需要进行少数规则的二次修正。

由于评价规则库中可能存在少数规则推理结果出错或推理失败的情况，记录推理结果失败的情况。在船舶操纵模拟器中建立这些特殊工况下的场景条件，通过模拟操纵试验获得的航行数据来得到评价规则库推理不出的结果。模拟试验所得的数据，为数据驱动下评价规则库的二次修正与结果补充，进而可获得完善的评价规则推理结果，对所有场景条件下航行控制算法操纵结果进行评估。

本文构建船舶航行控制算法的智能评估系统框架与结构，对系统的评估模块和评估流程进行分析建立了专家经验库和评价规则库，并利用数据驱动对规则库进行规则的修正补充，实现对航行控制算法操纵性能的多级评估。针对不同的航行场景，需要调整指标选取和指标权重设置，提高评估结果的可信度和可靠性。