0 引　言

作为全球贸易大国，我国的海洋运输在国际货物运输中占据着至关重要的位置^{[1 − 2]}。随着运输业的迅速发展，近年来，无人船凭借其在提升安全性和节能降本方面的显著优势，逐渐成为船舶领域的研究热点和前沿方向^{[3 − 4]}。

然而，如何在复杂多变的海洋环境中进行有效自主航行测试，成为当前无人船研发中的重要问题^[5]。传统的船舶航行测试分为虚拟仿真测试、模型测试以及实船测试3种^{[6 − 7]}，其中，实船测试是最有效和最可信的测试手段。但在实际海洋场景下，实船测试很难构建出丰富、完备的舰船自主航行所需的各类场景，使无人船等智能舰船试验效率的提升受到了一定制约^[8]。

因此，虚实融合技术逐渐成为无人船测试与验证的重要发展方向^[9]。虚实融合测试通过数字孪生技术建立物理系统与仿真系统的动态映射、实时监测与智能分析，进一步提升了测试的真实性与可靠性^[10]。

杨帆等^[11]总结了船舶智能航行虚实融合测试中所涉及的关键技术，研究并提出了一种虚实融合的船舶智能航行测试方法，然而相关概念仅停留在理论设计阶段。王凯等^[12]解决了船舶能效优化效果难以实现实船验证的问题，但系统比较依赖三维仿真模型精度。刘虹晓等^[13]设计了虚实结合的无人水面艇自主航行测试系统，极大提高了无人水面艇自主航行系统的测试效率。同年，刘虹晓等^[14]基于高保真物理引擎仿真软件Webots，搭建了一套虚实结合的跨域无人系统可靠性测试原型平台，有效提高了跨域无人系统测试的可靠性，然而平台缺乏实际应用场景下的系统验证。LU等^[15]设计了一种基于Unity3D的无人水面艇状态监测虚实融合交互系统，降低了无人艇因检测不及时导致的故障率，但系统准确性易受仿真精度、网络通信等多种因素影响。

综上所述，在智能船舶测试中，现有的虚实融合技术大多是将物理的关键环境要素和设备运行状态映射到虚拟空间，或将虚拟空间生成的关键数据推送至物理设备，缺乏物理空间与虚拟空间的叠加融合。

针对上述问题，本文设计并实现了一种面向实际场景下无人船自主航行测试的视觉场景虚实融合系统，通过构建虚拟仿真环境中的无人船数字孪生体，实现虚实无人船的位姿映射，并借助虚实配准与图像融合渲染技术，完成了无人船视觉场景下虚拟场景要素向真实环境的动态迁移。虚实融合系统能够有效将虚拟场景与真实环境融合在一起，为未来在多船协同、避障决策、路径规划等关键技术的测试与验证中提供了真实可控的实验环境，有效降低了无人船的试验成本，提高了无人船的试验效率与安全性。

1 虚实融合系统设计 1.1 系统总体架构

为了验证虚实融合系统的有效性和稳定性，本文设计了一种面向实际场景下无人船自主航行测试的视觉场景虚实融合系统架构，如图1所示。该系统通过位姿映射与虚实配准技术使虚实无人船的姿态保持一致，随后利用图像渲染将虚拟视觉场景中的动静态障碍物迁移至真实视觉场景中，为无人船在复杂海洋环境中的性能验证提供了一个高效、可靠的实验平台。

系统核心部分包含真实无人船、无人船数字孪生体、虚实配准模块、Pikadditions模块以及UI交互模块。其中，真实无人船的船身搭载了多源传感器与成像设备，便于实时采集无人船的航行信息。无人船数字孪生体基于3D模型库构建而成，用于在仿真环境中模拟实船的运动状态。虚实配准模块是对真实场景图像与虚拟仿真元素进行无缝合成，实质是将虚实无人船的姿态进行对齐^[16]。Pikadditions模块通过对虚实图像进行融合处理，从而将虚拟元素自然迁移到实际场景图像中。UI交互模块作为系统与用户进行数据交互的桥梁，一方面将用户输入数据传输至实船，另一方面将Pikadditions合成的图像返回给用户以便进行后续处理。

整个系统的具体处理流程如下：首先，UI交互模块将用户指令传递给真实无人船，然后真实无人船将外部传感器采集的姿态数据同步映射到数字孪生体中。接着，实船实时测量数据与虚拟仿真数据被同步传入虚实配准模块，该模块主要包含2个部分：通过在ROS系统中将物理设备采集的多源异构数据打上统一时间戳来实现数据的时间同步；通过海天线检测对齐与空间坐标轴转换以实现物理空间与虚拟空间的对齐。经上述步骤，虚实配准模块能够将实船实时测量数据与虚拟仿真数据紧密关联起来，并在虚实无人船姿态对齐的基础上，同步生成数字孪生体视角下的虚拟场景图像。最后，配准后的虚拟图像与实船图像被进一步传入Pika视频生成平台（以下简称Pika平台）。系统利用该平台的Pikadditions功能（Pika视频生成平台的AI视频编辑功能，以下简称Pikadditions）合成高拟真融合图像，并输出到UI交互模块进行可视化展示，同步辅助用户进行数据分析与决策，从而形成系统的控制指令闭环。

1.2 系统数据传输机制

无人船视觉场景虚实融合系统的数据处理与传输涉及多个软硬件平台的协同工作，如图2所示。各模块协同联动，确保系统稳定高效运行。

首先，真实无人船将摄像机采集的图像数据和外部传感器获取的位姿数据传输至上位机的ROS系统。接着，ROS系统将收到的图像数据进行格式转换得到Image消息包，并将转换后的数据合成实船视频传入Pika平台。同时，ROS系统将解析得到的姿态数据封装成标准Pose消息包，并通过特定话题进行发布。

随后，Unity平台订阅ROS系统发布的相关话题，实时获取无人船的运动状态数据，并将数据进行虚实配准。在此基础上，仿真平台同步生成无人船对应视角下的虚拟场景图像，并将其传入Pika平台，为后续的视觉场景虚实融合提供稳定数据输入。

最后，Pika平台利用Pikadditions功能将收到的虚拟场景图像与实船视频进行深度融合，从而生成真实感较强的融合图像，为无人船视觉场景虚实融合提供关键技术支撑。

2 关键技术

图3为无人船视觉场景虚实融合系统的关键技术路线。该系统的技术路线依次由实船数据预处理、数字化对象与虚拟场景模型构建、虚实数据时空对齐以及基于Pikadditions的视图虚实融合4个模块组成。

2.1 实船数据预处理方法

考虑到实际任务场景中，任何单一传感器都难以实现对环境的全面与深度感知^[8]，本系统通过在真实无人船船身搭载固定摄像设备、GPS以及IMU等外部传感器，实现无人船图像与姿态数据的实时采集。具体而言，摄像机拍摄的图像数据通过网口通信实时传输至上位机；外部传感器获取的运动状态数据，则通过串口通信传输至上位机。上位机利用推流地址捕获实船视频流，并基于ROS系统将图像数据格式转换成符合系统要求的标准化Image消息，再进一步提取得到实船视频。外部传感器GPS与IMU主要用于捕获真实无人船的偏航、横滚及俯仰三维姿态信息，并通过FDILink通讯协议传输至ROS系统，再经报文解析与统一时间戳标定，存储为标准化的Pose消息。此过程不仅保证了多源数据获取的可靠性与准确性，还提升了数据传输与处理的效率，为后续虚实同步与融合处理提供了高质量、标准化的数据输入。

2.2 数字化对象与虚拟场景模型构建

数字化对象与虚拟场景模型构建是无人船视觉场景虚实融合系统中的重要组成部分。在本系统中，虚拟试验场景涵盖多类关键要素，包括无人船数字孪生体模型、各类护卫舰模型、虚拟摄像系统及动态海洋环境，如图4所示。各要素之间的空间布局、物理特性及动态交互均依据真实场景参数精细构建，为虚实数据的精准映射奠定了基础。

无人船数字孪生体实时接收位姿数据，并同步映射出实船的姿态变化，同时精确的孪生体模型是实现无人船数字孪生技术的基础^[17]。此外，数字孪生体具备基于物理引擎的碰撞检测与动态响应能力，能够模拟真实无人船在复杂海况下与其他目标物体接触时的物理行为与运动特性。通过在仿真环境中引入护卫舰模型作为典型动态障碍物与交互目标，能够模拟复杂海上交通环境及多目标动态交互场景。护卫舰的加入有效提升了虚拟试验场景的复杂性与多样性，保障了虚拟试验场景与实船作业环境的典型特征相匹配。

流体仿真作为海洋环境仿真中的重要构成部分，其仿真精度直接影响虚拟元素与真实海洋环境的匹配度及融合效果^[14]。通过在仿真环境中加入海流、波浪等自然环境因素，系统能够较为真实地再现无人船在不同海况下的动态行为^[18]。而虚拟推流相机作为虚拟场景中的关键感知单元之一，用于生成与真实成像设备相匹配的虚拟图像数据，并与真实图像数据进行空间对齐，从而确保虚拟场景和现实环境在视觉上的一致性。

此外，为了更好地观测虚实时空对齐过程，方便用户及时做出调整，在Unity中创建了用户界面，用于设置和显示基本信息。随着虚拟场景的变化，用户界面信息将进行动态更新。

2.3 虚实数据时空对齐

首先，ROS系统从船载设备实时获取姿态信息与图像数据，再将所有原始数据进行统一的时间戳标定与标准化消息封装，随后发布至特定话题通道，这是虚实无人船时间同步的关键步骤。接着，Unity平台通过订阅ROS发布的相关话题实时获取实船的运动状态数据，并将数据动态映射至数字孪生体模型中，驱动其在仿真环境中的姿态变换。最后，为进一步提升虚实空间的一致性，Unity平台不仅以现实坐标系为标准变换虚拟空间坐标系，还通过检测虚实图像海天线角度偏差进一步调整虚拟无人船推流相机的角度，以实现虚实无人船的姿态对齐。虚实图像的空间对齐算法流程图如图5所示。

1）虚实图像的海天线检测

在进行海天线检测前，先以高度较小的图像为标准对虚实图像进行缩放，以确保2张图像的高度一致，再利用Canny边缘检测算法提取图像边缘，最后通过Hough变换对边缘像素进行直线拟合并提取海天线。Hough变换的主要思想是将图像空间的边缘像素映射到直线参数空间中，通过搜索参数空间中的局部峰值点来确定直线的参数。点在图像空间的坐标为$ (x,y) $，变换后在参数空间坐标为$ (\rho ,\theta ) $，将直线方程转换为极坐标形式：

$ \rho =x\cos \theta +y\sin \theta。$

(1)

对参数$ (\rho ,\theta ) $所对应的直线进行累积投票，投票值为图像空间中位于该直线上的边缘像素数量，计算式为：

$ {H(\rho,\theta)=}\int {\int }_{{xy}}{{I}}_{\text{edge}}{(x,y)\delta(x}\cos {\theta+y}\sin {\theta-\rho){\mathrm{d}}x{\mathrm{d}}y} 。$

(2)

式中：$ {I}_{{\mathrm{edge}}} $为边缘图像；$ \delta (\cdot ) $为冲激函数。

在对边缘图像进行Hough变换后，变换空间中的每一个投票值H代表对应参数空间中一条直线的累积投票数。H值越大，说明该直线通过的边缘像素点越多，具有更高的显著性^[19]。因此，可以认为H值最大的直线最有可能对应于图像中的海天线。基于此，本文选择投票值最大的直线作为海天线的估计结果，并将其延长为覆盖整个图像宽度的一条直线段。

2）虚实图像海天线对齐判断

通过上一步得到的海天线直线方程分别计算现实图像和虚拟图像海天线中点Y轴坐标$ {y}^{{\mathrm{real}}} $和$ {y}^{{\mathrm{virt}}}$，以及海天线角度$ {\theta }^{{\mathrm{real}}} $和$ {\theta }^{{\mathrm{virt}}}$，计算式为：

$ {y}^{{\mathrm{real}}}=\frac{y_{1}^{{\mathrm{real}}}+y_{2}^{{\mathrm{real}}}}{2}，$

(3)

$ {y}^{{\mathrm{virt}}}=\frac{y_{1}^{{\mathrm{virt}}}+y_{2}^{{\mathrm{virt}}}}{2}，$

(4)

$ {\theta }^{{\mathrm{real}}}=\mathrm{atan} 2\left(y_{2}^{{\mathrm{real}}}-y_{1}^{{\mathrm{real}}},x_{2}^{{\mathrm{real}}}-x_{1}^{{\mathrm{real}}}\right )，$

(5)

$ {\theta }^{{\mathrm{virt}}}=\mathrm{atan} 2\left(y_{2}^{{\mathrm{virt}}}-y_{1}^{{\mathrm{virt}}},x_{2}^{{\mathrm{virt}}}-x_{1}^{{\mathrm{virt}}}\right)。$

(6)

式中：$ (x_{1}^{{\mathrm{real}}},y_{1}^{{\mathrm{real}}}) $，$ (x_{2}^{{\mathrm{real}}},y_{2}^{{\mathrm{real}}}) $为现实图像的海天线端点坐标；$ {\theta }^{{\mathrm{real}}} $为现实图像中海天线与水平$ x $轴的夹角；$ (x_{1}^{{\mathrm{virt}}},y_{1}^{{\mathrm{virt}}}) $，$ (x_{2}^{{\mathrm{virt}}},y_{2}^{{\mathrm{virt}}}) $为虚拟图像的海天线端点坐标；$ {\theta }^{{\mathrm{virt}}}$为虚拟图像中海天线与水平$ x $轴的夹角。

将现实图像的海天线端点坐标代入式(3)、式(5)计算得到$ {y}^{{\mathrm{real}}} $与$ {\theta }^{{\mathrm{real}}} $的值。同理，将虚拟图像的海天线端点坐标代入式(4)、式(6)计算得到$ {y}^{{\mathrm{virt}}}$与$ {\theta }^{{\mathrm{virt}}}$的值。分别比较$ {y}^{{\mathrm{real}}} $与$ {y}^{{\mathrm{virt}}}$值的大小，以及$ {\theta }^{{\mathrm{real}}} $与$ {\theta }^{{\mathrm{virt}}}$值的大小，若不相等，则需对虚拟无人船推流相机偏差角度进行计算。

3）虚拟无人船推流相机角度调整与虚实空间坐标系转换。

$ \Delta Pitch=\frac{{y}_{{\mathrm{real}}}-{y}_{{\mathrm{virt}}}}{H}\cdot FO{V}_{v}，$

(7)

$ \Delta Roll={\theta }_{{\mathrm{real}}}-{\theta }_{{\mathrm{virt}}}。$

(8)

式中：$ \Delta Pitch $为需要调整的虚拟无人船推流相机俯仰角偏差；$ {y}_{{\mathrm{real}}} $为现实图像海天线中点Y轴坐标，$ {y}_{{\mathrm{virt}}} $为虚拟图像海天线中点Y轴坐标；$ H $为图像高度（单位：像素）；$ FO{V}_{v} $为相机垂直视场角，大小为$ 56{^{\circ}} $；$ \Delta Roll $为需要调整的虚拟无人船推流相机横滚角偏差；$ {\theta }_{{\mathrm{real}}} $为现实图像海天线与水平$ x $轴的夹角，$ {\theta }_{{\mathrm{virt}}} $为虚拟图像海天线与水平$ x $轴的夹角。

由于现实坐标系为ENU坐标系，而Unity的世界坐标系为左手系，因此得到现实坐标系与Unity世界坐标系坐标轴的转换公式如下：

$ \left[\begin{array}{c} {x}_{{\mathrm{Unity}}}\\ {y}_{{\mathrm{Unity}}}\\ {z}_{{\mathrm{Unity}}} \end{array}\right]=\left[\begin{matrix} 1 & 0 & 0\\ 0 & 0 & 1\\ 0 & 1 & 0 \end{matrix} \right]\left[\begin{array}{c} {x}_{{\mathrm{ENU}}}\\ {y}_{{\mathrm{ENU}}}\\ {z}_{{\mathrm{ENU}}} \end{array}\right]。$

(9)

式中：$ {x}_{{\mathrm{Unity}}} $、$ y{}_{{\mathrm{Unity}}} $、$ {z}_{{\mathrm{Unity}}} $分别为Unity世界坐标系的坐标轴；$ {x}_{{\mathrm{ENU}}} $、$ {y}_{{\mathrm{ENU}}} $、$ {z}_{{\mathrm{ENU}}} $为现实坐标系的坐标轴。

联合式(7)、式(8)可以计算得到需要调整的虚拟无人船推流相机俯仰角度与横滚角度，再根据式(9)将现实坐标系转换成Unity世界坐标系，并在Unity中对相机视角进行更新，从而使虚拟摄像机同步渲染生成与实船拍摄视角一致的虚拟图像数据。

经过以上步骤，虚实数据时空对齐模块不仅确保了虚实无人船在时间、空间、状态、感知等多个维度实现全要素对齐，还为后续基于Pikadditions的虚实融合提供了高质量、时空一致的数据输入。

2.4 基于Pikadditions的视图虚实融合

Pikadditions是Pika平台最新推出的一项智能视频创作功能，其核心技术原理融合了深度学习、计算机视觉和自然语言处理等前沿技术，通过对用户输入的文本提示和上传的视频进行细致解析，从而将用户提供的一张静态图片中的视觉元素自然、无缝地融入视频中。

从技术架构上来看，Pikadditions主要依托于多模块协同工作的深度神经网络框架。前端负责接收用户上传的静态图像、原始视频以及文本提示。经过初步预处理后，系统利用卷积神经网络对视频中的各个帧进行高精度的场景分割、运动轨迹提取和光照动态分析，同时借助自然语言处理技术对用户输入的文本提示进行语义解析，提取出创意意图与具体操作指令。再利用多模态特征融合模块系统将视频帧中提取的时空特征与静态图像中的视觉元素进行对齐，构建出一个统一的语义表示空间，使得不同来源的数据信息能够无缝匹配和融合。在此基础上，系统采用图像生成算法，对目标物体的风格、色调、透视关系及阴影效果进行优化调整，生成与原视频环境高度契合的中间合成结果，确保在视频播放过程中新增元素的互动和运动效果保持真实自然。整个技术方案的实现不仅降低了传统视频后期制作的复杂性和成本，还大幅提升了创作效率和内容表达的灵活性。

在无人船视觉场景虚实融合系统中，Pika平台先同时接收来自Unity平台的虚拟图像数据、来自ROS系统的实船视频以及用户输入的文本提示，然后调用Pikadditions功能对传入数据进行融合处理，如图6所示。具体处理过程如下：首先Pikadditions结合自然语言处理技术对用户输入的文本提示进行语义解析，提取出将虚拟场景元素迁移至实船视频且保持较高真实感的操作指令。接着利用卷积神经网络和自注意力机制，对视频中的各个帧进行语义分割、特征提取和运动轨迹分析，从而定位出适合插入虚拟元素的位置和角度。最后通过图像生成技术，对拼接图像进行风格匹配和特征映射，确保其在色调、光影、透视以及运动连贯性等方面与原视频完美融合，从而生成视觉效果自然的虚实融合视频，能够比较真实地反映无人船在动态海洋环境中的运动过程及其与周围环境的交互特征，有效提升了虚实融合系统的真实感与一致性。

3 系统实现及实验验证 3.1 硬件平台搭建

图7为无人船视觉场景虚实融合系统的硬件平台组成。该系统硬件架构主要由3个部分组成：船载数据采集终端（右边黑箱）、实船数据处理与发布平台（中间计算机A）、虚拟场景构建与虚实融合渲染平台（左边计算机B），各硬件单元协同工作。

黑箱通常安装于实船甲板上负责在航行过程中实时采集船体的姿态数据及前向视角图像，并将原始数据传输至计算机A。计算机A作为系统数据预处理与通信中枢，不仅接收船载终端传输的原始数据，还对数据进行相关预处理，并将预处理后的数据通过ROS话题机制实时发布到Unity平台。

计算机B作为虚拟场景构建与虚实融合渲染的核心平台，同时承载虚拟环境建模与视图级虚实融合两大核心模块。基于Unity引擎构建的虚拟仿真平台通过实时订阅并解析来自计算机A的实船姿态数据，从而驱动数字孪生体在虚拟环境中的动态姿态更新，并通过时空对齐技术进一步保证虚实无人船在运动过程中的时空一致性。此外，位于计算机B上的Pika平台负责接收计算机A传输的实船视频，以及Unity平台渲染生成的虚拟场景图像，并借助Pikadditions功能生成虚实融合视频。整个流程中，计算机A与计算机B通过高速网络实现双向数据交互，确保多源数据的高效协同与虚实场景的时空同步，为虚实融合系统的稳定运行提供了坚实的硬件基础与数据保障。

3.2 实验验证

本系统通过有线接口将传感器和摄像设备获取的实船多源数据同步传输至上位机，并利用ROS系统中的节点对图像和姿态数据进行预处理。经过预处理后的实船数据随后以25帧/s的帧率传输至Unity平台。为确保数字孪生体与实船的时空一致性，系统基于ROS的时间戳机制，对多源异构数据进行时间同步；通过对虚拟空间坐标系进行动态转换及虚实图像海天线对齐，实现虚拟空间与真实空间的高精度匹配，并将时空同步后对应生成的虚拟图像传入Pika平台。

由于已对虚拟空间坐标系进行转换，故在进行虚实图像海天线检测与对齐时仅需比较虚拟无人船推流相机的俯仰角与横滚角，如表1所示。随机选取100张虚拟图像与真实图像，先根据2.3节算法公式计算虚拟无人船推流相机调整前与真实图像海天线的平均俯仰角度与横滚角度偏差。若存在角度偏差，则说明虚实无人船姿态未对齐，需按照角度偏差对虚拟无人船推流相机角度进行相应调整，待调整后再次对其进行海天线检测及姿态判断，直至误差减小。

图8为4组虚实图像海天线对齐前后的效果，如图8(c)第2张计算得到虚拟无人船推流相机调整前的俯仰角偏差为−11.86°，横滚角偏差为−2.00°，由于俯仰与横滚角度偏差均较大，故认为虚实无人船姿态未对齐，根据偏差角度对虚拟无人船推流相机角度进行相应调整后，再次计算图8(c)第3张的推流相机俯仰角偏差为−1.67°，横滚角偏差为−0.04°，由于推流相机俯仰角偏差与横滚角偏差与调整前相比均已减小，且偏差值较小，故认为调整后的虚实空间已实现对齐。

在此基础上，Pika平台根据用户输入文本对接收到的实船视频与虚拟图像进行深度融合处理，并基于Pikadditions功能合成高真实感的虚实融合视频，通过截取视频中的关键帧，得到如图9所示的图像融合效果。

本文采用Fréchet Inception Distance（FID）对生成图像与目标风格图像的视觉分布差异进行评估。FID是一种衡量生成模型生成图像质量的评价指标，它通过比较生成图像与真实图像的特征分布来评估生成图像的逼真度和多样性。FID值越小，表示生成图像的质量越高，越接近真实图像。在本实验中，通过分别随机选取481张生成图像、拼接图像与真实图像进行FID计算，如表2所示，实验结果表明，本文所提方法相较传统拼接方案生成的图像在视觉效果和分布一致性上均表现更优。

上述实验有效验证了无人船视觉场景虚实融合系统的可行性与稳定性。相关评价指标表明，该系统不仅能够实现真实无人船与数字孪生体之间的精确姿态对齐，且在复杂多变的海洋环境中，无人船视觉场景的虚实融合效果依然能够保持不错的真实感，有效提升了系统整体视觉表现。

4 结　语

本文提出一种无人船视觉场景虚实融合系统，首先对获取的实船传感器数据和图像数据进行预处理，接着基于数字孪生技术与时空对齐算法确保虚实无人船的姿态一致，最后借助Pikadditions功能，生成逼真的虚实融合图像。该系统通过将虚拟视觉要素融入无人船真实视觉场景，以此实现视觉场景中物理空间与虚拟空间的叠加融合，且经实验验证了系统的可行性，在一定程度上弥补了现有虚实融合测试技术的不足，有效提升了无人船航行测试过程中试验场景的多样性。但虚实融合框架中的图像迁移方式和融合效果仍有待完善，具体在于图像迁移的实时性以及虚实融合效果的逼真性需要进一步提升。总体来说，本文研究能够为无人船测试技术的进一步发展提供新的思路，且在无人船性能测试方面具有广泛的实际应用价值。