舰船科学技术  2024, Vol. 46 Issue (22): 186-189    DOI: 10.3404/j.issn.1672-7649.2024.22.034   PDF    
船舶智能驾驶舱人机交互设计研究
张贤, 陈波     
上海第二工业大学,上海 201209
摘要: 为了实现船员与船舶智能驾驶系统之间的信息交流和操作控制,研究船舶智能驾驶舱人机交互设计方法。基于认知负荷理论,构建船舶智能驾驶舱人机交互的信息加工模型,分析船员的认知资源。船员利用人机交互界面发出指令,利用卷积神经网络,选取tanh函数以及交叉熵损失函数作为激活函数与损失函数,输出人机交互界面的智能决策反馈。依据所生成的航行决策,以船员的注意资源为约束,选取视觉传达指数作为目标函数,获取符合船员操作习惯和视觉感受的人机交互界面设计结果。实验结果表明,采用该方法设计船舶智能驾驶舱人机交互界面,船员能够快速捕捉界面中的关键信息,缩短了船员获取信息到完成驾驶操作的时间成本。
关键词: 智能驾驶舱     人机交互     卷积神经网络     视觉传达指数    
Research on human computer interaction design of ship intelligent cockpit
ZHANG Xian, CHEN Bo     
Shanghai Polytechnic University, Shanghai 201209, China
Abstract: In order to achieve information exchange and operational control between crew members and ship intelligent driving systems, a design method for human-machine interaction in ship intelligent driving cabins is studied. Based on cognitive load theory, construct an information processing model for human-machine interaction in ship intelligent cockpit, and analyze the cognitive resources of crew members. Crew members use the human-computer interaction interface to issue commands, use convolutional neural networks, select tanh function and cross entropy loss function as activation and loss functions, and output intelligent decision feedback of the human-computer interaction interface. Based on the generated navigation decisions and constrained by the attention resources of the crew, the visual communication index is selected as the objective function to obtain a human-machine interaction interface design result that conforms to the crew's operating habits and visual perception. The experimental results show that using this method to design the human-machine interaction interface of the ship's intelligent cockpit enables crew members to quickly capture key information in the interface, shortening the time cost from obtaining information to completing driving operations.
Key words: intelligent cockpit     human computer interaction     convolutional neural network     visual communication index    
0 引 言

“工业4.0”背景下,船舶设计制造领域正经历着深刻的技术变革[1]。如何确保智能驾驶舱的人机界面既符合船员的操作习惯,又能充分利用人工智能技术的优势,并提高操作效率和安全性,是当前研究的重点。智能制造背景下,船舶智能驾驶舱的人机交互设计对于提升船舶的航行效率、安全性和船员的工作舒适度至关重要[2]。通过优化人机交互界面和功能,使船员更加便捷地掌握船舶的航行状态,及时做出正确的决策,从而提高船舶的整体性能。

张惠等[3]针对汽车座舱的人机交互界面色彩设计开展研究,通过合理的色彩设计提高用户对界面的满意度,增强用户对汽车产品的整体好感。利用对比度强的色彩,使界面元素更加清晰,减少误操作的可能性,帮助驾驶员更好地感知车辆状态,提高驾驶安全性。但是色彩设计过于复杂或对比度过高,长时间观看容易导致用户视觉疲劳,影响驾驶安全。宋晓蕾等[4]针对智能交互系统构建人机组队协同工效提升模型,通过深入分析人机组队协同工作的内在机制和规律,设计高效的人机交互界面和流程,提高协同工作效率。该模型虽然能够优化人机交互效率,但在强光、噪音等极端环境下,模型性能容易受到影响。且用户对新技术的接受度因个体差异而异,部分用户容易对新的人机交互方式和界面设计感到抵触。Modi等[5]研究了眼动追踪在人机交互中的作用,通过捕捉和分析眼球运动信息,实现了人与机器之间更加自然、直观地交互。眼动追踪技术使用户能够通过直接注视屏幕上的目标物来完成交互操作。但是光照条件、眼球移动速度等因素,均影响追踪的准确性和稳定性;且部分用户对眼动追踪存在适应性问题,需要一定时间才能熟练使用[6]

针对以上方法在人机交互设计中存在的问题,研究船舶智能驾驶舱人机交互设计方法,以为提高船舶智能驾驶舱的人机交互设计质量、保障航行安全提供理论支持。

1 船舶智能驾驶舱人机交互设计 1.1 基于认知负荷理论的人机交互信息加工模型

设计船舶智能驾驶舱人机交互界面时,引入认知负荷理论,避免船员驾驶船舶的过程中,出现认知过载问题。基于认知负荷理论,选取人因工程中的Wickens信息加工模型,进行船舶智能驾驶舱的人机交互设计。船舶智能驾驶舱人机交互设计的信息加工模型如图1所示。

图 1 信息加工模型 Fig. 1 Information processing model
1.2 基于卷积神经网络的人机交互界面决策

船舶的人机交互界面具有人机交互功能,船员可以通过语音、手势等方式,发出指令。依据信息加工模型可知,智能驾驶舱的人机交互界面需要依据船员发出的指令,在人机交互界面中,利用直观、便捷的操作界面,为船员提供智能反馈结果,提升船舶智能驾驶舱的人机交互性能。利用人工智能技术进行智能决策和自适应控制,提供路径规划、避障等辅助决策功能,帮助船员做出正确的航行决策。选取卷积神经网络作为人机交互界面的智能决策反馈方法。应用于人机交互界面智能决策的卷积神经网络结构如图2所示。

图 2 卷积神经网络结构图 Fig. 2 Convolutional neural network structure diagram

卷积操作输入的船员指令信息时,原始船员指令信息的尺寸不断缩小。利用零填充方法填充不断缩小的输入信息,使其与原始尺寸相同。零填充操作的表达式如下:

p=(N1)×Aj+μN2 (1)

式中:N为原始船员指令信息大小;Ajμ分别为卷积步长以及卷积核宽度。

利用激活函数,提升卷积神经网络的非线性程度,进而实现更加精准的船员指令识别任务。选取tanh函数作为人机交互界面决策的激活函数,该激活函数的表达式如下:

tanh(x)=exexex+ex (2)

利用池化操作,对输入的船员指令信息降维操作。池化层通过下采样操作,保留原始船员指令信息中的显著特征,去除其中包含的噪声与冗余信息。用WH分别表示原始船员指令信息的宽度与高度,K表示池化窗口大小,Ac表示池化窗口步长。经过池化操作后,船员指令信息宽度与高度的表达式如下:

W=WKAc+1 (3)
H=HKAc+1 (4)

设置全连接层作为卷积神经网络的最终层,利用该层映射所提取的船员指令信息中的特征,作为最终的人机交互界面决策结果。全连接层的运算表达式如下:

ylj=f(Qlxl1i+bli) (5)

式中:Qlxl1i分别为l层的权重矩阵以及上层输出的特征向量;bli为偏置。

卷积神经网络利用损失函数,降低网络损失。利用卷积神经网络为船舶智能驾驶舱人机交互界面提供决策时,所采用的二分类交叉熵损失函数以及多分类交叉熵损失函数的表达式如下:

L=1nx[wlnx+(1w)ln(1x)] (6)
L=1nni=1Mj=1yijlog(hij) (7)

式中:nM分别为样本数量以及样本对应类别数量;jyij分别为船员指令样本的标签类别序号以及样本对应标签;whij分别为样本对应权重以及样本i属于类别j的概率值。

交叉熵损失函数能够确定船员指令样本所对应类别的概率,适用于人机交互界面设计的决策生成中。

1.3 基于视觉传达的人机交互界面优化方法

利用卷积神经网络,依据船员指令,生成船舶智能舱人机交互界面的决策信息。针对所生成的决策,利用视觉传达技术,通过界面布局、色彩搭配、图标设计等方面优化人机交互界面,使界面布局更加合理,操作更加便捷,更符合船员的操作习惯和视觉感受。Cα分别表示人眼与船舶智能驾驶舱人机交互界面的间距以及视线与固定功能区的夹角,人机交互界面视觉感知强度区域半径为:

r=Ctanα (8)

ψi表示船舶智能驾驶舱人机交互界面功能区i的重要度,dj表示等级为j的视觉感知强度所占功能区数量,Zij表示等级为j的视觉感知强度在界面中所占的单元格数。依据船舶驾驶舱不同功能区的视觉感知强度差异,进行驾驶舱人机交互界面的布局优化。功能区i的视觉传达指数μi为:

ui=Bj=1dirψiZij (9)

式中:B为视觉感知强度等级数量。

以船员的注意资源为约束,利用视觉传达指数构建船舶智能驾驶舱人机交互界面优化的目标函数如下:

U=max(Bj=1dirψiZij) (10)

式中:U为整个船舶智能驾驶舱人机交互界面的视觉传达指数。

船舶智能驾驶舱人机交互界面的视觉传达指数与界面的信息传达效率为正相关,视觉传达指数越大,对应的界面布局为人机交互界面的最优布局,确保船员能够轻松、准确地完成船舶驾驶舱的各项操作。利用实时反馈和调整机制,提高驾驶灵活性和安全性。

2 实例分析

为了验证所研究方法的船舶智能驾驶舱人机交互设计性能,将该方法应用于某船舶制造公司的船舶智能驾驶舱人机交互界面设计中。

注意资源是人机交互界面设计的重要指标,统计固定时间压力下,船员的注意资源变化,统计结果如图3所示。可以看出,时间压力固定时,船员的注意资源存在一定变化。人机交互界面中呈现的色彩因子与图形因子数量超过8个时,注意资源出现明显地下降。船员的注意资源固定,所需注意的资源量过高时,将出现认知超载情况,影响界面的人机交互性能。依据图3实验结果,采用本文方法进行船舶智能驾驶舱人机交互界面设计时,设置界面的色彩因子与图形因子数量均低于8。

图 3 注意资源变化 Fig. 3 Pay attention to changes in resources

利用本文方法进行船舶智能驾驶舱人机交互设计,统计不同布局方案的视觉传达指数,统计结果如图4所示。通过不同船舶智能驾驶舱人机交互界面布局方案的视觉传达指数对比结果可知,9号布局方案为视觉传达指数最高的方案,将其作为最终的船舶智能驾驶舱人机交互界面布局结果,为提升船员的船舶驾驶效率提供依据。本文方法设计了更满足船员需求的人机交互界面,帮助船员更快地辨识和选择所需的驾驶功能,提高船舶航行效率。

图 4 视觉传达指数 Fig. 4 Visual communication index

为了验证本文方法对船舶智能驾驶舱人机交互界面设计的优势,依据船员的注视情况生成界面热点图(见图5)。注视停留时间一定程度上反映了船员从界面上提取信息的难易程度。注视停留时间较长,船员需要更多的时间来理解和处理界面上的信息,意味着船员遇到了理解上的障碍,或需要更多的时间来做出决策。采用本文方法设计的人机交互交互界面,船员能够快速捕捉界面中的关键信息。本文方法的人机交互界面设计结果,有效缩短了船员从获取信息到完成操作的时间成本,避免过多的冗余信息和复杂的操作流程,确保船员能够快速、准确地获取所需信息并做出船舶驾驶决策。

图 5 人机交互界面热点图 Fig. 5 Hotspot map of human computer interaction interface
3 结 语

人机交互界面设计需要不断创新,以适应船员的操作习惯和需求,提高操作便捷性和舒适度。船舶智能驾驶舱的人机交互设计,通过引入界面优化模型和智能决策算法,提升船舶的航行安全性、作业效率和智能化水平。利用认知负荷理论深入了解船员的操作习惯、认知特点,设计出更符合船员期望的智能驾驶舱人机交互界面,确保船员能够轻松、准确地完成各项操作。以期通过该设计方法,提高船舶智能驾驶舱的智能化水平。

参考文献
[1]
王卉, 余隋怀, 陈登凯, 等. 面向任务的载人深潜人机交互信息重要度评估[J]. 计算机集成制造系统, 2024, 30(5): 1683-1693.
WANG Hui, YU Suihuai, CHEN Dengkai, et al. Mission-oriented human-machine interaction information importance assessment of deep-sea manned submersible[J]. Computer Integrated Manufacturing Systems, 2024, 30(5): 1683-1693.
[2]
高志方, 吕靖雯, 彭定洪. 面向用户感性需求的人机交互设计方案评价方法[J]. 系统科学与数学, 2023, 43(3): 610-628.
GAO Zhifang, LV Jingwen, PENG Dinghong. User kansei needs-oriented evaluation method for human-computer interaction design solutions[J]. Journal of Systems Science and Mathematical Sciences, 2023, 43(3): 610-628. DOI:10.12341/jssms22275
[3]
张惠, 聂志玲, 肖宏伟, 等. 无人驾驶汽车智能座舱人机交互界面色彩设计[J]. 吉林大学学报(工学版), 2023, 53(5): 1315-1321.
ZHANG Hui, NIE Zhiling, XIAO Hongwei, et al. Color design of human-computer interaction interface for intelligent cockpit of unmanned vehicle[J]. Journal of Jilin University (Engineering and Technology Edition), 2023, 53(5): 1315-1321.
[4]
宋晓蕾, 田珍珍, 董梅梅. 智能交互系统中人机组队协同工效提升的模型构建[J]. 包装工程, 2023, 44(20): 8-17+517.
SONG Xiaolei, TIAN Zhenzhen, DONG Meimei. Construction of collaborative efficiency improvement model for human-autonomy teaming in intelligent interactive system[J]. Packaging Engineering, 2023, 44(20): 8-17+517.
[5]
MODI N, SINGH J. Role of eye tracking in human computer interaction[J]. ECS transactions, 2022, 107(1), 8211−8218.
[6]
李昕燕, 李昕孜. 战斗机座舱显控人机交互界面设计要素分析[J]. 电光与控制, 2024, 31(8): 82-85.
LI Xinyan, LI Xinzi. Analysis of design elements for human-machine interaction interface of fighter aircraft cockpit display and control[J]. Electronics Optics & Control, 2024, 31(8): 82-85. DOI:10.3969/j.issn.1671-637X.2024.08.013
船舶智能驾驶舱人机交互设计研究
张贤, 陈波