舰船科学技术  2024, Vol. 46 Issue (16): 158-161    DOI: 10.3404/j.issn.1672-7649.2024.16.026   PDF    
基于机器学习算法的舰船最优交互界面设计研究
李玲, 韩梦婷     
郑州工业应用技术学院,河南 郑州 450000
摘要: 以减少用户与系统之间的交互次数和时间,提高系统的响应速度和处理能力,提出基于机器学习算法的舰船最优交互界面设计方法。该方法设计舰船交互界面结构和按钮交互直觉状态,利用视觉注意力划分方式对舰船交互界面布局进行优化处理,得到舰船最优交互界面,再建立舰船最优交互界面交互手势库和指令库,利用相机捕捉工作人员手势图像,将其输入到机器学习算法中识别工作人员当前手势并驱动对应指令库内手势指令,实现舰船最优交互界面交互。实验表明,本文方法设计的舰船最优交互界面较为全面和简洁,有效呈现当前舰船航行相关状态数据,同时设计的舰船最优交互界面识别交互手势较为准确,具备较强的交互能力。
关键词: 机器学习     交互界面     界面布局     按钮交互状态     注意力等级    
Research on optimal interaction interface design for ships based on machine learning algorithms
LI Ling, HAN Mengting     
Zhengzhou University of Industrial Technology, Zhengzhou 450000, China
Abstract: To reduce the interaction frequency and time between users and the system, improve the response speed and processing capability of the system, a machine learning algorithm based optimal interaction interface design method for ships is proposed. This method designs the structure of the ship interaction interface and the intuitive state of button interaction. It optimizes the layout of the ship interaction interface using visual attention partitioning to obtain the optimal interaction interface for the ship. Then, it establishes a gesture library and instruction library for the optimal interaction interface for the ship. The camera captures the gesture image of the staff and inputs it into the machine learning algorithm to recognize the current gesture of the staff and drive the corresponding gesture instructions in the instruction library, achieving the optimal interaction interface for the ship. The experiment shows that the optimal interaction interface designed by the method in this article for ships is comprehensive and concise, effectively presenting current ship navigation related status data. At the same time, the designed optimal interaction interface for ships recognizes interaction gestures more accurately and has strong interaction capabilities.
Key words: machine learning     interactive interface     interface layout     button interaction status     attention level    
0 引 言

舰船导航与控制系统的性能直接关系到舰船的安全、效率与作战能力[1-2]。其中,交互界面作为人与机器沟通的桥梁,其设计质量对于舰船操作的便捷性、准确性和安全性具有至关重要的影响。因此,开展舰船最优交互界面设计研究,不仅是对现代舰船技术发展的积极响应,更是提升舰船整体性能的关键一环。

目前,有很多学者研究交互界面设计方法,如乔一丹等[3]提出中控界面设计方法,该方法运用模拟实验方式对用户认知进行表征,分析用户操作中控界面时的出错因子,依据该出错因子建立中控界面特征的关系映射模型,对该模型进行优化后,获得中控界面优化设计结果。不同出错因子对用户操作的影响程度可能不同,但在关系映射模型中,这些因子的权重分配可能不够准确,导致优化方向偏离实际需求。姜斌等[4]提出终端人机界面交互优化设计方法,该方法依据模块化思想,将终端工程进行独立模块化后,设计不同独立模块的驱动程序,利用有限状态机方式驱动独立模块程序实现终端人机交互。如果模块划分过于粗糙或过于细致,都可能导致设计效果不佳。过于粗糙的划分可能无法充分利用模块化的优势,而过于细致地划分则会增加系统的复杂性和管理难度。冯青等[5]提出信息交互界面优化方法,该方法以现有交互界面为基础,建立交互界面优化模型,依据交互界面不同信用度系数权重衡量界面内不同模块性能,通过求解交互界面优化模型,实现交互界面优化设计。不同模块的信用度系数权重由设计者或专家根据经验或主观判断来确定,这可能导致权重分配不够客观和科学,进而影响优化结果的有效性。

机器学习算法通过解析数据,发掘其中的内在规律和关联性,从而形成用于解决预测、识别、分组和简化数据等问题的知识模型,为此提出了基于机器学习算法的舰船最优交互界面设计方法,并验证其性能。

1 舰船最优交互界面设计 1.1 舰船交互界面结构设计

舰船交互界面结构舰船交互界面能够实时显示舰船的各项运行数据,如航向、速度、航行姿态、机械状态等,简洁易操作的舰船交互界面结构便于用户交互操作,同时也可在视觉上为用户呈现较为丰富的内容,设计舰船交互界面结构,如图1所示。

图 1 舰船交互界面结构 Fig. 1 Structure of ship interaction interface
1.2 交互按钮状态设计

在舰船交互界面内,不同功能模块选项卡和设置菜单需要通过按钮来执行不同命令,在舰船交互界面设计中,本文设计舰船最优交互界面时,按钮类型选择选择文字+图标类型,该类型按钮具有较强的直观性,以文字和图标组合形式为用户操作提供双重保障,便于用户理解按钮功能和操作按钮。舰船交互界面内按钮状态包括正常、悬停、触发和禁用4种状态,该4种状态在交互过程中的视觉效果如图2所示。

图 2 按钮交互视觉状态示意图 Fig. 2 Schematic diagram of button interaction visual state
1.3 舰船交互界面布局设计

合理的界面布局设计可以确保重要信息和功能按钮的清晰展示,减少操作人员因信息混乱或按钮位置不当而导致的误操作。这对于舰船这种对安全性要求极高的设备来说至关重要。

依据用户视觉注意力,“F”形区域内信息会更容易被用户关注,因此将较为重要的信息均分布在“F”形区域内,在众多模块中,雷达显示对舰船航行最为关键,因此将雷达显示界面放置在舰船交互界面的右上方,舰船的主操作信息承载着众多的操作命令和舰船运行系统的反馈信息,其是整个舰船交互界面最为核心的内容,因此其被放置在页面左侧视觉效果最佳的区域内,而非常用的功能和相对不重要的展示模块,则放置在非“F”区域内[6]。综上,“F”形舰船交互界面布局示意如图3所示。

图 3 “F”形舰船交互界面布局示意图 Fig. 3 Layout diagram of the F-shaped ship interaction interface
1.4 基于视觉注意力划分的导航界面优化

经过上述步骤完成舰船导航界面布局设计后,按照视觉注意力划分方式对舰船导航界面进行优化处理,其详细实现过程如下:

操作人员佩戴VR设备,设置人眼重合的视域角度为120°,将交互界面与人眼的视觉区域案中案120°、70°、30°划分为3个视野等级,分别用1、2、3表示,令船舶导航界面内第$ i $个模块在用户视野内所占面积为$ {A_i} $,第$ i $个模块在第$ g $个用户视野区域内的椭圆长轴和短轴分别由$ {r_g} $$ {b_g} $表示,$ g = 1,2,3 $,则用户在舰船交互界面上的视觉注意力等级模型$ {Z_i} $表达式如下:

$ {Z_i} = \sum\limits_{i = 1}^n {{u_{ig}}} \times \sum\limits_{i = 1}^n {{A_i}}。$ (1)

式中:$ {u_{ig}} $为船舶第$ i $个模块形心在第$ g $个视野区的视觉等级。

设置用户在舰船交互界面上的视觉注意力等级模型约束条件如下:

$ {u_{ig}} = \left\{ \begin{gathered} 1\mathop {}\limits^{} \frac{{x_i^2b_2^2 + y_i^2r_2^2}}{{r_2^2b_2^2}} > 1,\frac{{x_i^2b_3^2 + y_i^2r_3^2}}{{r_3^2b_3^2}} \leqslant 1 ,\\ 2\mathop {}\limits^{} \frac{{x_i^2b_1^2 + y_i^2r_1^2}}{{r_1^2b_1^2}} > 1,\frac{{x_i^2b_2^2 + y_i^2r_2^2}}{{r_2^2b_2^2}} \leqslant 1,\\ 3\mathop {}\limits^{} \frac{{x_i^2b_1^2 + y_i^2r_1^2}}{{r_1^2b_1^2}} \leqslant 1 。\\ \end{gathered} \right. $ (2)

式中:($ x $$ y $)为导航界面模块注意力坐标。

以舰船交互模块在界面上的视觉注意力最大作为交互界面优化目标,但由于舰船上交互模块较多,无法满足每个模块均为视觉注意力最大的位置,因此引入舰船交互模块权重系数,建立舰船交互界面分布优化目标函数,表达式如下:

$ f(i) = \max {Z_i}{\gamma _i}。$ (3)

式中:$ {\gamma _i} $为第$ i $个舰船交互模块权重系数。

通过求解式(3)可实现舰船交互界面内,不同交互模块的分布优化,得到舰船最优交互界面。

1.5 机器学习算法的舰船最优交互界面交互实现

舰船最优交互界面的交互功能可通过鼠标设备和手势识别方式实现,其中鼠标设备的交互需要用户处于指定位置实现交互,而通过手势实现交互时,用户可距离舰船交互界面较远的情况下,通过不同手势实现交互操作,设计交互手势与操作指令如图4所示。

图 4 交互手势与操作指令 Fig. 4 Interactive gestures and operation instructions

利用图4中交互手势与操作指令,建立舰船最优交互界面手势库和指令库。然后通过摄像机采集工作人员交互手势图像,将该图像输入到机器学习算法中的动态卷积递归神经网络模型内,利用该神经网络模型识别当前工作人员手势,按照手势识别结果执行交互指令。动态卷积递归神经网络模型识别舰船最优交互界面交互手势过程如下:

pi为输入的第$ i $个交互手势图像,动态卷积网络识别该手势时,生成该交互图像的动态卷积核,表达式如下:

$ {\mathrm{output}}({p_i}) = \alpha \left[ {\left( {{\zeta _1}{w_1} + {\zeta _2}{w_2} + \cdots + {\zeta _n}{w_n}} \right) \times {p_i}} \right]。$ (4)

式中:$ {\mathrm{output}}({p_i}) $$ {p_i} $的动态卷积核;$ {\zeta _i} $为标量权重;$ \alpha \left[ \cdot \right] $为静态卷积激活函数;$ n $为标准核数量;wi为交互手势图像的权重。

利用式(4)的动态卷积核对交互手势图像进行动态卷积处理后,得到交互手势特征图ti,引入时频注意力机制,按照时间方向和频率方向对交互手势特征图进行编码处理,则第$ k $个注意力通道输出的时间和频率方向感知特征图DhDw,再使该2个特征图与输入的原始交互手势图像pi进行对齐处理,得到时间与频率2个方向上的感知级联特征,然后得到动态卷积递归神经网络输出结果,该结果即为舰船最优交互界面手势识别结果,依据该结果驱动对应的指令程序,实现舰船最优交互界面交互。

2 结果与分析

以某工程船作为实验对象,其在航行过程中受作业环境影响无法开启自航模式,需要作业人员实时与舰船航行界面进行交互,控制不同设备、软件等运行。将本文方法应用到该工程船最优交互界面设计中,为该工程船提供简洁、方便操作的交互界面,并分析本文方法实际应用效果。

使用本文方法设计并优化舰船交互界面,受页面限制,给出部分舰船交互界面,如图5所示。可知,本文方法可有效设计舰船最优交互界面,较为全面和简洁地呈现当前舰船航行相关状态数据,为用户提供交互门户。

图 5 部分舰船交互界面 Fig. 5 Part of ship interaction interface

本文方法识别工作人员不同手势,识别结果如表1所示。分析可知,本文方法在识别500幅交互手势图像时,仅在识别上下划掌和左右划掌时与实际图像数量存在差异,识别其他交互手势结果均与实际数量吻合,表明本文方法运用机器学习算法可有效识别交互手势图像,表明其执行手势交互指令能力较强,交互性能好。

表 1 机器学习算法识别交互手势结果 Tab.1 Machine learning algorithm recognition of interactive gestures results

以舰船最优交互界面内不同模块的视觉注意力作为衡量本文方法设计舰船交互界面布局能力,分别以雷达模块、设置模块、ARPA模块、ASI目标模块作为实验对象,计算本文方法对设计的交互界面进行优化前后,不同模块的视觉注意力数值,测试结果如图6所示。可知,本文方法具备较强的舰船交互界面布局优化能力,为用户呈现的舰船交互界面更能吸引用户注意力,能更好地展示当前舰船航行情况。

图 6 不同模块注意力数值 Fig. 6 Attention values for different modules
3 结 语

通过虚拟仿真技术获取人机界面各区域的操作舒适度与最优操作点位置,并将这些准则量化为目标函数与约束条件,进而利用差分进化算法和粒子群优化算法等机器学习方法进行寻优,最终实现人机界面的最优布局。这一过程不仅克服了传统人工布局的主观性和随机性,还显著提升了舰船交互界面的整体性能。

参考文献
[1]
路鹏, 姜怡楠. 基于视觉符号理论的APP交互界面适老化设计研究[J]. 包装工程, 2023, 44(12): 189-197,212.
[2]
杨淦华, 曾庆军, 韩春伟, 等. 人机交互遥操作机器人软体手位置跟踪设计与实现[J]. 工程设计学报, 2023, 30(2): 164−171.
[3]
乔一丹, 陈登凯, 朱梦雅, 等. 基于差错认知的轿车中控界面设计方法研究[J]. 机械设计与制造, 2023, 388(6): 47-52,56. DOI:10.3969/j.issn.1001-3997.2023.06.010
[4]
姜斌, 孙辛欣, 崔彤. 数字化单兵终端人机界面交互设计研究[J]. 包装工程, 2022, 43(18): 1-2.
[5]
冯青, 范丁力, 杨惠珺, 等. 认知负荷下的智慧矿山信息交互界面优化[J]. 西安科技大学学报, 2022, 42(5): 1028-1036.
[6]
康乐, 靳慧亮, 傅康平, 等. 一种反潜无人机指挥控制人机交互设计研究[J]. 中国电子科学研究院学报, 2023, 18(2): 119-128,153. DOI:10.3969/j.issn.1673-5692.2023.02.004