舰船科学技术  2023, Vol. 45 Issue (15): 127-130    DOI: 10.3404/j.issn.1672-7649.2023.15.025   PDF    
基于智能图像视觉的船舱内部多角度监控方法
李谷雨     
河南省智慧教育与智能技术应用工程技术研究中心,河南 郑州 450000
摘要: 卷积神经网络(CNN)作为智能图像视觉中一个深层神经网络,能够对船舱内部进行特征提取,本文基于卷积神经网络的智能图像视觉,对船舱内部多角度监控方法展开研究,解决人工巡检船舱内部周期较长的问题。同时实时对船舱的运行状态进行监控,实现全天候对船舱内部设备信息的感知和实时预警,加强船舱相关设备的监控工作,提升船舶的使用寿命及工作效率。
关键词: 智能图像视觉     船舱设备     多角度监控    
Research on multi angle monitoring method for ship cabin interior based on intelligent image vision
LI Gu-yu     
Henan Provincial Research Center of Wisdom Education and Intelligent Technology Application Engineering Technology, Zhengzhou 450000, China
Abstract: Convolutional neural network (CNN), as a deep neural network in intelligent image vision, can extract features from the interior of the cabin. This paper will introduce the intelligent image vision based on convolutional neural network. The multi-angle monitoring method of the cabin interior is studied to solve the problem of a long period of manual inspection of the cabin interior. At the same time, it can also monitor the operation status of the cabin in real time, realize all-weather perception and real-time warning of equipment information inside the cabin, strengthen the monitoring work of related equipment in the cabin, and improve the service life and work efficiency of the ship.
Key words: intelligent image vision     cabin equipment     multi angle monitoring    
0 前 言

由于船舱内部结构复杂,且水密舱、货舱、轮机舱、船员生活舱等功能多样,因此无法很好地对其展开全方位多角度的监控,从而导致舱内设备老化或出现故障而无法对其及时处理的现状发生[1-3]

目前识别危险品的任务,在很大程度上取决于船员的定期检修及不定期抽查,然而由于人工总是存在观察盲点,或是因工作疲劳而致使疏忽大意的事件发生,因此借助人工智能进行船舱内部多角度监控,成为不少货船实施智能安全检查的首选[4-5]

本文基于智能图像视觉,从多角度监控系统入手,对船舱内部相关监控系统进行深度整合,主要包括货船航线、控制中心中央2个层级管理,实现压载水系统、消防系统、通风系统、门禁系统、排污系统、生活用水系统、信号系统、广播系统、时钟系统、空气调节系统等13个系统之间的互联,提升船舱内部多角度监控的效率。

1 基于智能图像视觉的卷积神经网络系统模型

图1为卷积神经网络的结构示意图。

图 1 卷积神经网络示意图 Fig. 1 Concept demonstration of convolutional neural network

该结构基于智能图像视觉技术,让图像通过3个训练滤镜和偏差来纠错。利用S形函数对型材进行处理,得到S2层的特性图;再从S2层获得的地图被过滤到C3层,然后与传统神经网络连接,得到向量机的输出为:

$ x_j^l = f\left( {\sum\limits_{i \in {m_i}} {x_i^{l - 1} * k_{ij}^l} + b_j^l} \right) \text{,} $

而其中的池化层,又称特征映射层,其函数映射后出现位移方差。由于池级神经元值的分布,卷积神经网络参数的数量明显减少,网络参数的复杂性也大大降低。每个卷积的神经网络层都必须互相跟随,以达到局部平均值或最大值。网络可以减少输入层的失真,还可以提高网络的性能。基于下式激活函数展开池化计算:

$ f\left( x \right) = \max \left( {0,u} \right) \text{,} $

在基于体积数据上,从H2W2D2三个角度展开第二次卷积池化计算,其公式如下:

$ \begin{gathered} {H_2} = \left( {{H_1} - F + 2P} \right)/S + 1,\\ {W_2} = \left( {{W_1} - F + 2P} \right)/S + 1 ,\\ {D_2} = K 。\\ \end{gathered} $

该特征映射层主要用于降低图像特征,卷积网络影响函数的核心参数,然后在函数显示之后,移动图像。由于盆地层神经元的权重被划分,卷积神经网络中的参数量明显减少,网络参数复杂度降低。在池化层上改变神经网络结构不仅可以降低特征图的测量难度,而且可以降低网络的复杂度,提高网络性能,具备局部互联、共享权值、多卷积核的特征。

下采样操作图如图2所示。选取船舱内部48×48的像素图像共计400张,对其图像的特性展开分析,确保每个特征都可绑定到图像上,其中的状态方程式:

图 2 下采样操作图 Fig. 2 Downsampling operation diagram
$ {x_k} = f\left( {{x_{k - 1}},{v_{k - 1}}} \right) \text{,} $

观测方程式如下:

$ {Z_k} = h\left( {{x_k},{n_k}} \right) 。$

为了解决不同特征的过度计算和聚合问题,以及存在超调的隐患,聚合统计的解决方案是通过计算特征的平均值或最大值来降维。

2 多角度监控系统设计 2.1 硬件系统总体设计

该多角度监控系统设计时主要分输入模块、输出模块和单片机控制器模块3部分。输入模块的设置过程主要通过烟雾传感器和温度传感器来获取火灾状态的数据,也可通过按键输入的方式对系统报警阈值进行设置。为了提高系统的实用性、完整性,输出控制中采用L298N电机驱动器控制水泵喷水、排烟扇启闭,采用ULN2003步进电机控制防火卷帘门能及时隔绝火源,同时可以结合贝叶斯理论模型来求解:

$ p({x_k}|{Z_k}) = \frac{{p({Z_k}|{x_k})p({x_k})}}{{p({Z_k})}} 。$

为了能够实现数据的实时性,采用蓝牙通信模块,将采集到的数据信息,用蓝牙通信方式上传至手机APP,通过手机APP传至阿里云服务器,不但手机终端能够实时查看环境数据,还可以将环境数据保存在服务器端,做好时刻管理数据、备份数据,并求解实际观测值。

最终,在硬件系统设计上实现了本地显示,并利用OLED显示器进行实时显示的功能。

2.2 主控模块设计 2.2.1 微控制器简述

针对系统设计需求,从性能及经济方面考虑,选择STM32F103C8T6微控制器,STM32芯片具有低电压、高效能、微处理、可擦除的特点。

2.2.2 单片机最小系统电路设计

在采用STM32单片机进行控制的情况下,单颗单片机芯片不能完成相应功能,需要通过外部电路对程序进行操作,给单片机工作带来可靠保证,并在对船舶内部进行检测时,支持MCU复位电路、软件程序下载、供电电路检测等功能。

1)单片机复位电路

这部分电路的主要功能是在单片机运行时实现的。电机在使用时,可能会受到外部环境的干扰,从而导致单片机的崩溃情况。此时,单片机的具体性能无法执行程序,对输入的数据和输出的结果没有处理功能。单片机复位电路由关键的电阻和电容组成。

2)单片机时钟电路

单片机最小系统电路是单片机系统的重要组成部分,在程序执行过程中,该操作要求单片机在指定的频率下工作。外部时钟电路主要由石英晶体和对应电容组成。石英晶体主要功能在于产生振荡信号,并联谐振电容可以提供对应的振荡信号,所选择的晶振大小为32.768 kHz,电容大小为22 pf。

2.3 算法服务器端设计

设计识别模块使用C++语言、Caffe开发框架和OpenCV创建服务器。图像识别模块流程图如图3所示,图像识别初始化模块必须首先对网络进行配置,准备好识别模型、目标识别参数文件和预测模型。然后传递图像,调用检测函数,并将结果保存到向量数组中。

图 3 图像识别模块流程图 Fig. 3 Flow chart of image recognition module

在具体思路上,本文设计的CAFFE模型可用于C++版本替换设计的快速R-CNN模型。同时,由于系统开发的需要,为实现多角度监控,本文又开发了一个C++客户端程序,解决跨语言谈判的问题,建议使用互联网服务系统,并在C++中实现。开发框架中整个船舱内部系统数据集的平均值为:

$ L\left( W \right) = \frac{1}{{\left| D \right|}}\sum\limits_i^{\left| D \right|} {{f_W}} \left( {{X^{\left( i \right)}}} \right) + \lambda r\left( W \right) \text{,} $

基于智能图像视觉,将船舱内部多角度监控收集的相关图片数据集分割为N等份,得出多个数据集,其算法如下:

$ Q\left( W \right) \approx \frac{1}{{\left| N \right|}}\sum\limits_i^{\left| N \right|} {{f_W}} \left( {{X^{\left( i \right)}}} \right) + \lambda r\left( W \right) 。$

按照随机梯度运算准则,客户端和算法服务器之间的通信通过JSON传输,算法服务器将身份验证结果固定在JSON对象中。相反,若是系统可以对数据集进行加强,则按以下思路计算:

$ \Delta {x}_{t}=\rho \Delta {x}_{t-1}-\eta {g}_{t}\cdot {N}_{b} 。$

通过Web Service服务将收集到的船舱内部系统相关数据传递给安全验证机客户端,并由此配合管理员通过JSON展开多角度监控及识别。图像识别精度如图4所示,不同Nb值分别对应了不同的视觉识别准确度,其中Nb值等于16或者32时,识别准确度误差最小。

图 4 图像识别精度 Fig. 4 Image recognition accuracy
2.4 网络通信模块设计

为方便管理员对船舱内部相关系统进行及时、安全的检查,因此在通信模块上就需要实时进行检测,以便将映射机通过TCP协议连接。

将对象安全设置为服务器,将智能地图绘制器设置为客户端。系统运行正常,待收到请求后,连接到智能绘图机。同时为了观察船舱内部数据传输的过程,需要确保系统实时运行。如果连接中断,尝试恢复连接。通信过程如下:

步骤1 智能判图机<建立连接(TCP)>物品安检机;

步骤2 智能判图机<建立通道>物品安检机;

步骤3 智能判图机<建立通道成功>物品安检机;

步骤4 智能判图机<系统状态>物品安检机。

以物品安全检测机为服务器,以智能地图机为客户端。物品安全检查机启动时,服务器启动。智能映射机登录后,选择连接进程连接到服务器,开始接收数据进行后续处理。

2.5 智能判图模块设计

图像检测模块是系统的核心模块,并且在计算模块通过网络获取数据帧时,可修改数据帧结构并将其转换为JPG图像进行存储,如果队列包含数据,则启动服务器端算法。

3 船舱内部多角度监控系统调试与实现

整个系统的测试流程分为3部分:硬件测试、软件测试、系统测试。各元件先要依次对线路进行测试,待各元件都测试完毕后,才能对全体元件进行全面测试。在完成了程序的调试后,再进行软硬件的集成。

3.1 硬件测试 3.1.1 静态调试

线路的检查:检测电路是否接通,还有断路、短路以及虚焊等各种故障情况,都可以使用万用表来检测和问题定位,还要检测微控制器中设备的损坏是不是焊接问题导致的。

校验部件:对全部的部件进行彻底的校验,判断是否存在任何的损伤。

对电源系统进行检测:首先要确保电源的质量得到了安全的保障,特别是电源的电压和电量,再进行线路的检测,确保电源质量都是良好的,然后再进行供电,这样就可以对设备进行调整。

3.1.2 联机调试

尽管已经完成了静态调整,但还是有许多问题要等全面调整之后再解决。

所以综合调试特别关键,主要分为以下几点:

1)检测晶振电路以及复位电路

可以使用示波器来完成检测,此步骤非常关键,关系到调试工作能否顺利进行。

2)测试存储器

把信息输入到存储单元中,等待其自动反应,如果输入和读出的信息完全一致,就是正常工作,否则就会引起断路和短路。

3)测试I/O口和I/O设备

可以用简单的调试程序,假如可以正常的调控,就说明通道状态完好。

GSM单元接通电源后,安装SIM卡,此时看电源灯状态,把计算机和串行总线相连后,检测GSM单元能否正常发送信息,检测完成后再完成其余的所有调试步骤。

3.2 软件测试

在完成一个编程单位的编制工作之后,才能进行组装与编辑。一些高质量的开发程序,还可以在微控制器系统上仿真单片机的工作情况。不过通常情况下,都会按照常规操作,将一个软件安装到微控制器系统中,然后按照一定的步骤进行连接。

微控制器源程序的编写可以利用KeilC51来进行,此软件可以把库函数和源程序装配到一起,生成obj,再生成hex,最后将程序的代码下载到微控制器中,并进行存储。

3.3 系统调试

根据整个体系的架构,将各功能模块进行整合,整合工作结束后,进行静态检测。对编码的品质进行改进,并对最后的效果进行评估。

每一个模块都经过单独的调试,然后进行整体的检测。打开全部电源,检查全部输出口和输入口。

在进行组装与编辑之前,必须先将各部分的代码写好。模拟微控制器系统的工作情形,因此可以让它在计算机上执行这一步。不过通常情况下,都要按照常规操作,将一个代码输入到微控制器系统中,然后进行联合调试。

在完成了硬件和软件的调试工作之后,才会进入到系统调试阶段。系统的调试主要针对软件和硬件中存在的一些问题进行处理,达到系统的稳定性。

3.4 测试结果

最终,根据以上设计体系展开测试,按照系统设计要求将各个模块组装好之后,对船舱内部系统的相关通信进行检测,可以确定总体设计、主控模块、算法服务器、网络通信、智能判图等模块设计的检测结果均属正常,且可以进行完整的传输,由此说明本次设计的方案遵循了系统调试的基本原则,可以在船舱中加以应用。

4 结 语

本文基于智能图像视觉的检测要求,对船舶的内部监控需求进行了梳理,设计了相关的软硬件平台,并利用算法对通信网络进行了优化,以获得更好的船舶内部场景监控效果。

参考文献
[1]
万梓然, 刘斌, 赵岩, 等. 融合图像与环境参数的农作物生长远程监控平台[J]. 物联网技术, 2023, 13(6): 3-7+10.
[2]
张贻飞, 何勇, 李莹莹, 等. 基于风光储的输电线路远程图像监控装置融冰系统研究[J]. 电动工具, 2023, (2): 26-30+33.
[3]
薛迪杰. 基于无线网络的船舶机舱自动化监控系统[J]. 舰船科学技术, 2022, 44(22): 166-169.
XUE Di-jie. Wireless network-based ship engine room automation monitoring system[J]. Ship Science and Technology, 2022, 44(22): 166-169. DOI:10.3404/j.issn.1672-7649.2022.22.033
[4]
甘超莹, 甘建文, 顾野. 基于图像识别技术的城市轨道交通车站智能视频监控系统的设计与应用[J]. 城市轨道交通研究, 2023, 26(2): 76-80+85. DOI:10.16037/j.1007-869x.2023.02.017
[5]
张伟, 王宇, 陈新怡, 等. 基于图像块码本模型的监控视频背景参考帧生成方法[J]. 通信学报, 2023, 44(1): 129-141.
ZHANG Wei, WANG Yu, CHEN Xin-yi, et al. Surveillance video background reference frame generation method based on image block codebook model[J]. Journal of Communications, 2023, 44(1): 129-141.