舰船科学技术  2022, Vol. 44 Issue (22): 170-173    DOI: 10.3404/j.issn.1672-7649.2022.22.034   PDF    
机器视觉在船舶监控系统虚假图像识别中的应用
郑四海     
江汉大学 人工智能学院,湖北 武汉 430056
摘要: 船舶机舱监控系统利用视频图像采集装置,对机舱内关键设备的运行状态、工作人员的活动等进行实时监控。监控系统的关键技术是进行机舱监控视频图像的处理,剔除虚假图像信号,提取能够表征舰船机舱设备、人员工作状态的信息。本文将重点放在舰船监控系统的虚假图像识别中,充分利用计算机视觉技术从图像的前处理、后处理、虚假图像提取等方面进行详细研究。
关键词: 机器视觉     监控系统     图像识别    
Application of machine vision in false image recognition of ship monitoring system
ZHENG Si-hai     
School of Artificial Intelligence, Jianghan University, Wuhan 430056, China
Abstract: The ship engine room monitoring system uses a video image acquisition device to monitor the operation status of key equipment in the engine room and the activities of staff in real time. The key technology of the monitoring system is to process the engine room monitoring video images, eliminate false image signals, and extract information that can represent the working status of the ship engine room equipment and personnel. This paper focuses on the false image recognition of ship monitoring system, and makes full use of computer vision technology to carry out a detailed study from the aspects of image pre-processing, post-processing, false image extraction, etc.
Key words: machine vision     monitoring system     image recognition    
0 引 言

随着船舶自动化水平的提高,机舱自动化设备越来越复杂,各种设备、零部件之间存在着耦合关系,某些部件出现故障很可能导致系统的大范围故障。因此,进行船舶机舱的日常监控,识别船舶工作人员的误操作,提前发现船舶机舱零部件子系统的故障信号对于提高机舱可靠性非常重要。

本文结合机器视觉技术研究船舶机舱监控系统图像处理技术,重点包括视频图像处理和目标检测、虚假图像识别等。

1 基于计算机视觉的船舶监控系统运动目标检测技术

在机舱视频监控中,从视频图像中提取目标设备或人员是一项重要的工作。由于船舶机舱监控系统的监控目标和机舱背景存在差异,可以将视频监控图像中的目标检测分为运动目标检测和静止目标检测2种,运动目标检测的过程包括滤波、背景去除、目标提取等。

1)视频图像滤波

滤波能提高视频图像的平滑度,机舱监控视频图像的滤波采用线性滤波器,滤波器模型如下:

$ g\left( {x,y} \right) = \frac{1}{{2\text{π} {\sigma ^2}}}e\frac{{ - \left( {{x^2} + {y^2}} \right)}}{{2{\sigma ^2}}} \text{。} $

式中: $ \left( {x,y} \right) $ 为图像中的点坐标; $ \sigma $ 为标准差, $ \sigma $ 越小,滤波窗口越集中。

2)背景去除

船舶机舱监控系统的相邻视频图像帧分别为 $ {f_k}\left( {x,y} \right) $ $ {f_{k - 1}}\left( {x,y} \right) $ ,差分图像 $ {d_k}\left( {x,y} \right) $ 定义为:

$ {d_k}\left( {x,y} \right) = \left| {{f_k}\left( {x,y} \right) - {f_{k - 1}}\left( {x,y} \right)} \right| \text{。} $

由于视频图像不断产生,差分图像的动态特性描述为:

$ {d_{k + 1}}\left( {x,y} \right) = \frac{{\left( {1 - \alpha } \right)}}{\alpha }\left| {{f_{k + 1}}\left( {x,y} \right) - {f_k}\left( {x,y} \right)} \right| \text{,} $

式中, $ \alpha $ 为图像更新率。

在机舱监控视频图像中,为了分辨目标和背景,设定目标判断函数为:

$ {H_k}\left( {x,y} \right) = \left\{ \begin{aligned} &1,\;\;{d_k}\left( {x,y} \right) > T ,\\ &0,\;{d_k}\left( {x,y} \right) \leqslant T。\end{aligned} \right. $

式中:T为判断阈值,当 $ {d_k}\left( {x,y} \right) $ >T时,像素点属于目标,当 $ {d_k}\left( {x,y} \right) $ <T时,像素点属于背景[1]

目标图像的灰度值为 $ {G_k}\left( {x,y} \right) $ ,背景图像的灰度值为 $ {F_k}\left( {x,y} \right) $ ,监控视频图像的背景去除模型如下:

$ \begin{array}{*{20}{l}} {{D_k}\left( {x,y} \right) = \left| {{G_k}(x,y) - {F_k}(x,y)} \right|} ,\\ {{T_k}(x,y) = \left\{ {\begin{array}{*{20}{l}} 1,&{{D_k}(x,y) \geqslant T} ,\\ 0,&{{D_k}(x,y) < T} 。\end{array}} \right.} \end{array} $

式中: $ {D_k}(x,y) $ 为灰度值差分图像; $ {T_k}(x,y) $ 为二值化图像。

船舶机舱监控视频图像的目标检测流程如图1所示。

图 1 船舶机舱监控视频图像的目标检测流程 Fig. 1 Target detection process of ship engine room monitoring video image
2 基于计算机视觉的船舶监控系统图像后处理

机舱监控视频图像的后处理主要包括图像的归一化、均衡化和像素梯度处理。

1)图像归一化

为了降低光照对图像的影响,将监控图像转化为灰度图像,转化公式为:

$ {Gray} (x,y) = 0.3 \times R(x,y) + 0.59 \times G(x,y) + 0.11 \times B(x,y) \text{,} $

图像 $ \left[ {R,G,B} \right] $ 的颜色通道为 $ R(x,y) $ $ G(x,y) $ $ B(x,y) $ 。然后对灰度图像进行gamma光线[2]校正,得到:

$ {Gray} (x,y) = 255 \times {\left( {\frac{{{Gray} (x,y)}}{{255}}} \right)^{gamma}} 。$

2)像素梯度处理

给定监控视频的某一图像帧,像素点的梯度垂直方向 $ {G_x}(x,y) $ 和水平方向 $ {G_y}(x,y) $

$ \begin{aligned} &{G_x}(x,y) = H(x + 1,y) - H(x - 1,y),\\ &{G_y}(x,y) = H(x,y + 1) - H(x,y - 1) 。\\ \end{aligned} $

然后得到该像素点的梯度方向 $ {L_D}(x,y) $ 和梯度幅值 $ {L_T}(x,y) $ 为:

$ \begin{array}{*{20}{l}} {{L_D}(x,y) = \sqrt {{G_x}{{(x,y)}^2} + {G_y}{{(x,y)}^2}} },\\ {{L_T}(x,y) = {{\tan }^{ - 1}}\left( {\dfrac{{{G_x}(x,y)}}{{{G_y}(x,y)}}} \right)} 。\end{array} $

将图像分成若干矩形区域,根据像素累积原理构建图像的block梯度直方图如图2所示。

图 2 图像的block梯度直方图 Fig. 2 Block gradient histogram of image

3)像素均衡化

将机舱监控系统视频图像帧的像素邻域 $ \left( {m,n} \right) $ 模型简化成:

$ f\left( {x,y} \right) = \frac{1}{M}\sum\limits_{}^{} {f\left( {x - m,y - n} \right),m,n \in S} \text{,} $

式中,M为像素总数。像素均衡化模型:

$ W(x,y) = \left\{ {\begin{array}{*{20}{c}} {{w_1}(x,y),\;\;\;}&{\left| {\displaystyle\frac{1}{M}\sum\limits_{(m,n) \in S} f (x - m,y - n)} \right| > {T_0}},\\ 0,&{\left| {\displaystyle\frac{1}{M}\sum\limits_{(m,n) \in S} f (x - m,y - n)} \right| \leqslant {T_0}}。\end{array}} \right. $

式中, $ {T_0} $ 为像素均衡化的阈值。

图3为机舱监控视频图像均衡化前后的图像和灰度值对比。

图 3 机舱监控视频图像均衡化前后的对比 Fig. 3 Comparison of cabin surveillance video images before and after equalization
3 基于机器视觉的船舶监控系统虚假图像识别技术开发 3.1 基于区域入侵检测的虚假图像识别原理

为了能够从机舱监控视频中提取目标图像,防止虚假目标图像的干扰,介绍一种基于区域入侵异常的分析技术。

区域入侵异常检测是利用视觉传感器将监控区域划分成独立的敏感区域,将监视区域前一时刻的图像作为标准图像,当区域中有异物或者员工进入后,标准图像会产生变化,通过对比2幅图像的变化趋势判断异常入侵的行为,进而确定监控图像的真伪[3]。机舱视频监控图像的异常入侵行为检测具有以下功能:

1)工作人员的异常行为识别、跟踪,机舱关键区域由于设备保密性和操作性,不允许外来人员进入,通过视频图像的异常入侵检测,可以做到预报警,提高机舱安全性。

2)设备异常状态的识别。当机舱设备和部件出现异常状态,尤其是产生火灾、爆炸等故障时,利用对敏感区域的图像异常入侵检测,可以迅速发现和锁定故障,防止火灾等事故产生经济损失。

本文设计船舶机舱监控图像的异常入侵检测逻辑时,选取目标中心区域作为敏感区域,当划定区域为矩形时,角点分别为 $ \left( {{x_1},{y_1}} \right)/\left( {{x_2},{y_2}} \right) $ ,判断关系式为:

$ {\text{if }}\left( {x > {x_1} \cup x < {x_2} \cup y > {y_1} \cup y < {y_2}} \right) \text{。} $

当划定敏感区域形状为圆形时,半径为 $ R $ ,判断关系式为:

$ {\text{if }}\left( {\sqrt {{{\left( {x - {x_0}} \right)}^2} + {{\left( {r - {x_0}} \right)}^2}} < R} \right) 。$

基于区域入侵检测的虚假图像识别流程图如图4所示。

图 4 基于区域入侵检测的虚假图像识别流程图 Fig. 4 Flow chart of false image recognition based on regional intrusion detection
3.2 基于特征匹配的监控虚假图像识别技术

可知,船舶机舱监控系统的虚假图像包括设备异常和人员异常2种。基于特征匹配的监控虚假图像识别主要包括:1)利用轮毂特征进行目标的识别;2)利用图像区域的特征来进行识别和判断。对监控系统的虚假图像判断主要采用边界特征法和傅里叶形状特征法。

1)边界特征法

边界特征法是提取图像中目标的边界形状参数,利用Hough变换进行直线和边界的特性检测,定义直线边缘为:

$ b = - {x_i}a + {y_i} \text{,} $

Hough变换公式:

$ \rho = - {x_i}\cos \theta + {y_i}\sin \theta ,$

式中, $ \theta $ 为梯度角。

2)傅里叶形状特征法

该方法的基本思想是通过傅里叶变换描述目标边界的特性,包括目标边界的连续性、封闭性等,可将边界的二维问题转换为一维问题[4]

本文基于边界特征法建立监控系统虚假图像的识别逻辑,如图5所示。

图 5 基于边界特征法的监控系统虚假图像识别 Fig. 5 False image recognition for monitoring system based on boundary feature method

结合OpenCV和Python3. 7软件包,对某船舶机舱监控视频图形的虚假图像识别进行测试,图6为机舱监控视频图像的虚假目标像素识别结果。

图 6 机舱监控视频图像的虚假目标像素识别结果 Fig. 6 Recognition results of false target pixels in engine room monitoring video images
4 结 语

船舶机舱监控的视频图像中会掺杂一些虚假目标图像,影响视频监控的精度。本文研究从船舶机舱监控视频图像帧的处理、图像目标提取、虚假图像识别等方面展开,有助于提高船舶机舱监控系统的监控效果。

参考文献
[1]
回征, 周诠. 基于多尺度平稳小波分解的灰度遥感图像目标提取方法[J]. 中国体视学与图像分析, 2021, 26(3): 205-214.
HUI Zheng, ZHOU Quan. Target extraction method of gray remote sensing image based on multi-scale stationary wavelet decomposition[J]. China Stereology and Image Analysis, 2021, 26(3): 205-214. DOI:10.13505/j.1007-1482.2021.26.03.001
[2]
徐秋平. 基于图割的交互式彩色图像目标提取方法[J]. 光电子·激光, 2019, 30(12): 1291-1297.
XU Qiu-ping. Interactive color image object extraction method based on graph cut[J]. Optoelectronics · Laser, 2019, 30(12): 1291-1297. DOI:10.16136/j.joel.2019.12.0142
[3]
胥新政, 强毅, 王欣. 基于机器视觉的机械零部件图像目标提取模型与方法比较研究[J]. 机械工业标准化与质量, 2018(5): 33-37.
XU Xin-zheng, QIANG Yi, WANG Xin. Comparative study on models and methods of image target extraction of mechanical parts based on machine vision[J]. Standardization and Quality of Mechanical Industry, 2018(5): 33-37. DOI:10.3969/j.issn.1007-6905.2018.05.009
[4]
吴一全, 王志来. 基于目标提取与引导滤波增强的红外与可见光图像融合[J]. 光学学报, 2017, 37(8): 98-108.
WU Yi-quan, WANG Zhi-lai. Infrared and visible image fusion based on target extraction and guided filtering enhancement[J]. Journal of Optics, 2017, 37(8): 98-108.