随着船舶自动化水平的提高,机舱自动化设备越来越复杂,各种设备、零部件之间存在着耦合关系,某些部件出现故障很可能导致系统的大范围故障。因此,进行船舶机舱的日常监控,识别船舶工作人员的误操作,提前发现船舶机舱零部件子系统的故障信号对于提高机舱可靠性非常重要。
本文结合机器视觉技术研究船舶机舱监控系统图像处理技术,重点包括视频图像处理和目标检测、虚假图像识别等。
1 基于计算机视觉的船舶监控系统运动目标检测技术在机舱视频监控中,从视频图像中提取目标设备或人员是一项重要的工作。由于船舶机舱监控系统的监控目标和机舱背景存在差异,可以将视频监控图像中的目标检测分为运动目标检测和静止目标检测2种,运动目标检测的过程包括滤波、背景去除、目标提取等。
1)视频图像滤波
滤波能提高视频图像的平滑度,机舱监控视频图像的滤波采用线性滤波器,滤波器模型如下:
$ g\left( {x,y} \right) = \frac{1}{{2\text{π} {\sigma ^2}}}e\frac{{ - \left( {{x^2} + {y^2}} \right)}}{{2{\sigma ^2}}} \text{。} $ |
式中:
2)背景去除
船舶机舱监控系统的相邻视频图像帧分别为
$ {d_k}\left( {x,y} \right) = \left| {{f_k}\left( {x,y} \right) - {f_{k - 1}}\left( {x,y} \right)} \right| \text{。} $ |
由于视频图像不断产生,差分图像的动态特性描述为:
$ {d_{k + 1}}\left( {x,y} \right) = \frac{{\left( {1 - \alpha } \right)}}{\alpha }\left| {{f_{k + 1}}\left( {x,y} \right) - {f_k}\left( {x,y} \right)} \right| \text{,} $ |
式中,
在机舱监控视频图像中,为了分辨目标和背景,设定目标判断函数为:
$ {H_k}\left( {x,y} \right) = \left\{ \begin{aligned} &1,\;\;{d_k}\left( {x,y} \right) > T ,\\ &0,\;{d_k}\left( {x,y} \right) \leqslant T。\end{aligned} \right. $ |
式中:T为判断阈值,当
目标图像的灰度值为
$ \begin{array}{*{20}{l}} {{D_k}\left( {x,y} \right) = \left| {{G_k}(x,y) - {F_k}(x,y)} \right|} ,\\ {{T_k}(x,y) = \left\{ {\begin{array}{*{20}{l}} 1,&{{D_k}(x,y) \geqslant T} ,\\ 0,&{{D_k}(x,y) < T} 。\end{array}} \right.} \end{array} $ |
式中:
船舶机舱监控视频图像的目标检测流程如图1所示。
机舱监控视频图像的后处理主要包括图像的归一化、均衡化和像素梯度处理。
1)图像归一化
为了降低光照对图像的影响,将监控图像转化为灰度图像,转化公式为:
$ {Gray} (x,y) = 0.3 \times R(x,y) + 0.59 \times G(x,y) + 0.11 \times B(x,y) \text{,} $ |
图像
$ {Gray} (x,y) = 255 \times {\left( {\frac{{{Gray} (x,y)}}{{255}}} \right)^{gamma}} 。$ |
2)像素梯度处理
给定监控视频的某一图像帧,像素点的梯度垂直方向
$ \begin{aligned} &{G_x}(x,y) = H(x + 1,y) - H(x - 1,y),\\ &{G_y}(x,y) = H(x,y + 1) - H(x,y - 1) 。\\ \end{aligned} $ |
然后得到该像素点的梯度方向
$ \begin{array}{*{20}{l}} {{L_D}(x,y) = \sqrt {{G_x}{{(x,y)}^2} + {G_y}{{(x,y)}^2}} },\\ {{L_T}(x,y) = {{\tan }^{ - 1}}\left( {\dfrac{{{G_x}(x,y)}}{{{G_y}(x,y)}}} \right)} 。\end{array} $ |
将图像分成若干矩形区域,根据像素累积原理构建图像的block梯度直方图如图2所示。
3)像素均衡化
将机舱监控系统视频图像帧的像素邻域
$ f\left( {x,y} \right) = \frac{1}{M}\sum\limits_{}^{} {f\left( {x - m,y - n} \right),m,n \in S} \text{,} $ |
式中,M为像素总数。像素均衡化模型:
$ W(x,y) = \left\{ {\begin{array}{*{20}{c}} {{w_1}(x,y),\;\;\;}&{\left| {\displaystyle\frac{1}{M}\sum\limits_{(m,n) \in S} f (x - m,y - n)} \right| > {T_0}},\\ 0,&{\left| {\displaystyle\frac{1}{M}\sum\limits_{(m,n) \in S} f (x - m,y - n)} \right| \leqslant {T_0}}。\end{array}} \right. $ |
式中,
图3为机舱监控视频图像均衡化前后的图像和灰度值对比。
为了能够从机舱监控视频中提取目标图像,防止虚假目标图像的干扰,介绍一种基于区域入侵异常的分析技术。
区域入侵异常检测是利用视觉传感器将监控区域划分成独立的敏感区域,将监视区域前一时刻的图像作为标准图像,当区域中有异物或者员工进入后,标准图像会产生变化,通过对比2幅图像的变化趋势判断异常入侵的行为,进而确定监控图像的真伪[3]。机舱视频监控图像的异常入侵行为检测具有以下功能:
1)工作人员的异常行为识别、跟踪,机舱关键区域由于设备保密性和操作性,不允许外来人员进入,通过视频图像的异常入侵检测,可以做到预报警,提高机舱安全性。
2)设备异常状态的识别。当机舱设备和部件出现异常状态,尤其是产生火灾、爆炸等故障时,利用对敏感区域的图像异常入侵检测,可以迅速发现和锁定故障,防止火灾等事故产生经济损失。
本文设计船舶机舱监控图像的异常入侵检测逻辑时,选取目标中心区域作为敏感区域,当划定区域为矩形时,角点分别为
$ {\text{if }}\left( {x > {x_1} \cup x < {x_2} \cup y > {y_1} \cup y < {y_2}} \right) \text{。} $ |
当划定敏感区域形状为圆形时,半径为
$ {\text{if }}\left( {\sqrt {{{\left( {x - {x_0}} \right)}^2} + {{\left( {r - {x_0}} \right)}^2}} < R} \right) 。$ |
基于区域入侵检测的虚假图像识别流程图如图4所示。
可知,船舶机舱监控系统的虚假图像包括设备异常和人员异常2种。基于特征匹配的监控虚假图像识别主要包括:1)利用轮毂特征进行目标的识别;2)利用图像区域的特征来进行识别和判断。对监控系统的虚假图像判断主要采用边界特征法和傅里叶形状特征法。
1)边界特征法
边界特征法是提取图像中目标的边界形状参数,利用Hough变换进行直线和边界的特性检测,定义直线边缘为:
$ b = - {x_i}a + {y_i} \text{,} $ |
Hough变换公式:
$ \rho = - {x_i}\cos \theta + {y_i}\sin \theta ,$ |
式中,
2)傅里叶形状特征法
该方法的基本思想是通过傅里叶变换描述目标边界的特性,包括目标边界的连续性、封闭性等,可将边界的二维问题转换为一维问题[4]。
本文基于边界特征法建立监控系统虚假图像的识别逻辑,如图5所示。
结合OpenCV和Python3. 7软件包,对某船舶机舱监控视频图形的虚假图像识别进行测试,图6为机舱监控视频图像的虚假目标像素识别结果。
船舶机舱监控的视频图像中会掺杂一些虚假目标图像,影响视频监控的精度。本文研究从船舶机舱监控视频图像帧的处理、图像目标提取、虚假图像识别等方面展开,有助于提高船舶机舱监控系统的监控效果。
[1] |
回征, 周诠. 基于多尺度平稳小波分解的灰度遥感图像目标提取方法[J]. 中国体视学与图像分析, 2021, 26(3): 205-214. HUI Zheng, ZHOU Quan. Target extraction method of gray remote sensing image based on multi-scale stationary wavelet decomposition[J]. China Stereology and Image Analysis, 2021, 26(3): 205-214. DOI:10.13505/j.1007-1482.2021.26.03.001 |
[2] |
徐秋平. 基于图割的交互式彩色图像目标提取方法[J]. 光电子·激光, 2019, 30(12): 1291-1297. XU Qiu-ping. Interactive color image object extraction method based on graph cut[J]. Optoelectronics · Laser, 2019, 30(12): 1291-1297. DOI:10.16136/j.joel.2019.12.0142 |
[3] |
胥新政, 强毅, 王欣. 基于机器视觉的机械零部件图像目标提取模型与方法比较研究[J]. 机械工业标准化与质量, 2018(5): 33-37. XU Xin-zheng, QIANG Yi, WANG Xin. Comparative study on models and methods of image target extraction of mechanical parts based on machine vision[J]. Standardization and Quality of Mechanical Industry, 2018(5): 33-37. DOI:10.3969/j.issn.1007-6905.2018.05.009 |
[4] |
吴一全, 王志来. 基于目标提取与引导滤波增强的红外与可见光图像融合[J]. 光学学报, 2017, 37(8): 98-108. WU Yi-quan, WANG Zhi-lai. Infrared and visible image fusion based on target extraction and guided filtering enhancement[J]. Journal of Optics, 2017, 37(8): 98-108. |