在人流密集的公共场所及交通站点实施人体安全检查对保障中国社会稳定和人民生命财产安全具有重大意义。目前，针对地铁、火车站和大型场馆等人流密集区域的安检技术，主要包括立式人证核验机、金属安检门、手持金属探测器、液体检测仪和通道式X射线安检机[1]。此外，人工安检对受检人员的触摸不可避免的会引发个人隐私问题，因此更加高效的毫米波成像技术得到了深入研究和广泛应用[2]。由于毫米波不会对人体造成辐射损害，且兼具成像速度快等优势，现已得到大力推广和使用。2018年6月，中国民用航空局颁布相关安检设备标准文件大力支持和推进毫米波人体安检设备在民航安检中的应用。2018年11月5日，首届中国国际进口博览会在上海开幕，多套基于被动太赫兹成像技术的人体安检系统成功部署并应用，实现了整个安检过程中的受检人员快速无停留通过以及无接触安检。
针对人体安检中隐蔽违禁物的检测和识别，根据毫米波成像体制的不同，可供分析的成像数据分为主动毫米波成像(Active Millimeter Wave Imaging, AMMWI)和被动毫米波成像(Passive Millimeter Wave Imaging, PMMWI)。由于AMMWI中人体隐蔽物图像细节清晰，AMMWI安检系统在国内外机场和重要会议等场合得到广泛应用[3-4]。针对AMMWI的人体隐蔽违禁物自动检测，Du等[5]提出一种基于快速小波变换的隐蔽违禁物检测方法，其利用快速小波变换实现隐蔽违禁物的边缘检测，从而达到对隐蔽违禁物的检测。与利用传统图像处理算法的隐蔽物检测算法相比，随着深度神经网络(Deep Neural Networks, DNN)在目标检测上的深入研究和应用，与Faster RCNN (Faster Region-based Convolutional Neural Networks)[6]检测算法的思路类似，文献[7]提出一种基于候选框和DNN的人体隐蔽违禁物的快速检测方法。
虽然AMMWI细节信息丰富，但是由于成像速度较慢，一般需要受检人员站立数秒等待系统完成AMMWI，而PMMWI速度较快，能够满足大流量安检场合的应用需求。因此，基于PMMWI的枪支等危险隐蔽物检测也逐渐得到了广泛研究和应用[8-10]。Yeom等[9]设计了一种面向室外实时隐蔽违禁物检测的PMMWI系统，并且提出一种基于两阶段图像分割的人体隐蔽违禁物检测算法。文献[10]则是在人体隐蔽违禁物分割基础上，通过计算不同隐蔽违禁物形状特征间的欧氏距离实现了枪支和金属板两类违禁物的识别。针对毫米波透视成像引起的人体隐私问题，周健等[11]提出一种基于AMMWI的男女性别识别算法，以针对不同性别人群采取不同隐私部位保护措施，但是毫米波图像依然是公开显示的，仍然无法减少公众对人体隐私的担忧。
传统的基于毫米波图像的人体隐蔽违禁物检测一般是单独利用AMMWI或PMMWI进行违禁物检测，人体隐蔽违禁物的检测与识别将在一套主被动毫米波复合的安检系统上实现，该系统主要利用PMMWI和可见光成像(Visible Imaging, Ⅵ)进行人体隐蔽违禁物的检测和定位。在准确定位基础上，利用AMMWI系统对该定位区域进行小范围快速扫描成像，最终通过分析定位区域的AMMWI完成人体隐蔽违禁物的属性识别。
为了解决人体隐私和基于单一PMMWI的违禁物检测结果不准确问题，本文提出一种基于PMMWI和Ⅵ优势互补的隐蔽违禁物检测与定位算法。与文献[11]中采用对人体隐私部位进行遮挡处理的方法不同，本文将在后台完成人体隐蔽违禁物的检测与定位，并在PMMWI与Ⅵ配准基础上直接将人体隐蔽违禁物检测结果显示在Ⅵ中，从根本上解决毫米波图像的人体隐私泄露问题。PMMWI与Ⅵ技术原理上的差异性，导致其视场角、视场范围都存在明显不同。因此，为了实现PMMWI和Ⅵ的配准，本文首先提出一种改进U-Net网络模型以实现PMMWI人体轮廓的像素级分割，并通过与经典DNN图像分割模型，比如FCN (Fully Convolutional Networks)[12]、SegNet[13]和U-Net[14]等进行人体轮廓分割对比实验，验证了本文提出的DNN模型的性能优势。其次，在人体轮廓分割基础上，通过尺度变换与滑动配准方法实现Ⅵ和PMMWI人体轮廓的良好配准。然后，利用Ⅵ和PMMWI优势互补特性，实现单帧图像的人体隐蔽违禁物检测与定位。最后，通过多帧检测结果的对比融合决策与复合定位，完成对人体隐蔽违禁物的精确定位。
1 人体隐蔽违禁物检测技术挑战与关键性问题 1.1 常规检测方式的技术挑战毫米波成像技术可分为PMMWI和AMMWI技术，目前常规的毫米波检测方法是采用单一的技术方案，图 1(a)所示为AMMWI安检设备，虽然其成像质量好，对隐蔽违禁物的透视成像清晰度高，但其成像速度较慢，一般需要受检人员静止站立数秒时间；而PMMWI速度较快，可以采用如图 1(b)所示的通道式设计，使受检人员无停留通过安检通道[15]，但其成像效果欠佳，对违禁物形状特征的分辨率较低，甚至模糊不清。
|
| 图 1 主/被动毫米波成像安检设备示例 Fig. 1 Illustration for AMMWI and PMMWI security check equipment |
图 2所示为本文所采用的主/被动毫米波成像相结合互补的安检方案，其使PMMWI速度快和AMMWI清晰的优势得以综合利用。由于PMMWI成像速度快，可实现人体目标的实时透视成像，为人体衣物中的隐蔽违禁物的高效检测提供可靠的图像信息。在PMMWI初检的基础上，为了能够增强检测和定位的精度并有效排除虚警，本文将PMMWI透视成像和Ⅵ人体轮廓清晰成像的优势相结合，提出一种PMMWI与Ⅵ优势互补的人体隐蔽违禁物检测与定位算法。这将为AMMWI的进一步定向扫描并进行违禁物检测确认与分类识别奠定基础。
|
| 图 2 主/被动毫米波成像结合互补的安检方案 Fig. 2 Security check scheme based on combination and complementation of AMMWI and PMMWI |
由于采用主/被动毫米波成像结合互补的安检方案，相比常规采用单一成像技术的检测方式，将面临更多复杂的问题。本文主要解决的是基于PMMWI和Ⅵ的隐蔽违禁物检测和定位问题，其亟需解决的关键性问题如下：PMMWI与Ⅵ人体轮廓的像素级分割；PMMWI与Ⅵ中人体轮廓的配准；面向PMMWI与Ⅵ优势互补的人体隐蔽违禁物检测；基于序列图像检测结果对比融合的优化决策和复合定位。
其中，首先需要解决的关键性问题是通过分析PMMWI与Ⅵ人体目标成像特性，实现人体轮廓的像素级分割，其分割结果将直接影响人体隐蔽违禁物的检测与PMMWI和Ⅵ人体轮廓的良好配准，因此PMMWI与Ⅵ人体轮廓的分割是本文需要解决的核心问题。
2 基于优势互补的检测/定位方案与系统架构为了解决隐蔽违禁物检测与定位中的关键性问题，本节将在PMMWI与Ⅵ特性分析基础上，给出基于优势互补的单帧图像检测与定位方案，以及整个算法的系统架构。
2.1 PMMWI和Ⅵ的特性分析图 3(a)所示为室内安检环境实拍得到的PMMWI，室内背景温度的变化导致背景噪声也较大，PMMWI中的人体轮廓明显不如图 3(b)所示同一时刻的Ⅵ清晰，甚至腿部区域已经完全不可辨。
|
| 图 3 PMMWI和Ⅵ示例 Fig. 3 Samples of PMMWI and Ⅵ |
图 3中矩形框标记区域分别为PMMWI与Ⅵ中人体手臂与躯干形成的虚警区域，而箭头所指向的黑色区域则是隐蔽违禁物区域。由图 3(a)可以看出，虚警区域和违禁物区域存在相似的图像像素值，并且与背景区域的像素值也相似，仅从PMMWI中很难分辨出人体目标区域内的黑色区域是否为隐蔽违禁物。而在Ⅵ中可以明显看出是背景区域，因此可以利用PMMWI与Ⅵ优势互补特性实现隐蔽违禁物的检测与定位。
2.2 基于单帧图像优势互补的检测/定位方案在PMMWI和Ⅵ的特性分析基础上，本文提出一种基于PMMWI和Ⅵ优势互补的隐蔽违禁物检测与定位算法，如图 4所示，其包括PMMWI和Ⅵ人体轮廓提取、PMMWI和Ⅵ的人体轮廓配准和基于人体轮廓配准的隐蔽违禁物的检测与定位等3个主要模块。
|
| 图 4 基于PMMWI和Ⅵ优势互补的检测与定位方案 Fig. 4 Detection and localization scheme based on complementary advantage of PMMWI and Ⅵ |
PMMWI和Ⅵ人体轮廓提取的目的是将人体目标从背景中分割出来，并同时实现PMMWI中隐蔽违禁物的分割。需要特别说明的是，在PMMWI中违禁物区域和人体肢体动作造成的虚警区域均设为非人体区域。此外，由于PMMWI与Ⅵ成像原理的不同，人体轮廓存在较大差异，需要实现PMMWI和Ⅵ中人体轮廓的配准，以保证虚警目标得到有效排除，最终实现人体隐蔽违禁物的检测。
2.3 核心模块及整体系统的组织架构针对实际应用中单帧图像的隐蔽违禁物检测与定位存在较高的虚警率和误检率，本文在单帧违禁物检测结果上，提出一种多帧违禁物检测结果对比融合的检测方法，其整体组织结构如图 5所示，包括基于单帧图像优势互补的检测和基于序列图像检测结果对比融合的优化决策两大主体结构。其中基于单帧图像的违禁物检测方案如图 4所示，其详细分析见2.2节。在单帧图像的隐蔽违禁物检测基础上，通过对连续多帧的检测结果进行对比融合分析，以提高人体隐蔽违禁物定位精度，减少单帧图像检测结果不稳定性。
|
| 图 5 基于PMMWI和Ⅵ优势互补的隐蔽违禁物检测与定位系统的组织结构与核心模块 Fig. 5 Organization structure and core modules of concealed forbidden object detection and localization system based on complementary advantage of PMMWI and Ⅵ |
U-Net是由Ronneberger等[14]为解决医学图像分割而提出的一种图像分割模型，并获得2015年ISBI(International Symposium on Biomedical Imaging)细胞跟踪挑战赛冠军。如图 6所示[14]，U-Net网络结构呈现出明显的“U”型特征，这也是称其为U-Net的原因，同时可以看出U-Net具有结构对称性。U-Net分为编码部分和解码部分，左侧为编码部分，主要是针对输入图像进行特征提取，右侧解码部分是由提取出的特征进行上采样逐渐解码成与输入图像相同大小的二值掩码图像，并且，在每次上采样之后，就和编码部分对应的特征图进行拼接。
由于U-Net引入的跨越连接操作，使得在反向传播过程中能够较快地对整个网络权重进行更新，因此具有非常优秀的易训练特性。同时，跨越连接使得高分辨图像得到的特征能够将更多的细节信息传输到上采样层，实现更加精确的图像分割。此外，U-Net能够在较小的数据集上实现高精度的图像分割性能。
由于U-Net具有以上性能优势，在Kaggle图像分割竞赛中得到了广泛应用，同时越来越多的研究学者对U-Net进行了改进，比如TernausNet网络使用预训练VGG11结构代替U-Net中特征提取部分[16]，获得了更加优异的分割性能，并且获得2017年Carvana Image Masking Challenge挑战赛冠军。
3.2 U-Net模型的低层特征卷积融合与整体性能改进 3.2.1 低层特征的1×1卷积融合Lin等[17]在提出的NIN(Network in Network)图像分类模型中首次使用1×1卷积，1×1卷积得到了大量研究人员的关注，当1×1卷积与3×3卷积或5×5卷积叠加一起使用时，就会产生更加复杂的特征抽象过程，并且能够将模型参数降到原始模型的十分之一甚至更少，为深度学习应用扩展到移动终端提供了可能性。目前，1×1卷积已经成为DNN中常见的结构组件之一，包括GoogLeNet[18-19]、ResNet[20]和ResXNet[21]等优秀DNN结构中大量使用1×1卷积实现了整体网络性能的提升。
根据1×1卷积原理，其具有如下2个显著特点：①实现特征图跨通道间的特征交互和融合，增强孤立特征通道之间的通信；②实现特征图的降维/升维。利用1×1卷积可以对多通道的特征进行卷积融合，同时实现特征图维度的优化，比如降维可以减少网络计算量，提高运算速度；升维可以增加提取特征维度，提高网络预测能力。
由于PMMWI中人体目标内隐蔽违禁物区域较小或成像效果较差，导致U-Net网络分割性能表现不佳，本文提出一种基于1×1卷积的低层特征卷积融合结构以改进整体网络分割性能，与原始U-Net网络直接将编码与解码部分特征图进行拼接不同，本文利用1×1卷积对编码部分的高维特征图进行跨通道卷积融合，再与解码部分进行拼接。
如图 7所示，假设编码部分的特征图为64×64×128，使用1×1×128的卷积核与其卷积运算，可得大小为64×64×1的特征图，图 7使用256个1×1×128卷积核对编码部分特征图进行卷积融合，可得大小为64×64×256的特征图，其与解码部分对应特征图大小一致，因此可与解码部分特征图直接进行通道维度上的拼接。
|
| 图 7 1×1卷积特征的拼接 Fig. 7 Concatenation of features by 1×1 convolution |
本节将在U-Net图像分割模型基础上，提出一种基于1×1低层特征卷积融合的图像分割模型，以实现PMMWI中人体轮廓的像素级分割。需要说明的是，本文提出的PMMWI人体轮廓分割模型结构并不是在原始U-Net结构上直接增加低层特征融合结构，只是整体网络结构与U-Net具有类似的编解码框架。
如图 8所示，针对PMMWI人体轮廓的分割，本文提出一种基于低层特征融合的U-Net模型，称之为LFF-UNet(Low-layer Feature Fusion based U-Net)模型。本文提出的LFF-UNet模型共有20层卷积(Conv)层、5层BN(Batch Normalization)层、4层Pooling层和4层转置卷积(Deconv)层，不同的层以不同的颜色标记加以区分，并且每一层中的数字表示当前层输出的特征图尺寸大小。
|
| 图 8 基于低层特征融合的LFF-UNet网络结构 Fig. 8 LFF-UNet architecture based on low-layer feature fusion |
此外，低层特征将经过4个低层特征融合块(Low-layer Feature Fusion Block, LFFB)进行卷积融合后，再与上采样层特征图拼接。由于低层特征图具有更好的图像细节信息，通过对编码部分的低层特征图进行跨通道卷积融合，可提高网络对图像细节的特征提取能力。尤其在室内毫米波安检中，受毫米波成像器件和现场环境等多种因素影响，PMMWI中人体隐蔽违禁物会出现成像较弱或轮廓模糊情况。如果编码部分无法有效提取弱小目标的轮廓特征，则会出现漏分割情况，而通过对低层特征图的卷积融合可增加网络对PMMWI中弱小目标轮廓的敏感度，减少背景噪声对弱小目标的干扰，提高毫米波安检中人体隐蔽违禁物的分割精度。
如图 9所示，针对PMMWI人体轮廓的分割，本文提出3种LFFB结构，主要区别是1×1卷积层数的差异。以图 9(a)所示的一层1×1卷积LFFB结构为例，W、H和C分别表示当前层输出特征图的宽、高和通道维度，图 8中的所有LFFB全部为一层1×1卷积，本文以LFF1-UNet表示当前网络结构。类似地，LFF2-UNet表示LFFB模块为两层1×1卷积，LFF3-UNet表示LFFB模块为三层1×1卷积。
|
| 图 9 本文提出的3种LFFB结构 Fig. 9 Three types of LFFB structure proposed in our work |
为了验证本文提出的LFF-UNet结构的性能优势，利用现有毫米波安检系统进行真实数据集采集，全部样本数据集共386张图像，其中PMMWI和Ⅵ各193张，并且为了后续隐蔽违禁物的检测与定位，同时进行PMMWI和Ⅵ的样本数据的采集与标注。需要特别说明的是，LFF-UNet主要针对PMMWI的人体轮廓分割，而Ⅵ人体轮廓分割则直接使用U-Net网络[14]。
图 10为采集的PMMWI和Ⅵ样本数据集和人工标注结果图像，需要特别说明的是，针对PMMWI人体轮廓的标注，由于肢体动作导致的人体轮廓内的空洞区域与隐蔽违禁物呈现出相同的成像特性，因此PMMWI的人工标注结果排除了肢体动作造成的空洞区域和隐蔽违禁物。
|
| 图 10 PMMWI和Ⅵ样本数据集与人工标注图像 Fig. 10 Dataset and manually annotated image of PMMWI and Ⅵ samples |
为了能够有效地利用PMMWI数据集对LFF-UNet进行训练和模型评估，PMMWI数据集中的160张图像归为训练集，剩余33张图像为测试集。本文将利用训练集对LFF-UNet进行离线监督训练，测试集作为对离线监督训练后的DNN模型实施测试与评估。在离线监督训练过程中，采用交叉熵函数为损失函数，借助于人工标记图像，利用自适应矩估计(Adaptive moment estimation, Adam)[22]优化方法对网络模型进行参数更新，交叉熵的解析表达式为
|
(1) |
式中：n为图像像素点的个数；
|
| 图 11 PMMWI中人体轮廓分割DNN模型性能进化曲线 Fig. 11 Performance evolution curves of human contour segmentation DNN models in PMMWI |
在毫米波安检中，PMMWI中人体轮廓的分割精度不仅影响PMMWI与Ⅵ人体轮廓配准精度，更直接影响隐蔽违禁物的检测与定位。借助于深度学习理论，利用1×1卷积的跨通道特征融合特性，设计出分割性能更优的LFF-UNet分割网络，可以实现PMMWI中人体轮廓的高精度分割。
图 12所示为基于LFF-UNet的PMMWI人体轮廓分割算法。首先将毫米波安检系统采集的PMMWI训练数据集输入LFF-UNet，利用交叉熵测度对网络输出结果与示教信息进行监控与评判；然后由参数调理算法对DNN进行优化，当交叉熵损失下降到最小且不再变化时，即完成PMMWI的人体轮廓分割LFF-UNet模型的训练。在实际应用过程中，将毫米波安检设备获取的PMMWI图像输入训练好的LFF-UNet模型，即可生成对应大小的人体轮廓分割结果。
|
| 图 12 基于LFF-UNet的PMMWI人体轮廓分割算法 Fig. 12 Segmentation algorithm of human contour in PMMWI based on LFF-UNet architecture |
为了对DNN的图像分割性能进行评估，首先将训练好的DNN模型在PMMWI测试集上进行实验，然后将分割结果与人工标注结果对比分析，以综合评判DNN图像分割网络的性能优劣。不同DNN模型的PMMWI人体轮廓分割对比结果如图 13所示，基于FCN-8和SegNet的人体轮廓分割精度较差，隐蔽违禁物的分割也不够准确，U-Net则在人体轮廓上分割精度较好，但是隐蔽违禁物区域分割效果较差。通过对低层特征的卷积融合优化，能更好地处理细节特征，在人体轮廓分割精度不变的前提下，显著提升了隐蔽违禁物的分割，尤其LFF3-UNet在人体轮廓和隐蔽违禁物分割效果上达到最优。
|
| 图 13 不同DNN模型PMMWI人体轮廓分割对比 Fig. 13 Comparison of human contour segmentation in PMMWI among different DNN models |
为了能够从量化指标的角度对比分析各DNN网络模型的分割性能，本文将对分割结果进行交并比(Intersection-over-Union, IoU)计算：
|
(2) |
式中：RoIP表示DNN生成的PMMWI人体轮廓预测分割结果；RoIG表示人工标注的人体轮廓区域；area表示图像面积大小。IoU值域范围为[0, 1]，当IoU值越接近于1时，表示DNN模型的分割性能越好。图 14所示为不同DNN模型的PMMWI人体轮廓分割IoU对比结果，相比于经典的分割模型，本文提出的3种LFF-UNet网络在测试集上的IoU得分都较高。
|
| 图 14 不同DNN模型分割结果IoU对比 Fig. 14 Comparison of IoU of segmentation result among different DNN models |
在毫米波安检过程中，受检人员会步行通过安检通道，受检人员与PMMWI和Ⅵ设备的距离也是随之变化的。图 15所示为不同距离下的Ⅵ和PMMWI人体轮廓分割对比结果，由于毫米波成像与Ⅵ技术的差异性，当受检人员与成像设备处于不同距离时，PMMWI和Ⅵ中人体轮廓尺度大小和图像视场角均有较大不同。因此，PMMWI和Ⅵ的人体轮廓配准是必不可少的。
|
| 图 15 不同距离下的Ⅵ和PMMWI人体轮廓分割对比 Fig. 15 Comparison of segmentation of human contours between Ⅵ and PMMWI in different distances |
为了有效利用PMMWI和Ⅵ优势互补特性，本文提出一种基于人体轮廓的尺度变换与滑动适配算法，以实现人体轮廓的良好配准。
图 16为PMMWI与Ⅵ人体轮廓的尺度变换与滑动适算法。首先利用预训练好的U-Net模型实现Ⅵ人体轮廓提取，并对人体轮廓内的空洞填充处理。同时，利用训练好的LFF3-UNet模型对PMMWI进行人体轮廓提取，由于人体轮廓在PMMWI中的尺度和位置与Ⅵ存在较大的差异，因此首先需要对PMMWI进行尺度变换，以保证PMMWI和Ⅵ中人体轮廓尺度相同，然后再进行空洞填充。最后，以Ⅵ为基准图像，将PMMWI中人体轮廓进行滑动适配和萃取。需要说明的是，上述步骤中空洞填充的目的是避免在滑动适配过程中，过大的内部空洞很容易导致适配的不准确。
|
| 图 16 PMMWI与Ⅵ人体轮廓尺度变换与滑动适配 Fig. 16 Scale transform and sliding fit of human contour in PMMWI and Ⅵ |
PMMWI与Ⅵ人体轮廓的尺度变换与滑动适配方法主要目的是在滑动适配过程中寻找到与Ⅵ人体轮廓最佳配准的PMMWI图像，算法1为尺度变换与滑动适配算法，最终输出为与Ⅵ实现最佳配准的PMMWI分割掩码图像，为下一步人体隐蔽违禁物的检测做好准备。
算法1 PMMWI与Ⅵ人体轮廓的尺度变换与滑动适配。
输入：算法原始被动毫米波图像P，原始可见光图像V。
输出：与Ⅵ实现最佳配准的PMMWI分割掩码图像
初始化：图像大小为W×H，尺度变换因子ε∈[0.5, 1.0]，滑动步数k∈[1，W×H]。
1.利用训练好的DNN模型对PMMWI和Ⅵ进行人体轮廓分割和空洞填充，其空洞填充后的结果图像分别为Pseg和Vseg
2.选取最佳尺度变换经验值ε*，对Pseg中人体轮廓进行尺度变化得Psegε*
3.For k←1 to W×H:
4.将Psegε*中人体轮廓进行滑动k步长得Psegε*, k
5.将Psegε*, k与Vseg进行异或运算，得异或图像Xε*, k
6.将异或图像中所有像素值求和，得Sε*, k
7.if k=1:Sε*, k*=Sε*, k
Else:Sε*, k*=min(Sε*, k, Sε*, k*)
End If
8.End For
9.最终获得最佳尺度因子ε*与滑动步数k*，即可得到与Ⅵ最佳配准的PMMWI分割掩码图像
为了能够有效评估滑动适配过程中配准的准确率，对PMMWI和Ⅵ进行图像异或处理，如果两幅图像对应位置均为白色或黑色，则异或结果为黑色；如果对应位置颜色值不同，则异或结果为白色。图 17展示了PMMWI和Ⅵ滑动适配过程中的部分异或图像，其白色区域越大，异或图像中所有像素值和值越大。如图 17第4张图所示，当异或图像白色区域最小时，即异或图像的和值取值最小，PMMWI中的人体轮廓与Ⅵ中的人体轮廓实现最佳配准。
|
| 图 17 PMMWI和Ⅵ匹配过程展示 Fig. 17 Exhibition of image registration process of PMMWI and Ⅵ |
由于毫米波成像系统可以穿透人体衣物进行成像，因此其透视成像特性也必然会引起公众对人体隐私安全的担忧，本节将利用Ⅵ与PMMWI的优势互补特性，排除PMMWI中的虚警目标，并将隐蔽违禁物检测结果标记在Ⅵ中，防止被动毫米波透视成像造成人体隐私的泄露。
图 18所示为基于人体轮廓配准的单帧受检图像中隐蔽违禁物的检测与定位算法，其步骤为：①对Ⅵ人体轮廓分割图像与其空洞填充图像进行异或运算可得到人体轮廓内的所有空洞区域，其目的是利用Ⅵ排除PMMWI中受检人员肢体动作形成的虚警区域；②利用同样的方法可以得到PMMWI中所有空洞区域，其中包含了虚警区域和隐蔽违禁物区域；③由于毫米波安检针对较大的违禁物，因此分别对前两步得到的图像进行腐蚀和膨胀的数学形态学滤波处理，以减少噪声点对检测结果的干扰；④通过对PMMWI和Ⅵ中可疑区域进行虚警排除，最终将PMMWI中真实隐蔽违禁物检测结果标记在Ⅵ中。
|
| 图 18 基于人体轮廓配准的隐蔽违禁物检测与定位 Fig. 18 Detection and localization of concealed forbidden object based on human contour registration |
为了验证基于单帧受检图像的人体隐蔽违禁物检测与定位算法的高效性，受检人员右侧裤子口袋携带违禁物进行测试，隐蔽违禁物的检测与定位结果均显示在Ⅵ中，避免隐私泄露。
通过对比图 19(c)和(d)可以明显看出，与Ⅵ相比，PMMWI人体目标内出现了明显的隐蔽违禁物。图 19(e)为4.2节提出的基于多尺度变换人体轮廓配准算法得到的与Ⅵ最佳配准的PMMWI，通过与图 19(c)对比可知，人体轮廓在尺度大小和位置上都实现了良好配准。由图 19(f)可以看出，受检人员隐藏违禁物已被检测与标记出来。此外，仅从图 19(b)PMMWI中很难分辨出虚警目标与违禁物，本文提出的隐蔽违禁物检测算法有效利用了Ⅵ和PMMWI的优势特征互补特性，实现了对虚警区域的有效排除。
|
| 图 19 人体隐蔽违禁物检测与定位结果 Fig. 19 Results of detection and localization of concealed forbidden objects on human body |
图 20为多帧人体隐蔽违禁物检测结果，由图中可以看出，PMMWI中隐蔽违禁物的检测框大小和位置呈现不稳定性，而且时间跨度越大，检测框位置差异性越大，因此必须对多帧图像的检测结果进行对比融合和综合分析，对隐蔽违禁物进行复合定位，以提高隐蔽违禁物的定位精确度。
|
| 图 20 多帧人体隐蔽违禁物检测结果对比 Fig. 20 Comparison of multi-frame detection results of concealed forbidden objects on human body |
由于受检人员通过毫米波安检通道的时间较短，复合定位算法参考的帧数越多，违禁物定位误差将越大，从而导致违禁物定位坐标失效，因此本文提出的违禁物复合定位算法如算法2所示。
算法2 基于序列图像检测结果对比融合的优化决策与复合定位算法。
输入：原始被动毫米波图像P，原始可见光图像V。
输出：人体隐蔽违禁物复合定位结果C。
初始化：对比融合的参考帧数N设为5，对比融合图像R初始化为与V同样大小的0值矩阵。
1.For t=1 to N
2.获取当前时刻PMMWI P[t]和Ⅵ V[t]
3.将当前帧P[t]和V[t]输入训练好的DNN图像分割模型得到人体轮廓掩码图像Pseg[t]和Vseg[t]
4.依据4.2节提出的PMMWI与Ⅵ人体轮廓配准算法，获得与Ⅵ实现最佳配准的PMMWI 
5.依据4.3节提出的单帧图像隐蔽违禁物检测算法，获得人体隐蔽违禁物检测结果图像D[t]
6.对单帧检测框内部和外部区域分别标记为1和0，得到单帧检测结果二值图像M[t]
7.将前t帧的检测二值图像累加，即R=R+M[t]
8.End For
9.寻找融合图像R中像素值为5的区域R5
10.人体隐蔽违禁物复合定位结果为R5的中心点，即人体隐蔽违禁物定位结果C=centroid(R5)。
图 21左图为5帧对比融合后的细节放大图，右图为其3D mesh图，本文将每一帧的检测掩码部分标记为1，这样5帧融合结果就分为5个等级，等级越高表示该区域被检测到的次数越多，等级为5表示该区域存在隐蔽违禁物的可能性最大。因此，本文将等级为5的区域中心点设为复合定位中心点，该中心坐标将传输给AMMWI系统获得主动毫米波图像，进而实现违禁物的属性识别。
|
| 图 21 基于检测结果对比融合的复合定位 Fig. 21 Composite localization based on contrasting fusion of detection results |
整体集成优化算法如图 22所示，包括基于DNN的单帧PMMWI和Ⅵ人体轮廓分割、基于人体轮廓的PMMWI和Ⅵ配准、单帧图像的隐蔽违禁物检测与定位、基于序列图像检测结果对比融合的优化决策和复合定位。最终，复合定位算法给出人体轮廓区域内隐蔽违禁物的中心坐标，AMMWI系统将对此坐标进行局部范围扫描成像，以实现隐蔽违禁物的属性识别。
|
| 图 22 算法与模型的综合集成与优化 Fig. 22 Comprehensive integration and optimization of algorithms and models |
本文数据集采集自实际毫米波安检系统，共包含386张图像，其中包含193张PMMWI和193张Ⅵ，并且利用图像分割数据集标记工具对其全部进行了人工数据集制作，详细信息可参考3.3.1节。本文所有的实验均以Python作为开发语言，基于TensorFlow 1.9进行DNN模型开发和应用，在Ubuntu 16.04系统上进行训练和测试，并利用Nvidia 1080ti显卡加速DNN模型的运算。
6.2 实验框架设计与参数设置针对基于LFF-UNet网络的PMMWI人体轮廓分割，训练策略参数设置见3.3.2节，而在基于尺度变换和滑动适配的人体轮廓配准算法中，尺度变换参数范围为[0.5, 1]，尺度变化步长为0.1，通过对PMMWI中人体轮廓进行滑动适配，以实现与Ⅵ中人体轮廓的最佳配准，其中滑动步长设为2。最后，基于多帧检测结果的对比融合优化策略和复合定位算法主要利用5帧图像进行实验。
6.3 实验结果与性能评估由于PMMWI缺乏显著性的辨识度，一般缺乏先验知识的人很难从PMMWI中定位隐蔽违禁物的位置，因此实验结果展示了远距离和近距离下的人体隐蔽违禁物检测结果，其中对PMMWI和Ⅵ均进行了隐蔽违禁物的标识，以方便与检测结果进行对比。
图 23和图 24分别为远距离和近距离下的人体隐蔽违禁物检测结果，其前两行分别为PMMWI和Ⅵ原始图像，并且同时对隐蔽违禁物进行了人工标记，第3行为综合集成算法的隐蔽违禁物检测结果。在图 24所示近距离检测结果中，受到PMMWI的影响，每一帧检测框大小变化更加明显，而且第n+2帧图像还有误检情况的发生，主要是Ⅵ中右侧肢体围成的区域由于面积过小，没有实现精确分割，但是经过序列图像检测结果对比融合的优化决策与复合定位算法可以排除误检导致的隐蔽违禁物定位不准确问题。
|
| 图 23 远距离人体隐蔽违禁物检测 Fig. 23 Detection of concealed forbidden objectson human body from far distance |
|
| 图 24 近距离人体隐蔽违禁物检测 Fig. 24 Detection of concealed forbidden objectson human body from close distance |
表 1给出了不同距离下的人体隐蔽违禁物检测IoU对比结果，表中a~e对应图 23和图 24中(a)~(e)。通过分析连续帧的检测结果可知，单帧检测结果不够稳定，尤其近距离下图 24(c)检测结果远低于其他帧的IoU值，而通过多帧检测结果的优化决策，可以避免单帧检测不稳定对最终隐蔽违禁物定位坐标的影响。
| 检测方式 | a | b | c | d | e |
| 远距离检测 | 0.642 | 0.859 | 0.782 | 0.490 | 0.648 |
| 近距离检测 | 0.786 | 0.810 | 0.362 | 0.584 | 0.853 |
为了清晰地对比人体隐蔽违禁物定位结果，通过计算真实定位坐标与算法得到的定位坐标之间的距离来衡量定位算法的优劣，即真实世界中两点之间的距离，单位为cm。图 25中a~e分别对应于图 23和图 24中的不同帧图像，图中虚线表示复合定位坐标与真实定位坐标之间的误差值。
|
| 图 25 人体隐蔽违禁物定位误差对比 Fig. 25 Comparison of localization error of concealed forbidden objects on human body |
图 25的单帧图像隐蔽违禁物定位误差是根据实际违禁物的中心坐标与本文定位算法的定位结果之间的距离进行测算的。由图中可以看出，近距离定位误差较小，而远距离定位误差偏大，其中，远距离第m+2帧的定位误差达9 cm。在实际应用中，采取复合定位的原则，通过多帧图像的复合定位来确定隐蔽违禁物的中心坐标位置。从而通过复合过程的叠加过滤而排除单帧图像定位误差偏大的情况，确保定位结果的可靠性，为进一步启动主动毫米波扫描成像确定精准的区域指向。
为了更加清晰地观察复合定位结果，图 26(a)为原始Ⅵ，箭头所指为隐蔽违禁物中心位置，图 26(b)为5帧检测结果复合定位结果图，为了方便观察定位结果，图 26(c)为图 26(a)和图 26(b)相加图像，其中红点标记为最终隐蔽违禁物的复合定位结果，经过多帧的复合定位，可以有效避免单帧检测不精确和不稳定问题。
|
| 图 26 人体隐蔽违禁物定位可视化结果 Fig. 26 Visualization of localization result for concealed forbidden objects on human body |
本节主要对LFF3-UNet与U-Net进行对比分析，通过利用特征图可视化技术[23]对跨越连接层进行特征图可视化，以分析LFFB模块的作用。如图 27所示，与文献[23]不同的是，使用3D网格化方法对特征图进行可视化。需要特别说明的是，由于隐藏层特征图维度一般都很高，因此可视化结果是所有特征图在通道维度上相加并归一化后的结果。
|
| 图 27 U-Net与LFF3-UNet网络跨越连接层特征图可视化对比 Fig. 27 Comparison of feature map visualization at skip-connection layer between U-Net and LFF3-UNet |
图 27展示了不同网络模型在第一次跨越连接时的特征图可视化结果。通过对比图 27(a)和图 27(b)可知，U-Net与LFF3-UNet在跨越连接前传输的特征图是基本一致的，而经过本文提出的特征优化之后，可以明显的看出，卷积融合后的背景区域噪声更少，人体轮廓更加清晰。低层特征图中干扰因素越少，对最终分割结果影响也就越小，这也与最终PMMWI分割实验结果一致。
7 结论本文针对面向大流量安检场景的毫米波安检系统，提出一种基于PMMWI和Ⅵ优势互补的人体隐蔽违禁物检测与定位算法。
1) 利用PMMWI和Ⅵ优势互补特性，提出一种基于人体轮廓的PMMWI和Ⅵ配准方法，以排除可疑区域，同时将检测结果显示在Ⅵ中，避免由于毫米波的透视成像特性引起公众对人体隐私安全的担忧。
2) 为了解决传统U-Net对PMMWI中弱小目标分割性能较差问题，提出一种基于低层特征融合的LFF-UNet以增强U-Net网络对PMMWI中弱小目标轮廓的敏感度，显著提高了PMMWI中人体轮廓和隐蔽违禁物的分割精度。
3) 提出一种基于序列图像检测结果对比融合的方法，避免PMMWI不稳定导致的单帧检测结果不准确问题，以实现人体隐蔽违禁物的高精度定位。实验结果也验证了本文算法具有良好的鲁棒性。
在本文算法对人体隐蔽违禁物检测与定位的基础上，如何继续利用AMMWI系统对定位区域进行二次扫描，最终完成基于AMMWI的人体隐蔽违禁物识别，将是下一步研究的重点。
| [1] |
王任肩, 王宇光, 陈志福, 等. 大型活动中的安检排爆工作及技术保障研究[J]. 警察技术, 2018(5): 19-22. WANG R J, WANG Y G, CHEN Z F, et al. Research on exploder clearing work and technical support in security inspection of large activities[J]. Police Technology, 2018(5): 19-22. DOI:10.3969/j.issn.1009-9875.2018.05.004 (in Chinese) |
| [2] |
费鹏, 方维海, 温鑫, 等. 用于人员安检的主动毫米波成像技术现状与展望[J]. 微波学报, 2015, 31(2): 91-96. FEI P, FANG W H, WEN X, et al. State of the art and future prospect of the active millimeter wave imaging technique for personnel screening[J]. Journal of Microwaves, 2015, 31(2): 91-96. (in Chinese) |
| [3] |
GROSSMAN E N, MILLER A J.Active millimeter-wave imaging for concealed weapons detection[C]//Proceedings of Conference on Passive Millimeter-Wave Imaging Technology Ⅵ and Radar International Society for Optics and Photonics.Bellingham: SPIE, 2003, 5077: 62-70.
|
| [4] |
ANDREWS D A, HARMER S W, BOWRING N J, et al. Active millimeter wave sensor for standoff concealed threat detection[J]. IEEE Sensors Journal, 2013, 13(12): 4948-4954. DOI:10.1109/JSEN.2013.2273487 |
| [5] |
DU K, ZHANG L, CHEN W, et al.Concealed objects detection based on FWT in active millimeter-wave images[C]//Proceedings of 7th International Conference on Electronics and Information Engineering.Bellingham: SPIE, 2017, 10322: 103221O.
|
| [6] |
REN S, HE K, GIRSHICK R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI:10.1109/TPAMI.2016.2577031 |
| [7] |
骆尚, 吴晓峰, 杨明辉, 等. 基于卷积神经网络的毫米波图像人体隐匿物检测[J]. 复旦学报(自然科学版), 2018, 57(4): 442-452. LUO S, WU X F, YANG M H, et al. Convolutional-neural-network-based human concealed object detection for millimeter wave images[J]. Journal of Fudan University(Natural Science), 2018, 57(4): 442-452. (in Chinese) |
| [8] |
SINCLAIR G N, ANDERTON R N, APPLEBY R.Passive millimeter-wave concealed weapon detection[C]//Proceedings of Enabling Technologies for Law Enforcement and Security.Bellingham: SPIE, 2001, 4232: 142-152.
|
| [9] |
YEOM S, LEE D, SON J, et al. Real-time outdoor concealed-object detection with passive millimeter wave imaging[J]. Optics Express, 2011, 19(3): 2530-2536. DOI:10.1364/OE.19.002530 |
| [10] |
YEOM S, LEE D, JANG Y, et al. Real-time concealed-object detection and recognition with passive millimeter wave imaging[J]. Optics Express, 2012, 20(9): 9371-9381. DOI:10.1364/OE.20.009371 |
| [11] |
周健, 叶金晶, 孙谦晨, 等. 主动毫米波成像性别识别算法研究[J]. 红外, 2018, 39(9): 34-40. ZHOU J, YE J J, SUN Q C, et al. Study of a gender identification algorithm for active millimeter-wave imaging[J]. Infrared, 2018, 39(9): 34-40. DOI:10.3969/j.issn.1672-8785.2018.09.006 (in Chinese) |
| [12] |
SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651. DOI:10.1109/TPAMI.2016.2572683 |
| [13] |
BADRINARAYANAN V, KENDALL A, CIPOLLA R. SegNet:A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495. DOI:10.1109/TPAMI.2016.2644615 |
| [14] |
RONNEBERGER O, FISCHER P, BROX T.U-Net: Convolutional networks for biomedical image segmentation[C]//Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin: Springer, 2015: 234-241.
|
| [15] |
桑伟, 岳胜利. 毫米波成像技术在人体安全检查领域的应用[J]. 中国安防, 2013(4): 83-87. SANG W, YUE S L. Application of millimeter wave imaging technology on the area of human body security inspection[J]. China Security & Protection, 2013(4): 83-87. DOI:10.3969/j.issn.1673-7873.2013.04.018 (in Chinese) |
| [16] |
IGLOVIKOV V, SHVETS A.TernausNet: U-Net with VGG11 encoder pre-trained on ImageNet for image segmentation[D].(2018-01-17)[2018-12-20].https://arxiv.org/abs/1801.05746. https://arxiv.org/abs/1801.05746
|
| [17] |
LIN M, CHEN Q, YAN S C.Network in network[D].(2014-03-04)[2018-12-20].https://arxiv.org/abs/1312.4400.
|
| [18] |
SZEGEDY C, LIU W, JIA Y, et al.Going deeper with convolutions[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE Press, 2015: 1-9.
|
| [19] |
SZEGEDY C, VANHOUCKE V, IOFFE S, et al.Rethinking the inception architecture for computer vision[D].(2015-12-11)[2018-12-20].https://arxiv.org/abs/1512.00567v2.
|
| [20] |
HE K M, ZHANG X Y, REN S Q, et al.Deep residual learning for image recognition[D].(2015-12-10)[2018-12-20].https://arxiv.org//abs/1512.03385.
|
| [21] |
XIE S, GIRSHICK R, DOLLÁR P, et al.Aggregated residual transformations for deep neural networks[D].(2017-04-11)[2018-12-20].https://arxiv.org/abs/1611.05431.
|
| [22] |
KINGMA D P, BA J L.Adam: A method for stochastic optimization[D].(2017-01-30)[2018-12-20].https://arxiv.org/abs/1412.6980.
|
| [23] |
ZEILER M D, FERGUS R.Visualizing and understanding convolutional networks[C]//Proceedings of European Conference on Computer Vision.Berlin: Springer, 2014: 818-833.
|