«上一篇
文章快速检索     高级检索
下一篇»
  智能系统学报  2020, Vol. 15 Issue (2): 310-316  DOI: 10.11992/tis.201905035
0

引用本文  

赵文清, 周震东, 翟永杰. 基于反卷积和特征融合的SSD小目标检测算法[J]. 智能系统学报, 2020, 15(2): 310-316. DOI: 10.11992/tis.201905035.
ZHAO Wenqing, ZHOU Zhendong, ZHAI Yongjie. SSD small target detection algorithm based on deconvolution and feature fusion[J]. CAAI Transactions on Intelligent Systems, 2020, 15(2): 310-316. DOI: 10.11992/tis.201905035.

基金项目

国家自然科学基金项目(61773160)

通信作者

赵文清. E-mail:jbzwq@126.com

作者简介

赵文清,教授,博士,主要研究方向为人工智能与数据挖掘。发表学术论文50余篇;
周震东,硕士研究生,主要研究方向为机器学习和基于深度学习的小目标检测;
翟永杰,教授,博士,主要研究方向为模式识别与计算机视觉、机器学习与人工智能等。参与省级以上科研项目50余项。发表学术论文100余篇

文章历史

收稿日期:2019-05-16
网络出版日期:2019-08-29
基于反卷积和特征融合的SSD小目标检测算法
赵文清 , 周震东 , 翟永杰     
华北电力大学 控制与计算机工程学院,河北 保定 071003
摘要:由于小目标的低分辨率和噪声等影响,大多数目标检测算法不能有效利用特征图中小目标的边缘信息和语义信息,导致其特征与背景难以区分,检测效果差。为解决SSD(single shot multibox detector)模型中小目标特征信息不足的缺陷,提出反卷积和特征融合的方法。先采用反卷积作用于浅层特征层,增大特征图分辨率,然后将SSD模型中卷积层conv11_2的特征图上采样,拼接得到新的特征层,最后将新的特征层与SSD模型中固有的4个尺度的特征层进行融合。通过将改进后的方法与VOC2007数据集和KITTI车辆检测数据集上的SSD和DSSD方法进行比较,结果表明:该方法降低了小目标的漏检率,并提升整体目标的平均检测准确率。
关键词小目标检测    反卷积    特征映射    多尺度    特征融合    SSD模型    PASCAL VOC数据集    KITTI数据集    
SSD small target detection algorithm based on deconvolution and feature fusion
ZHAO Wenqing , ZHOU Zhendong , ZHAI Yongjie     
School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China
Abstract: Given the low resolution and noise of small targets, most target detection algorithms cannot effectively utilize the edge and semantic information of small targets in feature maps, which makes it difficult to distinguish the features from the background. Thus, the detection effect is poor. To solve the problem of insufficient feature information of small and medium targets in the single shot MultiBox detector (SSD) model, we propose a method based on deconvolution and feature fusion. First, deconvolution is employed to process the shallow feature layer to increase the resolution of the feature graph. Then, the feature map of the convolution layer conv11_2 in the SSD model is sampled and spliced. Subsequently, a new layer of features is obtained. Finally, the new layer of features is combined with the feature layer of the four scales inherent in the SSD model. The improved method is compared with the SSD and DSSD methods on the VOC2007 dataset and KITTI vehicle detection dataset. The results show that the method reduced the missed detection rate of small targets and improved the average detection accuracy of all targets.
Key words: small target detection    deconvolution    feature mapping    multi-scale    feature fusion    SSD model    PASCAL VOC dataset    KITTI dataset    

目前,目标检测技术已经应用于很多领域,无人驾驶中道路目标的检测,军事科技中目标的监控导航,医疗影响中病变位置的检测等[1-4]。小目标检测作为目标检测的一项关键技术,近年来已成为研究的热点。小目标因为尺度过小、特征不清晰、边框信息模糊、易被干扰等特点,容易造成误检漏检。因此,小目标检测技术仍需完善。

目标检测算法主要有2类,第1类是双阶段检测方法,例如RCNN[5]、Faster-RCNN[6]、Mask-RCNN[7]等,该类算法首先在特征图上对可能存在目标的位置提取候选区域框,然后对提取到的特征进行筛选和定位。对于小目标的检测,RCNN系列的算法未缩放原图尺寸,当目标本身像素过低,在一定深度的网络上,提取到的特征图中会丢失很多小目标的边缘信息,影响检测效果。第2类是单阶段检测方法,以SSD[8]和YOLO[9]为主,YOLO算法的做法是将特征图等分为n×n的网格,但是一个网格中存在多个小目标的时候,会造成目标的漏检和误检,而SSD算法在一个网格中提取多个候选区域,兼顾检测的准确率和速度。但是,由于SSD的检测模型只有底层的conv4_3用于检测小目标,不具有足够的语义信息,因此SSD模型无法有效检测小目标,其效果有待提升。

为了提高SSD模型对小目标的检测准确率,2017年,Liu W等[10]在SSD的基础上做了进一步改进,充分利用特征层之间的上下文信息,使用残差网络提升特征网络的表征能力,提出DSSD模型,但是这种方法使检测速度大幅度降低。Bharat等[11]提出SNIP算法,主要对特征图进行不同倍数的上采样,实验出了相对最优的检测小目标的特征图尺寸,预测时建立多尺度预测模型,筛选出指定范围内的候选框,最后通过soft-nms[12]融合不同分辨率下的检测结果,效果显著。文献[13]提出了receptive field block(RFB),通过调整感受野大小,进一步增强网络的特征提取能力,将RFB与SSD结合,从而有效增大了感受野,提高了检测准确率。基于特征融合的思想,Seung-Wook Kim等[14]提出的PFPNet模型在SSD模型基础上引入SPPNet[15]方法构造特征金字塔,取得了显著的效果。Chenchen Zhu等提出的FSAF[16]模型让目标自动选择最合适的特征,实现了模型自动化学习,FSAF模块集成到SSD模型中可以有效提高小目标检测准确率。

DSSD算法和文献[17]提出的基于反卷积操作改进的SSD算法都只是用反卷积层和特征层进行点积融合,并未充分利用小目标的边缘信息,本文依据SSD模型中不同特征层与不同大小目标的相关性,通过反卷积增大特征层conv4_3分辨率,映射特征信息,池化后与具有丰富语义信息的conv11_2特征图拼接,最后将SSD模型中固有的特征层与改进后的特征层融合,很大程度上丰富了特征图中小目标的特征信息。本文主要选取SSD、DSSD和RFB模型在VOC2007测试集和KITTI车辆检测数据集上作对比实验,比较检测的mAP值。实验结果表明,通过训练改进后的SSD模型,在VOC2007测试集上和KITTI中2012 2D Object Detection left color images of object data数据集的mAP分别为82.6%和68.9%,对小目标检测的平均准确率有显著提升。

1 相关工作 1.1 SSD网络结构

SSD模型以VGG16网络为基础模型,并通过对ILSVRC CLS-LOC数据集上预训练,采用多尺度特征图检测方法,其中特征层conv4_3输出的特征图分辨率最高,为38×38,负责检测小目标。其检测模型如图1所示。

Download:
图 1 SSD检测模型 Fig. 1 SSD detection model
1.2 反卷积

反卷积是卷积操作的逆运算,能够增大特征图分辨率,扩大感受野,卷积与反卷积的过程如图2所示。

Download:
图 2 卷积和反卷积 Fig. 2 convolution and deconvolution

图2(a)为卷积过程,特征图尺寸为5×5,卷积核大小为3×3,步长为2,填充为1,经过卷积计算,得到的输出特征为3×3。图2(b)为反卷积过程,输入特征图尺寸为2×2,卷积核大小3×3,步长为1,填充为2,计算得到的特征输出为4×4。依次推算,得出反卷积过程中特征图的输入输出关系:

${{o'}} = s(i' - 1) + k - 2p$ (1)

式中: $o'$ 为输出; ${i'}$ 为输入; $s$ 为步长; $k$ 为卷积核大小; $p$ 为填充。

浅层特征图未经过大量的卷积池化,分辨率较高。与一般目标检测相比,小目标因为尺寸小,其特征在浅层特征图上更能体现出来。针对这一特点,本文采用反卷积操作,增大特征图分辨率,以便更直观地反映小目标的特征。

2 反卷积与特征融合相结合的检测模型

针对 SSD 模型对小目标检测能力不足的问题,本文首先用反卷积增大负责检测小目标的特征层conv4_3的特征图,然后再对拥有丰富语义信息的特征层conv11_2得到的特征图进行上采样拼接到改进后的特征图nconv4_3上,最后与SSD模型固有的多尺度特征层进行像素直接加权和不同加权系数的特征融合。本文提出的反卷积和特征融合的SSD小目标检测模型如图3所示。

Download:
图 3 基于反卷积和特征融合的SSD小目标检测模型 Fig. 3 SSD small Target Detection Model based on deconvolution and feature Fusion

图3中虚框部分为反卷积特征区域放大模块,主要作用是通过反卷积放大conv4_3特征图分辨率,与上采样的conv11_2特征图拼接,得到新的特征层nconv4_3。SSD模型其他特征层为conv7、conv8_2、conv9_2和conv10_2,与nconv4_3进行不同加权系数的特征融合,最后进行对目标的定位检测并输出。

2.1 反卷积特征区域放大

SSD 的结构与图像金字塔类似,低层特征图分辨率高,拥有更详细的边缘信息,利于检测小目标,但是缺乏高层特征图所包含的语义信息。因此,本文提出了一种通过反卷积增大特征区域分辨率,拼接深层特征图的方法,图3中的反卷积特征区域放大模块,具体做法分为以下5个步骤:

1) 提取SSD模型中第1个负责检测小目标的特征层conv4_3的特征图,作为候选区域。

2) 反卷积操作作用与特征图conv4_3,增大其分辨率至输入图像尺寸,使得目标特征更加显著,根据第2.2节中反卷积的输入输出关系公式,SSD300模型将输入图像尺寸压缩至300×300,conv4_3得到的特征图尺寸为38×38,则设置卷积步长s=8,卷积核尺寸k=4,填充p=1。SSD512模型将输入图像尺寸设置为512×512,经过卷积层conv4_3后,特征图尺寸为64×64,则设置卷积步长s=8,卷积核尺寸k=8,填充p=0。经过反卷积作用特征图后,得到新的特征图deconv4_3。

3) 提取卷积层conv4_3的特征图的特征信息,特征映射到deconv4_3上,此处的特征映射包含特征图像素点的映射和感受野坐标的映射,首先将特征图conv4_3每个位置的像素映射到deconv4_3上,坐标映射公式如下:

$g(x,y) = f(h(x,y))$ (2)

式中: $(x,y)$ 表示像素的横纵坐标; $g$ 函数为目标特征图, $f$ 函数是待映射特征图, $h$ 函数表示映射方法。然后引用文献[4]中ROI映射到特征图的方法,实现感受野的坐标映射,如图4所示。

Download:
图 4 感受野坐标映射 Fig. 4 Receptive field coordinate mapping

图4表示特征图conv4_3与特征图deconv4_3之间的感受野坐标映射关系,p为中心点。将点p映射到deconv4_3中,坐标变化所采用的公式如下:

${p_i} = {u_i} \times {p_{i + 1}} + (({t_i} - 1)/2 - {\rm padding})$ (3)

式中: ${p_i}$ 为第 $i$ 层特征图上的中心点; ${u_i}$ ${t_i}$ 分别表示从第 $i$ +1层反卷积到第 $i$ 层的卷积步长和卷积核尺寸,padding为填充。

4) 将特征映射后的deconv4_3池化为固定尺寸。

5) 将卷积层conv11_2的特征图上采样,得到conv′11_2,其尺寸与池化后的deconv4_3相同。

6) 拼接池化后的deconv4_3与conv′11_2的特征图,形成新的检测特征层nconv4_3。

2.2 特征融合

根据高分辨的浅层特征图细节特征丰富,低分辨率的深层特征图上下文信息和语义信息丰富的特点,本文采用加权特征融合的方式,将SSD固有的多尺度特征图与第2.1节得到的新的特征图进行融合,增强图像特征信息,提高小目标检测的准确率。

加权融合是直接的图像融合方法,该方法实现简单,运算效率高,冗余信息少。目前的特征融合的方式多为直接相加,本文旨在提升小目标的检测效果,因此未直接采用相同权值加权,低层特征图拥有更多小目标的细节特征信息,因此本文在相同权值直接相加的基础之上,额外为5个不同尺度的特征图分配加权系数,经过多次调参实验,得到一组相对最优权值,分别为30%、20%、15%、15%、20%。特征向量的输出如式(4)所示:

$\begin{gathered} F=V+{{a}_{1}}v(n{\rm{conv}}4\_3)+{{a}_{2}}v({\rm{conv}}7)+\\ {{a}_{3}}v({\rm{conv}}8\_2)+{{a}_{4}}v({\rm{conv}}9\_2)+ {{a}_{5}}v({\rm{conv}}10\_2) \end{gathered} $ (4)

式中: $F$ 为特征输出; $V$ 为本文采用的5个尺度的特征图通过上采样直接加权融合得到特征信息; $v$ 为表示特征层的特征信息的函数, ${\alpha _{\rm{1}}}$ ${\alpha _{\rm{2}}}$ ${\alpha _{\rm{3}}}$ ${\alpha _{\rm{4}}}$ ${\alpha _{\rm{5}}}$ 为权重系数,值分别为0.3、0.2、0.15、0.15和0.2。为避免特征信息冗余,各个权重系数之和为1。

2.3 先验框尺度调整

SSD模型从卷积层中提取conv7、conv8_2、conv9_2、conv10_2,作为检测所用的特征图,融合第3.1节中改进后的nconv4_3层,共5个特征图,其大小分别是(38×38)、(19×19)、(10×10)、(5×5)、(3×3),不同特征图设置的先验框数目为9、6、6、6、6。先验框的尺度大小变化为线性变化,公式如下:

${s_k} = {s_{\min }} + \frac{{{s_{\max }} - {s_{\min }}}}{{m - 1}}(k - 1),k \in [1,m]$ (5)

式中: $m$ 指的特征图个数; ${s_k}$ 表示先验框尺寸相对原图片的比例; $s_{\min }$ $s_{\max }$ 表示比例的最小值与最大值。为了更好地检测小目标,本文将 $s_{\min }$ $s_{\max }$ 的值调整为0.1和0.9,这样有效避免了由于目标过小导致在训练阶段真实标签无法找到相应的先验框与之匹配的问题。

3 实验结果及分析 3.1 实验环境

本文实验所用的配置为:Linux操作系统Ubuntu16.04LT,选用intel(R)Core(TM)i7-8700的CPU,NVIDIA GeForce TX1080Ti的GPU,深度学习框架为Tensor flow。

3.2 实验数据集

为避免训练数据量不足造成的过拟合问题,本文选用PASCAL VOC和KITTI两个数据集上面做对比实验,首先在PASCAL VOC数据集中选voc2007+voc2012中的训练数据部分为训练集,在voc2007测试数据集上做测试。为验证本文模型的检测效果,与SSD、DSSD和文献[11]提出的RFB 3种算法作比较,分别在输入图像尺寸为300×300和521×512下进行对比实验。

其次,本文选取2012 2D Object Detection left color images of object data作为训练集和测试集。该数据集来自于KITTI车辆检测数据,包括各种道路场景中的车辆,而且也包括大量较小的目标车辆,为验证本文提出模型的检测效果,分别与SSD、DSSD和文献[12]提出的算法进行对比试验。

3.3 实验结果及对比

通过改进SSD模型,对加权特征融合权重参数调优,本文模型在VOC2007和VOC2012训练集上训练,在VOC 2007测试集上的平均mAP为82.6%,与SSD、DSSD和RFB Net分别对比,实验结果如表1所示。

表 1 VOC2007测试集检测结果对比 Tab.1 Comparison of Test results of VOC2007 test set

表1数据可知,在VOC2007数据集上测试,输入图像尺寸为300×300时,本文提出模型的mAP为81.4%,较SSD、DSSD和RFB Net分别提高3.7%、2.3%和0.4%。输入图像为512×512时,本文提出模型的mAP为82.6%,较SSD、DSSD和RFB Net分别提高2.8%、1.1%和0.4%。

本文提出的模型旨在提升小目标的检测准确率,VOC2007测试集中有21类不同大小的目标,本文选取其中6类具有代表性的小目标,检测准确率与SSD和DSSD对比,实验结果如表2所示。

表 2 VOC2007数据集中小目标检测的准确率 Tab.2 Mean average precision of small targets detection in VOC2007 test set

表2可知,输入图像尺寸为300×300时,本文提出的模型在6类小目标的平均检测准确率为68.0%,较SSD300和DSSD321模型分别提升2.2%和3.8%,其中buttle和bird的检测准确率提升较为显著。当输入图像尺寸为512×512时,在6类小目标的平均检测准确率为68.0%,较SSD512和DSSD513模型分别提升3.1%和1.7%。可见本文方法能有效检测小目标,对小目标检测的平均准确率有明显的提升。

为进一步验证本文提出的模型对小目标识别的准确率,选取2012 2D Object Detection left color images of object data数据集作为训练集和测试集。将数据集中的8类目标整合为3类,分别为行人、机动车辆、其他目标。实验结果如表3所示。

表 3 KITTI数据集测试结果对比 Tab.3 Comparison of test results of KITTI test set

文献[18]为吴天舒等提出的基于改进SSD的轻量化小目标检测模型。由表2对比可知,本文提出的模型在KITTI数据集上的mAP较SSD512、DSSD513、文献[18]模型分别提升了6.8%、1.6%和0.8%,效果显著,可见本文提出的模型对于小目标的识别效果较好。

4 结论

针对小目标的检测,本文提出了利用反卷积与特征融合的方法改进原有的SSD模型,对低层特征层进行反卷积增大分辨率,融合深层特征层提高小目标特征信息,然后进行多尺度特征融合,实验结果表明本文提出模型在整体的检测准确率较SSD、DSSD模型有明显提升,对小目标检测的准确率提升尤为显著。但是,由于反卷积操作增大了模型的计算量,使得检测速度大幅降低。优化网络结构,降低特征信息冗余将是之后的主要研究方向。

参考文献
[1] 杨会成, 朱文博, 童英. 基于车内外视觉信息的行人碰撞预警方法[J]. 智能系统学报, 2019, 14(4): 752-760.
YANG Huicheng, ZHU Wenbo, TONG Ying. Pedestrian collision warning system based on looking-in and looking-out visual information analysis[J]. CAAI transactions on intelligent systems, 2019, 14(4): 752-760. (0)
[2] 姚群力, 胡显, 雷宏. 深度卷积神经网络在目标检测中的研究进展[J]. 计算机工程与应用, 2018, 54(17): 1-9.
YAO Qunli, HU Xian, LEI Hong. Application of deep convolutional neural network in object detection[J]. Computer engineering and applications, 2018, 54(17): 1-9. DOI:10.3778/j.issn.1002-8331.1806-0377 (0)
[3] 龙敏, 佟越洋. 应用卷积神经网络的人脸活体检测算法研究[J]. 计算机科学与探索, 2018, 12(10): 1658-1670.
LONG Min, TONG Yueyang. Research on face liveness detection algorithm using convolutional neural network[J]. Journal of frontiers of computer science and technology, 2018, 12(10): 1658-1670. DOI:10.3778/j.issn.1673-9418.1801009 (0)
[4] 张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望[J]. 自动化学报, 2017, 43(8): 1289-1305.
ZHANG Hui, WANG Kunfeng, WANG Feiyue. Progress and prospect of application of deep learning in target vision detection[J]. Acta automatica sinica, 2017, 43(8): 1289-1305. (0)
[5] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 580−587. (0)
[6] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137-1149. DOI:10.1109/TPAMI.2016.2577031 (0)
[7] HE Kaiming, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN[C]//Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy, 2017: 2980−2988. (0)
[8] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherland, 2016: 21−37. (0)
[9] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 779-788. (0)
[10] FU Chengyang, LIU Wei, RANGA A, et al. DSSD: deconvolutional single shot detector[C]//Computer Vision and Pattern Recognition, 2017. (0)
[11] SINGH B, DAVIS L S. An analysis of scale invariance in object detection-SNIP[C]//Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018. (0)
[12] BODLA N, SINGH B, CHELLAPPA R, et al. Soft-NMS-improving object detection with one line of code[C]//Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy, 2017: 5562−5570. (0)
[13] LIU Songtao, HUANG Di, WANG Yunhong. Receptive field block net for accurate and fast object detection[C]//Proceedings of ECCV2018, 2018 (0)
[14] KIM S W, KOOK H K, SUN J Y, et al. Parallel feature pyramid network for object detection[C]//Proceedings of the 15th European Conference on Computer Vision-ECCV 2018. Munich, Germany, 2018: 239−256. (0)
[15] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(9): 1904-1916. DOI:10.1109/TPAMI.2015.2389824 (0)
[16] ZHU Chenchen, HE Yihui, SAVVIDES M. Feature selective anchor-free module for single-shot object detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2019. (0)
[17] 郭川磊, 何嘉. 基于转置卷积操作改进的单阶段多边框目标检测方法[J]. 计算机应用, 2018, 38(10): 2833-2838.
GUO Chuanlei, HE Jia. Improved single shot multibox detector based on the transposed convolution[J]. Journal of computer applications, 2018, 38(10): 2833-2838. (0)
[18] 吴天舒, 张志佳, 刘云鹏, 等. 基于改进SSD的轻量化小目标检测算法[J]. 红外与激光工程, 2018, 47(7): 0703005.
WU Tianshu, ZHANG Zhijia, LIU Yunpeng, et al. A lightweight small object detection algorithm based on improved SSD[J]. Infrared and laser engineering, 2018, 47(7): 0703005. (0)