Research progress of mobile phone surface defect detection based on machine vision
-
摘要: 智能手机在现代人们的学习、工作与生活中扮演着十分重要的角色，手机的大批量生产给手机表面(手机屏幕玻璃盖板、手机外壳)缺陷检测工作提出了更高的要求，而基于机器视觉的检测方式能够更加快速准确地实现对手机表面缺陷的检测。以该领域面临的挑战为思路，总结了近10年来基于机器视觉的手机表面缺陷检测的研究进展。首先列举了手机表面存在的典型缺陷，并分析了机器视觉应用于手机表面缺陷检测工作中面临的部分难题，其中包括算法的精度、实时性、鲁棒性3个方面；然后分别针对上述问题的改进方法进行了分析与对比；进一步总结了目前可供使用的手机表面缺陷数据集及算法的性能评价指标；最后根据手机表面缺陷检测领域面临的问题进行了总结与展望。Abstract: Nowadays, smartphones play an important role in our learning, working, and daily lives. Mass production of smartphones has raised higher requirements for defect detection on the phone surface, including the glass cover and phone shell. Machine vision-based detection methods can achieve faster and more accurate detection of surface defects on smartphones. Taking the challenge in this field as a guide, this paper concludes the research progress of machine vision-based smartphone surface defect detection over the past decade. First, typical defects on the phone surface are listed, and some challenges faced by machine vision in smartphone surface defect detection are analyzed, including algorithm accuracy, real-time performance, and robustness. Then, improvement methods for the above problems are analyzed and compared. In addition, available datasets for smartphone surface defect detection and performance evaluation metrics for algorithms are summarized. Finally, a summary and outlook are provided based on the challenges faced in the field of smartphone surface defect detection.
-
手机是现代人们在学习、工作和生活中必不可少的物品，手机生产的需求量也日益增大。同时，买家对手机质量的要求也随着时代的进步而提高。对于每一个手机生产厂家来说，手机表面缺陷的检测是极为重要的一个环节。手机缺陷检测质量的高低在一定程度上会影响到使用者对于品牌的信任度，从而影响整个企业的生存与发展。然而，目前大部分厂家使用的手机缺陷检测方式还停留在传统的人工检测阶段，不仅检测效率较低、漏检率较高，长时间地用眼还会对工人的视力造成损伤，因此一部分企业开始寻求由人工检测向机器检测方式的转变。利用机器视觉替代人眼进行手机的缺陷检测不仅可以减少雇佣工人部分的开销，降低生产成本，还可以提高检测效率与准确度，促进产能的提升[1-2]。
目前，利用机器视觉进行缺陷检测的方式可以分为基于传统算法的缺陷检测、基于深度学习的缺陷检测两类[3]。机器视觉的应用给手机表面缺陷检测工作带来了很大的便利，同时也对这项工作提出了更高的要求。众所周知，机器视觉在解放人眼的同时还可以提升缺陷检测的精度，但精度的提升意味着算法需要更多的计算时间，为了满足生产线中实时检测的需求，利用机器视觉进行缺陷检测时还需要格外注重算法的效率；其次，手机表面包含的玻璃盖板与外壳中的纹理噪声具有一定的反光性及透明性，所以复杂背景也会给基于机器视觉的缺陷检测带来干扰；除此之外，在使用人眼检测的过程中，人眼只会关注手机表面的缺陷部分，不同型号的手机外观不会对缺陷检测造成干扰，但这会给机器视觉造成困扰，因而如何使单个算法实现对多类型号手机的缺陷检测也是这项工作其中一个亟需解决的难题。
鉴于上述分析，基于机器视觉的手机表面缺陷检测工作面临着诸多挑战，已经有不少研究人员开始重视这项工作，其中国内许多高校的硕博士研究生的学位论文也选择了这一主题。文献[4]于2021年综述了针对手机玻璃显示屏、印刷电路板(printed circuit board，PCB)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFT-LCD)等3C (computer，communication，consumer electronics)产品的缺陷检测算法，文献[5-6]分别于2020年、2021年综述了基于机器视觉的玻璃制品以及触摸屏、玻璃盖板、LCD等3C透明件的缺陷检测算法。但是以上综述缺少基于传统机器学习的缺陷检测算法。文献[7]从传统机器学习与深度学习两个角度对手机屏幕缺陷检测算法进行了综述，但是总结的算法不够全面。此外，上述文献均没有提到针对手机外壳缺陷的检测算法，而近几年手机表面缺陷检测领域出现了一些前沿算法也有待总结。与以上综述完全不同的是，本文从算法的检测精度、实时性、鲁棒性3个角度展开并对其进行分析。综上，目前还没有比较全面系统的综述对手机表面缺陷检测算法进行总结归纳。为了填补该问题的空白，本文综述了近10年来针对手机屏幕玻璃盖板和手机外壳两部分的缺陷检测算法，其中包含传统缺陷检测方法和基于深度学习的缺陷检测方法，并基于手机表面缺陷检测工作面临的挑战对算法进行分类，针对不同算法进行了逻辑间的关系梳理。此外，本文整理了现有的手机表面缺陷数据集供读者研究使用。
1. 手机表面缺陷及缺陷检测工作面临的挑战
1.1 手机表面典型缺陷
手机表面缺陷可以根据其形状分为点、线、块状缺陷，其中对比度较低、边缘模糊的缺陷又被称为Mura缺陷，这些缺陷通常出现在手机表面的内部；在玻璃盖板边缘容易出现崩边、裂缝缺陷。常见的点状缺陷包括细小脏污、凹坑、麻点等，其较小的尺寸往往会造成算法的漏检，还容易使算法在噪声与点缺陷之间产生混淆，影响检测精度；划痕、毛丝和擦伤是常见的线状缺陷，这类缺陷尺寸较大，形状特点明显，容易被算法识别，但也存在尺寸深度较小的划痕缺陷使算法产生漏检问题；块状缺陷主要包括较大面积的脏污，可能是水渍、油污或墨渍，这类缺陷形状不规则，同一块脏污内部可能还会存在较小距离的间隔，这也给缺陷检测带来一定的挑战，但值得一提的是，一部分研究并没有将脏污定义为缺陷，因为其可以通过二次清洁的方式进行去除；崩边、裂缝缺陷因位于检测对象边缘通常需要设计专门的算法进行检测，这在一定程度上会影响手机表面整体检测的效率；手机表面具备的透明性、反光性使得手机表面的大部分缺陷呈现出低对比度特征，由于对比度低、边缘模糊，不仅人眼难以识别出Mura缺陷，这也是机器视觉应用在缺陷检测中需要解决的其中一个难题。图1给出了手机表面缺陷类型的示例。
1.2 手机表面缺陷检测面临的挑战
手机表面缺陷检测面临的挑战如图2所示，有3个挑战。
下载:
全尺寸图片
1)高精度检测
利用机器视觉替代人眼进行缺陷检测的其中一个原因是提升缺陷检测的准确度。人工检测会由于主观性较强、人眼容易疲劳等原因导致缺陷的漏检、过检等问题。机器视觉的应用不仅给缺陷检测提供了一个统一的标准，还可以实现对缺陷的分类。然而，手机表面的缺陷类型复杂多样，使用传统的缺陷检测方式也许不能达到对某些缺陷的检测要求。随着对机器视觉研究的深入，研究人员提出了越来越多的优化算法，对于缺陷检测算法性能的要求也随之提高。综上，提升缺陷检测算法的检测精度是手机表面缺陷检测工作亟需解决的难题之一。
2)实时性检测
大多数手机表面缺陷检测算法是针对实际生产任务设计的，需要满足实际场景下的检测要求。较长的检测时间会降低生产线检测的效率。此外，随着深度学习技术的发展，更多的研究开始倾向于使用基于深度学习的方式解决实际问题，但网络结构的加深会导致计算效率的降低，因此如何平衡检测的精度与效率也是使用深度学习技术进行检测时需要格外注意的。
3)算法鲁棒性提升
鲁棒性是指算法在面对复杂多变的情况下能否保持良好的性能和稳定性的能力。在手机表面缺陷检测任务中，这类干扰主要来自外壳中的复杂纹理、手机品牌及型号的变化和手机图像背景干扰。
目前，市面上存在着多种手机品牌，每个品牌包含多种手机型号，但大多数算法都是基于某一特定的手机型号进行检测，并不能保证算法可以实现对多种型号手机都保持较高的检测性能；其次，根据手机品牌的不同，手机外壳的纹理呈现出多变的特性，这些纹理的存在也会给缺陷的检测工作带来困难；此外，手机玻璃盖板与外壳的材质都具有一定的反光性，样本图像在采集的过程中会遇到光照不均匀等问题，这导致部分采集图像背景的灰度分布是不均匀的。因此，在背景复杂、手机类型多样化的情况下如何保持算法的稳定性也是这项工作需要重点关注的问题。
2. 针对不同问题进行改进的手机表面缺陷检测算法
2.1 针对缺陷检测精度问题的改进算法
通常，算法的缺陷检测能力取决于缺陷分割精度、所提取的缺陷特征以及分类器的选择3个方面。精准的缺陷分割是提取具有区分性缺陷特征的前提，特征提取的质量与缺陷特征的选择对缺陷检测的性能至关重要。此外，手机表面某些特定缺陷存在难检测问题，它们的存在也会影响算法的整体检测精度。下面将对手机表面缺陷检测算法按照基于缺陷分割的改进、基于特征提取的改进以及针对特定缺陷的检测算法3个方面展开阐述。
2.1.1 基于缺陷分割的改进算法
在手机表面缺陷检测工作中，常见的传统缺陷分割算法包括边缘检测算法、阈值分割算法以及基于聚类的缺陷分割算法。通常情况下，单一的分割算法难以应对复杂的手机表面。此外，由于手机表面存在外壳纹理等噪声，放大了手机表面缺陷分割中的伪边缘问题[16]，这一问题可以通过结合区域生长法[17]、自适应阈值[18]得到改善。基于聚类的分割算法往往会因为聚类中心的选择影响聚类的结果，同时聚类产生的噪声点会与手机表面的点状缺陷产生混淆，影响聚类算法在手机表面缺陷分割中的应用性能。文献[19]提出基于空间关系和隶属度修正的集成模糊C均值聚类(integrated fuzzy C-means, IFCM)算法，结合手机表面图像的灰度与空间信息，提高算法在有噪情况下手机表面缺陷分割的性能。
然而，传统算法的分割精度是有限的，为了实现工业中更高的精度要求，出现了利用深度学习方法对手机表面缺陷进行分割的网络。文献[20]提出PU-Faster R-CNN(PU-faster region-based convolutional neural networks)，在Faster R-CNN[21]的基础上结合U-Net[22]设计了多层特征增强模块实现缺陷的增强，并引入特征金字塔网络[23](feature pyramid network，FPN)结构融合高层与底层特征，最后利用自迭代聚类算法实现锚框的自适应生成。为了使算法能够分割更多类型的手机表面缺陷，文献[24]提出带区域生成网络(region proposal network, RPN)的全卷积网络FCN-RPNet，网络由候选框生成网络与反卷积网络两个分支组成，前者对后者生成的分割图进行修正，以达到更高的缺陷分割精度。上述的3种方式遵循了先分割后分类的思想，但是通用的语义分割网络存在着难以同时面对有缺陷、无缺陷图像进行分割的问题，而工业现场采集到的手机表面图像大部分为无缺陷图像，只有较少的图像存在缺陷，为了适应实际的工业检测场景，文献[25]利用先分类后分割的检测思想，先通过分类网络判断缺陷是否存在，针对有缺陷的图像，通过引入注意力机制的U-Net（Attention U-Net）进行缺陷分割，注意力机制的加入改善了分割时点状缺陷占比较小带来的样本不均衡问题。表1给出了以上改进分割网络的优势、局限性及其性能评估结果。
表 1 改进分割网络的优势、局限性及其性能评估结果Table 1 Advantage, limitation and performance evaluation results of the improved segmentation network文献 网络名称 优势 局限性 性能评估(比较对象−指标−优化百分比) [20] PU-Faster R-CNN 提升对小目标的检测能力 不能很好应对数据集
复杂的情况Faster R-CNN-mAP-36.7%
YOLO(you only look once)v3[26]-mAP-36.7%
YOLOv4[27]-mAP-12%
SSD[28]-mAP-24.2%[24] FCN-RPNet 针对的缺陷类型较多 不能对缺陷进行分类 DeepLabv3[29]-mIoU-7.5%
DeepLabv3-mAP-6.5%[25] Attention U-Net 提升了小目标缺陷的分割精度 速度较慢 U-Net-IoU-3.5% 手机表面缺陷的分割算法可以分为基于边缘检测、阈值分割、聚类以及深度学习的改进算法。通常，传统的分割算法难以避免由采集图像中存在纹理背景等噪声以及手机轮廓带来的伪边缘问题。并且，手机表面的低对比度缺陷也难以通过通用分割算法实现精准分割。常见的解决方法包括对图像进行预处理，抑制纹理背景干扰提升缺陷对比度；在分割过程中将传统算法结合自适应阈值、聚类中心优化等方式进行改善；对于深度学习中的分割网络，通过多种网络的结合互补或为单一网络引入特征融合方式或注意力机制的方式能够使其更适用于分割手机表面的微小、低对比度缺陷。
2.1.2 基于特征提取的改进算法
算法对缺陷特征的提取能力与缺陷特征类型的选择是决定算法性能的重要因素。手机表面缺陷的特征提取可以分为基于传统方式和深度学习两种。
1)基于传统方式的特征提取
手机表面的缺陷类型可以粗略地分为点状、线状、块状缺陷，3类缺陷的几何特征有着很大的区别，因而几何特征是最直观的区分依据，如缺陷的面积、周长、矩形度等[30]，但这种方式往往不能达到较高的精度，还需要表征能力更强的特征对缺陷进行描述[31]，如缺陷的方向梯度直方图特征(histogram of oriented gradients, HOG)、局部二进制模式特征(local binary pattern, LBP)、局部Gabor特征等[32-35]。文献[36]提出基于主成分分析的缺陷自动检测系统，为缺陷建立“特征缺陷矩阵”，并通过特征缺陷扩展得到了等效缺陷空间，在检测过程中只需要在空间中找到缺陷样本的等效缺陷便可以完成对缺陷的分类，等效缺陷空间的提出可以实现算法对多种类型缺陷的检测。这些特征可以较好地表征手机表面的二维缺陷，但在实际的手机表面存在某些有凹陷或者凸起的缺陷，二维特征往往不能对这类缺陷进行很好的描述。针对二维特征的局限性，文献[37]利用凹凸性测量提取缺陷的三维特征，将手机表面的点状缺陷细分为凹凸点、点状附着物；将手机表面的线状缺陷进一步划分为划伤、线状污迹，实现了手机金属外壳中缺陷的更精细化分类。但是，三维特征的提取对硬件拍摄设备的要求较高。
2)基于深度学习的特征提取
传统特征对缺陷的描述能力有限，随着深度学习技术的发展，研究人员发现，利用CNN提取的缺陷特征具有更强的表征能力[38-41]。文献[42]提出基于空间金字塔池化的CNN与极限学习机的手机外壳缺陷检测算法(SCNN-ELM)，CNN的引入不仅实现了算法对特征的自动提取，还使得提取到的特征可以更好地描述存在于外壳纹理中的缺陷。对手机表面不同尺寸的缺陷，基于多尺度的CNN可以有效地提取它们的特征[43]。由此可见，利用CNN提取缺陷特征可以显著地提升缺陷检测算法的性能。在手机表面缺陷检测任务中，常见的提升网络特征提取能力的方式有基于FPN结构的特征融合和引入注意力机制两种。
ⓐ基于FPN结构的特征融合
引入特征融合结构能够提升网络对小目标、低对比度缺陷的特征提取能力。文献[44]为U-Net的特征提取、特征增强结构引入金字塔池化模块，实现了4个尺度上的特征融合。文献[45]将引入FPN结构的ResNet101[46]作为改进后Faster R-CNN的特征提取网络，但采集图像中缺陷部分占比小，通过FPN结构进行融合的特征很大一部分是冗余的背景图像，使得模型的计算成本变高，还会带来过拟合等问题。为了避免背景冗余特征增加网络的计算量，文献[47]提出特征回溯网络结构并将其嵌入SSD(single shot multibox detector)中得到BT-SSD网络，其为FPN引入回溯判断层，使网络进行有选择地上采样，有针对性地提取缺陷的特征，更适合应用于手机表面的缺陷检测任务中。同样地，为兼顾工业现场检测的实时性与检测精度，文献[48]设计了EDD-Net（efficient defect detection network），模型将EfficientNet作为主干网络，并基于FPN结构，结合全局上下文以及空间注意力模块提出了改进的特征金字塔网络GCSA-BiFPN（bi-directional feature pyramid network），提升模型对小目标、低对比度缺陷的检测能力。然而，FPN中的上下采样操作会导致部分缺陷特征的丢失，文献[49]通过深层、浅层特征的双向融合模块，避免下采样带来的语义丢失，解决了特征信息丢失的问题。表2对比了以上利用FPN提升缺陷检测精度的网络，并给出了各种模型的性能评估结果。
表 2 基于FPN的网络及性能评估结果Table 2 Performance evaluation results of the networks based on FPN文献 网络名称 优势 局限性 性能评估(比较对象−指
标−优化百分比)[44] U-P-Net 实现缺陷4个尺度上
的特征融合不能实现单张图像多缺陷分割 U-Net-mAP-4.89%
U-Net-mIoU-5.49%[47] BT-SSD 降低了FPN的计算成本 检测精度有待提升 SSD-mAP-15% [48] EDD-Net 同时兼顾了实时性
与检测精度只针对手机屏幕中的油渍缺陷
进行了验证YOLOv3-mAP-51.9%
Faster R-CNN-mAP-33.06%[49] 端到端多任务
学习网络端到端 不能对缺陷进行分类 U-Net-mIoU-1.8%
YOLOv3-准确度-0.6%ⓑ注意力机制
与FPN结构不同的是，注意力机制（attention mechanism，AM）能够使模型专注于有价值的特征信息，削弱无效信息对模型检测结果的影响。常见的注意力机制有基于通道的注意力机制和基于空间的注意力机制。通道注意力机制使模型专注于有效的缺陷特征，以此改善手机外壳纹理的干扰。文献[50]以ResNet34为主干网络，引入通道注意力机制使主干网络提取到的特征拥有更强的表征能力。文献[51]提出基于分层多频的通道注意力网络HMFCA-Net（hierarchical multi-frequency based channel attention net)，利用多频信息和局部通道交互的注意力机制增强缺陷部分的特征。文献[52]借鉴了通道注意力机制的思想，在DarkNet的基础上设计了多通道的手机玻璃盖板缺陷分类模块4-DarkNet，4个通道的特征通过训练后的权重进行融合。以上方法专注于手机表面缺陷的分类任务，因而只考虑了通道注意力机制，而空间注意力机制可以使模型专注于特征图中对检测任务有利的位置信息，在一定程度上可以避免手机背景区域对检测结果的干扰，提升模型对缺陷位置的检测准确度。文献[53]为YOLOv5x引入卷积注意力模块[54](convolutional block attention module, CBAM)，CBAM结合了通道注意力机制与空间注意力机制，使模型更适用于手机表面缺陷的分类与检测任务。除了在特征提取层面对模型进行改善，通过关注缺陷之间特征的相似性，注意力机制还可以起到缓解手机表面缺陷检测任务中缺陷样本较少导致的小样本问题。文献[55]提出注意力−关系网络(Attention-relation Network)，网络利用空间注意力和通道注意力机制关注缺陷之间的相似性。更多地，文献[56]基于编码器−解码器结构提出基于协同注意力的小样本手机屏幕缺陷分割网络Co-ASNet，并为编码器引入交叉注意力与协同注意力模块提升网络对屏幕缺陷的特征提取能力，以上方式均是利用注意力机制加强少量缺陷样本之间的比较，抑制手机表面无效背景的干扰，提升对少量缺陷样本的使用率。表3比较了以上利用AM提升检测精度的网络，并给出了不同模型的性能评估结果。
表 3 基于AM的网络及性能评估结果Table 3 Performance evaluation results of the networks based on AM文献 网络名称 优势 局限性 性能评估(比较对象−指标−优化百分比) [51] HMFCA-Net 可以实现缺陷的定位与分类 可检测的缺陷类型较少 EDD-Net-AP-3.44%
Faster R-CNN-AP-0.95%[52] 4-DarkNet 实时性较强 过检率较高 DarkNet-准确度-16.68%
DenseNet[57]-准确度-10.14%[53] CBAM-YOLOv5x 适用于检测微小缺陷 划痕类缺陷的AP较低 SDD-mAP-25.3%
Faster R-CNN-mAP-15.2%
YOLOv3-mAP-16%
YOLOv5x-mAP-11.5%[55] Attention-relation Network 适用于小样本学习 不能对缺陷进行定位 Relation Net[58]-准确度-5.41% [56] Co-ASNet 适用于小样本学习 不能对缺陷进行分类 U-Net-mIoU-16.96% 手机表面缺陷目标较小、冗余的手机背景信息占比较大，通用的表面缺陷检测算法不能直接应用于该问题中。通常可以使用特征融合结构增强网络浅层特征与深层特征的融合，改善网络对微小缺陷的检测能力；对于特征提取过程中的冗余信息，通道注意力机制与空间注意力机制分别可以使网络关注缺陷的有效特征信息以及缺陷的位置分布，此外，注意力机制还可以通过加强缺陷之间的关联程度改善手机表面缺陷样本较少的问题。
2.1.3 针对特定缺陷的检测算法
在手机表面的众多缺陷类型中，存在着一些难以用通用算法检测的缺陷，比如凹坑类缺陷、屏幕崩边缺陷、交叉型划痕缺陷等，因而需要根据它们的特征设计有针对性的算法。
手机外壳的纹理是造成凹坑缺陷难检测的主要原因。“滤波+检测”是研究人员常用的检测外壳中凹坑类缺陷的方式[59]。其次，凹坑类缺陷灰度不均匀、对比度低的特性也是造成其难检测的原因。针对这类问题，使用神经网络提取其特征是有效解决方式。文献[60]搭建基于DenseNet-121结构的快速凹痕检测模型，检测精度达99%以上。
手机表面的崩边缺陷位于手机的外轮廓处，特定型号的轮廓形状是确定的，因此利用先验知识结合拟合算法是常用的崩边缺陷检测方法[61-62]。但这种方式对手机图像预处理的要求较高，工业现场采集到的手机屏幕图像分辨率普遍较高，因此在实际的工厂检测环境下，对手机表面图像进行预处理较为困难。通过手机图像边缘的K余弦值的变化可以在检测样本质量不高的情况下实现对手机表面崩边缺陷的检测[63]。
手机表面的划痕类缺陷包括但不限于交叉型、直线型划痕。同时，玻璃盖板的透明性和外壳纹理的存在会导致较浅的划痕漏检、较深的划痕被当作外壳纹理等问题，这都增加了通用表面划痕缺陷检测算法在该问题中的应用难度。文献[64]提出双模块的屏幕划痕检测思想，结合LeNet[65]的结构与VGG16[66]的卷积层设计了专门用于检测小尺寸划痕缺陷的ScratchNet。文献[67]结合YOLOv3与U-Net实现手机屏幕中的缺陷分割，实验结果显示，该算法可以检测到25~100 μm的微小划痕。然而，经典的U-Net是针对医学图像分割问题提出的，直接将其应用于目标尺寸较小、对比度较低的手机表面缺陷检测任务中易产生漏检、过检问题，为了加强U-Net在手机表面缺陷分割中的适用性，文献[68]提出先分类后分割的轻微划痕检测方法，首先使用结合残差块的分类网络判断图像是否存在缺陷，针对有缺陷的图像再输入融合了注意力机制的U-Net实现轻微划痕的分割，实验结果证明，该方法优于U-Net单独使用时的分割效果，缺陷检测准确率可达99.7%。上述几种算法能够以较高的精度完成对划痕缺陷的检测，但很难应对划痕出现在屏幕边缘的情况，文献[8]将旋转区域生成网络(rotation region proposal networks, R-RPN)嵌入Faster R-CNN中，为区域框的生成增加角度信息，并引入Gabor卷积层与FPN结构，减少特征提取过程中背景产生的冗余信息，有效改善了划痕出现在屏幕边缘时的难检测问题。表4给出了针对划痕缺陷的检测方法的优势、局限性及其性能评估结果。
表 4 针对划痕缺陷的检测方法Table 4 Detection methods for scratch defects文献 具体方法 优势 局限性 性能评估(比较对象−指标−优化百分比) [64] ScratchNet 速度较快；可实现对小尺寸划痕的检测 过检率较高 随机森林[69]-准确度-12.46%
决策树−准确度-25.83%
LeNet-准确度-0.38%[67] YOLOv3+U-Net 可实现对25~100 μm的微小划痕的检测 训练过程耗时 SSD-mAP-16.66% [68] 分类网络+Attention U-Net 改善了轻微划痕检测的漏检、过检问题 速度较慢 U-Net-准确度-0.6%
U-Net-mIoU-22.3%[8] 改进的Faster R-CNN 可以检测到屏幕边缘的缺陷、可以生成
带有角度的检测框、鲁棒性强速度较慢 VGG-mAP-3%
ResNet-mAP-1.25%凹坑、崩边、多类型划痕是手机表面缺陷检测中难以直接进行检测的3类缺陷。针对凹坑目标小、对比度低的问题，通常考虑结合图像的预处理算法防止其与外壳纹理的混淆；利用特定手机型号的轮廓先验知识结合拟合算法是手机表面崩边缺陷常用的检测方式；多类型划痕在分割过程中需要满足更小的尺寸要求，使用先分类后分割的思想可以改善经典分割网络产生的漏检问题。
2.2 针对缺陷检测实时性问题的改进算法
手机表面缺陷检测算法最终要应用于实际检测场景中，算法不仅要满足精度的要求，能否实现快速检测也是其中一个需要重点关注的问题。基于深度学习技术的缺陷检测算法虽然可以达到较高的精度，但网络中庞大的网络参数带来了计算量大、检测耗时的问题[70]。常见的改进思路可以分为轻量化主干网络、使用轻量化模块和引入注意力机制3类。
2.2.1 轻量化主干网络
为模型使用一个轻量化主干网络是快速减少模型参数量的方式之一。文献[71-72]在GooLeNet[73]的基础上搭建了轻量化网络，极大地减少了网络的参数量。文献[74]借鉴YOLOv3-tiny的网络结构，减少YOLOv3主干网络至7层，并利用K均值聚类算法生成初始锚框，提升回归速度，同时利用通道剪枝算法裁剪冗余的卷积通道，进一步对网络结构进行轻量化处理，实验结果表明，改进后的YOLOv3网络的检测速度得到大幅提升。轻量化网络结构虽然可以快速提升模型的检测速度，但在一定程度上会降低模型的特征提取能力，进而影响整体的检测性能。文献[12]基于U-Net结构提出轻量化的EU-Net，将原网络编码器部分替换为轻量化的EfficientNet-B0结构，并利用MBconv Block模块对解码器部分进行修改，以减少网络参数，同时删除掉原网络中编码器与解码器之间的裁剪操作，避免特征信息的丢失，实验结果表明，在网络参数更少的情况下，EU-Net的分割能力优于多种语义分割方式。
2.2.2 轻量化模块
除了轻量化主干网络外，使用轻量化模块替代原模型中参数量较多的模块也是常见的改进方式。文献[75]利用深度可分离卷积替代普通卷积层，通过SSD多级输出结构完成对YOLOv3网络的改进，但是网络难以检测出手机表面的微小缺陷。文献[76]在YOLOv4网络的基础上采用MobileNetv3作为其主干，并使用SPPF(spatial pyramid pooling-fast)模块替代原SPP(spatial pyramid pooling)模块，进一步提升网络的检测速度。除了直接使用轻量化模块外，参考轻量化网络的结构对原模型模块进行轻量化改进也是常见的轻量化改进方式。文献[77]参考MobileNetv2网络中的倒置残差结构，将其引入DenseNet结构中为每个Dense Block的输出进行降维，降低网络在检测过程中的计算量进而提升计算效率。
2.2.3 注意力机制
不同于使用轻量化主干网络及轻量化模块——通过缩减模型结构或参数的方式，注意力机制通过为模型添加模块的方式提升模型的泛化性进而实现更高效的检测。此外，注意力机制的引入可以使模型专注于对缺陷检测有效的特征部分，避免冗余信息降低模型的检测效率，还可以起到提升检测精度的作用[78]。文献[16]利用MobileNetV2[79]轻量化YOLOv5网络的主干，并将CBAM引入网络的卷积层，使网络专注于对微小缺陷描述能力更强的特征，减轻手机复杂背景的干扰。文献[80]提出具有合并拆分策略的缺陷检测网络MSDDN用于实现对不同尺寸、形状缺陷的并行检测，其中自比较驱动网络SCN关注缺陷所在的位置，避免网络对无缺陷区域提取多余的特征，以此实现快速检测。表5给出了上述改进网络的优势、局限性及其性能评估结果。
表 5 实时性问题改进中的深度学习网络Table 5 Deep learning networks in real-time problem improvement文献 网络名称 优势 局限性 性能评估(比较对象−指
标−优化百分比)[74] 改进的YOLOv3 减少网络参数量；
精度较高无法识别缺陷类型 YOLOv3-参数量-67.44% [12] EU-Net 减少网络参数量；
精度较高；训练只需要30 张图像测试集只有37个样本，缺陷
类型只有划痕与气泡U-Net-浮点运算数-99.41%
Attention U-Net-浮点运算数-99.65%
SegNet[81]-浮点运算数-99.41%[75] 改进的YOLOv3 检测速度快 对微小缺陷的检测能力较差 YOLOv3-检测速度-15.43%
YOLOv3-参数量-18.6%[76] 改进的YOLOv4 检测精度与速度均有提高 检测的缺陷类型有限 YOLOv3-mAP-2.39%
YOLOv3-检测速度-17.32%
YOLOv4-mAP-1.23%
YOLOv4-检测速度-25.22%[77] 改进的DenseNet 减少网络计算量；精度较高 无法识别缺陷类型 ResNet-mAP-7.31%
ResNet-检测速度-25.87%
DenseNet-mAP-4.01%
DenseNet-检测速度-22.40%[78] 改进的YOLOv3 检测精度与速度均有提高 检测的缺陷类型有限 Faster R-CNN-检测速度-176.28%
Faster R-CNN-mAP-6.8%
YOLOv3-检测速度-19.78%
YOLOv3-mAP-3%
YOLOv4-检测速度-12.83%
YOLOv4-mAP-0.8%[80] MSDDN+SCN 实现对不同尺寸缺陷并行检测；
通过参数调整可实现模型的压缩精度有待提升 调参后的MSDDN-1较原模型
检测速度提升13.21%手机图像分辨率较高、网络较深、参数量较大是降低基于深度学习的检测算法速度的主要原因，为兼顾检测的精度与实时性，使用轻量化主干网络进行特征提取或选择合适的注意力机制能够减轻冗余信息对网络造成的负担。但轻量化的主干网络会在一定程度上降低模型的特征提取能力，研究中通常将二者搭配使用。
2.3 针对缺陷检测鲁棒性问题的改进算法
鲁棒性是指算法对各种干扰和变化的适应能力。在手机表面缺陷检测问题中，这些干扰主要来自手机表面的复杂背景、图像背景干扰两方面。其中，手机外壳中的纹理与手机品牌、型号的多样化是造成复杂背景问题的主要原因；图像背景干扰多由手机表面材质的反光性造成。
2.3.1 基于传统方法的检测算法
1)复杂背景问题
当检测对象的手机品牌、型号确定时，使用差分法进行手机背景消除是可行的[82-83]。但差分法对模板的选取有较高的要求，难以适应复杂的检测场景。相反，阈值分割法不需要选取模板，但传统的阈值分割法的分割结果通常含有大量的噪声，使得通用的阈值分割无法直接应用于手机表面缺陷检测任务中。通常，利用熵值求取到的阈值在手机表面缺陷检测任务中的效果更好[37,84]，但当熵值为负时依然无法有效得到合适检测任务的分割阈值。此外，使用多标准(如面积、灰度、对比度等)对阈值进行求取是排除外壳中噪声干扰的常用方式[85-87]，但需要注意的是，选择不同的标准求取阈值得到的算法分割性能会有较大的差异。
根据不同型号手机外壳材质的不同，文献[88]利用不同光源下的手机外壳图像结合灰度统计分析对外壳类型进行初步判断，并分别设计了检测算法用于不同类型手机外壳的缺陷检测，但其效率较低。手机背景、规则外壳纹理与缺陷在频域下分别表现为低频、高频的特性，样本中难以辨别的纹理与缺陷在变换域下得以区分。在手机表面缺陷检测任务中，小波变换[89]、傅里叶变换[11]是研究人员常用的变换域方式，这些方式对纹理类型有较强的针对性，很难实现多纹理之间的通用性。文献[90]提出一种同态滤波与LC(local contrast)显著性检测相结合的缺陷检测算法，利用同态滤波改善光照不均的影响，接着通过LC显著性检测算法提升缺陷在背景纹理下的显著特性，保留其边缘细节，最后结合SVM对缺陷进行分类，该算法适用于多种不同纹理的外壳，鲁棒性较强。
2)手机图像背景干扰
手机表面的反光具有不确定性，通用的模板匹配算法不能直接应用于解决手机图像背景干扰问题中。针对这一问题，使用多样本的统计平均[91]、单样本局部自建模[92]或对单样本使用滑动窗口[93]的方式可以改善手机表面反光带来的影响。手机表面的反光在样本中体现为样本某局部范围内像素灰度值相似度较高，基于这一特性，文献[94]设计了一种邻域差分过滤器(neighboring difference filter, NDF)，并提出一组没有信息冗余的特征组合结合随机森林算法完成了手机表面缺陷的分类。此外，使用图像重建思想也是改善图像背景干扰的常用方式。图像重建是将手机表面缺陷检测问题转化为待测图像是否可以用特征字典进行稀疏表示的问题。文献[95]利用不同光照情况下无缺陷手机表面图像的Gabor特征建立稀疏字典，旨在改善反光材质的玻璃盖板、外壳对检测的影响。
基于差分法的背景消除适用于手机品牌、型号确定的检测任务，鲁棒性较差。确定模板的过程中容易受到光照的影响，可以通过单张图像局部重建的方式进行改善；基于阈值分割的背景消除对手机品牌、型号不作特定的要求，通用性较强，但同样容易受到因反光、外壳纹理的影响，通过多阈值的缺陷合理性判断可以改善其带来的影响；基于变换域的背景消除适用于手机表面的微小、低对比度缺陷的检测任务，但难以对不规则分布的噪声点进行消除；基于稀疏表示的图像重建可以根据外壳纹理、光照不均等问题有针对性地建立字典，易于灵活解决手机表面缺陷检测中的多种难题，但是字典的建立过程需要大量的数据样本作为支撑，难以在手机表面缺陷检测任务中推广。表6给出了以上传统方法在手机表面缺陷检测任务中的对比。
表 6 传统背景消除方法在手机表面缺陷检测中的对比Table 6 Comparison of traditional background elimination methods in mobile phone surface defect detection方法 优势 局限性 改进思路 差分法 方法简单、速度快 同一模板不能针对多种类型手机，
易受材质反光性的影响通过单张图像局部建立模板 阈值分割 适用于多种类型手机 易受材质反光性、外壳纹理噪声的影响 对初步分割的缺陷进行二次筛选 变换域 适用于检测手机表面低对比度微小缺陷 通用性较差，难以应对具有
不规则纹理的情况结合图像增强技术避免噪声干扰 稀疏字典 适用于多类型品牌、
多类型缺陷的检测任务对数据集要求较高，检测结果
只能判断有无缺陷与分类、分割类算法相结合 2.3.2 基于深度学习的检测算法
基于深度学习的缺陷检测方法检测能力更强，大部分的研究直接使用改进的网络模型对存在于复杂背景中的手机表面缺陷进行检测。文献[96]针对手机玻璃背板纹理影响缺陷分割的问题，在编码器−解码器结构的基础上提出一种输入与输出一致的对称语义分割网络，实验结果表明该对称语义分割网络在精度与召回率上均优于传统语义分割方法。针对复杂背景下低对比度缺陷的分割问题，文献[97]提出基于双分支架构的实时手机表面缺陷分割网络FDSNet，通过全局上下文采样模块(global context upsampling, GCU)实现空间信息和语义信息的融合，避免了由下采样导致的低对比度缺陷特征的丢失，降低其漏检率。针对不同型号手机屏幕区域的差异，文献[98]首先利用CNN提取图像特征，并将其作为GAN(generative adversarial network)的输入，最后结合判别器的输出结果和XGBOOST算法实现屏幕区域的缺陷检测。该算法只需更改GAN的输入便可实现对不同型号手机的缺陷检测，鲁棒性较强，但是CNN提取图像特征的过程比较耗时。
以上方法是在特征层面对模型改进以增强缺陷在复杂手机背景中的表现，这意味着网络深度以及参数量的增大，不利于模型的应用。文献[99]提出结合基于模板匹配的感兴趣区域(region of interest, ROI)采集和基于多层感知器(multi-layer perceptron, MLP)的GooLeNet分类模型，采用粗细两阶段检测模式，增强模型在面对多样手机品牌时的鲁棒性，同时提升检测的效率。类似地，文献[100]在CNN的基础上为输入增加偏置模板设计了BiasFeed CNN模型，通过修改偏置模板便能改善图像中由不同类型干扰等带来的影响，避免了后续网络加深带来的实时性较差问题。
改善手机复杂背景干扰的思想是使算法能够自主学习手机背景、外壳纹理。对于手机表面的复杂背景，利用CNN进行特征提取速度较慢且改善效果不强。为了兼顾检测的精度与速度，未来研究可以考虑传统图像处理与深度学习方法结合的方式，前者通过对样本图像的预处理以减轻检测过程中神经网络的复杂度，改善因网络加深带来的效率降低的问题。
3. 数据集及评价指标
3.1 数据集
深度学习的引入需要庞大的数据集作为支撑，手机表面缺陷检测作为缺陷检测领域一个更为精细的分支更是如此。已有文献中所使用的数据集大多都来自手机部件生产厂家，因此可以用于学术研究的数据集较少，以下为目前可用于学术研究的手机表面缺陷数据集：
MSD (mobile phone screen surface defect segmentation dataset)[97]是由北京大学智能机器人开放实验室制作的手机屏幕表面缺陷分割数据集，其缺陷通过模拟工业环境的方式得到。该数据集中包含3类表面缺陷：油污、划痕、斑点。每类缺陷有400 幅图像，共1 200 幅，分辨率为1 920×
1080 。Glass Cover Defect Dataset是由华南理工大学广东省精密装备与制造重点实验室制作的手机玻璃盖板缺陷数据集，其使用LabelImg标注，包含8 437幅分辨率为512×512的手机玻璃盖板缺陷图像，缺陷分为点状、线状、块状3类，其中点状缺陷图像2 500幅、线状缺陷8 262幅、块状缺陷3 071幅。
MPSSD (mobile phone surface scratch dataset)是由文献[51]给出的手机表面划痕数据集，包含屏幕划痕与外壳划痕两种缺陷，共2 644幅图像，其中屏幕划痕1 203幅，外壳划痕1 441幅，平均分辨率为4 000×3 000。
SCS (scratches on cellphone screen)是由文献[64]给出的手机屏幕划痕缺陷数据集，图像在实际场景下直接拍摄并通过人工二次筛选得到，包含无缺陷背景和4种不同显著程度的屏幕划痕缺陷图像共5 000幅，分辨率为32×32。
MPSOSD (mobile phone surface oil stain defect dataset)是由文献[48]给出的手机表面油污缺陷数据集，缺陷来自两种不同类型的手机，包含750幅原始缺陷图像、通过数据增强方式得到的缺陷图像共3 000幅，分辨率为180×570。
MPGC-DET (mobile phone glass cover-detection)是由文献[50]给出的手机玻璃盖板表面缺陷数据集，缺陷由随机缺陷合成算法得到，其中无缺陷图像、点缺陷图像、线缺陷图像、块缺陷图像均为1 403幅，共5 612幅，分辨率为226×477。
表7给出了以上数据集的详细信息。
表 7 手机表面缺陷数据集Table 7 Mobile phone surface defect datasets数据集 检测对象 缺陷类型 分辨率 样本数 来源 MSD 手机屏幕 油污、划痕、斑点 1920 ×1080 1 200 https://github.com/jianzhang96/MSD Glass Cover Defect Dataset 玻璃盖板 点、线、块状缺陷 512×512 8 437 https://github.com/Johnhushwill/GlassCoverDefectDataset MPSSD 屏幕、外壳 划痕 4000 ×3000 3 644 https://www.sciencedirect.com/science/article/pii/S0167865521004268?via%3Dihub SCS 手机屏幕 划痕、无缺陷 32×32 5 000 https://link.springer.com/content/pdf/10.1007/978-981-10-7305-2_16.pdf MPSOSD 手机表面 油污 180×570 3 000 https://robotics.pkusz.edu.cn/static/papers/ICPR-guotianyu.pdf MPGC-DET 玻璃盖板 点、线、块状缺陷、
无缺陷226×477 5 612 https://linkinghub.elsevier.com/retrieve/pii/S0167865521004268 3.2 评价指标
不同的手机表面缺陷检测算法需通过相同的指标进行性能评估。常用的方法是将其作为简单的二分类问题：将数据集中的样本分为两类，分别为Positive(有缺陷图像)和Negative(无缺陷图像)，接着根据算法对每张图像输出的判断结果可以得到4种情况，如表8所示。
表 8 二分类混淆矩阵表Table 8 Binary confusion matrix table预测值 真实值为Positive 真实值为Negative 预测为Positive TP(True Positive) FP(False Positive) 预测为Negative FN(False Negative) TN(True Negative) 常用的评价指标有9种。
1)准确度
准确度指测试集全部样本的预测正确概率：
$$ A = \frac{{{N_{{\text{TP}}}} + {N_{{\text{TN}}}}}}{{{N_{{\text{TP}}}} + {N_{{\text{FP}}}} + {N_{{\text{TN}}}} + {N_{{\text{FN}}}}}} $$ 式中：
${N_{{\text{TP}}}}$ 为TP的个数，${N_{{\text{FP}}}}$ 为FP的个数，${N_{{\text{TN}}}}$ 为TN的个数，${N_{{\text{FN}}}}$ 为FN的个数。2)精确度（Precision）
精确度指缺陷样本预测的正确概率：
$$ P = \frac{{{N_{{\text{TP}}}}}}{{{N_{{\text{TP}}}} + {N_{{\text{FP}}}}}} $$ 3)召回率（Recall）
召回率指预测正确的缺陷样本数量在全部缺陷样本中所占的比例：
$$ R = \frac{{{N_{{\text{TP}}}}}}{{{N_{{\text{TP}}}} + {N_{{\text{FN}}}}}} $$ 4)平均精确度
一个性能较好的分类器可以同时将精确度与召回率保持在一个较高的水平。通常情况下，精确度与召回率的关系可以通过Precision-Recall曲线表示，平均精度(average precision，AP)为该曲线与坐标轴之间围成的面积：
$$ {P_{\text{A}}} = \int {P(R){\text{d}}R} $$ 5)平均精度均值
平均精度均值(mean average precision，mAP)是在多类别缺陷检测时会用到的评价指标，即各类别缺陷预测平均精确度的均值：
$$ {P_{{\text{mA}}}} = \frac{1}{c}\sum {{P_{\text{A}}}(c)} $$ 式中c代表缺陷类型数。通常情况下，使用交并比为0.5时的平均精度均值对模型性能进行评价，即
$ P_{\text{mA}}@0.5 $ 。6)交并比
交并比(intersection-over-union，IoU)是评价缺陷分割效果、CNN生成候选框位置是否准确时常用的评价指标，指缺陷分割结果(候选框)A与实际缺陷部分(原标记框)B之间交集与并集的比值：
$$ {I_{{\text{oU}}}} = \frac{{A \cap B}}{{A \cup B}} $$ ${\text{mIoU}}$ 指在多类别缺陷分割任务中，模型对所有缺陷进行分割的平均交并比。7)检测速度
帧率常用于评价算法的实时性检测能力，指每秒钟算法可以检测的图像数量，单位为f/s。通常情况下，除了自身的复杂度，算法的检测速度还会受到样本分辨率、硬件设备的影响。分辨率越高的图像使算法耗费更多的时间；模型使用GPU训练效果会比CPU更好。
8)浮点运算数
浮点运算数(floating point operations，FLOPs)用于表示模型前向传播所需的计算力，常用于衡量模型的时间复杂度，文中使用该指标评估模型实时性的改进情况。
9)参数量
参数量(Params)指模型需要训练的参数总量，用于表示模型的空间复杂度，通常情况下，模型参数量会随着模型深度的加深而增加，文中使用该指标评估模型实时性的改进情况。
4. 现存问题及展望
4.1 现存问题
除了算法的精度、实时性、鲁棒性，手机表面缺陷检测工作还存在以下问题：
1) 数据集样本不足。在使用深度学习技术对手机表面进行缺陷检测时，需要有尽可能多的样本作为训练集。但在实际情况中，生产厂家的图像数据不对外公开，导致可供研究人员直接使用的数据集较少，这在一定程度上加大了深度学习应用于手机表面缺陷检测中的困难。近年来，有研究人员利用GAN将少量的缺陷样本生成虚拟的缺陷图像，实验结果十分可观。此外，迁移学习也是解决训练样本少的可行方案之一，迁移学习的使用在一定程度上可以降低模型训练时对样本数量的要求。
2) 数据集样本不均衡。手机表面的缺陷多种多样，每一类缺陷出现的频率也不同。针对这一问题，有研究使用随机欠采样和SMOTE（synthetic minority over-sampling technique）算法对数据集进行改善[101]，但欠采样可能会导致某些重要信息丢失，进而影响算法的检测性能。
3) 类似缺陷易混淆。手机表面缺陷大多以点状、线状、块状的形式出现，某些缺陷虽然有着类似的形状，却是因不同原因造成。比如点状缺陷中的细小脏污与凹点，两者都表现为点缺陷，但相比之下脏污缺陷可以通过二次清洁的方式进行消除，凹点缺陷则不可以。如果将二者进行混淆，厂家面临成本损失的风险。
4) 低对比度微小缺陷检测难。小目标缺陷漏检是缺陷检测中常见的问题。手机玻璃盖板及某些材质外壳的反光性、透明性，导致手机表面的微小缺陷还呈现出低对比度特性，这进一步增大了表面缺陷检测工作的难度。使用传统的缺陷检测方法难以检测出低对比度缺陷，并且容易混淆由外壳细小纹理产生的噪声点与微小缺陷，导致检测精度不够理想；相反，使用深度学习技术可以增强对缺陷的特征提取能力，适用于检测对比度较低的手机表面缺陷，但是网络的下采样在一定程度上会导致微小缺陷位置信息的丢失、增加网络的计算量，不仅影响到检测精度还会降低检测效率。
5) 网络深度与检测实时性的平衡问题。不论是传统缺陷检测方法还是基于深度学习的缺陷检测方法，研究的目的是满足实际生产中厂家对手机表面缺陷检测的需求。为了达到更高的检测精度，在使用基于深度学习的缺陷检测方法时，研究人员通常会选择结构更复杂的网络以提取对缺陷描述能力更强的特征，但这样的检测精度是牺牲检测效率换来的。所以如何平衡缺陷的检测精度与效率也是促进深度学习技术应用于手机表面缺陷检测实际场景中需要解决的问题。
4.2 展望
得益于近年来的研究，手机表面缺陷检测领域实现了巨大的飞跃。深度学习技术的引入实现了更精准的特征提取，对于某些难以检测的缺陷类型出现了有针对性的检测方法；在实时性方面，改进算法的检测速度均能达到并超过常用的单阶段检测算法(YOLOv3、YOLOv4)；此外，研究发现，基于稀疏字典的方式可以实现算法针对手机品牌、外壳纹理以及缺陷类型问题上的鲁棒性提升，并且部分研究结果证明，深度学习技术有助于提升算法在手机表面缺陷检测任务中的鲁棒性。表9给出了手机表面缺陷检测算法针对常见问题的解决方式及未来展望。除了上述已实现的成果，仍存在有望推进机器视觉在手机表面缺陷检测领域发展的方式。
表 9 手机表面缺陷检测算法常见问题的改进方法及未来展望Table 9 Methods of improving mobile phone surface defect detection algorithm and future outlook项目 原因 改进方向 未来展望 精度 1)手机表面无效特征信息干扰
2)下采样致使特征信息丢失1)结合注意力机制避免无关信息的干扰
2)结合特征融合结构丰富输出特征图中包含的手机表面缺陷的特征
3)提取缺陷的三维特征1)实现手机表面低对比度缺陷的高精度检测
2)实现手机表面3D缺陷的检测
3)实现手机表面缺陷的损伤等级划分实时性 使用更复杂的网络结构以提升检测精度 1)使用轻量化网络作为模型主干
2)对计算量较大的模块进行轻量化改进
3)结合注意力机制筛选信息减少计算量实现检测实时性与精度的平衡 鲁棒性 1)复杂背景干扰
2)手机品牌多样性
3)手机图像背景干扰1)检测前对待测图像进行预处理
2)利用样本灰度信息区分手机品牌
3)选择无监督方式提升算法通用性
4)结合稀疏字典方法建立缺陷特征库
5)结合传统图像处理算法与深度学习技术兼顾算法的鲁棒性与效率1)建立包含不同品牌、型号手机表面缺陷的高质量数据集
2)实现兼顾检测鲁棒性与实时性的手机表面缺陷检测算法1) 结合传统机器学习与深度学习方法。对于一些特定场景，例如复杂背景下的缺陷检测，仅使用深度学习方法会因网络结构的复杂化而降低检测效率。相反，只使用传统方法无法实现精确的检测。而二者的结合算法(预处理+检测)有望解决这一问题。在未来的研究中，有望通过结合算法解决单一类型算法存在的问题。
2) 建立统一的数据集。深度学习的引入给手机表面缺陷检测工作提供了更多的可能，但是基于深度学习的缺陷检测算法需要大量的样本数据作为支撑，目前在该领域内还缺乏较为全面的公开数据集。因此，建立统一的手机表面缺陷图像数据集有利于推动深度学习技术在手机表面缺陷检测领域的发展。
3) 缺陷分级。大部分手机表面缺陷检测算法只能实现缺陷的检测与分类，不能为缺陷进行损伤等级划分。未来的研究可以考虑在输出端得到每一个被检测出缺陷的损伤等级，根据输出等级，厂家可以选择该部件是否能够通过二次修复流入市场。通过这种方式，对损伤较轻的部件进行修复不仅节约了生产资源，还可以避免在对损伤等级较高的部件进行修复时带来的人力财力上的浪费。
4) 缺陷的三维特征提取。目前研究的关注点几乎都是缺陷的二维特征。对于同一类缺陷，比如线状缺陷中的毛丝与划痕，它们在二维空间上的特征相似，但在三维空间上的特征有较大的差别。毛丝类脏污可以通过二次清洁的方式去除，存在划痕类缺陷的产品无法继续销售给消费者。因此将三维特征提取技术融入手机表面缺陷检测中将有助于缺陷的更精准分类[102]，避免给厂家造成不必要的经济损失。
5) 利用无监督学习方式获得缺陷特征。目前研究中常用的缺陷检测算法都是基于有监督的检测方式。有监督学习需要给其提供足量的标记样本，而可供研究使用的手机表面缺陷数据集较少，并且标注的过程会导致大量的人力、时间资源的消耗。未来可以考虑通过无监督学习图像特征的方式改善该领域已标注数据集不足等问题，促进机器视觉在手机表面缺陷检测领域的应用。
6) 结合Transformer[103]框架进行缺陷检测。Transformer框架的提出进一步推动了自然语言处理领域的发展。目前，已有研究将Transformer应用于计算机视觉领域以实现目标的检测、分割、分类等任务，并展示出了较好的效果。未来，研究人员可以考虑结合Transformer以突破深度学习在手机表面缺陷检测领域中的应用瓶颈，实现更准确、更快速的检测。
7) 利用知识蒸馏算法[104]提升轻量化模型的检测精度。模型的轻量化操作可以减少其参数量与计算量，实现较高的检测速度以满足实际生产中的实时性要求，但这会给网络带来检测精度的损失。未来可以考虑利用精度较高的手机表面缺陷检测模型对进行轻量化改进后的检测模型进行知识蒸馏，促进手机表面缺陷检测方法在实际检测任务中的应用。
5. 结束语
手机表面缺陷检测是手机生产过程中必不可少的环节，本文综述了近十年来机器视觉应用于手机表面缺陷检测的研究进展，并以方法的检测精度、实时性、鲁棒性3个改进方向进行分析。结合现有研究成果可以得到，手机表面的反光性、透明性、手机外壳的复杂纹理是影响检测精度的主要原因，结合特征融合、注意力机制提取缺陷的深层特征是解决手机表面低对比度微小缺陷特征提取困难的常用方式；检测的实时性问题主要由图像分辨率较高、无效的背景信息冗余等原因造成，替换轻量化主干网络、利用注意力机制使模型专注于缺陷区域是提高深度学习方法检测速度的主要方式；手机的复杂背景问题常通过背景消除方法进行解决，但由于手机产品具有品牌、型号更新换代快等特点，导致传统的背景消除方法在面对多样化的手机品牌、型号时的鲁棒性较差，使模型进行自主特征学习是提升模型检测灵活性的主要思想。除了上述问题，手机表面缺陷检测领域还存在着公开数据集较少、缺陷样本不均衡、分类算法针对的缺陷类型较少、低对比度微小缺陷检测困难以及检测精度与实时性难以平衡等问题，在未来还需要投入更多的研究。综合上述分析，希望能够为手机表面缺陷检测工作的研究人员提供有价值的信息。
-
下载:
全尺寸图片
表 1 改进分割网络的优势、局限性及其性能评估结果
Table 1 Advantage, limitation and performance evaluation results of the improved segmentation network
文献 网络名称 优势 局限性 性能评估(比较对象−指标−优化百分比) [20] PU-Faster R-CNN 提升对小目标的检测能力 不能很好应对数据集
复杂的情况Faster R-CNN-mAP-36.7%
YOLO(you only look once)v3[26]-mAP-36.7%
YOLOv4[27]-mAP-12%
SSD[28]-mAP-24.2%[24] FCN-RPNet 针对的缺陷类型较多 不能对缺陷进行分类 DeepLabv3[29]-mIoU-7.5%
DeepLabv3-mAP-6.5%[25] Attention U-Net 提升了小目标缺陷的分割精度 速度较慢 U-Net-IoU-3.5% 表 2 基于FPN的网络及性能评估结果
Table 2 Performance evaluation results of the networks based on FPN
文献 网络名称 优势 局限性 性能评估(比较对象−指
标−优化百分比)[44] U-P-Net 实现缺陷4个尺度上
的特征融合不能实现单张图像多缺陷分割 U-Net-mAP-4.89%
U-Net-mIoU-5.49%[47] BT-SSD 降低了FPN的计算成本 检测精度有待提升 SSD-mAP-15% [48] EDD-Net 同时兼顾了实时性
与检测精度只针对手机屏幕中的油渍缺陷
进行了验证YOLOv3-mAP-51.9%
Faster R-CNN-mAP-33.06%[49] 端到端多任务
学习网络端到端 不能对缺陷进行分类 U-Net-mIoU-1.8%
YOLOv3-准确度-0.6%表 3 基于AM的网络及性能评估结果
Table 3 Performance evaluation results of the networks based on AM
文献 网络名称 优势 局限性 性能评估(比较对象−指标−优化百分比) [51] HMFCA-Net 可以实现缺陷的定位与分类 可检测的缺陷类型较少 EDD-Net-AP-3.44%
Faster R-CNN-AP-0.95%[52] 4-DarkNet 实时性较强 过检率较高 DarkNet-准确度-16.68%
DenseNet[57]-准确度-10.14%[53] CBAM-YOLOv5x 适用于检测微小缺陷 划痕类缺陷的AP较低 SDD-mAP-25.3%
Faster R-CNN-mAP-15.2%
YOLOv3-mAP-16%
YOLOv5x-mAP-11.5%[55] Attention-relation Network 适用于小样本学习 不能对缺陷进行定位 Relation Net[58]-准确度-5.41% [56] Co-ASNet 适用于小样本学习 不能对缺陷进行分类 U-Net-mIoU-16.96% 表 4 针对划痕缺陷的检测方法
Table 4 Detection methods for scratch defects
文献 具体方法 优势 局限性 性能评估(比较对象−指标−优化百分比) [64] ScratchNet 速度较快；可实现对小尺寸划痕的检测 过检率较高 随机森林[69]-准确度-12.46%
决策树−准确度-25.83%
LeNet-准确度-0.38%[67] YOLOv3+U-Net 可实现对25~100 μm的微小划痕的检测 训练过程耗时 SSD-mAP-16.66% [68] 分类网络+Attention U-Net 改善了轻微划痕检测的漏检、过检问题 速度较慢 U-Net-准确度-0.6%
U-Net-mIoU-22.3%[8] 改进的Faster R-CNN 可以检测到屏幕边缘的缺陷、可以生成
带有角度的检测框、鲁棒性强速度较慢 VGG-mAP-3%
ResNet-mAP-1.25%表 5 实时性问题改进中的深度学习网络
Table 5 Deep learning networks in real-time problem improvement
文献 网络名称 优势 局限性 性能评估(比较对象−指
标−优化百分比)[74] 改进的YOLOv3 减少网络参数量；
精度较高无法识别缺陷类型 YOLOv3-参数量-67.44% [12] EU-Net 减少网络参数量；
精度较高；训练只需要30 张图像测试集只有37个样本，缺陷
类型只有划痕与气泡U-Net-浮点运算数-99.41%
Attention U-Net-浮点运算数-99.65%
SegNet[81]-浮点运算数-99.41%[75] 改进的YOLOv3 检测速度快 对微小缺陷的检测能力较差 YOLOv3-检测速度-15.43%
YOLOv3-参数量-18.6%[76] 改进的YOLOv4 检测精度与速度均有提高 检测的缺陷类型有限 YOLOv3-mAP-2.39%
YOLOv3-检测速度-17.32%
YOLOv4-mAP-1.23%
YOLOv4-检测速度-25.22%[77] 改进的DenseNet 减少网络计算量；精度较高 无法识别缺陷类型 ResNet-mAP-7.31%
ResNet-检测速度-25.87%
DenseNet-mAP-4.01%
DenseNet-检测速度-22.40%[78] 改进的YOLOv3 检测精度与速度均有提高 检测的缺陷类型有限 Faster R-CNN-检测速度-176.28%
Faster R-CNN-mAP-6.8%
YOLOv3-检测速度-19.78%
YOLOv3-mAP-3%
YOLOv4-检测速度-12.83%
YOLOv4-mAP-0.8%[80] MSDDN+SCN 实现对不同尺寸缺陷并行检测；
通过参数调整可实现模型的压缩精度有待提升 调参后的MSDDN-1较原模型
检测速度提升13.21%表 6 传统背景消除方法在手机表面缺陷检测中的对比
Table 6 Comparison of traditional background elimination methods in mobile phone surface defect detection
方法 优势 局限性 改进思路 差分法 方法简单、速度快 同一模板不能针对多种类型手机，
易受材质反光性的影响通过单张图像局部建立模板 阈值分割 适用于多种类型手机 易受材质反光性、外壳纹理噪声的影响 对初步分割的缺陷进行二次筛选 变换域 适用于检测手机表面低对比度微小缺陷 通用性较差，难以应对具有
不规则纹理的情况结合图像增强技术避免噪声干扰 稀疏字典 适用于多类型品牌、
多类型缺陷的检测任务对数据集要求较高，检测结果
只能判断有无缺陷与分类、分割类算法相结合 表 7 手机表面缺陷数据集
Table 7 Mobile phone surface defect datasets
数据集 检测对象 缺陷类型 分辨率 样本数 来源 MSD 手机屏幕 油污、划痕、斑点 1920 ×1080 1 200 https://github.com/jianzhang96/MSD Glass Cover Defect Dataset 玻璃盖板 点、线、块状缺陷 512×512 8 437 https://github.com/Johnhushwill/GlassCoverDefectDataset MPSSD 屏幕、外壳 划痕 4000 ×3000 3 644 https://www.sciencedirect.com/science/article/pii/S0167865521004268?via%3Dihub SCS 手机屏幕 划痕、无缺陷 32×32 5 000 https://link.springer.com/content/pdf/10.1007/978-981-10-7305-2_16.pdf MPSOSD 手机表面 油污 180×570 3 000 https://robotics.pkusz.edu.cn/static/papers/ICPR-guotianyu.pdf MPGC-DET 玻璃盖板 点、线、块状缺陷、
无缺陷226×477 5 612 https://linkinghub.elsevier.com/retrieve/pii/S0167865521004268 表 8 二分类混淆矩阵表
Table 8 Binary confusion matrix table
预测值 真实值为Positive 真实值为Negative 预测为Positive TP(True Positive) FP(False Positive) 预测为Negative FN(False Negative) TN(True Negative) 表 9 手机表面缺陷检测算法常见问题的改进方法及未来展望
Table 9 Methods of improving mobile phone surface defect detection algorithm and future outlook
项目 原因 改进方向 未来展望 精度 1)手机表面无效特征信息干扰
2)下采样致使特征信息丢失1)结合注意力机制避免无关信息的干扰
2)结合特征融合结构丰富输出特征图中包含的手机表面缺陷的特征
3)提取缺陷的三维特征1)实现手机表面低对比度缺陷的高精度检测
2)实现手机表面3D缺陷的检测
3)实现手机表面缺陷的损伤等级划分实时性 使用更复杂的网络结构以提升检测精度 1)使用轻量化网络作为模型主干
2)对计算量较大的模块进行轻量化改进
3)结合注意力机制筛选信息减少计算量实现检测实时性与精度的平衡 鲁棒性 1)复杂背景干扰
2)手机品牌多样性
3)手机图像背景干扰1)检测前对待测图像进行预处理
2)利用样本灰度信息区分手机品牌
3)选择无监督方式提升算法通用性
4)结合稀疏字典方法建立缺陷特征库
5)结合传统图像处理算法与深度学习技术兼顾算法的鲁棒性与效率1)建立包含不同品牌、型号手机表面缺陷的高质量数据集
2)实现兼顾检测鲁棒性与实时性的手机表面缺陷检测算法 -
[1] 柴利, 任磊, 顾锞, 等. 基于视觉感知的表面缺陷智能检测理论及工业应用[J]. 计算机集成制造系统, 2022, 28(7): 1996−2004. CHAI Li, REN Lei, GU Ke, et al. Vision sensing based intelligent detection of surface defect and its industrial applications[J]. Computer integrated manufacturing systems, 2022, 28(7): 1996−2004. [2] 赵朗月, 吴一全. 基于机器视觉的表面缺陷检测方法研究进展[J]. 仪器仪表学报, 2022, 43(1): 198−219 ZHAO Langyue, WU Yiquan. Research progress of surface defect detection methods based on machine vision[J]. Chinese journal of scientific instrument, 2022, 43(1): 198−219. [3] 苏虎, 张家斌, 张博豪, 等. 基于视觉感知的表面缺陷检测综述[J]. 计算机集成制造系统, 2023, 29(1): 169−191. SU Hu, ZHANG Jiabin, ZHANG Bohao, et al. Review of surface defect inspection based on visual perception[J]. Computer integrated manufacturing systems, 2023, 29(1): 169−191. [4] MING Wuyi, CAO Chen, ZHANG Guojun, et al. Review: application of convolutional neural network in defect detection of 3C products[J]. IEEE access, 2002, 9: 135657−135674. [5] MING Wuyi, SHEN Fan, LI Xiaoke, et al. A comprehensive review of defect detection in 3C glass components[J]. Measurement, 2020, 158: 107722. doi: 10.1016/j.measurement.2020.107722 [6] 明五一, 贾豪杰, 何文斌, 等. 透明件表面缺陷的机器视觉检测综述[J]. 机械科学与技术, 2021, 40(1): 116−124. MING Wuyi, JIA Haojie, HE Wenbin, et al. Detecting surface defects of transparent parts with computer vision[J]. Mechanical science and technology for aerospace engineering, 2021, 40(1): 116−124. [7] 李焕焕, 代显智, 黎涛, 等. 基于机器视觉的手机屏幕缺陷检测中的研究进展[J]. 电子制作, 2023, 31(20): 101−106. doi: 10.3969/j.issn.1006-5059.2023.20.026 LI Huanhuan, DAI Xianzhi, LI Tao, et al. Research progress of mobile phone screen defect detection based on machine vision[J]. Practical electronics, 2023, 31(20): 101−106. doi: 10.3969/j.issn.1006-5059.2023.20.026 [8] 李常胜. 手机玻璃盖板视觉缺陷检测方法与实验研究[D]. 广州: 华南理工大学, 2021. LI Changsheng. Detection method and experimental study on visual defects of mobile phone glass cover plate[D]. Guangzhou: South China University of Technology, 2021. [9] 东莞沃德普. 沃德普手机玻璃盖板缺陷检测案例[EB/OL]. (2015−09−07)[2023−04−19]. http://www.wordop.cn/Article/shoujiboligaibanquex_1.html. DONGGUAN WORDOP. Wordop mobile phone glass cover defect detection case[EB/OL]. (2015−09−07)[2023−04−19]. http://www.wordop.cn/Article/shoujiboligaibanquex_1.html. [10] 盈泰德. 曲面屏表面瑕疵检测, 曲面屏外观缺陷视觉检测系统−机器视觉_视觉检测设备_3D视觉_缺陷检测[EB/OL]. (2015−09−07)[2021−04−20]. https://www.0755vc.com/7586.html. INTSOFT. Curved screen surface defect detection, curved screen appearance defect visual inspection system-machine vision_visual inspection equipment_3D vision_defect detection [EB/OL]. (2015−09−07) [2021−04−20]. https://www.0755vc.com/7586.html. [11] 姜梦梅. 基于图像处理的纹理表面缺陷检测算法研究[D]. 成都: 电子科技大学, 2018. JIANG Mengmei. Research on texture surface defect detection algorithm based on image processing[D]. Chengdu: University of Electronic Science and Technology of China, 2018. [12] PAN Jiawei, ZENG Deyu, TAN Qi, et al. EU-net: a novel semantic segmentation architecture for surface defect detection of mobile phone screens[C]//2021 China Automation Congress. Beijing: IEEE, 2021: 6589−6594. [13] 北京市林阳智能技术研究中心. 表面缺陷检测系统, 表面视觉检测、表面检测[EB/OL]. (2021−01−18)[2023−06−26]. http://www.ly-image.com/hy-news/618.html. Beijing Linyang Intelligence Technology Research Center. Surface defect detection system, surface visual inspection, surface inspection[EB/OL]. (2021−01−18)[2023−06−26]. http://www.ly-image.com/hy-news/618.html. [14] 中国工控网. 手机玻璃盖板油墨丝印透光检测_缺陷检测[EB/OL]. (2018−12−22)[2023−06−26]. http://www.gongkong.com/article/201812/www.gongkong.com/article/201812/84083.html. China Gongkong. Mobile phone glass cover ink screen printing light transmission detection_defect detection[EB/OL]. (2018−12−22)[2023−06−26]. http://www.gongkong.com/article/201812/www.gongkong.com/article/201812/84083.html. [15] 飞耐尔. 玻璃盖板后壳使用平板清洗机常见的问题及解决方案[EB/OL]. (2017−02−28)[2023−06−26]. http://www.flierch.com/news/36.html. FLIER. Common problems and solutions of glass cover back shell using flat washers[EB/OL]. (2017−02−28)[2023−06−26]. http://www.flierch.com/news/36.html. [16] 张钟磊. 基于计算机视觉的手机屏幕缺陷检测方法研究[D]. 长春: 吉林大学, 2022. ZHANG Zhonglei. Research on defect detection method of mobile phone screen based on computer vision[D]. Changchun: Jilin University, 2022. [17] 夏诗娴. 电子制造生产线中的手机外壳缺陷视觉检测方法研究[D]. 长沙: 湖南大学, 2019. XIA Shixian. Research on visual inspection method of mobile phone shell defects in electronic manufacturing production line[D]. Changsha: Hunan University, 2019. [18] 张伟, 曾碧. 针对复杂纹理的手机外壳缺陷检测方法[J]. 计算机应用与软件, 2017, 34(11): 217−222 doi: 10.3969/j.issn.1000-386x.2017.11.040 ZHANG Wei, ZENG Bi. A defect detection method for complex texture on mobile phone shell[J]. Computer applications and software, 2017, 34(11): 217−222. doi: 10.3969/j.issn.1000-386x.2017.11.040 [19] JIAN Chuanxia, GAO Jian, AO Yinhui. Automatic surface defect detection for mobile phone screen glass based on machine vision[J]. Applied soft computing, 2017, 52: 348−358. doi: 10.1016/j.asoc.2016.10.030 [20] 李伟朝, 陈志豪, 张勰, 等. 基于PU-Faster R-CNN的手机屏幕缺陷检测算法研究[J]. 计算机测量与控制, 2023: 1−18. LI Weichao, CHEN Zhihao, ZHANG Xie, et al. PU-Faster R-CNN based defect detection model for mobile phone screen[J]. Computer measurement & control, 2023: 1−18. [21] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137−1149. doi: 10.1109/TPAMI.2016.2577031 [22] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science. Cham: Springer International Publishing, 2015: 234−241. [23] LIN T Y, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 936−944. [24] 彭大芹, 刘恒, 许国良. 使用候选框进行全卷积网络修正的目标分割算法[J]. 重庆邮电大学学报(自然科学版), 2021, 33(1): 135−143. PENG Daqin, LIU Heng, XU Guoliang. Object segmentation algorithm modified by candidate box for fully convolution network[J]. Journal of Chongqing University of Posts and Telecommunications (natural science edition), 2021, 33(1): 135−143. [25] 李智勇. 基于深度学习的手机屏幕缺陷检测技术研究[D]. 哈尔滨: 哈尔滨工业大学, 2020. LI Zhiyong. Research on mobile phone screen defect detection technology based on deep learning[D]. Harbin: Harbin Institute of Technology, 2020. [26] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. (2018−04−08)[2023−06−26]. https://arxiv.org/abs/1804.02767v1. [27] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. (2020−04−23)[2023−06−26]. https://arxiv.org/abs/2004.10934v1. [28] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[M]//Lecture Notes in Computer Science. Cham: Springer International Publishing, 2016: 21−37. [29] CHEN L C, PAPANDREOU G, SCHROFF F, et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. (2017−06−17)[2023−06−26]. https://arxiv.org/abs/1706.05587v3. [30] TORNG J S, MAUNG K, FAN K C. Development of an automated optical inspection system for mobile phone panels[J]. Journal of the Chinese society of mechanical engineers, transactions of the Chinese institute of engineers-Series C, 2013, 34: 103−108. [31] JIAN Chuanxia, GAO Jian, AO Yinhui. Imbalanced defect classification for mobile phone screen glass using multifractal features and a new sampling method[J]. Multimedia tools and applications, 2017, 76(22): 24413−24434. doi: 10.1007/s11042-016-4199-z [32] JIANG Jiabin, XIAO Xiang, FENG Guohua, et al. Detection and classification of glass defects based on machine vision[C]//Applied Optical Metrology III. San Diego: SPIE, 2019: 244−249. [33] HUANG Huaxi, HU Chao, WANG Tian, et al. Surface defects detection for mobilephone panel workpieces based on machine vision and machine learning[C]//2017 IEEE International Conference on Information and Automation. Macao: IEEE, 2017: 370−375. [34] 王松芳. 基于特征分类的低分辨率触摸屏表面缺陷检测[D]. 北京: 北京交通大学, 2016. WANG Songfang. Surface defect detection of low-resolution touch screen based on feature classification[D]. Beijing: Beijing Jiaotong University, 2016. [35] 张刘赟. 基于机器视觉的手机金属板表面缺陷检测技术研究[D]. 杭州: 浙江大学, 2018. ZHANG Liuyun. Research on surface defect detection technology of mobile phone metal plate based on machine vision[D]. Hangzhou: Zhejiang University, 2018. [36] LI Di, LIANG Liequan, ZHANG Wujie. Defect inspection and extraction of the mobile phone cover glass based on the principal components analysis[J]. The international journal of advanced manufacturing technology, 2014, 73(9): 1605−1614. [37] 汪豪. 基于机器视觉的手机外壳表面缺陷检测系统研究[D]. 长沙: 湖南大学, 2021. WANG Hao. Research on surface defect detection system of mobile phone shell based on machine vision[D]. Changsha: Hunan University, 2021. [38] 孙文政. 基于深度学习和机器视觉的手机屏幕瑕疵检测方法研究[D]. 济南: 山东大学, 2019. SUN Wenzheng. Research on mobile phone screen defect detection method based on deep learning and machine vision[D]. Jinan: Shandong University, 2019. [39] BHUTTA M U M, ASLAM S, YUN Peng, et al. Smart-inspect: micro scale localization and classification of smartphone glass defects for industrial automation[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems. Las Vegas: IEEE, 2020: 2860−2865. [40] WEI Xiangying, FENG Wei, LEI Qujiang, et al. Defect detection of using variant CNN in the processing of cover glass, touch screen and display under parallel light[C]//2020 IEEE 6th International Conference on Computer and Communications. Chengdu: IEEE, 2020: 1349−1355. [41] CHEN Zhihao, ZHA Yunwei, WU Zongze, et al. Detection of mobile phone screen defect based on faster R-CNN fusion model[C]//2021 China Automation Congress. Beijing: IEEE, 2021: 6601−6606. [42] 任金梅, 仲志丹, 李跃松, 等. 基于SCNN-ELM模型的手机外壳缺陷检测方法研究[J]. 制造业自动化, 2021, 43(5): 22−27. doi: 10.3969/j.issn.1009-0134.2021.05.006 REN Jinmei, ZHONG Zhidan, LI Yuesong, et al. Research on defect detection method of mobile phone shell based on SCNN-ELM model[J]. Manufacturing automation, 2021, 43(5): 22−27. doi: 10.3969/j.issn.1009-0134.2021.05.006 [43] 韩红桂, 甄晓玲, 李方昱, 等. 基于多尺度卷积神经网络的手机表面缺陷识别方法[J]. 北京工业大学学报, 2023, 49(11): 1163−1171. doi: 10.11936/bjutxb2022010021 HAN Honggui, ZHEN Xiaoling, LI Fangyu, et al. Mobile phone model recognition method based on Siamese convolutional neural network[J]. Journal of Beijing University of Technology, 2023, 49(11): 1163−1171. doi: 10.11936/bjutxb2022010021 [44] 李墨, 陈志豪, 张勰. 基于U-P-Net的手机玻璃屏幕缺陷分割[J]. 计算机测量与控制, 2023, 31(8): 231−237. LI Mo, CHEN Zhihao, ZHANG Xie. Defect segmentation of mobile phone screen based on U-P-net[J]. Computer measurement & control, 2023, 31(8): 231−237. [45] WANG Tao, ZHANG Can, DING Runwei, et al. Mobile phone surface defect detection based on improved faster R-CNN[C]//2020 25th International Conference on Pattern Recognition. Milan: IEEE, 2021: 9371−9377. [46] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770−778. [47] SONG Haotian, TAO Hong, HE Zhiqiang, et al. Micro-defect detection based on multi-scale feature backtracking structure[C]//2022 7th International Conference on Cloud Computing and Big Data Analytic. Chengdu: IEEE, 2022: 483−489. [48] GUO Tianyu, ZHANG Linlin, DING Runwei, et al. EDD-net: an efficient defect detection network[C]//2020 25th International Conference on Pattern Recognition. Milan: IEEE, 2021: 8899−8905. [49] LI Yue, LI Junfeng. An end-to-end defect detection method for mobile phone light guide plate via multitask learning[J]. IEEE transactions on instrumentation and measurement, 2021, 70: 2505513. [50] 吴闯, 于大泳. 基于深度卷积神经网络的手机玻璃盖板表面缺陷分类检测研究[J]. 软件工程, 2021, 24(12): 6−10. WU Chuang, YU Dayong. Research on classified detection of surface defects of mobile phone glass cover based on deep convolutional neural network[J]. Software engineering, 2021, 24(12): 6−10. [51] ZHU Ying, DING Runwei, HUANG Weibo, et al. HMFCA-Net: Hierarchical multi-frequency based Channel attention net for mobile phone surface defect detection[J]. Pattern recognition letters, 2022, 153: 118−125. doi: 10.1016/j.patrec.2021.11.029 [52] PARK J, RIAZ H, KIM H, et al. Advanced cover glass defect detection and classification based on multi-DNN model[J]. Manufacturing letters, 2020, 23: 53−61. doi: 10.1016/j.mfglet.2019.12.006 [53] 干宝明. 面向手机回收的表面缺陷检测与残值评估技术研究[D]. 杭州: 浙江大学, 2022. GAN Baoming. Research on surface defect detection and residual value evaluation technologies for mobile phone recycling. Hangzhou: Zhejiang University, 2022. [54] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[M]//Lecture Notes in Computer Science. Cham: Springer International Publishing, 2018: 3−19. [55] MAO Jiao, XU Guoliang, HE Lijun, et al. Attention-relation network for mobile phone screen defect classification via a few samples[J]. Digital communications and networks, 2024, 10(4): 1113−1120. doi: 10.1016/j.dcan.2023.01.008 [56] 许国良, 毛骄. 基于协同注意力的小样本的手机屏幕缺陷分割[J]. 电子与信息学报, 2022, 44(4): 1476−1483. doi: 10.11999/JEIT210054 XU Guoliang, MAO Jiao. Few-shot segmentation on mobile phone screen defect based on co-attention[J]. Journal of electronics & information technology, 2022, 44(4): 1476−1483. doi: 10.11999/JEIT210054 [57] SUNG F, YANG Yongxin, ZHANG Li, et al. Learning to compare: relation network for few-shot learning[EB/OL]. (2017−11−16)[2023−12−22]. https://arxiv.org/abs/1711.06025v2. [58] HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[EB/OL]. (2016−08−25)[2023−12−22]. https://arxiv.org/abs/1608.06993v5. [59] 陶文才. 手机壳表面缺陷视觉检测系统设计[D]. 沈阳: 沈阳工业大学, 2018. TAO Wencai. Design of visual inspection system for mobile shell surface defects[D]. Shenyang: Shenyang University of Technology, 2018. [60] WANG Lei, LUO Lilan, ZHENG Peng, et al. A fast dent detection method for curved glass using deep convolutional neural network[C]//2019 IEEE 13th International Conference on Anti-counterfeiting, Security, and Identification. Xia’men: IEEE, 2019: 117−121. [61] 萧显. 基于机器视觉的手机屏幕玻璃缺陷检测方法研究[D]. 广州: 广东工业大学, 2019. XIAO Xian. Research on detection method of cellphone screen glass defect based on machine vision[D]. Guangzhou: Guangdong University of Technology, 2019. [62] 罗根, 倪军. 基于机器视觉的手机屏幕玻璃尺寸检测及崩边评价[J]. 电子测量与仪器学报, 2018, 32(2): 92−96. LUO Gen, NI Jun. Glass size measurement and edge collapse assessment of mobile phone screens based on machine vision[J]. Journal of electronic measurement and instrumentation, 2018, 32(2): 92−96. [63] 陈晓红. 基于机器视觉的触摸屏玻璃缺陷检测方法研究[D]. 广州: 华南理工大学, 2013. CHEN Xiaohong. Research on touchscreen glass defects detection methods based on computer vision[D]. Guangzhou: South China University of Technology, 2013. [64] LUO Zhao, XIAO Xiaobing, GE Shiming, et al. ScratchNet: detecting the scratches on cellphone screen[M]//Communications in Computer and Information Science. Singapore: Springer Singapore, 2017: 178−186. [65] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278−2324. doi: 10.1109/5.726791 [66] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2014−09−04)[2023−12−22]. https://arxiv.org/abs/1409.1556v6. [67] YANG Weilin, ZHANG Yongwei, DONG Yue, et al. Development of machine vision system for off-line inspection of fine defects on glass screen surface[J]. IEEE transactions on instrumentation and measurement, 2022, 71: 5016008. [68] 任秉银, 李智勇, 代勇. 手机屏幕轻微划痕检测方法[J]. 哈尔滨工业大学学报, 2021, 53(1): 29−36. doi: 10.11918/202008109 REN Bingyin, LI Zhiyong, DAI Yong. Method for detection of slight scratch of mobile phone screen[J]. Journal of Harbin Institute of Technology, 2021, 53(1): 29−36. doi: 10.11918/202008109 [69] BREIMAN L. Random forests[J]. Machine learning, 2001, 45(1): 5−32. doi: 10.1023/A:1010933404324 [70] LYU Yongfa, MA Ling, JIANG Huiqin. A mobile phone screen cover glass defect detection MODEL based on small samples learning[C]//2019 IEEE 4th International Conference on Signal and Image Processing. Wuxi: IEEE, 2019: 1055−1059. [71] MA Ling, LU Yue, NAN Xiao fei, et al. Defect detection of mobile phone surface based on convolution neural network[J]. DEStech transactions on computer science and engineering, 2018: 111−119. [72] CHEN Hailang. CNN-based surface defect detection of smartphone protective screen[J]. Journal of physics: conference series, 2020, 1616(1): 012101. doi: 10.1088/1742-6596/1616/1/012101 [73] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 1−9. SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 1−9. [74] 张鸿鹏. 智能手机表面缺陷检测系统的设计与实现[D]. 郑州: 郑州大学, 2021. ZHANG Hongpeng. Design and implementation of surface defect detection system for smart phone[D]. Zhengzhou: Zhengzhou University, 2021. [75] 郝强. 基于深度学习的手机玻璃盖板缺陷检测研究[D]. 广州: 华南理工大学, 2021. HAO Qiang. Mobile phone glass cover defect detection based on deep learning[D]. Guangzhou: South China University of Technology, 2021. [76] 张跃, 陈宁, 孔明, 等. 基于改进YOLOv4网络的手机曲面玻璃缺陷检测[J]. 现代电子技术, 2023, 46(23): 103−108. ZHANG Yue, CHEN Ning, KONG Ming, et al. Mobile phone curved glass defect detection based on improved YOLOv4 network[J]. Modern electronics technique, 2023, 46(23): 103−108. [77] 崔杰, 杨凯. 基于改进DenseNet网络的手机屏幕缺陷检测研究[J]. 中国计量大学学报, 2023, 34(2): 208−215. doi: 10.3969/j.issn.2096-2835.2023.02.007 CUI Jie, YANG Kai. Research on mobile phone screen defect detection based on the improved DenseNet network[J]. Journal of China University of Metrology, 2023, 34(2): 208−215. doi: 10.3969/j.issn.2096-2835.2023.02.007 [78] 伍济钢, 成远, 邵俊, 等. 面向智能手机玻璃盖板缺陷检测的YOLOv3改进和应用[J]. 液晶与显示, 2021, 36(12): 1728−1736. doi: 10.37188/CJLCD.2021-0172 WU Jigang, CHENG Yuan, SHAO Jun, et al. Improvement and application of YOLOv3 for defect detection of smart phone glass covers[J]. Chinese journal of liquid crystals and displays, 2021, 36(12): 1728−1736. doi: 10.37188/CJLCD.2021-0172 [79] SANDLER M, HOWARD A, ZHU Menglong, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510−4520. [80] LEI Jie, GAO Xin, FENG Zunlei, et al. Scale insensitive and focus driven mobile screen defect detection in industry[J]. Neurocomputing, 2018, 294: 72−81. doi: 10.1016/j.neucom.2018.03.013 [81] BADRINARAYANAN V, KENDALL A, CIPOLLA R. SegNet: a deep convolutional encoder-decoder architecture for image segmentation[EB/OL]. (2015−11−02)[2023−12−22]. https://arxiv.org/abs/1511.00561. [82] 崔焱, 彭可, 杨玉娥, 等. 基于机器视觉的手机盖板表面缺陷检测系统设计[J]. 制造业自动化, 2023, 45(7): 75−79, 96. doi: 10.3969/j.issn.1009-0134.2023.07.016 CUI Yan, PENG Ke, YANG Yu’e, et al. Design of the surface defect detection system for mobile phone cover based on machine vision[J]. Manufacturing automation, 2023, 45(7): 75−79, 96. doi: 10.3969/j.issn.1009-0134.2023.07.016 [83] 尹东富, 杜明臣, 胡天昊, 等. 遮挡与缺失场景下屏幕缺陷视觉检测[J]. 深圳大学学报(理工版), 2023, 40(6): 631−639. YIN Dongfu, DU Mingchen, HU Tianhao, et al. Visual detection of screen defects in occlusion and missing scenes[J]. Journal of Shenzhen University (science and engineering edition), 2023, 40(6): 631−639. [84] 文生平, 洪华锋, 舒凯翔. 精密注塑手机外壳表面缺陷视觉检测系统设计[J]. 塑料工业, 2017, 45(9): 53−56. WEN Shengping, HONG Huafeng, SHU Kaixiang. Design of vision inspection system for surface defect detection of precision injection cellphone cases[J]. China plastics industry, 2017, 45(9): 53−56. [85] WANG Changshu, LI Changsheng, HUANG Yanjiang, et al. Surface defect inspection and classification for glass screen of mobile phone[C]//Tenth International Conference on Graphics and Image Processing. Chengdu: SPIE, 2019, 11069: 527−536. [86] 彭赶, 张平, 潘奕创. 基于机器视觉的手机屏幕缺陷检测系统研究[J]. 自动化技术与应用, 2018, 37(9): 104−107, 127. PENG Gan, ZHANG Ping, PAN Yichuang. Research on mobile phone screen defect detection system based on machine vision[J]. Techniques of automation and applications, 2018, 37(9): 104−107, 127. [87] 张斌, 曾碧, 林伟. 光照不均环境下的手机外壳缺陷检测研究[J]. 机电工程技术, 2019, 48(9): 40−42, 77. ZHANG Bin, ZENG Bi, LIN Wei. Research on defect detection of mobile phone casing under uneven illumination[J]. Mechanical & electrical engineering technology, 2019, 48(9): 40−42, 77. [88] 邝泳聪, 张坤, 谢宏威. 数码产品外壳表面的适应性智能检测技术[J]. 华南理工大学学报(自然科学版), 2015, 43(1): 1−8. KUANG Yongcong, ZHANG Kun, XIE Hongwei. Adaptive intelligent detection technology for digital products' shell surface[J]. Journal of South China University of Technology (natural science edition), 2015, 43(1): 1−8. [89] 李娟慧. 手机表面缺陷的高精度机器视觉检测方法研究[D]. 长沙: 湖南大学, 2020. LI Juanhui. Research on high-precision machine vision inspection method of mobile phone surface defects[D]. Changsha: Hunan University, 2020. [90] 朱倩杰. 基于机器视觉的金属手机外壳表面缺陷检测算法研究[D]. 长沙: 湖南大学, 2020. ZHU Qianjie. Research on the defect detection method of metal mobile phone backplane based on machine vision[D]. Changsha: Hunan University, 2020. [91] 简川霞, 高健. 手机玻璃屏表面缺陷视觉检测方法研究[J]. 包装工程, 2018, 39(5): 16−21. JIAN Chuanxia, GAO Jian. Visual detection method for surface defect of mobile phone screen glass[J]. Packaging engineering, 2018, 39(5): 16−21. [92] 钱基德, 陈斌, 钱基业, 等. 基于机器视觉的液晶屏Mura缺陷检测方法[J]. 计算机科学, 2018, 45(6): 296−300, 313. QIAN Jide, CHEN Bin, QIAN Jiye, et al. Machine vision based inspection method of Mura defect for LCD[J]. Computer science, 2018, 45(6): 296−300, 313. [93] 刘磊. 基于机器视觉的金属手机背板缺陷检测识别方法研究[D]. 长沙: 湖南大学, 2019. LIU Lei. Research on the defect detection and recognition method of metal mobile phone backplane based on machine vision[D]. Changsha: Hunan University, 2019. [94] PARK Y, KWEON I S. Ambiguous surface defect image classification of AMOLED displays in smartphones[J]. IEEE transactions on industrial informatics, 2016, 12(2): 597−607. doi: 10.1109/TII.2016.2522191 [95] 王松芳, 岑翼刚. 基于Gabor特征稀疏表示分类的触摸屏缺陷检测[J]. 中国科技论文在线, 2015. WANG Songfang, CEN Yigang. Gabor feature-based touch screen defects detection using 20 sparse representation classification[J]. Sciencepaper online, 2015. [96] JIANG Jiabin, CAO Pin, LU Zichen, et al. Surface defect detection for mobile phone back glass based on symmetric convolutional neural network deep learning[J]. Applied sciences, 2020, 10(10): 3621. doi: 10.3390/app10103621 [97] ZHANG Jian, DING Runwei, BAN Miaoju, et al. FDSNeT: an accurate real-time surface defect segmentation network[C]//ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing. Singapore: IEEE, 2022: 3803−3807. [98] 沈红佳. 基于深度模型的手机屏幕缺陷检测和分类算法研究[D]. 杭州: 浙江大学, 2018. SHEN Hongjia. Deep model based phone screen detection and classification[D]. Hangzhou: Zhejiang University, 2018. [99] LI Changsheng, ZHANG Xianmin, HUANG Yanjiang, et al. A novel algorithm for defect extraction and classification of mobile phone screen based on machine vision[J]. Computers & industrial engineering, 2020, 146: 106530. [100] ÖZTÜRK Ş, AKDEMıR B. Novel BiasFeed cellular neural network model for glass defect inspection[C]//2016 International Conference on Control, Decision and Information Technologies. Saint Julian’s: IEEE, 2016: 366−371. [101] 孔国梁. 手机屏幕缺陷检测系统的设计与实现[D]. 哈尔滨: 黑龙江大学, 2020. KONG Guoliang. Design and implementation of mobile phone screen defect detection system[D]. Harbin: Helongjiang University, 2020. [102] 庄蕊. 基于机器视觉的手机表面缺陷检测方法研究[D]. 沈阳: 沈阳建筑大学, 2021. ZHUANG Rui. Research on mobile phone surface defect detection method based on machine vision[D]. Shenyang: Shenyang Jianzhu University, 2021. [103] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. Los Angeles: NeurlPS, 2017. [104] HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network[EB/OL]. (2015−03−09)[2023−12−22]. https://arxiv.org/abs/1503.02531v1.
