2026, Vol. 58
2. 清华大学 自动化系 北京 100084;
3. 中国电子科技集团公司第二十七研究所 河南 郑州 450047;
4. 海装某军代室 河南 郑州 450000;
5. 郑州大学 网络空间安全学院 河南 郑州 450002
2. Department of Automation, Tsinghua University, Beijing 100084, China;
3. The 27th Research Institute of China Electronics Technology Group Corporation, Zhengzhou 450047, China;
4. A Military Representative Office of the PLA Naval Equipment Department, Zhengzhou 450000, China;
5. School of Cyber Science and Engineering, Zhengzhou University, Zhengzhou 450002, China
遮挡目标的准确识别在实际应用中至关重要。在自动驾驶系统中，准确地检测和识别道路上的遮挡物体(如其他车辆、行人、路标等)可以帮助车辆做出正确的决策，确保行车安全。在智能监控系统中，精确识别被遮挡的人或物体能够提高安全性和监控效果，有效应对潜在的安全威胁。在机器人技术领域，准确识别遮挡物体可以帮助机器人规划路径，操作物体，提高交互能力和工作效率。在军事领域，伪装与遮挡目标的识别能直接影响战场态势感知的准确性。
基于深度学习的目标识别模型已经在实际应用中发挥了重要作用，但在遮挡场景下仍然面临三重基础性挑战。
(1) 目标特征不完整：遮挡导致目标局部特征缺失和与遮挡物特征耦合，模型难以区分有效语义信息与干扰噪声，不能提取有效特征进行遮挡目标识别。
(2) 上下文特征利用不足：对于遮挡目标的识别，上下文信息(如目标周围的环境、其他相关物体的位置和关系等)往往能够提供重要的线索。在遮挡情况下，模型无法有效整合上下文信息来辅助对遮挡目标的理解和识别，导致模型在复杂场景中对遮挡目标的识别能力有限。
(3) 泛化能力受限：由于遮挡情况的多样性和复杂性，深度学习模型在训练时难以覆盖所有可能的遮挡场景，这使得模型在面对未见过的遮挡模式时泛化能力较差，无法准确识别遮挡目标。例如，遮挡物形状、遮挡程度和遮挡位置等因素都会对目标识别产生不同的影响。
深度学习模型在特征解耦与动态上下文建模上的固有缺陷暴露了纯数据驱动范式的理论边界。而生物视觉系统通过层级反馈机制与遮挡推理能力将神经科学的发现转化为可计算的脑启发模型，为突破这一问题的瓶颈提供了新路径，成为遮挡目标识别领域的前沿探索方向。
类脑视觉是以生物大脑为研究参考的人工智能技术在机器视觉领域的应用，通过研究和理解大脑皮层中的神经回路如何实现准确快速的遮挡目标识别机制，促进计算机视觉的发展。
1 遮挡目标识别模型遮挡目标识别是计算机视觉领域长期面临的挑战之一，当前基于深度学习的遮挡目标识别模型主要分为基于整体特征和基于部分语义的两大技术路线，二者在特征建模、推理机制及应用场景上具有显著差异[1]。
1.1 基于整体特征的遮挡目标识别模型基于整体特征的模型通过提取目标的全局特征图进行端到端预测，强调特征表达的整体性与上下文关联性，但其对局部遮挡的敏感性较高。
早期研究聚焦于改进检测框架的特征融合能力，主要应用在行人检测领域。Tian等[2]提出DeepParts模型，通过将大部分检测器组合来提升行人遮挡检测性能，但其部分检测器间缺乏协同机制，导致训练复杂度激增。Zhu等[3]设计的CoupleNet通过耦合全局分支(RoI池化)与空间位置分支(位置敏感RoI池化)实现全局特征的动态融合，但训练效率问题仍未解决。同期，He等[4]提出的Mask R-CNN通过增加掩码预测分支，虽未直接针对遮挡问题，却为遮挡区域分割提供了新思路。
为提升遮挡感知能力，Ren等[5]在Faster R-CNN框架中嵌入区域建议网络(region proposal network, RPN)。如图 1所示，通过人体结构先验建模实现端到端遮挡行人检测，检测速度显著优于多检测器串联方案。He等[6]进一步提出Softer-NMS，利用KL散度损失学习定位方差，优化非极大值抑制(NMS)中的框选策略，缓解遮挡导致的目标定位模糊问题。
针对密集遮挡场景，Chu等[7]提出CrowdDet模型，突破传统检测器“一框一目标”的限制，允许单个建议框预测多个重叠目标，但其检测数量设置缺乏理论依据。Shao等[8]在CrowdDet基础上引入双特征多尺度金字塔网络(MFPN)，通过自底向上与自顶向下特征融合增强遮挡目标表征，但自适应多尺度融合机制仍待优化。Ni等[9]提出的综合业务数字网模型通过改进ResNet50网络结构与多尺度上下文提取模块，在特征表达能力与检测精度上取得突破。
尽管基于整体特征的模型在交通场景[10]和行人检测[11]等密集场景下的遮挡目标识别任务中展现了显著优势，但该类方法仍存在一些局限性：首先，对局部遮挡的高度敏感性导致特征空间表征歧义；其次，强数据依赖性使其易受遮挡模式分布偏差的影响，在跨域迁移任务中泛化能力差；最后，模型难以适应遮挡物位置、尺度的实时变化，对遮挡没有适应能力。这些缺陷暴露了基于整体特征的方法在遮挡鲁棒性与场景适应性上的理论边界。
1.2 基于部分语义的遮挡目标识别模型基于部分语义的方法通过解构目标的部件级空间关系构建可组合的局部-全局推理机制，成为提升模型遮挡鲁棒性的重要技术路线。此类方法的核心是：将目标建模为语义部件及其拓扑约束的动态组合，通过可见部件的空间结构推断被遮挡区域，进而实现遮挡目标识别。
最早提出“部分语义”这一概念主要是用来挖掘深度网络中间层的语义部件表征能力。Wang等[12]首次揭示深度神经网络中间层特征在通道维度上可聚类为具有语义一致性的“视觉概念” (visual concept)，并提出基于投票机制的遮挡推理框架。该方法通过可见部件的空间先验构建概率图，驱动被遮挡区域的迭代预测，在PASCAL VOC数据集上的遮挡目标检测精度提升了14.2个百分点，奠定了部件组合方法的理论基础。Zhang等[13]进一步提出DeepVoting模型，如图 2所示，在VGGNet的pool-4层后嵌入双阶段推理模块，通过通道注意力筛选局部视觉证据，并利用空间投票机制融合多部件线索。
|
图 2 DeepVoting模型中视觉概念及空间热图的可视化[13] Fig. 2 Visualization of visual concepts and spatial heatmaps in DeepVoting[13] |
受认知神经科学的启发，研究者开始模拟人类视觉的部件组合机制。Zhu等[14]通过对比实验发现，在极端遮挡场景(可见区域＜20%)下，人类识别准确率显著高于传统卷积神经网络(convolutional neural network，CNN)模型，之后他们提出Two-stage-voting模型，首阶段通过子部件检测器生成候选区域，次阶段基于部件共现概率进行贝叶斯推理。Kortylewski团队[15-16]系统性地提出组合卷积神经网络(CompositionalNets)，创新性地将DCNN的层次化特征提取与图模型的空间约束相结合，通过可微分构图模块建模部件间几何变换(平移、旋转、缩放)，并引入能量函数最小化策略优化部件组合假设。在Occluded-Vehicle数据集上，在50%~70%遮挡率下的分类精度达到89.6%，较ResNet-50提升32.8个百分点，且提供可视化部件激活图，增强模型可解释性。2021年，Wang等[17]在CompositionalNets基础上引入目标-上下文解耦机制，通过对抗训练分离目标部件特征与背景上下文特征，在CityPersons严重遮挡子集(遮挡区域>70%)中实现了边界框定位误差降低18.6个百分点，但因过度依赖几何先验导致细粒度分类性能受限。
针对部件级图像标注成本高昂的问题，近期研究趋向于融合合成数据与弱监督学习。Wang等[18]提出的D2F2WOD框架构建双域训练范式，在合成域(如Occlusion-SYN)利用精确部件标注学习空间约束，在自然图像域(如COCO)通过弱监督损失传递语义知识。基于部分语义的遮挡目标识别模型，通过部件级空间关系建模与动态组合推理机制构建了视觉概念与几何约束相结合的推理框架，并利用合成数据与弱监督学习缓解部件标注依赖，鲁棒性高，在Occluded-Vehicle等数据集上实现了50%~70%遮挡率下89.6%的分类精度，对遮挡的适应能力强。然而，该类方法严重依赖遮挡目标数据集的标注，空间语义信息的获取难度较高，细粒度分类能力受限于空间语义信息，部件识别也需要多阶段推理，计算复杂度较大，不能满足实际应用需求。
综上所述，当前基于深度学习的遮挡目标识别领域的两大主流模型在技术路线上呈现显著互补性。基于整体特征的模型(如Mask R-CNN)通过全局特征的高效提取与端到端推理，在密集场景多目标检测任务中展现出色性能，但其对遮挡的敏感性导致特征空间歧义与动态适应性不足；而基于部分语义的模型(如CompositionalNets)通过部件级空间关系建模与组合推理机制，虽在遮挡鲁棒性与可解释性上取得突破，却受限于计算复杂度激增与细粒度分类能力弱化。
上述局限性促使研究者转向生物视觉系统的跨尺度认知机理，探索脑启发的遮挡目标识别新模型。人类视觉通过背侧通路(空间关系编码)与腹侧通路(语义特征提取)的协同和记忆联想机制实现了遮挡场景下的高效推理。研究者们已经开始通过模拟视觉功能机理、神经活动预测的方式，提取、抽离大脑中视觉目标表征和识别过程的生物网络模型进行脑启发的遮挡目标识别模型研究，寻求遮挡目标识别问题的新突破。
2 人脑识别遮挡目标的脑机制研究 2.1 人脑识别遮挡目标的神经科学理论介绍关于人类能够进行遮挡目标识别的原因，目前有两种主流观点：一种是非模态补全(amodal completion)理论，即人脑根据遮挡目标刺激的可见物理特征将目标补全为完整表征，并区分遮挡物和目标，之后进行完整目标识别；另一种观点是感知闭合(perceptual closure)理论，强调人脑在视觉信息碎片化的情况下，对物体的感知是连贯的。两者的根本不同是目标不完整的呈现方式，前者的不完整是因为遮挡物的存在，后者是目标本身的不完整(遮挡物为背景色)，这两种理论都取得了一定的研究成果。
(1) 非模态补全理论。Michotte在1951年的第13届国际心理学大会上首次提出非模态补全的概念：由于遮挡，在没有直接视觉感官输入的情况下完成物体感知的过程称为非模态补全，非模态指感知是不依赖于感官输入的，即使没有直接看到物体的全部，大脑仍然可以“填补”，并感知到一个完整物体。补全指大脑会自动将缺失的部分补充完整，形成一个完整的物体表征[19]。
视觉双通路在非模态补全理论中占有重要地位。腹侧视觉通路的枕外侧复合体(lateral occipital complex, LOC)在全局特征整合中起核心作用。Lerner等[20]使用功能性磁共振成像(fMRI)技术，发现枕外侧复合体对保留全局结构的遮挡物体(如未打乱条形图)反应更强。Hegdé等[21]进一步发现枕外侧复合体对遮挡物体的激活强度甚至超过完整物体，即使物体不完整，被试的大脑都表现出和完整物体视觉处理相似的时间动态过程。背侧通路则参与动态遮挡的空间推理，Olson等[22]发现顶内沟(intraparietal sulcus, IPS)和颞中区(middle temporal region, MTR)在运动遮挡中激活，与真实运动处理区域重叠。Erlikhman等[23]提出早期视觉皮层(V1~V3)编码动态遮挡的位置信息，后期高阶区域处理物体特异性特征。此外，初级视觉皮层(V1/V2)通过预测编码框架参与早期补全。Ban等[24]证实V1/V2对遮挡部分存在地形表征。Chen等[25]发现人脸补全时，V1/V2早期抑制与高阶区域(梭状回)后期增强的协同模式，与Yan等[26]的预测编码理论一致，即早期视觉皮层中的神经元根据自上而下的预测是否与自下而上的感觉输入相匹配来增强或抑制其活动。
非模态补全在时间动态上呈现分阶段特征：早期(＜200 ms)涉及V1/V2的激活减弱[25]及N170/P190幅值降低[27]，反映局部特征提取受限；中期(200~400 ms)以枕外侧复合体和梭状回激活增强为标志[21]，伴随动态遮挡诱发的右侧枕叶正成分[27]，对应全局结构整合与运动轨迹预测；晚期(>400 ms)则表现为延迟响应和记忆优势[28]，提示决策验证与工作记忆强化。
不同的实验范式设计对非模态补全理论的研究结果也有很大影响。自然物体依赖语义知识驱动整体编码[29]，而人工形状(如线条图)依赖结构连续性[30]。动态遮挡激活背侧通路(IPS/MTR)，静态遮挡依赖腹侧通路。先验知识[24]也可以通过增强V1中的早期地形表征来调节补全策略，对称性等高阶属性亦被灵活整合[31]。
(2) 感知闭合理论。格式塔心理学家于20世纪初提出感知闭合理论，强调大脑将不完整刺激整合成连贯认知的倾向。Stuss等[32]通过脑电图EEG研究发现，随着图像完整度降低，N400振幅增大且持续时间延长，仅在正确识别时出现晚期正波LPN。同时，最不完整图片诱发最大顶叶负波SPN，这一研究首次揭示了感知闭合的电生理特征。Doniger等[33]通过高密度ERP记录首次发现，在对物体识别过程中，枕叶或枕颞叶电极在220~300 ms出现负向成分Ncl(negativity of closure)，标志着感知闭合的特异性神经反应。
行为学研究表明，闭合轮廓显著促进形状编码与记忆比较[34]。EEG证据显示，学习任务可调节部分遮挡形状的补全，而物体知识通过顶枕区300~400 ms正波影响形状解释[35]。Liu等[36]发现，人脸删除信息处理速度快于建筑物，且两者均诱发Ncl成分，表明闭合感知对人脸存在先验知识依赖。这些结果共同表明，感知闭合是刺激驱动与知识引导的交互过程。
感知闭合所涉及的脑区与非模态补全十分相近。Sehatpour等[37]结合ERP与fMRI发现，高度碎片化图像在230~400 ms诱发双侧枕颞区强烈负波Ncl，核心定位在枕外侧复合体，该结果与Hegdé等[21]关于非模态补全的研究呼应，表明枕外侧复合体在闭合感知中起关键作用。Tang等[38]通过颅内场电位研究证实，即使物体仅18%可见，腹侧视觉通路仍保留目标选择性，但响应延迟(如N170潜伏期延长)，且识别难度与延迟程度正相关。这些发现揭示了感知闭合的层级化神经处理机制。
最新研究通过MEG/fMRI揭示了闭合感知的时空动力学：与识别相关的信息在110 ms内同时出现于多个网络，但腹侧视觉区与额顶叶区的表征存在显著差异[39]，该发现支持预测编码框架，即早期皮层根据先验知识整合缺失信息，而高级区域负责歧义消解。结合Tang等[40]的延迟响应证据，推测感知闭合可能涉及从早期低层次特征整合到晚期语义推理的多阶段加工。
综上所述，无论是非模态补全还是感知闭合都能解释人类对遮挡目标进行识别的过程。而且这两种理论的研究结果都表明，与完整目标相比，遮挡目标的识别过程会有响应延迟。将两种研究在相同实验设计和任务上进行神经表征变化分析，是得到遮挡目标识别原因的可能途径。
2.2 人脑识别遮挡目标的脑机制研究介绍除了上一小节中两种理论的研究之外，还有研究从前馈、循环和反馈连接角度出发，因为它们在整个视觉系统以及相关认知系统中协同作用，为人脑进行遮挡目标识别提供了重要的生物学基础和结构优势[41]。但是由于从人脑进行实验不能得到明确的解剖结构结果，研究者从灵长类出发，并且在大脑完整目标识别机制的阐明下提出了前馈计算模型，激发了深度卷积网络的发展，在各种计算机视觉方法中对物体的识别取得了巨大成功[42-44]。但随着图像识别难度增加，前馈信息处理方式出现局限性，自上而下的反馈和循环连接作用突出。循环处理在初始前馈计算之后立即开始(约50 ms)，包括横向处理和自上而下处理。其核心观点是：为了产生视觉意识体验，大脑视觉系统中的信息需要进行循环处理，即信息从高级视觉区域反馈至低级区域进行再处理。
循环处理相关研究中多用掩蔽范式阻碍重复循环处理[45-54]，掩蔽处理使低水平的视觉表现会立即被随后出现的图像覆盖，而且处理时间太短无法进行突触传递。Chen等[27]在使用遮挡人脸图片研究视觉处理的不同层次上发现，与完整目标相比，在遮挡时，高级视觉区域OFA(背侧颞叶)和FFA(内侧颞叶)在刺激呈现时间较短(50 ms)时，与完整图片的激活强度有显著降低，随着视觉刺激呈现时间的增加，激活强度趋于接近，说明遮挡信息的识别有延迟效应。低级视觉区域V1, V2, V3在刺激呈现时间较短(50 ms)时，与完整图片的激活强度没有显著差异，随着视觉刺激呈现时间的增加，激活强度比完整图片显著增高，说明在前馈之后的过程中，视觉系统有信息反馈至低级视觉区域。Wyatte等[41]的研究表明，与前馈处理同时进行的局部循环过程对于在嘈杂的真实情况下的对象识别是重要的，特别是当对象被部分遮挡、不清楚或以其他方式模糊时，循环过程驱动神经元对可能在物理刺激中被遮挡的共同出现的特征做出反应。Rajaei等[55]结合MEG与掩蔽范式，如图 3所示，研究无遮挡情况和60%遮挡情况下MEG数据的成对时间解码矩阵表明，100~300 ms内，遮挡解码精度小于完整刺激条件。从开始到峰值的解码时间泛化模式得出：无遮挡条件的泛化模式与分层前馈架构一致。被遮挡的物体(60%)的时间泛化模式与具有循环特征的分层结构一致。将假设的分层循环机制模拟行为学或MEG解码，其与真实的识别结果相近。Seijdel等[56]结合EEG与掩蔽范式研究识别背景逐渐复杂的目标，结果表明：行为学表现随背景复杂性的增加而下降；基于EEG信号的对象解码分析表明，嵌入更复杂背景中的对象的解码开始较晚；与循环和更深层次的网络相比，前馈和较低层次的网络在识别复杂背景中的物体时表现不足。这些结果支持了循环计算驱动复杂场景中目标识别的观点，因此比简单目标识别需要额外的处理时间。
|
图 3 无遮挡和60%遮挡的时间-时间解码准确度和合理处理架构[55] Fig. 3 Time-time decoding accuracy and plausible processing architecture for no-occlusion and 60% occlusion[55] |
反馈处理在前馈过程到达认知区域时出现(约100 ms)，是大脑高级认知区域对视觉区域的调控过程，也是自上而下的处理过程。在物体识别的背景下，反馈处理包括高级认知区域对注意力的调控，指导注意力集中在关键区域，从而提高对遮挡目标的识别和理解能力。
快速序列视觉呈现实验(rapid serial visual presentation, RSVP)中呈现时间越短(＜100 ms)，越能够打乱早期视觉活动，与来自高级认知区域的反馈分离，使得来自这些区域的反馈连接几乎没有时间发挥作用。2013年，Wokke等[57]使用经颅磁刺激在不同时刻破坏V1/V2和枕外侧(LO)区域的信号传导的同时，令被试者进行涉及Kanizsa错觉辨别任务，记录fMRI数据，结果表明，V1/V2的临界时间窗口遵循LO的临界时间窗，即LO区域对V1/V2进行了反馈。Goddard等[58]使用脑磁图(MEG)的高时间分辨率与多变量模式分析相结合，研究视觉系统对物体身份的低空间频率信息和高空间频率信息的处理方式，结果发现，低空间频率信号携带的物体身份信息在早期(刺激开始后约140 ms)更容易在枕周区域获得，表明视觉感知从粗到细发展。这一结果与视觉系统在刺激存在时继续接收关于物体身份的“自下而上”的信息是一致的。在刺激抵消后，额叶区域和早期视觉区域之间的相互作用由“自上而下”的信息流主导。Fyall等[59]记录两只猴子区分部分遮挡形状的腹外侧前额叶皮层vlPFC和V4的神经活动，发现有两个瞬时响应峰值的V4神经元，第一和第二响应峰值通常分别出现在vlPFC神经元的峰值响应之前和之后。即vlPFC中的遮挡敏感信号被反馈到V4时，这些反馈信号在第二个峰值期间有助于V4响应，增强了神经元对遮挡形状的选择性。Kar等[60]呈现给猕猴有挑战性的图像，使用药物使部分腹侧前额叶皮层(ventrolateral prefrontal cortex, vlPFC)失活，同时记录下颞叶(IT)皮层在执行物体识别时的神经活动。结果发现，腹侧前额叶皮层失活使IT后期编码能力减弱，导致猴子的IT活动和行为更像只有前馈的腹侧流模型产生的活动和行为。这些结果表明，通过vlPFC进行快速反馈处理对于在IT中产生行为充足的对象表示至关重要。
综上所述，人脑在识别遮挡目标时涉及多种复杂的神经机制，包括基于不同理论的目标补全与感知连贯过程，以及前馈、循环和反馈连接在不同阶段的协同作用。然而，目前仍有许多细节和深层次机制尚未完全明晰，有待进一步深入研究。
3 脑启发的遮挡目标识别模型人类视觉系统具备并行计算与处理模拟信息的能力，同时对外界信息的处理具有很强的筛选能力。人类与灵长类动物的大脑视觉皮层具有多级互连结构，同一层中的神经细胞在获取信息后高速、并行地进行特定的信息处理，并逐层简化数据规模实现图像特征信息的提取，最终完成对物体的认知理解。类脑视觉是以生物大脑为研究参考的人工智能技术在机器视觉领域的应用，通过研究和理解大脑皮层中的神经回路如何实现准确快速的目标识别机制，尝试将神经科学转化为目标识别算法，促进计算机视觉与模式识别的发展[61]。
基于大脑启发的目标识别模型的发展是建立从神经科学到计算机视觉的桥梁，也是脑启发遮挡目标识别的重要基础。
3.1 基于DNN的脑启发模型架构介绍大脑的视觉皮层通过层次化的神经结构处理来自外界的视觉信号，首先通过初级视觉皮层(V1)处理边缘、角度等低级特征，通过更高级的视觉皮层(如V2、V4)处理形状、颜色和纹理等更复杂的信息。灵长类动物的大脑通过不同的神经元群体进行信号处理和信息融合，最终实现对复杂视觉任务的感知和识别[62-63]。深度神经网络，特别是卷积神经网络(CNN)模仿了这一过程。CNN通常由多个卷积层、池化层、激活层等组成，其结构灵感来自大脑中视觉神经元的组织方式。例如，CNN的卷积层可以视为大脑中的简单细胞，负责从图像中提取低级特征(如边缘、纹理)；而更深层的卷积层则像大脑中的复杂细胞，结合不同的低级特征来识别更复杂的物体或模式[42-44]。
许多研究者致力于通过模仿大脑的神经机制来设计和优化深度神经网络(deep neural network，DNN)模型，尤其是在目标识别任务中。例如，通过获取灵长类动物的大脑信号，研究人员能够更好地理解大脑如何处理视觉信息，并将这些认知机制应用于设计更高效的神经网络架构。通过模拟大脑视觉神经机制，DNN能够在目标识别、图像分类、物体检测等任务中展现出类脑的感知能力[64-66]。
一些先进的DNN模型不仅借鉴了大脑的层次结构，还在网络的训练方式和数据处理上进行了改进，以便更好地模仿大脑的学习和记忆机制。例如，采用生物启发的训练算法、注意力机制和神经可塑性等方法，以提高模型在动态环境中的适应能力[67-71]。
以DNN框架为基石，脑启发的目标识别模型加入了人类视觉系统的功能机理，实现了解释性更高和准确率增加的目标识别模型。
3.2 脑视觉实验对目标识别模型的启发灵长类动物脑实验设计方法可以对视觉系统的功能机理或神经激活进行提取，定量描述视觉通路的神经机制，由此构建脑启发的目标识别模型，并与真实视觉皮层进行相似性分析。这类脑启发模型虽然不会对具体的脑视觉实验进行详细描述，但会受已有的目标识别神经机制启发，以DNN为框架，模拟视觉系统功能机理进行目标识别模型改进[62-63, 66-70, 72-76]。
(1) 模拟视觉皮层目标感知能力从而提供稳定的目标表征：结合初级视觉皮层自上而下的影响在轮廓整合和视觉显著性过程中发挥的重要作用[72]。Heidari-Corji等[73]提出了时间分层前馈模型，通过修改分层峰值神经网络(尖峰HMAX)将输入刺激在尖峰序列中暂时表示，然后将改进的峰值HMAX模型与累积到约束决策模型相结合生成的峰值随时间累积，一旦累加器的发射率达到阈值(决策界)，就确定输入类别。该模型可以随时间的推移提高生物学上合理的决策者的准确性，决策边界还能够在不同的目标识别任务中调整速度-精度权衡。Chen等[67]研究了基于dropout的漂移扩散模型(dropout-based drift-diffusion model，DDDM)，该模型将测试阶段dropout和DDM相结合，以提高任意神经网络的鲁棒性，dropout在网络中产生暂时不相关的噪声来对抗扰动，而证据积累机制保证了合理的决策精度。
(2) 模拟神经反馈连接机制：反馈机制作为最先引入的基于CNN模型进行改进的方法，模拟视觉皮层自上而下的影响，显著提高了传统的前馈架构的识别性能。Wen等[70]受人类视觉皮层中反馈机制的启发，最先提出一种反馈卷积神经网络体系架构，保持前馈阶段不变，通过共同推理类节点的输出以及在反馈循环期间激活隐藏层神经元实现分类。Park等[68]发现并模拟了视觉皮层中的远程水平连接(long-range horizontal connection, LRC)机制，并添加到浅层前馈网络中实现在浅层层次深度的物理约束下的目标识别，在初始前馈网络中加入LRC显著提高了分类精度。后续的研究者[66, 75-76]普遍采用了自上而下的反馈机制增强标准的前馈深度模型。
综上所述，无论是开展人脑目标识别神经机理研究，或是构建大脑启发的目标识别网络或模型，都需要引入灵长类动物脑实验设计方法对视觉系统的功能机理或神经激活进行提取，定量描述视觉通路的神经机制[74-76]。通过实验获得的大脑活动数据旨在表征大脑激活的皮层动力学，使视觉神经活动与目标识别任务中的行为联系起来总结视觉目标表征的内容和信号流向形式，揭示目标识别任务背后的计算机制。
随着认知心理学和认知神经科学的不断发展，脑电图(EEG)、fMRI以及脑磁图(MEG)等脑信号获取技术先后问世，使得采用科学手段对大脑活动进行解读成为可能。研究人员通过采集不同时空尺度的大脑活动信号，利用数学模型建立这些信号与大脑视觉感知与认知状态间的映射关系，实现对人类的视觉认知进行辨识或重构的目的，为目标识别模型增加了新的方向。
3.3 模拟视觉系统功能机理的遮挡目标识别模型尽管当前基于多种技术的遮挡目标识别方法已取得显著进展，但计算机视觉系统在遮挡场景下的表现仍远不及人类视觉系统。为此，研究者们通过模拟人类视觉系统的功能机理和神经活动来提取并抽象大脑中的视觉目标表征与识别过程，构建了一系列脑启发的视觉模型。这些模型主要从局部循环机制、远程反馈机制、联想机制以及非模态补全理论四个方面展开研究，显著提升了遮挡目标识别的性能。表 1对不同遮挡目标识别模型进行了性能比较。
|
表 1 不同遮挡目标识别模型的性能比较 Tab. 1 Performance comparison of different occluded object recognition models |
(1) 模拟局部循环机制：局部循环机制在遮挡目标识别中扮演了重要角色。O′Reilly等[77]提出了基于前馈和循环连接的视觉模型LVis，因为模型中循环连接和循环处理机制在起作用，所以能对高度模糊、部分遮挡的输入表现出鲁棒性，并可以根据过程内部和过程之间随时间的相互作用来理解物体识别的方法。Rajaei等[55]根据60%遮挡时MEG成对时间解码结果，发现从开始到峰值解码的时间泛化模式与具有循环特征的分层结构一致。根据这个结果构建具有局部循环连接卷积层的层次结构HRRN，这种结构沿着腹侧视觉通路(V1、V2、V4、IT)的层次对前馈和局部循环连接进行建模。HRRN与前馈模型AlexNet相比，更能解释151~300 ms的MEG数据，在60%遮挡情况下平均识别准确率更高。Ernst等[78]比较了自下而上、循环和自上而下连接组成的体系结构，并使用自制的立体遮挡对象数据集评估了它们的性能，鉴于改进的性能和更大的生物学合理性，循环和自上而下的反馈神经网络架构在遮挡物体识别方面表现出显著的性能优势，进一步验证了循环机制在遮挡识别中的重要性。
(2) 模拟远程反馈机制：远程反馈机制通过模拟大脑中不同区域间的相互作用增强了遮挡目标识别的鲁棒性。Fyall等[59]使用V4/vlPFC相互作用模型复制了vlPFC对V4的反馈作用，即对遮挡敏感的vlPFC神经元反馈给形状选择性的V4神经元，从而增强V4对闭塞形状的反应和选择性。Xiao等[64]提出了自上而下的注意力原型网络(top-down attention prototype, TDAPNet)，使用VGG-16的卷积层作为特征提取器，并对特征进行原型匹配。注意力图不仅用于自上而下的反馈注意调节，减少了特征提取过程中遮挡的污染，而且用于部分匹配，在比较特征和原型时筛选出不相关的信息，将原型学习、部分匹配和自上而下的注意力调节集成到深度神经网络中，实现遮挡下的鲁棒分类。
(3) 模拟联想机制：Du等[71]受人类联想识别的启发，提出了一种新型3D检测框架。该框架将可见特征定义为感知特征，将遮挡特征定义为概念特征，并引入基于注意力的重加权模块，自适应地增强信息丰富的区域特征，从而显著提升了模型在遮挡场景下的识别性能。
(4) 模拟非模态补全理论：非模态补全理论通过模拟人类视觉系统对遮挡部分的补全能力，将遮挡目标识别问题转化为清晰图像识别问题。恢复遮挡特征的一个主要做法是利用无监督的方式从被遮挡目标的有效特征中恢复被遮挡部分的特征，利用基于自监督的方法让模型学习图像中的基本结构和模式，以此解决遮挡问题，但这些方法需要详细的部件级注释来重建被遮挡的物体。Wen等[70]提出部分完成网络(PCNet)-掩码(M)-内容(C)的框架来解决场景去遮挡问题，通过渐进顺序恢复、模态完成和内容完成来完成场景去遮挡，旨在恢复底层遮挡顺序并完成被遮挡对象的不可见部分。Zhang等[65]设计了基于部分遮挡图像识别(POIR)的脑启发的特征恢复网络(brain-inspired feature restoration, BIFRNet)，如图 4所示，该方法模拟背侧视觉通路能够通过空间注意力区分遮挡的功能机理产生空间注意力，区分遮挡物和目标，还模拟人类腹侧视觉通路提取完整特征，使用知识模块存储对象先验知识，并使用补全模块基于可见特征和先验知识恢复被遮挡的特征，在所有遮挡级别上都显著优于其他方法，并实现了类似人类的性能。该方法虽然对数据集要求很高，但其是基于脑启发的遮挡目标识别算法的重要尝试。Zhan等[79]提出了一种非模态估计的新公式，专注于相对深度预测，提高不同自然图像的模型泛化，只需进行最少的修改即可实现高质量的非模态预测，模型在遮挡区域生成多样化、合理的深度结构方面具有很强的灵活性。基于非模态补全的遮挡特征恢复模型都具有很高的分类准确率，远远超过其他模型。
综上所述，从局部循环机制、远程反馈机制、联想机制以及非模态补全理论等方面模拟视觉系统功能机理构建的遮挡目标识别模型在提升遮挡目标识别性能上成效显著，为计算机视觉在复杂遮挡场景下的应用拓展了广阔前景。对以上模拟视觉系统功能机理的遮挡目标识别模型进行分析比较，如表 2所示。未来，随着对人脑识别遮挡目标研究的不断深入，有望进一步缩小其与人类视觉系统在遮挡目标识别能力上的差距。
|
|
表 2 不同脑启发的遮挡目标识别模型比较 Tab. 2 Comparison of different brain-inspired models for occluded object recognition |
自深度学习应用至遮挡目标识别领域以来，模型的准确度和对遮挡的适应性都取得了一定的进步。基于整体特征的模型在密集场景中展现出出色的分类能力，基于部分语义的模型在遮挡鲁棒性与可解释性上取得突破，但两者无法兼顾识别准确率和遮挡鲁棒性，遮挡识别问题仍然是一个具有挑战性的问题。
与计算机视觉不同，人脑对于遮挡目标具有出色的识别能力，人脑视觉系统通过与其他脑区协同合作实现遮挡场景下的高效推理。所以研究者们已经开始通过模拟视觉功能机理、神经活动预测的方式提取、抽离大脑中视觉目标表征和识别过程的生物网络模型进行脑启发的遮挡目标识别模型研究，寻求遮挡目标识别问题的新突破。
脑启发的遮挡目标识别模型通过模拟人类视觉系统的功能机理，在遮挡场景下的识别性能取得了显著进展。但人类视觉系统的复杂性远超当前的理解和模拟水平。深入探索生物视觉的神经机制，尤其是在遮挡目标识别过程中的精细神经活动和信息处理方式仍然是脑启发算法创新的核心难点。此外，多模态数据的融合方法、自适应机制的优化以及无监督/自监督学习算法的改进等方面也需要大量的研究工作来突破现有技术瓶颈。
脑启发的遮挡目标识别模型前景广阔但充满挑战。通过跨学科的深度合作，结合神经科学、认知心理学、计算机科学等多学科的最新成果，持续优化和创新模型算法，有望不断缩小与人类视觉系统的差距，推动计算机视觉技术在复杂遮挡场景下的广泛应用和发展。
| [1] |
孙方伟, 李承阳, 谢永强, 等. 深度学习应用于遮挡目标检测算法综述[J]. 计算机科学与探索, 2022, 16(6): 1243-1259. SUN F W, LI C Y, XIE Y Q, et al. Review of deep learning applied to occluded object detection[J]. Journal of frontiers of computer science and technology, 2022, 16(6): 1243-1259. (  0) |
| [2] |
TIAN Y L, LUO P, WANG X G, et al. Deep learning strong parts for pedestrian detection[C]//2015 IEEE International Conference on Computer Vision. Piscataway: IEEE Press, 2015: 1904-1912.
( 0) |
| [3] |
ZHU Y S, ZHAO C Y, WANG J Q, et al. CoupleNet: coupling global structure with local parts for object detection[C]//2017 IEEE International Conference on Computer Vision. Piscataway: IEEE Press, 2017: 4146-4154.
( 0) |
| [4] |
HE K, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision. Piscataway: IEEE Press, 2017: 22-29.
( 0) |
| [5] |
REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137-1149. DOI:10.1109/TPAMI.2016.2577031 ( 0) |
| [6] |
HE Y H, ZHU C C, WANG J R, et al. Bounding box regression with uncertainty for accurate object detection[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2019: 6799-6807.
( 0) |
| [7] |
CHU X G, ZHENG A L, ZHANG X Y, et al. Detection in crowded scenes: one proposal, multiple predictions[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2020: 12211-12220.
( 0) |
| [8] |
SHAO X T, WANG Q, YANG W, et al. Multi-scale feature pyramid network: a heavily occluded pedestrian detection network based on ResNet[J]. Sensors, 2021, 21(5): 1820. DOI:10.3390/s21051820 ( 0) |
| [9] |
NI J J, SHEN K, CHEN Y, et al. An improved SSD-like deep network-based object detection method for indoor scenes[J]. IEEE transactions on instrumentation and measurement, 2023, 72: 5006915. ( 0) |
| [10] |
张震, 张亚斌, 田鸿朋. 基于Vision Transformer的车辆重识别模型优化[J]. 郑州大学学报(理学版), 2025, 57(1): 46-52. ZHANG Z, ZHANG Y B, TIAN H P. Optimization of vehicle re-identification model based on Vision Transformer[J]. Journal of Zhengzhou university (natural science edition), 2025, 57(1): 46-52. DOI:10.13705/j.issn.1671-6841.2023179 ( 0) |
| [11] |
彭金柱, 刘涵菲, 卞英楠. 基于SVR-LSTM的人体上肢运动遮挡轨迹补偿方法[J]. 郑州大学学报(理学版), 2025, 57(1): 1-7. PENG J Z, LIU H F, BIAN Y N. Human upper limb motion occlusion trajectory compensation method based on SVR-LSTM[J]. Journal of Zhengzhou university (natural science edition), 2025, 57(1): 1-7. DOI:10.13705/j.issn.1671-6841.2023101 ( 0) |
| [12] |
WANG J, ZHANG Z, XIE C, et al. Unsupervised learning of object semantic parts from internal states of CNNs by population encoding [EB/OL]. (2015-11-21)[2025-01-20]. https://arxiv.org/pdf/1511.06855.
( 0) |
| [13] |
ZHANG Z S, XIE C H, WANG J Y, et al. DeepVoting: a robust and explainable deep network for semantic part detection under partial occlusion[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2018: 1372-1380.
( 0) |
| [14] |
ZHU H, TANG P, PARK J, et al. Robustness of object recognition under extreme occlusion in humans and computational models[EB/OL]. (2019-05-11)[2025-01-20]. https://www.semanticscholar.org/reader/d816c4823db5140c91230a9ab394e4d22c3809b7.
( 0) |
| [15] |
KORTYLEWSKI A, HE J, LIU Q, et al. Compositional convolutional neural networks: a deep architecture with innate robustness to partial occlusion[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2020: 8937-8946.
( 0) |
| [16] |
KORTYLEWSKI A, LIU Q, WANG H Y, et al. Combining compositional models and deep networks for robust object classification under occlusion[C]//2020 IEEE Winter Conference on Applications of Computer Vision Piscataway: IEEE Press, 2020: 1352-1361.
( 0) |
| [17] |
WANG A T, SUN Y H, KORTYLEWSKI A, et al. Robust object detection under occlusion with context-aware CompositionalNets[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2020: 12645-12654.
( 0) |
| [18] |
WANG Y T, GUERRERO R, PAVLOVIC V. D2F2WOD: learning object proposals for weakly-supervised object detection via progressive domain adaptation[C]//2023 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway: IEEE Press, 2023: 22-31.
( 0) |
| [19] |
AO J Y, KE Q H, EHINGER K A. Image amodal completion: a survey[J]. Computer vision and image understanding, 2023, 229: 103661. DOI:10.1016/j.cviu.2023.103661 ( 0) |
| [20] |
LERNER Y, HENDLER T, MALACH R. Object- completion effects in the human lateral occipital complex[J]. Cerebral cortex, 2002, 12(2): 163-177. DOI:10.1093/cercor/12.2.163 ( 0) |
| [21] |
HEGDÉ J, FANG F, MURRAY S O, et al. Preferential responses to occluded objects in the human visual cortex[J]. Journal of vision, 2008, 8(4): 1-16. ( 0) |
| [22] |
OLSON I R, CHRISTOPHER GATENBY J, LEUNG H C, et al. Neuronal representation of occluded objects in the human brain[J]. Neuropsychologia, 2004, 42(1): 95-104. DOI:10.1016/S0028-3932(03)00151-9 ( 0) |
| [23] |
ERLIKHMAN G, CAPLOVITZ G P. Decoding information about dynamically occluded objects in visual cortex[J]. NeuroImage, 2017, 146: 778-788. DOI:10.1016/j.neuroimage.2016.09.024 ( 0) |
| [24] |
BAN H, YAMAMOTO H, HANAKAWA T, et al. Topographic representation of an occluded object and the effects of spatiotemporal context in human early visual areas[J]. Journal of neuroscience, 2013, 33(43): 16992-17007. DOI:10.1523/JNEUROSCI.1455-12.2013 ( 0) |
| [25] |
CHEN J, ZHOU T G, YANG H, et al. Cortical dynamics underlying face completion in human visual system[J]. Journal of neuroscience, 2010, 30(49): 16692-16698. DOI:10.1523/JNEUROSCI.3578-10.2010 ( 0) |
| [26] |
YAN C Y, PÉREZ-BELLIDO A, DE LANGE F P. Amodal completion instead of predictive coding can explain activity suppression of early visual cortex during illusory shape perception[J]. Journal of vision, 2021, 21(5): 13. DOI:10.1167/jov.21.5.13 ( 0) |
| [27] |
CHEN J, LIU B Y, CHEN B, et al. Time course of amodal completion in face perception[J]. Vision research, 2009, 49(7): 752-758. DOI:10.1016/j.visres.2009.02.005 ( 0) |
| [28] |
JOHNSON J S, OLSHAUSEN B A. The recognition of partially visible natural objects in the presence and absence of their occluders[J]. Vision research, 2005, 45(25/26): 3262-3276. ( 0) |
| [29] |
HARRIS A, AGUIRRE G K. The representation of parts and wholes in face-selective cortex[J]. Journal of cognitive neuroscience, 2008, 20(5): 863-878. DOI:10.1162/jocn.2008.20509 ( 0) |
| [30] |
LERNER Y, HAREL M, MALACH R. Rapid completion effects in human high-order visual areas[J]. NeuroImage, 2004, 21(2): 516-526. DOI:10.1016/j.neuroimage.2003.08.046 ( 0) |
| [31] |
RAMPONE G, ADAM M, MAKIN A D J, et al. Electrophysiological evidence of the amodal representation of symmetry in extrastriate areas[J]. Scientific reports, 2022, 12(1): 1180. DOI:10.1038/s41598-021-04501-3 ( 0) |
| [32] |
STUSS D T, PICTON T W, CERRI A M, et al. Perceptual closure and object identification: electrophysiological responses to incomplete pictures[J]. Brain and cognition, 1992, 19(2): 253-266. DOI:10.1016/0278-2626(92)90047-P ( 0) |
| [33] |
DONIGER G M, FOXE J J, MURRAY M M, et al. Activation timecourse of ventral visual stream object-recognition areas: high density electrical mapping of perceptual closure processes[J]. Journal of cognitive neuroscience, 2000, 12(4): 615-621. DOI:10.1162/089892900562372 ( 0) |
| [34] |
GARRIGAN P. The effect of contour closure on shape recognition[J]. Perception, 2012, 41(2): 221-235. DOI:10.1068/p7145 ( 0) |
| [35] |
HAZENBERG S J, VAN LIER R. Disentangling effects of structure and knowledge in perceiving partly occluded shapes: an ERP study[J]. Vision research, 2016, 126: 109-119. DOI:10.1016/j.visres.2015.10.004 ( 0) |
| [36] |
LIU C Y, SHA S, ZHANG X J, et al. The time course of perceptual closure of incomplete visual objects: an event-related potential study[J]. Computational intelligence and neuroscience, 2020, 2020(1): 8825197. ( 0) |
| [37] |
SEHATPOUR P, MOLHOLM S, JAVITT D C, et al. Spatiotemporal dynamics of human object recognition processing: an integrated high-density electrical mapping and functional imaging study of "closure" processes[J]. NeuroImage, 2006, 29(2): 605-618. DOI:10.1016/j.neuroimage.2005.07.049 ( 0) |
| [38] |
TANG H L, KREIMAN G. Recognition of occluded objects[M]//Computational and Cognitive Neuroscience of Vision. Berlin: Springer Press, 2016: 41-58.
( 0) |
| [39] |
WU Y H, PODVALNY E, HE B J. Spatiotemporal neural dynamics of object recognition under uncertainty in humans[J]. eLife, 2023, 12: e84797. DOI:10.7554/eLife.84797 ( 0) |
| [40] |
TANG H L, BUIA C, MADHAVAN R, et al. Spatiotemporal dynamics underlying object completion in human ventral visual cortex[J]. Neuron, 2014, 83(3): 736-748. DOI:10.1016/j.neuron.2014.06.017 ( 0) |
| [41] |
WYATTE D, JILK D J, O'REILLY R C. Early recurrent feedback facilitates visual object recognition under challenging conditions[J]. Frontiers in psychology, 2014, 5: 674. ( 0) |
| [42] |
KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the acm, 2017, 60(6): 84-90. DOI:10.1145/3065386 ( 0) |
| [43] |
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2014-09-04)[2025-01-21]. https://www.semanticscholar.org/reader/eb42cf88027de515750f230b23b1a057dc782108.
( 0) |
| [44] |
SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2015: 1-9.
( 0) |
| [45] |
BACON-MACÉ N, MACÉ M J, FABRE-THORPE M, et al. The time course of visual processing: backward masking and natural scene categorisation[J]. Vision research, 2005, 45(11): 1459-1469. DOI:10.1016/j.visres.2005.01.004 ( 0) |
| [46] |
CHIKHMAN V, SHELEPIN Y, FOREMAN N, et al. Incomplete figure perception and invisible masking[J]. Perception, 2006, 35(11): 1441-1457. DOI:10.1068/p5366 ( 0) |
| [47] |
DI LOLLO V, ENNS J T, RENSINK R A. Competition for consciousness among visual events: the psychophysics of reentrant visual processes[J]. Journal of experimental psychology general, 2000, 129(4): 481-507. DOI:10.1037/0096-3445.129.4.481 ( 0) |
| [48] |
FAHRENFORT J J, SCHOLTE H S, LAMME V F. Masking disrupts reentrant processing in human visual cortex[J]. Journal of cognitive neuroscience, 2007, 19(9): 1488-1497. DOI:10.1162/jocn.2007.19.9.1488 ( 0) |
| [49] |
GOODHEW S C. What have we learned from two decades of object-substitution masking? Time to update: object individuation prevails over substitution[J]. Journal of experimental psychology Human perception and performance, 2017, 43(6): 1249-1262. DOI:10.1037/xhp0000395 ( 0) |
| [50] |
GREEN M F, LEE J, COHEN M S, et al. Functional neuroanatomy of visual masking deficits in schizophrenia[J]. Archives of general psychiatry, 2009, 66(12): 1295-1303. DOI:10.1001/archgenpsychiatry.2009.132 ( 0) |
| [51] |
HARRISON G W, RAJSIC J, WILSON D E. Object-substitution masking degrades the quality of conscious object representations[J]. Psychonomic bulletin & review, 2016, 23(1): 180-186. ( 0) |
| [52] |
REISS J E, HOFFMAN J E. Object substitution masking interferes with semantic processing: evidence from event-related potentials[J]. Psychological science, 2006, 17(12): 1015-1020. DOI:10.1111/j.1467-9280.2006.01820.x ( 0) |
| [53] |
SILVERSTEIN D N. A computational investigation of feedforward and feedback processing in metacontrast backward masking[EB/OL]. (2015-02-15)[2025-01-20]. https://pmc.ncbi.nlm.nih.gov/articles/PMC4338675/.
( 0) |
| [54] |
TAPIA E, BECK D M. Probing feedforward and feedback contributions to awareness with visual masking and transcranial magnetic stimulation[EB/OL]. (2015-02-24)[2025-01-21]. https://pmc.ncbi.nlm.nih.gov/articles/PMC4338675/pdf/fpsyg-06-00006.pdf.
( 0) |
| [55] |
RAJAEI K, MOHSENZADEH Y, EBRAHIMPOUR R, et al. Beyond core object recognition: recurrent processes account for object recognition under occlusion[J]. PLoS computational biology, 2019, 15(5): e1007001. DOI:10.1371/journal.pcbi.1007001 ( 0) |
| [56] |
SEIJDEL N, LOKE J, VAN DE KLUNDERT R, et al. On the necessity of recurrent processing during object recognition: it depends on the need for scene segmentation[J]. Journal of neuroscience, 2021, 41(29): 6281-6289. DOI:10.1523/JNEUROSCI.2851-20.2021 ( 0) |
| [57] |
WOKKE M E, VANDENBROUCKE A R E, STEVEN SCHOLTE H, et al. Confuse your illusion: feedback to early visual cortex contributes to perceptual completion[J]. Psychological science, 2013, 24(1): 63-71. DOI:10.1177/0956797612449175 ( 0) |
| [58] |
GODDARD E, CARLSON T A, DERMODY N, et al. Representational dynamics of object recognition: feedforward and feedback information flows[J]. NeuroImage, 2016, 128: 385-397. DOI:10.1016/j.neuroimage.2016.01.006 ( 0) |
| [59] |
FYALL A M, EL-SHAMAYLEH Y, CHOI H, et al. Dynamic representation of partially occluded objects in primate prefrontal and visual cortex[J]. eLife, 2017, 6: e25784. DOI:10.7554/eLife.25784 ( 0) |
| [60] |
KAR K, DICARLO J J. Fast recurrent processing via ventrolateral prefrontal cortex is needed by the primate ventral stream for robust core visual object recognition[J]. Neuron, 2021, 109(1): 164-176.e5. DOI:10.1016/j.neuron.2020.09.035 ( 0) |
| [61] |
杨曦, 闫杰, 王文, 等. 脑启发的视觉目标识别模型研究与展望[J]. 计算机工程与应用, 2022, 58(7): 1-20. YANG X, YAN J, WANG W, et al. Research and prospect of brain-inspired model for visual object recognition[J]. Computer engineering and applications, 2022, 58(7): 1-20. ( 0) |
| [62] |
VON DER HEYDT R. Visual cortical processing: from image to object representation[J]. Frontiers in computer science, 2023, 5: 1136987. DOI:10.3389/fcomp.2023.1136987 ( 0) |
| [63] |
KILEY C W, USREY W M. Cortical processing of visual signals[M]//Neuroscience in the 21st Century. Berlin: Springer Press, 2022: 1055-1074.
( 0) |
| [64] |
XIAO M Q, KORTYLEWSKI A, WU R H, et al. TDMPNet: prototype network with recurrent top-down modulation for robust object classification under partial occlusion[M]//Computer Vision-ECCV 2020 Workshops. Berlin: Springer Press, 2020: 447-463.
( 0) |
| [65] |
ZHANG J H, CAO L H, LAI Q X, et al. BIFRNet: a brain-inspired feature restoration DNN for partially occluded image recognition[J]. Proceedings of the AAAI conference on artificial intelligence, 2023, 37(12): 15296-15304. DOI:10.1609/aaai.v37i12.26784 ( 0) |
| [66] |
EICKENBERG M, GRAMFORT A, VAROQUAUX G, et al. Seeing it all: convolutional network layers map the function of the human visual system[J]. NeuroImage, 2017, 152: 184-194. DOI:10.1016/j.neuroimage.2016.10.001 ( 0) |
| [67] |
CHEN X Y, LI X Y, ZHOU Y, et al. DDDM: a brain-inspired framework for robust classification[EB/OL]. (2022-07-23)[2025-01-21]. https://arxiv/pdf/2205.10117.
( 0) |
| [68] |
PARK Y, BAEK S, PAIK S B. A brain-inspired network architecture for cost-efficient object recognition in shallow hierarchical neural networks[J]. Neural networks, 2021, 134: 76-85. DOI:10.1016/j.neunet.2020.11.013 ( 0) |
| [69] |
SPAMPINATO C, PALAZZO S, KAVASIDIS I, et al. Deep learning human mind for automated visual classification[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2017: 4503-4511.
( 0) |
| [70] |
WEN H, HAN K, SHI J, et al. Deep predictive coding network for object recognition[C]//Proceedings of the International Conference on Machine Learning. Piscataway: IEEE Press, 2018: 5313-5322.
( 0) |
| [71] |
DU L, YE X Q, TAN X, et al. AGO-net: association-guided 3D point cloud object detection network[J]. IEEE transactions on pattern analysis and machine intelligence, 2022, 44(11): 8097-8109. ( 0) |
| [72] |
FEDERER C, XU H Y, FYSHE A, et al. Improved object recognition using neural networks trained to mimic the brain's statistical properties[J]. Neural networks, 2020, 131: 103-114. DOI:10.1016/j.neunet.2020.07.013 ( 0) |
| [73] |
HEIDARI-GORJI H, EBRAHIMPOUR R, ZABBAH S. A temporal hierarchical feedforward model explains both the time and the accuracy of object recognition[J]. Scientific reports, 2021, 11(1): 5640. DOI:10.1038/s41598-021-85198-2 ( 0) |
| [74] |
SEELIGER K, GÜÇLÜ U, AMBROGIONI L, et al. Generative adversarial networks for reconstructing natural images from brain activity[J]. NeuroImage, 2018, 181: 775-785. DOI:10.1016/j.neuroimage.2018.07.043 ( 0) |
| [75] |
YAMINS D L K, HONG H, CADIEU C F, et al. Performance-optimized hierarchical models predict neural responses in higher visual cortex[J]. Proceedings of the national academy of sciences of the United States of America, 2014, 111(23): 8619-8624. ( 0) |
| [76] |
ZHUANG C X, YAN S M, NAYEBI A, et al. Unsupervised neural network models of the ventral visual stream[J]. Proceedings of the national academy of sciences of the United States of America, 2021, 118(3): e2014196118. ( 0) |
| [77] |
O'REILLY R C, WYATTE D, HERD S, et al. Recurrent processing during object recognition[EB/OL]. (2013-04-01)[2025-01-21]. https://pmc.ncbi.nlm.nih.gov/articles/PMC3612699/.
( 0) |
| [78] |
ERNST M, TRIESCH J, BURWICK T. Recurrent feedback improves recognition of partially occluded objects[EB/OL]. (2021-04-21) [2025-01-21]. https://www.semanticscholar.org/reader/f073d1409d59053e9a415c861de80475a8e2a06e.
( 0) |
| [79] |
ZHAN G Q, ZHENG C X, XIE W D, et al. Amodal ground truth and completion in the wild[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2024: 28003-28013.
( 0) |