2026, Vol. 58
2. 兰州工业学院 基础学科部 甘肃 兰州 730050
2. Basic Subjects Department, Lanzhou Institute of Technology, Lanzhou 730050, China
语义分割作为计算机视觉的重要任务之一，旨在完成图像中每个像素的准确分类，已应用于自动驾驶[1]、医学影像分割[2]和行人检测[3]等领域。然而，现有的语义分割方法面临多个挑战，包括分割结果不连续、分割错误以及物体边缘区域分割困难等问题。这些问题的存在严重影响了分割结果的准确性和实用性。
传统的图像语义分割方法通常依赖于人工设计的特征和复杂的后处理方法，如基于阈值、聚类或边缘检测的分割方法[4]。尽管这些方法在特定场景中取得了较好效果，但面对复杂背景和多变环境时，通常难以捕捉图像的全局和局部特征，导致分割效果不佳。随着深度学习技术的发展，FCN[5]被提出并广泛应用于语义分割任务。FCN通过端到端像素级预测，显著提升了分割精度，但其仍然存在边缘细节丢失和分割不连续的问题。为了进一步提升分割性能，研究者们提出了多种基于FCN的改进模型。Dolz等[6]提出了3DFCN模型，通过融合上下文特征实现了更精确的像素边界定位。Bittner等[7]提出了FCN4s用于高分辨率遥感影像的建筑物提取任务。Fu等[8]通过使用atrous卷积优化了FCN模型，显著提升了分割精度。然而，这些改进模型虽然取得了一定的进展，但仍然难以解决分割不连续和小目标分割困难的问题。
脉冲耦合神经网络和CCNN为图像处理提供了新的思路。CCNN模型[9]通过模拟像素间的连续时间和空间关系，能够有效降低人工特征提取的复杂度，并提高图像处理效率和精度。
针对上述问题，本文提出一种融合FCN、CCNN和ECA的FE-CCNN语义分割算法，自动提取物体特征，实现端到端训练，并提升分割精度，进一步提升语义分割效果。
1 FE-CCNN图像语义分割算法 1.1 整体框架本文提出的语义分割算法是一个基于ResNet50骨干网络的全卷积神经网络，用于图像语义分割任务。该网络首先利用ResNet50提取图像特征；其次，采用CCNN模块进一步处理特征，通过ECA注意力机制增强特征的通道关注度；最后，通过一个专门设计的分类器将特征图上采样到原始图像尺寸，并输出每个像素点的分类结果。其中，ECA注意力机制通过全局平均池化和一维卷积来计算每个通道的权重，而CCNN模块则模拟循环神经网络来捕捉特征间的复杂关系。整个网络结构旨在提高分割精度，通过注意力机制和特征增强模块提升算法对图像中重要区域的识别能力。这种组合使得算法在保持高分辨率细节的同时，还能有效关注到关键特征，提高语义分割精度。实验结果表明，本文算法能够有效解决分割断裂、错误分割、物体边缘分割精度等问题。图 1给出了本文算法的流程图。FE-CCNN包含三个关键步骤：(1) CCNN模型作为特征提取器的进一步优化。通过建模像素之间的时空连续关系来提取图像中的局部和全局特征，从而生成更丰富且连贯的特征表示。(2) 在CCNN网络的特征提取之后，将ECA注意力机制嵌入网络，用于对特征通道加权，增强通道关注度。(3) 在经过CCNN网络和ECA模块处理后的特征图上，FCN网络被用于生成最终的像素级预测。FCN的卷积层保持特征的空间分辨率，使得模型能够输出与输入图像同等分辨率的分割图。
|
图 1 整体框架 Fig. 1 Monolithic framework |
采用深度残差网络ResNet50作为基础网络，其核心创新在于引入残差块，通过跳连结构实现恒等变换，这一设计有效缓解了深层网络中的梯度消失问题。残差结构由卷积层和捷径分支构成，ResNet50对全局与局部特征都能有效捕捉，并在保持较少可训练参数的同时增强模型的表征能力。激活函数选用ReLU函数，ReLU函数表达式为
| $ f(x)= \begin{cases}0, & x \leqslant 0, \\ x, & x>0 。\end{cases} $ | (1) |
如图 2所示，FCN是一种端到端模型，其架构可以通过微调来适应其他深度网络，核心思想是将卷积操作应用于整幅图像，从而能够生成像素级预测。FCN通过卷积层和池化层提取图像特征，利用反卷积层对特征图进行上采样，恢复至原始尺寸。这样，每个像素均可获得一个分类标签，实现图像的精确分割。FCN的上采样可融合不同层次的特征图，从而捕捉到图像的多尺度特征，提高分割的准确性。FCN采用双线性插值恢复输入分辨率，编码器网络采用VGG16卷积层，利用跳过连接通过将高分辨率特征从编码器网络复制到解码器网络来改进对细节的描述。
|
图 2 FCN模型结构 Fig. 2 FCN model structure |
CCNN模型是一种新型类脑神经网络模型[10]，它能够更好地模拟生物初级视觉皮层神经元的动态行为。CCNN模型结构如图 3所示。CCNN模型数学表达式为
| $ \left\{\begin{array}{l} \boldsymbol{F}(n)=\mathrm{e}^{-\alpha_f} \boldsymbol{F}(n-1)+\boldsymbol{M} * \boldsymbol{Y}(n-1)+\boldsymbol{S}, \\ \boldsymbol{L}(n)=\mathrm{e}^{-\alpha_l} \boldsymbol{L}(n-1)+\boldsymbol{W} * \boldsymbol{Y}(n-1), \\ \boldsymbol{U}(n)=\boldsymbol{F}(n) \odot(1+\beta \boldsymbol{L}(n)), \\ \boldsymbol{Y}(n)=\frac{1}{1+\mathrm{e}^{-(\boldsymbol{U}(n)-\boldsymbol{E}(n))}}, \\ \boldsymbol{E}(n)=\mathrm{e}^{-\alpha_e} \boldsymbol{E}(n-1)+V_E \boldsymbol{Y}(n-1), \end{array}\right. $ | (2) |
其中：
|
图 3 CCNN模型结构 Fig. 3 CCNN model structure |
CCNN模型在FE-CCNN算法中的具体应用如下。
1）初始化：在实验中，所有神经元在开始时都处于静止状态。矩阵
2) 特征输入: ResNet50提取的特征图F(n)作为CCNN的输入。
3) 迭代优化: CCNN模型通过模拟神经元的时间动态行为更新迭代Y(n)，利用内部活动项和耦合连接输入项的相互作用动态调整神经元的输出。迭代过程中，CCNN模型通过卷积计算来模拟像素之间的空间关系。
4) 输出: CCNN模型的最终输出是迭代稳定后的Y(n)，即经过多次迭代优化后的特征图。
1.5 ECA注意力机制研究人员在提升模型性能方面，通过捕捉更精细的信道依赖性或融入额外的空间注意力机制进行优化。然而，模型精度的提高往往伴随着计算量的激增，导致计算成本变得高昂。在此基础上，Wang等[11]提出了一个高效通道注意力ECA机制，旨在增强深度学习模型对特征通道的敏感性。它通过高效跨通道交互，无须降维，在全局平均池化特征图上直接应用一维卷积来捕捉通道间的依赖关系，规避了传统注意力机制的多层感知机结构的复杂性，降低模型复杂度与计算负担。ECA注意力机制的实现过程如图 4所示，主要有以下四个步骤。
|
图 4 ECA注意力机制 Fig. 4 ECA attention mechanism |
1) ECA模块输入的维数为(N，H，W，C)，其中C为通道数。全局平均池化(global average pooling, GAP)在不减少通道数的同时将输入的数据压缩并聚合每个通道的特征。经过GAP层后，输入的维数变为(N，1，1，C)。
2) 根据特征图中通道的数量确定自适应一维卷积核大小。一维卷积层的卷积核大小会影响注意力机制中特征通道的数量，即跨通道交互的覆盖面。因为需要考虑每个通道及其相邻的k个通道，采用自适应方法来确定k的值，b表示k与通道数C的线性映射的偏移量，ψ表示映射规则，则
| $ k=\psi(C)=\left|\frac{\log _2(C)}{y}+\frac{b}{y}\right|_{\text {odd }} \text { 。} $ | (3) |
3) 用σ表示经过通道交互后获得的效果与分配的权重之间的关系，通过σ对非聚合通道进行特征重分布，如式(4)所示。CID表示卷积核大小为k的一维卷积层。在本文中，σ采用Sigmoid函数来映射权重，ω为最终生成的注意力权重，则
| $ \omega=\sigma\left(CID_k(y)\right) \text { 。} $ | (4) |
4) 为了创建加权特征图，将归一化权重乘以每个通道的原始输入特征图通道。
2 数据集介绍PASCAL_VOC2012数据集包含了约11 530张标注过的图片，这些图片涵盖了不同的对象类别，如人、汽车、猫、狗等。每张图片都进行了详细的分割标注，包括边界框、分割掩码和类别标签。在PASCAL_VOC2012数据集中主要包含20个目标类别。
CamVid数据集包含700余张高分辨率图像，每一张都经过了精确标注，标注类别包括道路、建筑物、车辆、行人、交通标志等。采用颜色编码的方式，标签图确保了每种颜色与特定的语义类别相对应。
3 两种数据集在FE-CCNN算法上的应用 3.1 训练与验证结果在FE-CCNN训练过程中，损失函数选择了交叉熵损失函数，基于算法预测结果和真实类别之间的差异来指导网络参数的调整。通过最小化交叉熵损失函数可以直观地反映算法对真实标签预测的准确性，有利于FE-CCNN模型在视觉任务的应用和优化，其表达式为
| $ Loss =-\frac{1}{K} \sum\limits_{i=1}^N \sum^M y_{i c} \log \left(p_{i c}\right), $ | (5) |
其中：K表示样本数量；M代表类别总数；yic是一个指示变量，当样本i属于类别c时取值为1，否则为0；pic是预测样本i属于类别c的概率。优化器选用Adam，固定的学习率进一步标准化了训练过程，确保不同实验之间在优化策略上的一致性。超参数，包括学习率在内的设置，对所有数据集保持一致，如表 1所示，旨在测试CCNN模型与FCN模型和ECA注意力机制结合后在不同数据集上的通用性。
|
表 1 超参数设置 Tab. 1 Hyperparameter settings |
图 5(a)展示了FE-CCNN算法在PASCAL_VOC2012(左图)和CamVid(右图)数据集上的训练损失变化趋势。左图为PASCAL_VOC2012数据集上的结果，在整个训练过程中，训练损失显著降低。初始训练损失高达0.81，随着训练的进行，下降至0.51；从右图中可以看出，CamVid数据集的训练损失持续下降，最终降至0.18。总体而言，FE-CCNN算法在训练集的性能均有显著提升，这表明该算法在学习过程中逐步学习到数据特征，表现出良好的泛化能力。
|
图 5 两种数据集的训练过程 Fig. 5 The training process of the two datasets |
图 5(b)展示了FE-CCNN算法在两个数据集上准确率的变化趋势。PASCAL_VOC2012数据集训练准确率由92.2%提升至93.5%(图 5(b)左)；CamVid数据集训练准确率由89.5%增至96.3%(图 5(b)右)。总体而言，FE-CCNN算法有效地学习了数据特征并收敛良好。
3.2 评价指标语义分割任务的核心是将图像中的每个像素正确分类到对应类别。由于这一任务涉及对像素级精确分类，因此可以通过分析像素的分类情况来评估分割精度。像素分类结果可以用混淆矩阵 P 描述, 其结构见表 2。
|
|
表 2 混淆矩阵 Tab. 2 Confusion matrix |
混淆矩阵中，P[i, i]表示真正例(true positive, TP)，指类别i的像素被正确分类的数量；P[i, j]表示假正例(false positive, FP)，指类别i的像素被错误分类成类别j的数量；P[j, i]表示假反例(false negative, FN)，指类别j的像素被错误分类成类别i的数量。本文采用A，C，I，M作为对算法准确性的评估指标，评估语义分割算法对于各类目标的分割效果。其中，A为像素准确率，C为类别像素准确率，I和M分别代表交并比和平均交并比。
| $ A=\frac{T P+T N}{T P+T N+F P+F N}, $ | (6) |
| $ C=\frac{T P}{T P+F P}, $ | (7) |
| $ I=\frac{T P}{F N+F P+T P}, $ | (8) |
| $ M=\frac{1}{k+1} \sum\limits_{i=1}^N I_{\circ} $ | (9) |
图 6(a)和(b)分别展示了PASCAL_VOC2012和CamVid数据集的像素级分类准确率，该图详细描绘了所提出算法在不同类别物体识别上的性能。在图 6(a)中，可以看到算法在PASCAL_VOC2012数据集上对各个类别的分类准确率，其中某些类别的识别准确率较高，而其他一些类别则较低，但总体上保持在一个较高的水平。图 6(b)则展示了在CamVid数据集上的类似分析，其中算法对城市景观中不同类别的分类准确率也表现出一定的差异性，但同样显示出较强的识别能力和稳定性。这些结果表明FE-CCNN在处理各类别物体时虽然存在性能波动，但整体上具有较强的识别能力。
|
图 6 两种数据集的类别准确率 Fig. 6 Class Pixel Accuracy for two types of datasets |
图 7是基于PASCAL_VOC2012数据集的可视化分割结果对比。随机选择了5组图像来展示分割效果，分别对比了FCN、U-Net、DeeplabV3以及本文提出的FE-CCNN的分割结果。在图 7中，(a)为原图，(b)为原图标签，(c)为FCN，(d)为U-Net，(e)为DeepLabV3, (f)为本文算法分割结果。可以观察到FCN模型在处理某些图像时存在分割断裂和错误分割的问题，尤其是在处理复杂场景和细节丰富的图像时。例如，在展示飞翔的老鹰和沙发上的猫的图像中，FCN模型未能准确区分目标物体与背景，导致分割结果出现断裂和重叠。U-Net在物体边缘的定位上通常比FCN更准确，因为它能够利用来自编码器的上下文信息，因此分割结果较连续，减少了FCN中常见的分割断裂现象。DeepLabV3表现较为出色，能够捕获更丰富的上下文信息，在复杂场景中能保持较高的分割精度。相比之下，FE-CCNN在这些图像上的表现具有显著改善。通过结合ECA注意力机制和CCNN模型，FE-CCNN算法能够更准确地捕捉到图像中的关键特征，并有效区分目标物体与背景。这使得分割结果更加连续和精确，尤其是在小目标和细节丰富的区域，FE-CCNN算法展现出了更好的分割效果。
|
图 7 可视化分割结果 Fig. 7 Visualize the segmentation results |
将本文提出的FE-CCNN算法与TransCAM[12]、OCRNet[13]、SIPE[14]、ASPP[15]和TSCD[16] 5种经典的语义分割算法在PASCAL_VOC2012数据集上进行比较。它们在PASCAL_VOC2012数据集上均表现优异，能够充分展示语义分割中不同方法的特点和优势，尤其是上下文信息提取和多尺度特征融合方面的能力。本次实验采用平均交并比为评价指标，该指标能衡量模型对图像中各个类别分割的准确性。每种算法的M值代表了它们在该数据集上的平均性能，其中TransCAM算法的M为64.90%，OCRNet算法的M为67.96%，SIPE算法的M为68.80%，ASPP算法的M为69.60%，而TSCD算法的M为70.60%。表现较为突出。值得注意的是，本文提出的FE-CCNN算法通过结合FCN和ECA的优化，M值达到了71.2%，反映了FE-CCNN算法在分割精度方面具有显著优势。这一结果不仅证明了FE-CCNN算法在分割任务中能够准确识别图像中的不同对象类别，而且该算法在结合了FCN的端到端像素级预测能力、CCNN模型的空间特征提取能力以及ECA注意力机制的特征通道重要性加权能力后，能够显著提升分割性能，特别是在处理复杂场景和细节信息时。与其他几种算法相比，本文的算法展现出了更高的分割精度。
由于CamVid城市道路场景数据集具有复杂性，本文选择了近年来在高分辨率图像分割任务中表现优异的算法，其中包括ENet、CGNet、BiSeNet V2、LRNNet和DDPNet。将FE-CCNN算法与上述5种算法进行比较，结果见表 3。通过比较各算法的分割精度，显示了本文提出的算法相较于其他几种算法的优势。具体来说，ENet算法的M值为55.33%，CGNet为65.60%，BiSeNet V2为68.70%，LRNNet和DDPNet分别为67.60%和67.30%，而本文算法达到70.2%，显示出在城市景观分割任务中有较高的准确性。这些结果表明，本文算法在处理复杂城市场景的语义分割时，能够有效识别和分割出不同的对象和区域，性能较优，分割精度较高。
|
|
表 3 CamVid数据集在不同算法上M的比较 Tab. 3 Comparison of CamVid datasets on M with different algorithms |
为了全面评估FE-CCNN算法的语义分割性能，在PASCAL_VOC2012数据集上设计了一系列消融实验，实验结果见表 4。在实验1中，直接使用FCN模块进行降采样和调整通道数。在实验2中，加入CCNN模块提升特征提取能力。实验3中，采用FCN模块的同时，在特征融合的时候加入ECA注意力机制。实验4在实验3的基础上引入CCNN模块进行特征提取，ECA注意力机制增强图像中的关键特征，并抑制背景干扰。
|
|
表 4 消融实验 Tab. 4 Ablation experiment |
在消融实验中，本文对四种网络结构进行了测试与比较。结果显示，引入CCNN模块的实验2相较于直接使用FCN模块的实验1的M值提升了4.4个百分点，在分割精度和像素准确率上均有所提升，实验2的M值达到66.8%，A值达到92.4%。进一步地，实验3通过加入ECA注意力机制，对整体的分割性能进行了进一步的优化，使得分割效果得到了显著提升。当对比实验3与实验4时，发现CCNN模型与ECA注意力机制的融合策略巧妙地结合了细节特征与语义信息，这不仅有助于网络更好地保留小目标的细节信息，还显著提升了小目标的分割效果。具体而言，实验4相较于实验3，M值提升了2.7个百分点，而A值提升了0.6个百分点，消融实验结果充分验证了网络结构融合的有效性。
4 结语针对图像语义分割任务中分割不连续、误分割、物体边缘分割困难等问题，提出一种融合的FE-CCNN图像语义分割算法。该算法采用编码-解码结构。编码器部分提出一种新型特征压缩模块FCN来优化编码阶段的下采样操作。在解码器部分，设计了注意力融合模块ECA来充分利用不同尺度的特征信息，有效提升整体的边缘分割效果和分类精度。最后在两个公开数据集上进行定量和定性实验，实验结果表明，该算法在PASCAL_VOC2012数据集上像素精度达93.5%，平均交并比达71.2%。在CamVid数据集上像素准确率为89.7%，平均交并比为70.2%。与多种语义分割算法相比，本文所提的算法在分割精度方面具有显著优势。消融实验进一步验证了FE-CCNN算法在语义分割任务中的准确性与有效性。未来的研究将集中于进一步优化该算法，并探索其在实际生活中的应用范围和更高的性能提升。
| [1] |
LIU Y, YAO S L, WANG X, et al. MD-UNet: a medical image segmentation network based on mixed depthwise convolution[J]. Medical & biological engineering & computing, 2024, 62(4): 1201-1212. (  0) |
| [2] |
HAN S, LIN Y F, GUO Z H, et al. A lightweight and style-robust neural network for autonomous driving in end side devices[J]. Connection science, 2023, 35(1): 2155613. DOI:10.1080/09540091.2022.2155613 ( 0) |
| [3] |
ZHOU L, GAO S, WANG S M, et al. IPD-net: infrared pedestrian detection network via adaptive feature extraction and coordinate information fusion[J]. Sensors, 2022, 22(22): 8966. ( 0) |
| [4] |
王祥, 罗素云. 基于区域分离与聚合的分水岭分割[J]. 计算机与数字工程, 2021, 49(1): 190-195. WANG X, LUO S Y. Watershed segmentation based on region separation and aggregation[J]. Computer & digital engineering, 2021, 49(1): 190-195. ( 0) |
| [5] |
SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(4): 640-651. ( 0) |
| [6] |
DOLZ J, DESROSIERS C, BEN AYED I. 3D fully convolutional networks for subcortical segmentation in MRI: a large-scale study[J]. NeuroImage, 2018, 170: 456-470. ( 0) |
| [7] |
BITTNER K, ADAM F, CUI S Y, et al. Building footprint extraction from VHR remote sensing images combined with normalized DSMs using fused fully convolutional networks[J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2018, 11(8): 2615-2629. DOI:10.1109/JSTARS.2018.2849363 ( 0) |
| [8] |
FU G, LIU C J, ZHOU R, et al. Classification for high resolution remote sensing imagery using a fully convolutional network[J]. Remote sensing, 2017, 9(5): 498. ( 0) |
| [9] |
LIU J Z, LIAN J, SPROTT J C, et al. The butterfly effect in primary visual cortex[J]. IEEE transactions on computers, 2022, 71(11): 2803-2815. ( 0) |
| [10] |
YANG Z R, LIAN J, LIU J Z. Infrared UAV target detection based on continuous-coupled neural network[J]. Micromachines, 2023, 14(11): 2113-2129. ( 0) |
| [11] |
WANG Q L, WU B G, ZHU P F, et al. ECA-Net: efficient channel attention for deep convolutional neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2020: 11531-11539.
( 0) |
| [12] |
LI R W, MAI Z D, ZHANG Z B, et al. TransCAM: Transformer attention-based CAM refinement for weakly supervised semantic segmentation[J]. Journal of visual communication and image representation, 2023, 92: 11-18. ( 0) |
| [13] |
YUAN Y H, CHEN X L, WANG J D. Object-contextual representations for semantic segmentation[C]//Proceedings of the 16th European Conference on Computer Vision. Berlin: Springer Press, 2020: 173-190.
( 0) |
| [14] |
CHEN Q, YANG L X, LAI J H, et al. Self-supervised image-specific prototype exploration for weakly supervised semantic segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2022: 4288-4298.
( 0) |
| [15] |
FAN J S, ZHANG Z X. Memory-based cross-image contexts for weakly supervised semantic segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2023, 45(5): 6006-6020. ( 0) |
| [16] |
XU R T, WANG C W, SUN J X, et al. Self correspondence distillation for end-to-end weakly-supervised semantic segmentation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2023, 37(3): 3045-3053.
( 0) |
| [17] |
SINGHA T, PHAM D S, KRISHNA A. A real-time semantic segmentation model using iteratively shared features in multiple sub-encoders[J]. Pattern recognition, 2023, 140: 109557. ( 0) |
| [18] |
WU T Y, TANG S, ZHANG R, et al. CGNet: a light-weight context guided network for semantic segmentation[J]. IEEE transactions on image processing, 2021, 30: 1169-1179. ( 0) |
| [19] |
YU C Q, GAO C X, WANG J B, et al. BiSeNet V2:bilateral network with guided aggregation for real-time semantic segmentation[J]. International journal of computer vision, 2021, 129(11): 3051-3068. ( 0) |
| [20] |
JIANG W H, XIE Z Z, LI Y Y, et al. LRNNet: A light-weighted network with efficient reduced non-local operation for real-time semantic segmentation[C]//Proceedings of the IEEE International Conference on Multimedia and Expo Workshops. Piscataway: IEEE Press, 2020: 9106038.
( 0) |
| [21] |
YANG X N, WU Y, ZHANG J Q, et al. Dense dual-path network for real-time semantic segmentation[C]//Proceedings of the Asian Conference on Computer Vision. Berlin: Springer Press, 2020: 553-570.
( 0) |