纹理分析是计算机视觉和模式识别领域中的一个基本的视觉问题，有着非常广泛的应用，例如物体识别^[1]、遥感^[2]、基于内容的图像检索^[3]以及医学图像分析^[4]等。

纹理分类在纹理分析领域扮演着重要的角色。在过去的20年里，研究人员已经提出了关于纹理图像分类的很多算法。例如统计方法中，最流行的纹理分析二阶矩阵统计特征灰度共生矩阵（gray-level co-occurrence matrix，GLCM）方法、基于模型的马尔可夫随机场方法、基于分形的方法等。其中，局部二值模式（local binary pattern, LBP）^[5]方法最为常用，LBP是一种简单且有效的纹理特征描述子，在许多纹理数据集上取得了非常好的分类效果。LBP方法编码了中心像素和其邻域像素之间的带符号局部差异信息，其计算简单且对图像灰度级的单调变化具有不变性。由于其描述图像的计算简单、表达高效等优势，该方法已经被成功应用于各种不同的视觉任务中，如纹理分类、人脸分析、视频背景以及特定区域的描述等。

近年来，很多学者针对不同的研究问题，提出了许多LBP变体。Liao等^[6]于2009年提出了主导LBP模式，依据经验从所有模式中选择出主导模式。Guo等^[7]提出了LBPV，该算法采用局部方差信息和全局匹配方案将局部对比信息表达到纹理图像的直方图中。同年，Guo等^[8]还提出一种完整局部二值模式（completed local binary pattern，CLBP），该算子由3个互补的成分组成：CLBP_S、CLBP_M和CLBP_C，并采用联合概率分布的方式将3个互补的成分结合到一起，以提升分类性能。2012年，Liu^[9]提出了扩展LBP，提升了传统局部二值模式的抗噪性能和纹理表达效果。2013年，相关学者在传统LBP的基础上，提出了像素块采样结构和局部邻域强度关系模式用于纹理分类^[10]，并明显地提升了效果。2017年，Wu等^[11]提出了一种多尺度LBP，该方法不仅能够描述微观的纹理结构，同时还能很好地表达较大区域的宏观纹理结构，克服了传统LBP的表达局限。

虽然，LBP和其变体已经取得了不错的纹理分类结果，但仍有很多潜在的缺陷。例如，大部分LBP变体都只局限于描述局部的纹理信息，几乎丢失了全局信息的表达，这就导致了相应的纹理分类效果并不理想。文中提出了一种新的基于自适应权重联合多尺度LBPV²的纹理图像分类方法，该方法将方差平方作为直方图累积权重取代LBPV算法中的方差权重，并通过引入自适应权重，实现了多个尺度纹理信息的融合，从而有效改善了纹理分类性能。

1 LBP及其变体 1.1 LBP方法

LBP算子描述了纹理图像的局部空间结构，在图像中，给定一个中心像素，通过比较中心像素值和其邻域像素值来计算对应的局部二值模式：

${X_{{\rm{LB}}{{\rm{P}}_{P,R}}}} = \sum\limits_{p = 0}^{P - 1} {s\left( {{g_p} - {g_c}} \right)} {2^p}$

式中： $s\left( x \right) = \left\{ {\begin{array}{*{20}{c}} {1,x \geqslant 0} \\ {0,x < 0} \end{array}} \right.$ ； ${g_c}$ 是中心像素的灰度值； ${g_p}$ 是邻域像素的灰度值，其中 $p$ 是参与当前二值编码的像素点， $p = 0,1, \cdots, P - 1$ ； $P$ 是邻域像素点的数目；R是邻域半径。若 ${g_c}$ 的坐标为 $\left( {0,0} \right)$ ，则 ${g_p}$ 的坐标为 $\left( {{\rm{ - }}R{\rm{sin}}\left( {{{2{\rm{{\text π} }}p}/P}} \right),R{\rm{cos}}\left( {{{2{\rm{\text π }}p}/P}} \right)} \right)$ 。对于没有落在网格中心的邻域点的灰度值，我们采用插值法来估计其值。对于大小为 $m \times n$ 的图像，其直方图计算公式为：

$h\left( k \right) = \sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {\delta \left( {{X_{LB{P_{P,R}}}}\left( {i,j} \right) - k} \right)} } $

式中： $\left( {i,j} \right)$ 代表编码像素的坐标； $k\left( {0 \leqslant k \leqslant {2^P} - 1} \right)$ 是LBP的十进制码； $\delta \left( x \right){\rm{ = }}\left\{ {\begin{array}{*{20}{c}} {1,x = 0} \\ {0,x \ne 0} \end{array}} \right.$ 。

旋转不变局部二值模式 ${X_{{{\rm LBP}}_{{ P,R}}^{\rm ri}}}$ 定义为：

${X_{{\rm{LBP}}_{P,R}^{\rm ri}}} = \min \left\{ {S\left( {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}},t} \right),t = 0,1, \cdots ,P - 1} \right\}$

式中： $S\left( {x,t} \right)$ 是在LBP二值编码上执行的循环比特移位； $t$ 代表右移的比特数。

统一旋转不变局部二值模式 ${X_{{\rm{LBP}}_{P,R}^{{\rm{riu2}}}}}$ 定义如下

${X_{{\rm{LBP}}_{P,R}^{{\rm{riu}}2}}} = \left\{ {\begin{array}{*{20}{l}} {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}},T\left( {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}} \right) \le 2}\\ {P + 1,\;{\rm{否则}}} \end{array}} \right.$

式中 $T\left( {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}} \right)$ 是原始LBP二值编码中0和1之间比特变换的总数。

1.2 LBPV方法

2010年，Guo等^[7]提出了一种新的LBPV描述子来解决量化过程中可能存在的问题。LBPV描述子从纹理图像的局部区域来计算方差值（variance, VAR），并将其累计到LBP直方图的bins中，这也可以理解为沿VAR坐标的积分投影。理论分析和仿真实验表明，LBPV描述子能够大大减小特征提取方法对于大量训练样本的需求和依赖。

我们将纹理图像的局部方差定义为

${X_{{\rm{VA}}{{\rm{R}}_{P,R}}}}{\rm{ = }}\frac{1}{P}\sum\limits_{p = 0}^{P - 1} {{{\left( {{g_p} - \mu } \right)}^2}} $

$\mu {\rm{ = }}\frac{1}{P}\sum\limits_{p = 0}^{P - 1} {{g_p}} $

式中 $\mu $ 是邻域采样点的均值。

在LBPV描述子中，作者将局部方差 ${X_{{\rm{VA}}{{\rm{R}}_{P,R}}}}$ 作为一个自适应权重来调整直方图计算LBP编码的贡献值。假设纹理图像大小为 $m \times n$ ，LBPV的直方图可以通过下面的公式来计算：

${X_{{\rm{LBP}}{{\rm{V}}_{P,R}}}} = \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {w\left( {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}\left( {i,j} \right),k} \right)} } ,{\rm{ }}k \in \left[ {0,K} \right]$

$w\left( {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}\left( {i,j} \right),k} \right) = \left\{ \!\!\!\! {\begin{array}{*{20}{c}} {{X_{{\rm{VA}}{{\rm{R}}_{P,R}}}}\left( {i,j} \right),\;\;{\rm{ }}{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}\left( {i,j} \right) = k}\\ {0, \; \text{否则}}\quad\quad\quad\quad\quad \quad \quad \quad \end{array}} \right.$

式中 $w$ 为直方图累计的权重。如果将 ${X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}$ 和 ${X_{{\rm{VA}}{{\rm{R}}_{P,R}}}}$ 看作是坐标系2个正交的坐标轴，我们可以将 ${X_{{\rm{LBP}}{{\rm{V}}_{P,R}}}}$ 看作是沿 ${X_{{\rm{VA}}{{\rm{R}}_{P,R}}}}$ 坐标轴的积分投影。

2 基于自适应权重联合多尺度LBPV² 2.1 LBPV²方法

为进一步提升LBPV算法的性能，在本节对传统的LBPV描述子进行算法改进，以提升其分类性能。传统的LBPV描述子中，采用方差作为直方图累积的权重。然而在仿真实验中发现，如果引入更大的权重对比，往往会产生更好的效果。因此在本节中，引入了方差的平方作为直方图的累积权重取代原来的方差权重，以改进传统的LBPV描述子。将改进后的基于方差平方的直方图累积权重的LBPV记为LBPV²，LBPV²标准直方图计算的数学定义式如下：

${X_{{\rm{LBPV}}_{P,R}^2}} = \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {\varpi \left( {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}\left( {i,j} \right),k} \right)} } $

$\varpi \left( {{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}\left( {i,j} \right),k} \right) = \left\{ \!\!\!{\begin{array}{l} {{X_{{\rm{VA}}{{\rm{R}}_{P,R}}}}^2\left( {i,j} \right),{\rm{ }}{X_{{\rm{LB}}{{\rm{P}}_{P,R}}}}\left( {i,j} \right) = k}\\ {0, \quad \text{否则}} \end{array}} \right.$

式中 $\varpi $ 是采用方差平方的新直方图累积权重。

2.2 基于自适应权重联合多尺度LBPV²方法

文献[11]提出的多尺度LBP通过简单算术求和将多尺度纹理信息融合到一起，使多尺度LBP能够具有同时描述多尺度纹理结构的优势。然而，通常较大的局部区域携带了更多的纹理信息，反之亦然。文献[7]中，不同尺度（指不同半径）的纹理信息以相同权重（权重为1）被融合到一起，并没有考虑局部区域携带信息量的多少。

为了解决这一问题，并进一步提升LBPV²纹理描述子的分类性能，提出了一种新的基于自适应权重联合多尺度LBPV²（adaptive weight joint multi-scale LBPV² descriptor, AWJLBPV²）。

针对AWJLBPV²，以拓扑结构（P, R₁, R₂）为例，我们可以得到相应的统一AWJLBPV²纹理描述子（ ${\rm{AWJLBP}}{{\rm{V}}_{P,R_1,R_2}^{2\_{\rm u}2}}$ ）和旋转不变统一AWJLBPV²纹理描述子（ ${\rm{AWJLBP}}{{\rm{V}}_{P,R_1,R_2}^{2\_ {\rm riu2}}}$ ）。

在实验中，我们重点分析 ${\rm{AWJLBP}}{{\rm{V}}_{P,R_1,R_2}^{2\_ {\rm riu2}}}$ 的纹理分类性能。具体定义式如下：

$\begin{array}{l} {X_{\rm{AWJLBPV}}{_{P,R_1,R_2}^{2\_ {\rm riu2}}}}{\rm{ = }}\\ \left\{ \!\!\!{\begin{array}{*{20}{c}} {\sum\limits_{i = 0}^{P - 1} {s\left( {{w_1}{g_{i,{R_1}}} + {w_2}{g_{i,{R_2}}} - {g_c}} \right)} {2^i}{\rm{, }}\;\;U\left( {{X_{{\rm{AWJLB}}{{\rm{P}}_{P,{R_1},{R_2}}}}}} \right) \leqslant 2}\\ {P{\rm{ + }}1, \;\; \text{否则}}\qquad\qquad\qquad \qquad \qquad \qquad\quad\quad \end{array}} \right. \end{array}$

式中 $U$ 代表二值编码中0和1之间比特变换的数目，

$\begin{gathered} U\left( {{X_{{\rm{AWJLBP}}{{\rm{V}}^2}_{P,{R_1},{R_2}}}}} \right){\rm{ = }}\left| {s\left( {{g_{P - 1}} - {g_c}} \right) - s\left( {{g_0} - {g_c}} \right)} \right|{\rm{ + }} \\ \qquad \qquad \qquad\quad{\rm{ }}\sum\limits_{i = 1}^{P - 1} {\left| {s\left( {{g_i} - {g_c}} \right) - s\left( {{g_{i - 1}} - {g_c}} \right)} \right|} \\ \end{gathered} $

基于局部圆形区域半径的自适应权重 ${w_1}$ 和 ${w_2}$ 的定义式为

${w_1} = \frac{{{R_1}}}{{{R_1} + {R_2}}}$

${w_2} = \frac{{{R_2}}}{{{R_1} + {R_2}}}$

式中 ${R_1}$ 和 ${R_2}$ 分别为参与多尺度合并的2个半径。

假设图像大小为 $m \times n$ ，AWJLBPV²纹理描述子的特征统计直方图可以通过如下公式来计算：

${X_{{\rm{AWJLBP}}{{\rm{V}}_{P,{R_1},{R_2}}^2}}} = \sum\limits_{i = 1}^n {\mathop \sum \limits_{j = 1}^m } \left( {X_{\rm{AWJLBPV}}{_{P,R_1,R_2}^{2\_ {\rm riu2}}}}\left( {i,j} \right),k\right) $

$\begin{array}{l} w\left( {{X_{{\rm{AWJLBP}}{{\rm{V}}_{P,{R_1},{R_2}}^2}}}\left( {i,j} \right),k} \right) = \\ \left\{ \!\!\!{\begin{array}{*{20}{c}} {{X_{{\rm{VA}}{{\rm{R}}_{P,{R_1}}}}}\left( {i,j} \right),\;\;{\rm{ }}{X_{{\rm{AWJLBP}}{{\rm{V}}_{P,{R_1},{R_2}}^2}}}\left( {i,j} \right) = k}\\ {0, \;\; \text{其他}}\qquad\qquad\qquad\qquad\qquad\qquad \end{array}} \right. \end{array}$

3 仿真实验 3.1 纹理分类数据集

Outex数据集是业界公认的有效的纹理分析工具，对于不同类型的纹理分析问题提供了多个现成的训练测试组。在本文中，使用2个训练测试组：OutexTC10和OutexTC12（包括OutexTC12_000和OutexTC12_001）。其中的纹理图像包含了3种不同的光照、6种不同的分辨率以及9种变化的角度。表1给出了Outex数据集的详细总结，图1给出了Outex数据集的24类纹理图像。

3.2 仿真实验

通过理论分析可知，通过对纹理描述子引入基于局部区域半径的自适应权重，为携带较多纹理信息的较大局部区域赋予较大的权重，为较小的局部区域分配较小的权重，为多尺度局部纹理信息的融合引入基于区域半径的自适应权重，得到了AWJLBPV²纹理描述子。

为了进一步验证AWJLBPV²纹理描述子，对于纹理分类任务的性能优势，在本节中，我们将通过一系列纹理分类实验来进一步验证AWJLBPV²的纹理图像分类性能。

在对比纹理分类分析实验中，我们分别在OutexTC10、OutexTC12_000和OutexTC12_001纹理子集上进行对比实验评估。考虑到计算量的问题，仅采用2个半径尺度的拓扑结构参数局部纹理信息特征的融合。对于AWJLBPV²纹理描述子，我们以尺度（P, R₁, R₂）=（8,1,3）为例；而对于LBP及其变体，以尺度（P, R）=（8,1）为例。表2给出了在Outex纹理数据集上AWJLBPV²与LBP及其变体的对比实验结果；表3给出了本文所提方法与经典算法对比结果。

从表2中可以看出，AWJLBPV^2_riu在Outex纹理数据集上的纹理分类性能要明显优于LBP及其变体。首先，在OutexTC10上，虽然AWJLBPV^2_riu没有取得最优效果，但是其分类性能紧随LBPV^riu（91.56%）其后，并取得了90.05%的分类精度，明显优于传统LBP^riu以及LBPV^2_riu。其次，在OutexTC12的2个测试组上，AWJLBPV^2_riu都取得了最佳的分类效果。在OutexTC12_000上，本文提出的方法达到了77.80%的分类精度，明显优于其他3种方法；在OutexTC12_001上，本文提出的方法实现了79%的分类精度，比传统LBP^riu方法高出了15.25%。

通过以上的对比实验可以看出，AWJLBPV^2_riu对于纹理分类任务具有明显的性能优势。其主要原因在于AWJLBPV²纹理描述子不仅继承了LBPV²对于纹理特征提取的优势，而且具备了多尺度LBP算法对于不同尺度特征融合的优越性。此外，本文提出的自适应权重使得算法不同尺度的特征融合更为合理、有效。基于以上的性能优势，使得AWJLBPV²成为了一种优越的纹理描述子。

通过表3与经典纹理分类算法的对比可以看出，本文提出的AWJLBPV^2_riu与传统LBP及其变体相比，具有明显的性能优势。AWJLBPV²纹理描述子不仅继承了传统LBP纹理描述子在计算量、计算效率、对旋转和光照变化具有鲁棒性的优势等特点，还兼顾了LBPV和LBPV²纹理描述子在直方图累积阶段对于不同局部区域分配不同累积权重的特征表达优势。此外，自适应权重使得相应纹理描述子能够将不同尺度的特征更加合理、有效地融合到一起。因此，AWJLBPV²纹理描述子在理论上集成了多方优势。通过仿真实验也可以看出，其具有明显的纹理分类性能优势。

4 结论

本文针对传统局部二值模式对于纹理信息提取过于局限于局部信息提取的问题，提出了一种新的基于自适应权重联合多尺度LBPV²纹理分类方法。1）该方法将方差平方作为直方图的累积权重，使得特征的直方图累计更加合理；2）该方法采用自适应权重联合多尺度方案来实现多尺度纹理信息提取，有效地改善了纹理分类性能。实验表明，本文提出的方法有效地集成了多方优势，实现了多尺度信息有效、合理的融合。在下一步的研究中，计划探索提高AWJLBPV²描述子的抗噪声性能的方法。