2. 西北大学 可视化研究所, 西安 710069
提出了一种鲁棒局部二值模式结合相关反馈的基于内容的图像检索算法.鲁棒局部二值模式是一种性能较好的特征提取算子,对噪声和光照变化具有较强的鲁棒性,且不会造成原始数据的改变,可提高特征提取的准确性.相关反馈使系统可获知用户的偏好,对检索结果具有导向作用.多个纹理数据库的实验结果表明,提出算法的检索准确性和鲁棒性优于同类算法.
2. Visualization Institute, Northwestern University, Xi'an 710069, China
A algorithm of content based image retrieval (CBIR) based on robust local binary patterns (RLBP) and relevance feedback (RF) was proposed. RLBP is a kind of feature extraction operator with good performance, which has strong robustness to the noise and illumination changes. The original data will not be changed with RLBP, and the accuracy of feature extraction can be improved. RF enables the system to learn the user's preferences and guide the search results. Experiments with several texture databases show that the accuracy and robustness of the proposed algorithm is better than that of the similar algorithms.
基于内容的图像检索[1](CBIR,content-based image retrieval)是模式识别和数据挖掘领域中具有商业价值的研究课题. 该课题的研究主要集中在图像的特征提取上,一般利用图像的视觉内容(如颜色、纹理、形状、面孔和空间布局等)提取特征[2]. 然而研究表明[3],并不存在单一的最佳图像表示,因为用户可能在不同的条件下采集不同图像(如不同的视角和不同的光照条件等). 因此,鲁棒的特征提取和适当的检索方法至关重要.
针对CBIR的“特征表示”问题进行研究,考虑到局部二值模式[4](LBP,local binary pattern)在纹理检索领域拥有较大优势,将LBP进行扩展,运用鲁棒LBP进行特征提取,结合相关反馈进行图像检索,明显提高了图像检索精度和鲁棒性. 最后给出实验结果和分析.
1 鲁棒局部二值模式局部差分算子(LDO,local difference operator)将图像的局部区域(模式)分为2个成分,即符号局部差分算子(S_LDO,symbol_local difference operator)和量级局部差分算子(M_LDO,magnitude_local difference operator).
1.1 符号LBP算子符号局部二值模式(S_LBP,symbol_local binary pattern)是一种广义的LBP算子[5],通过中心像素与其邻域像素比较计算为
${{S}_{\text{LBP},PR}}=\sum\limits_{i=0}^{P1}{{{2}^{i}}f({{g}_{p}}-{{g}_{c}})}$ | (1) |
其中:函数f(x)满足$f\left( x \right)=\left\{ \begin{align} & 1,x\ge 0 \\ & 0,x<0 \\ \end{align} \right.{{g}_{c}}$为中心像素的灰度值,gi为其邻域的灰度值,P为邻域像素的数量,R为邻域的半径.
邻域值为P的局域模式可形成2
在P=8的情况下,共有256种统一模式,若给定一个查询图像,利用统一模式计算出的值为P(P-1)+3. 当确定每个像素(j,k)的S_LBP模式后,则可根据式(2)建立直方图来表示图像为
$\begin{align} & H\left( I \right)=\sum\limits_{j=1}^{{{N}_{1}}}{\sum\limits_{k=1}^{{{N}_{2}}}{f(\text{ }S_{\text{LBP},p,R}^{u2}\left( j,k \right),l)}} \\ & I\in \left[ 0,P\left( P-1 \right)+2 \right]~ \\ \end{align}$ | (2) |
其中:输入图像的大小为N1×N2. 函数f(x,y)满足$f\left( x \right)=\left\{ \begin{align} & 1,x=y \\ & 0,其他 \\ \end{align} \right.$.
1.2 量级LBP算子量级局部二值模式(M_LBP,magnitude_local binary pattern)利用M_LDO中位数和中位数与平均值之间的权重进行了校正,并通过试错法得到合适的权重分配为
${{M}_{\text{LBP},P,R}}=\sum\limits_{i=0}^{P-1}{{{2}^{i}}f({{M}_{LDO,p}}-T)}$ | (3) |
其中:函数f(x)满足$f\left( x \right)=\left\{ \begin{align} & 1,x\ge 0 \\ & 0,x<0 \\ \end{align} \right.$,阈值T满足T=am+bmd,a和b分别为平均值和中位数之间的权重分配.M_LBP模式的每个像素(j,k)一旦确定,整幅图像可通过建立直方图的形式来表示.
1.3 鲁棒LBP纹理的外观主要取决于图像的几何图形和其光照条件[5]. 然而现实世界中,不管是热性质还是电性质,都将在一定程度上受环境中噪声的影响. 而LBP对图像的噪声和光照变化非常敏感. 一般情况下,图像可使用归一化的方法摆脱噪声/光照变化的影响,但这样容易造成原始数据的改变. 为了得到鲁棒性,通过改变所给模式的中心像素,即c变为βc(β=0.25,0.5,0.75,1,1.25,1.5,1.75),由一个模式衍生出7个模式,如图 1所示. 且这7个模式都将参与鲁棒局部二值模式(RLBP,robust local binary patterns)(S_LBP和M_LBP)的直方图计算.
图 2给出了特征向量提取过程,具体描述如算法1所示. 图 3为提出的CBIR系统的整个流程图,其中相关反馈的目的是减少用户与系统的交互,RLBP是为了获取更加鲁棒和准确的图像特征.
算法1 特征提取过程
输入:图像
输出:特征向量
开始
加载灰度图像
通过生成7种模式计算每种模式的S_LDO和M_LDO
计算鲁棒LBP模式
通过直方图构造RLBP的特征向量
结束
3 实验与分析比较的方法有最佳路径森林(OPF,optimum path forest)的图像检索方法[6],一种改进的相关反馈检索方法(IRF,improving relevance feedback)[7]. 性能评估采用平均检索率(ARR,average retrieval rate)[8]. 提出的算法表示为RLBP+RF,RLBP的参数P选择8、16和24,参数R选择1、2和3.
3.1 实验1 Brodatz纹理数据库实验1所用数据库是含有116幅纹理图像的Brodatz数据库[9],每幅图像的尺寸为512×512,且这些图像被分为6个大小均为128×128的无重叠子图,由此形成一个含有1 856(116×6)幅图像的数据库. 每一级图像是指在不同光照条件下相似的图像. 性能评估的标准为,在相同检索率下,高匹配图像的数量越多,则表明性能越好. 表 1所示为Brodatz数据库的平均检索率,由表 1可明显看出,RLBP+RF算法的平均检索率较好,其中P=16,R=2时系统性能最优. 且所有参数选择中,RLBP明显比LBP优秀,这充分说明了RLBP是LBP的有效改进. 由于每一级图像处于不同光照条件,这也说明了RLBP对光照鲁棒性更佳.
实验2所用数据库含有40幅不同的纹理图像[10]. 每幅图像大小为512×512,且这些图像被分为6个大小均为128×128的无重叠子图,由此形成一个含有640(40×16)幅图像的数据库. 同样采用ARR作为评估标准,性能评估的标准与实验1类似,结果如表 2所示. 由表 2可知,结果与实验1类似,虽然在具体数值上有差异,但算法的优越性得到了证明.
实验3是在实验1和实验2的基础上进行,对噪声的鲁棒性进行研究. 将实验1和实验2的数据库进行合并,添加零均值和不同方差的高斯噪声,结果如表 3所示. 方差分别设置为0.01、0.02、0.03、0.04和0.05. 从表 3可以看出,RLBP明显比LBP对高斯噪声的鲁棒性更优. 对于存在一定高斯噪声的情况下,S_LBP和M_LBP不同的权重可能会影响最终的检索结果,但对现在的计算机来说,这一区别所带来的影响并不明显.
图 4所示为加入高斯噪声后的平均检索率比较,由图 4可知,随着噪声量的逐渐增加,RLBP+RF的ARR值下降得最慢,由此可以看出其鲁棒性最好. 在诸多变体中,RLBP+RF_16_2性能最佳,故这里参数设定为P=16,R=2. 随着噪声的增加,RLBP+RF逐渐拉开了与RLBP的间距,这也间接说明了RF所起的作用. 总的来说,相比标准LBP算法和其他类似的检索算法,提出的算法性能得到了明显改善.
相比于传统的LBP,提出了一种更加鲁棒和高效的RLBP,同时引入相关反馈技术,使得检索精度和稳定性大为提高. 利用多个纹理数据库,考虑了不同光照和噪声条件,实验结果验证了提出算法的鲁棒性和检索准确性,使LBP图像检索算法得到了有效改进.
[1] | 冯爱萍. 基于内容的图像检索系统研究[D]. 北京: 北京邮电大学, 2011. |
[2] | 郑运平, 陈传波. 一种新的灰度图像表示算法研究[J]. 计算机学报 , 2010, 33 (12) :2397–2406. Zheng Yunping, Chen Chuanbo. Study on a new algorithm for gray image representation[J]. Chinese Journal of Computer , 2010, 33 (12) :2397–2406. |
[3] | Nezamabadi H. Concept learning by fuzzy k-NN classification and relevance feedback for efficient image retrieval[J]. Expert Systems with Applications , 2009, 36 (3) :5948–5954. doi:10.1016/j.eswa.2008.07.008 |
[4] | 宋克臣, 颜云辉, 陈文辉, 等. 局部二值模式方法研究与展望[J]. 自动化学报 , 2013, 39 (6) :730–744. Song Kechen, Yan Yunhui, Chen Wenhui, et al. Research and perspective on local binary pattern[J]. Acta Automatica Sinica , 2013, 39 (6) :730–744. doi:10.1016/S1874-1029(13)60051-8 |
[5] | Fathi A, Naghsh-Nilchi A R. Noise tolerant local binary pattern operator for efficient texture analysis[J]. Pattern Recognition Letters , 2012, 33 (9) :1093–1100. doi:10.1016/j.patrec.2012.01.017 |
[6] | Li Guizhi. Improving relevance feedback in image retrieval by incorporating unlabelled images[J]. Telkomnika Indonesian Journal of Electrical Engineering , 2013, 11 (7) :3634–3640. |
[7] | Silva A T D, Falcão A X, Magalhães L P. Active learning paradigms for CBIR systems based on optimum-path forest classification[J]. Pattern Recognition , 2011, 44 (12) :2971–2978. doi:10.1016/j.patcog.2011.04.026 |
[8] | Subrahmanyam M, Maheshwari R P, Balasubramanian R. Local maximum edge binary patterns: a new descriptor for image retrieval and object tracking[J]. Signal Processing , 2012, 92 (6) :1467–1479. doi:10.1016/j.sigpro.2011.12.005 |
[9] | Rotated textures database[EB/OL]. http://sipi.usc.edu/database. |
[10] | MIT vision and modeling group, vision texture[EB/OL].http://vismod.www.media.mit.edu. |