基于显著区域和相关反馈的图像检索算法
崔敬敏，王晓晓,郝昕疌
（厦门大学 计算机科学系，福建 厦门361005）
摘要：针对基于内容的图像检索中遇到的效率低下和语义鸿沟问题，设计并实现了一个交互式的图像检索系统。系统首 先结合人类视觉注意机制提取图像显著区域，再对不同的区域进行不同特征或不同权重的描述。最后，在初次检索后应 用支持向量机(Support Vector Machine, SVM)和粒子群优化（Particle Swarm Optimization, PSO）算法进行相关反馈(Rele⁃ vance Feedback, RF)，使检索结果更符合用户目的。实验表明，用 SVM 进行反馈检索效率有大幅度提高，而 PSO 在小样本 指导下，表现出高效的学习和快速的收敛优势。
关键词: 基于内容的图像检索; 语义鸿沟; 视觉注意机制；显著区域; 支持向量机; 粒子群优化；相关反馈 中图分类号：TP391 文献标识码：A 文章编号：1009-3044(2013)08-1869-05
Image Retrieval Algorithm Based on Salient Regions and Relevance Feedback CUI Jing-min, WANG Xiao-xiao, HAO Xin-jie
(Department Of Computer Science, Xiamen University, Xiamen 361005, China)
Abstract: Taking into account the low-efficiency of content-based image retrieval and the semantic gap between low-level im⁃ age features and high-level semantics, the paper designs and realizes the interactive image retrieval system. The system first uses human visual attention mechanisms to extract the salient regions of the image, and then gives different regions a variety of descrip⁃ tions depending on their different weights and features. Finally, the paper applies support vector machine (SVM) and particle swarm optimization(PSO) algorithms for relevance feedback after the first retrieval. Experimental results show that SVM substan⁃ tially improves retrieval efficiency after the first feedback, and PSO displays the advantage of effective learning and fast conver⁃ gence in the case of a small number of positive images.
Key words: CBIR; semantic gap; human visual attention mechanisms; salient region; SVM; PSO; RF
图像检索是图像处理和计算机视觉领域研究的热点之一。基于内容的图像检索技术从图像自身内容特征出发，自动化地检索 出满足用户需要的图像。但是由于图像的底层特征和高层语义之间存在语义鸿沟[1]，目前没有任何一种方法和特征可以在所有类 型的图像上都取得较好的检索效果。另一方面，人们对图像的理解存在主观性，系统通常难以用图像的底层物理特征准确地刻画 用户提交的检索需求，即系统从用户提交的样本中提取的特征往往不能很好的体现用户此次检索的目的。因此，通过引入相关反 馈技术[2]进行人机交互，形成图像低层特征与用户高层语义间的映射关系，是目前改进图像检索效果的重要途径。
1 相关反馈技术研究
相关反馈技术源于文本信息检索，是一种人机交互的检索技术。1997 年，由美国Illinois 大学YongRui 等率先将相关反馈技术 引入图像检索领域，并在MARS 系统中实验成功[3]。经典的RF过程为：首先系统根据预定的相似性度量准则返回初次检索结果，然 后用户根据自身的检索需求对检索结果进行评价，指出哪些检索结果是与检索目的相关的（正样本）/或不相关的（负样本），进而相 关反馈算法根据用户的反馈样本进行相似性度量准则的调整，重新返回检索结果，持续进行直到用户满意为止。 随着反馈技术的深入研究和不断发展，许多学者开始将成熟的统计学习理论和机器学习理论引入到RF 技术中。典型的机器 学习算法如支持向量机、人工神经网络[4]（Artificial Neural Network，ANN）、Boosting[5]等。目前较流行的方法是SVM和PSO。2 显著区域和 SVM 反馈相结合
人们发现，无论图像采用颜色作为特征向量，或者纹理作为特征向量，SVM方法的分类效果都要优于其他分类方法[6]。另一方 收稿日期：2013-02-25 作者简介：崔敬敏（1988-），女，湖北省襄阳人，硕士，主要研究方向为计算机视觉，图像处理，图像检索；王晓晓（1986-），女，河南孟 州人，硕士，主要研究方向为数字图像处理，模式识别；郝昕疌（1987-），男，陕西西安人，硕士，主要研究方向为图像检索， 模式识别。 http://www.dnzs.net.cn Tel:+86-551-65690963 65690964 Vol.9, No.8, March 2013.面，图像的多样性使得一幅图像通常含有很多冗余信息，但用户总是搜索包含感兴趣目标的图像[7]。因此，提高CBIR 性能的关键在 于对一幅图像中目标图像的提取。该文将图像分割获取的用户感兴趣区域的特征与SVM 相关反馈方法相结合，提出了一种新的 检索方法。 2.1 显著区域提取 在图像处理中，人们往往只对图像的某个区域或某个对象感兴趣，这些部分常称为前景或者显著区域。传统方法利用显著点 进行区域生长获取显著区域，生长尺度单一，容易产生空洞或生长不足。为了从图像中准确提取观察者感兴趣的区域，采用文献[8] 中提出的基于改进区域生长的图像显著区域的提取方法，能有效地提高图像感兴趣区域提取的准确性。 2.2 特征向量的提取 2.2.1 不同权重的颜色特征描述 通过提取图像的显著区域，将图像的前景和背景特征分开表示，构成一个新的特征向量。初次检索时，将前景和背景赋予不同 的权重，即：IMGi= w fFroi+ wbBaci。 其中 IMGi是图像 i 的颜色特征向量，w f是前景的权重，wb是背景的权重，Froi是图像 i 的前景颜色特征向量，Baci是图像 i 的 背景颜色特征向量。实验中，选取 HSV 颜色空间的36维非均匀量化颜色直方图，最后将各区域特征进行综合就得到整幅图像的特 征向量。 2.2.2 综合特征描述 形状常与用户感兴趣区域或目标联系在一起，具备一定的语义，通过对图像前景进行形状描述，对背景进行颜色描述，获得图 像的综合特征。设图像 i 用 M 维形状特征 N 维颜色特征来表示，则综合特征为： IMGi=(Shape1
f,Shape2f...ShapefM,Colorb1,Colorb2...ColorbN) 。
其中，Shapefj表示第 i 幅图像的第 j 维前景形状特征，Color j b表示第 i 幅图像的第 j 维背景颜色特征。实验中，图像显著区域的 形状特征采用 HU 提取的几何不变矩[9]，背景采用 HSV 空间的36维颜色直方图。 2.3 算法描述 图像检索的相关反馈过程可以看作模式识别中的二分类问题。在反馈的过程中，由用户根据检索结果来标记正样本和负样 本，通过对这些已标记的正负样本进行SVM 学习，可以得到一个代表用户检索目标的SVM 分类器。算法的具体流程如图1： 示例图像 初次检索 用户满意 用户对结果进行评价 标记正负样本 用本文的特征描述进行 SVM训练反馈 构造分类器 对图像库中的图像分类 用本文的特征提取方法 进行图像库特征提取 检索结果 计算图像与分类面的距 离并排序 结束 是 否 图像库 显著区域的提取 图1 基于显著区域和SVM 相关反馈算法流程图 1) 用户给出示例图像，按照文献[8]中的算法提取示例图像及图像库中图像的显著区域； 2) 用本文3.2.1节提出的特征向量的描述方法对查询样例进行初次检索，按相似度从大到小排列； 3) 对返回的前 N 幅结果图像标记相关图像集 Subset+和非相关图像集 Subset-，组成 SVM 训练集(x i,yi) ，其中，xi为第 i 幅训练 图像的特征向量，yi为第 i 幅图像所属类别，即 yi= ì í î +1,xi∈ Subset+ -1,xi∈ Subset -； 4) 选择合适的核函数 K(xi,x) 和惩罚参数 C ，用 SVM 对训练样本进行学习并求解如下最优化问题：
∑
i= 1n αi- 12∑
i= 1 n∑
j= 1n αiαjyiyjK(xi,x) ，满足约束条件∑
i= 1 n yiαi= 0,0 ≤ αi≤ C,i = 1,2...,n ； 5) 根据 α ，求得 b ，得到最优分类面，并计算判别函数的值：f (x)=∑
i= 1 n αiyiK(xi,x)+ b ，对图像库中各图像的 f (x) 值从大到小进行 排序，f(x) 越大表明该样本越接近示例图像，得到新的检索结果。 2.4 实验结果与分析 2.4.1 测试用数据库 图像库一是从Corel图像数据库中抽取的1000 幅图像，包括非洲土著居民、海滩、建筑、公共汽车、恐龙、大象、马、花、雪山以及 食物共10类，每类100 幅图像。图像库二是本研究组收集的图像集，选出其中的7类用来作反馈测试，各类图像的数目不一，但大 部分图像都有明显的注意区域。 表1 图像库二的图像类别 单位:张 类别 数目 蝴蝶 84 圆形物体 100 花朵 101 树叶 115 飞机 111 牛羊 77 落日 93 2.4.2 实验结果 为了客观的评价上述算法，该文分别统计了两个图像库在一次反馈之后与传统算法的查准率对比，以及反馈4次的各类图像的 查准率对比。实验中一次反馈后我们采用前30幅图像的查准率来衡量检索反馈效果，由于库一中恐龙的初次检索效率较高，所以 实验未对恐龙类进行相关反馈测试。 表2是图像库一利用不同的特征描述法进行检索和反馈的平均查准率。其中第二列是本文基于显著区域颜色特征表示法的初 次检索结果；第三列是传统的全局颜色直方图的SVM一次反馈结果，实验中采用的是HSV36维颜色直方图；第四列是本文基于显著 区域颜色特征的SVM一次反馈结果；第五列是基于显著区域形状特征的初次检索结果，第七列是基于本文综合特征表示法的一次 反馈结果。表3是在图像库二中上的实验结果。 表2 图像库一上不同检索方法的平均查准确率 单位:% 图 像 库一 人物 海滨 建筑 公车 大象 玫瑰 马 山水 食物 显 著 区 域 颜 色 特 征 表 示 初 次检索 44.43 30.33 30.37 32.37 34.90 53.23 58.79 30.87 46.77 传 统 全 局 颜 色 直 方 图 SVM 反馈1次 38.40 46.79 46.60 22.80 45.96 57.50 53.73 39.50 52.30 显 著 区 域 颜 色 特 征 表 示SVM 反馈1次 69.39 56.16 61.99 57.83 64.10 92.16 69.60 57.89 67.93 显 著 区 域 利 用 形 状 特 征 初 次检索 55.36 34.53 30.76 50.56 37.13 29.03 73.83 33.46 51.99 形状特征 (HU 不 变 矩) SVM 反馈1次 41.96 35.16 36.76 23.70 56.26 61.66 28.26 41.30 32.49 显著区域 综 合特征SVM 反 馈1次 46.53 40.63 36.83 43.33 40.36 68.89 79.79 39.43 51.06 从表2和表3可以看出，采用本文颜色特征表示法一次反馈后，平均查准率有明显的提高。库一中“人物”“公车”“马”和库二的 “蝴蝶”和“飞机”采用传统全局颜色特征一次反馈后查准率下降，这是因为这些类图像的背景颜色较复杂或所占比重较大，影响了 全局的特征向量，故而在SVM训练中出现了分类错误。但将这类图像前景和背景的颜色特征分开表示再进行SVM训练，就能避免 背景对整幅图像的干扰，查准率就有了明显提高。 大多数图像类采用本文综合特征比传统HU不变矩特征的检索效率有较明显的提高。少数图像如“大象”和“山水”查准率的下 降是由于这两类图像没有明显的显著区域，前景和背景用不同的特征表示没有优势。此外，个别类图像（如“公车”和“蝴蝶”）出现 了一次反馈之后查准率下降，这是因为本文的综合特征对某些图像的初次检索效率就超过90%，使得SVM的训练样本严重不平衡， 负例样本太少，导致一次反馈后查准率较低，影响了此类图像的平均查准率。 以上是不同检索方法在一次反馈后的性能比较，图2和3显示了不同反馈次数的检索效果。SVM 算法的可靠性是建立在足够 样本的基础上，为使SVM的训练样本尽可能多并且均匀，我们在下一轮反馈中保留上一轮的反馈结果，对样本数进行累加，除去重 复选定的样本，使得训练样本集不断扩充，SVM 分类在多次反馈中不断优化。实验中多次反馈中我们统计前50张图像的查准率。图2 显著区域颜色特征不同反馈次数性能对比 图3 显著区域综合特征不同反馈次数性能对比
3 基于粒子群优化(PSO)的相关反馈算法
实际上，图像检索相关反馈过程可以看作是函数优化问题。PSO[10]对反馈样本的对称性和数量没有要求，仅由正例样本对群体 进行指导，搜索空间是全局向量空间，不易陷入局部极小值，且收敛速度快。因此，将PSO算法引入相关反馈领域，提出基于图像全 局和局部特征的PSO相关反馈算法，展示了PSO的优越性[11]。 3.1 问题分析 PSO应用于图像检索领域需在粒子位置、进化准则等关键技术找到契合点： 1）确定搜索空间。对图像库进行特征提取，将“图像库”转变为特征的“搜索空间”，图像库中的每个图像可视为特征空间中的 一个点，通过全局特征竞争提取出最相似特征。 2）定义进化准则。将用户反馈的正例图像特征的平均位置作为全局“最优位置”来指导粒子进化。其中，算法适应度函数为： fitness= Dis tan ce(Xi,gBesti) ，全局最优位置为：gBesti= 1Npositive(
∑
i= 1 N X1 i+∑
i= 1 N X2 i +... +∑
i= 1 N Xf i) ，Npositive是用户反馈的正例图像的个数，f 是 正例图像特征的特征维数。 3）提取特征空间。分别提取图像的颜色、纹理、形状和边缘特征，构成四个特征空间。颜色特征选用HSV 空间72维颜色直方 图，纹理特征选用金字塔小波变换低频子带，形状特征采用HU不变矩，边缘特征用边界直径、曲率和矩描述。 4）计算最相似的全局特征。每轮反馈后对正样本图像分别计算其全局特征上的平均差值和最大差值的比值，将比值最小的当 作最相似的全局特征，并用其平均值作为粒子下一轮进化的最优位置，以指导粒子的进化方向和速度。表4是Corel图像库中建筑1 的一轮反馈后的四个特征的比值情况，系统将选取边缘方向直方图作为下一轮粒子进化的指导。 表4 建筑1的特征差值计算结果 建筑1 HSV量化颜色直方图 金字塔小波变化 不变距 边缘方向直方图 平均值 0.319 0.130 0.182 0.094 最大值 0.436 0.219 0.253 0.167 平均值/最大值 0.732 0.593 0.718 0.565 图像库二 蝴蝶 圆形物体 花朵 树叶 飞机 牛羊 落日 显 著 区 域 颜 色 特 征 表 示 初 次检索 65.51 32.99 48.64 55.88 71.32 48.39 49.17 传 统 全 局 颜 色 直 方 图 SVM 反馈1次 58.09 45.06 60.62 57.53 56.03 78.13 58.67 显 著 区 域 颜 色 特 征 表 示SVM 反馈1次 85.27 61.46 73.30 60.84 74.11 85.58 54.33 显 著 区 域 利 用 形 状 特 征 初 次检索 78.21 30.40 54.19 45.79 65.82 39.74 30.57 形状特征 (HU 不 变 矩) SVM 反馈1次 64.48 45.70 62.93 73.62 49.87 69.30 75.05 显著区域 综 合特征 SVM 反 馈1次 72.14 47.23 59.47 47.50 52.70 72.55 52.93 表3 图像库二上不同检索方法的平均查准确率 单位:%5）返回检索结果。粒子的进化空间一般要求是连续的，而图像的特征空间是离散的，所以在粒子进化满足终止条件后，需将最 终的进化结果映射到离其最近的图像特征上，最后在检索结果中返回此图像。 3.2 实验结果及分析 为客观评价PSO在小样本下的检索优势，将初次检索效果比较差的各类图像（查准率低于30%）在PSO一次反馈与SVM一次反 馈后的平均检索准确率进行对比。另外，对PSO前4次反馈的情况P(30)进行了统计，粒子规模设为N=30，每轮反馈正样本数量最多 取9幅，即小于样本总数的1/3。 图4 各类图像PSO一次反馈后结果对比 图5 各类图像四次反馈后结果对比 可以看出SVM 只对类别较明显的图像类能进行较好的分类，对于不容易分类的图像 PSO 则能表现出较好的反馈效果，如“大 象”、“食物”、“雪山”、“人物”等。随着反馈次数的增加，PSO的检索效率在一定的范围内上下波动。这是因为，算法的“最优位置”是 由正样本图像的平均位置决定的，每轮反馈图像的差异性，使得反馈的最优位置在每轮都会出现偏离。这正是PSO在确定最优位 置时需要改进的地方。
4 结束语
为了弥补图像检索的语义鸿沟问题，该文深入研究了相关反馈技术，实现了有效的反馈算法。但反馈算法对样本集要求较高， 在正负样本比例不平衡时，SVM的训练结果也不如人意，此外，该文使用的训练特征仍然是以底层的物理特征为主，虽然通过图像 分割对图像的不同区域采用不同的特征描述具有一定的语义效果，但本文的图像分割方法也没有与任务相关，缺乏高层语义的指 导，因此在后续的研究中，可针对具体任务进行训练和学习，建立与其对应的图像分割模型和特征表达方式。参考文献：
[1] 张菁,沈兰荪, David Dagan Feng.基于视觉感知的图像检索的研究[J].电子学报, 2008, 36(3):494-499. [2] 吴洪,卢汉青,马颂德.基于内容图像检索中相关反馈技术的回顾[J].计算机学报, 2005, 28(12):1969-1979.
[3] Rui Y, Huang T S, Mehrotra S. Content-based image retrieval with relevance feedback in MARS[C]. In: Proceedings of IEEE Internation⁃ al Conference on Image Processing, Santa Barbara, CA, USA: IEEE Computer Society, 1997:815-818.
[4] 张磊,林福宗,张钱.基于前向神经网络的图像检索相关反馈算法设计[J].计算机学报, 2002, 25(7):673-680.
[5] Tieu K, Viola P. Boosting image retrieval[C]. Proceedings.IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head Is⁃ land, SC, Jun 13-15, vol.1, 228-235, 2000.
[6] Zhou X S, Huang T S. Relevance feedback in image retrieval: a comprehensive review[J]. ACM Multimedia Systems Journal, 2003,8(6): 536-544.
[7] Xiao Xiao et al., Content-Based Image Retrieval through Region Uniformly Partition[J].Key Engineering Materials, Vol.500, 2012:471-474.
[8] 王晓晓,刘丹华.基于改进区域生长的图像显著区域的提取算法[J].现代计算机,2012(3).
[9] MING-KUEI HU. Visual Pattern Recognition by Moment Invariants [J]. IRE Transactions on Information Theory, Vol.8, Issue 2, 1962: 179-187.
[10] Eberhart R, Kennedy J. A New Optimizer Using Particle Swarm Theory[C], Proc.6 Int. Symposium on Micro Machine and Human Sci⁃ ence,1995.39-43.
