学校编码：10384 分类号 密级 学号：23020061152470 UDC
硕 士 学 位 论 文
基于
Gabor
小波和支持向量机的三维人脸
识别方法研究
Research on 3D Face Recognition Based on Gabor Wavelet
and Support Vector Machine
柳 秀 霞
指 导 教 师 ： 雷蕴奇 副教授
专 业 名 称 ： 计算机应用技术
论文提交日期 ： 2009 年 5 月
论文答辩日期 ： 2009 年 6 月
学位授予日期 ： 2 0 0 9 年 月
答辩委员会主席：
评 阅 人：
2009 年 5 月
厦门大学博硕士论文摘要库
厦门大学学位论文原创性声明
本人呈交的学位论文是本人在导师指导下,独立完成的研究成
果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均
在文中以适当方式明确标明，并符合法律规范和《厦门大学研究生学
术活动规范（试行）
》。
另外，该学位论文为（ ）课题（组）
的研究成果，获得（ ）课题（组）经费或实验室的
资助，在（ ）实验室完成。
（请在以上括号内填写课
题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特
别声明。）
声明人（签名）：
年 月 日
厦门大学博硕士论文摘要库
厦门大学学位论文著作权使用声明
本人同意厦门大学根据《中华人民共和国学位条例暂行实施办
法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交
学位论文（包括纸质版和电子版），允许学位论文进入厦门大学图书
馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国
博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和
摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。
本学位论文属于：
（ ）1.经厦门大学保密委员会审查核定的保密学位论文，
于 年 月 日解密，解密后适用上述授权。
（ ）2.不保密，适用上述授权。
（请在以上相应括号内打“√”或填上相应内容。保密学位论文
应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密
委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认
为公开学位论文，均适用上述授权。）
声明人（签名）：
年 月 日
厦门大学博硕士论文摘要库
摘要
摘要
利用空间形状结构信息进行分类的三维人脸识别是人脸识别领域新的研究 热点，目前正受到广泛的关注。三维人脸识别系统的研究热点主要包括三维数据 获取、预处理、特征提取、分类器设计等关键性问题。 本文针对三维人脸识别系统中的特征提取、分类器设计等问题进行研究，提 出一种基于三维人脸轮廓线的 Gabor 小波变换和支持向量机分类器相结合的三 维人脸识别方法。首先在 B 样条拟合而成的网格控制点模拟三维人脸点云数据的 基础上，提取三维人脸中分轮廓线及鼻尖处横切轮廓线；接着利用 Gabor 小波设 计的多尺度多方向的滤波器对人脸轮廓线进行小波变换，用 Gabor 小波变换系数 的模的平均值和方差表示特征向量；最后将特征向量送入支持向量机网络进行训 练和识别。文中主要工作与贡献包括： 1、针对初始离散且尚不具备结构信息的三维人脸点云数据，通过层次B样 条对曲面逐步加精而拟合生成的网格控制顶点模拟三维点云数据，从而将不规则 的三维数据投影到规则的且具有相同数目的网格控制顶点，有效地减少了数据 量，为后续算法的准确性及稳健性做了必要的准备。 2、在特征提取方面，提出了一种基于三维人脸轮廓线的一维 Gabor 小波特 征提取方法。一方面在确定了三维人脸坐标系的基础上，结合深度信息提取人脸 中分轮廓线及鼻尖处横切轮廓线；另一方面将轮廓线看作一维信号，对其进行一 维 Gabor 小波变换，并利用 Gabor 小波变换系数的模的平均值和方差来表示提取 的三维人脸特征。 3、针对人脸识别应用中存在训练样本往往有限的问题，又鉴于支持向量机（Support Vector Machine，SVM）技术在解决此类小样本问题上的独特优势，本
文利用SVM作为分类器对三维人脸特征进行训练和识别。最后通过实验结果表 明基于三维人脸轮廓线的Gabor小波变换和SVM分类器相结合的方法能有效提 取三维人脸特征，计算量少，在三维人脸数据库ZJU-3DFED上“较好”的人脸 图像（样本数为180）其识别率为86.7%，而在整个数据库（总样本数为342） 其识别率为81.5%。 关键词：三维人脸识别；人脸轮廓线；Gabor 小波变换；特征提取；支持向量机
厦门大学博硕士论文摘要库
Abstract
Abstract
Human face is intrinsically 3D deformable object with texture. The 3D shape information should not be ignored in face recognition since they provide another type of distinct feature to distinguish different faces. The research points in 3D face recognition mainly include 3D data acquisition、pretreatment、feature extraction and classifier design.
In this thesis, based on the depth image, we focus on the following problems: feature extraction and classifier design, and the method of 3D face recognition based on Gabor wavelet transform and Support Vector Machine is proposed. 3D face contour feature extracted by using multi-channels Gabor wavelet filters was denoted by the coefficients of Gabor wavelet transform and its standard variance. In addition, the feature vectors are used to train and identify by support vector machine. Here lists the main work and our contributions in this thesis:
1、As 3D point-cloud data are scattered points without structural information, the grid control points are used to simulate the point-cloud data which is created by B-spline surface fitting. We standardize the point-cloud data to reduce the quantity of point-cloud data to raise efficiency and robustness of our following algorithm.
2、In the aspect of feature extraction, a method of 1D Gabor wavelet feature
extraction based on 3D face contour is proposed. First, face contours are extracted in the basis of 3D face coordination system with the depth information, then viewing the contours as 1D signals, do the work of 1D Gabor wavelet to own great discriminating power for 3D face feature.
3、We propose a simple but effective method, Support Vector Machine, to
discriminate 3D faces. The experiment results show that the algorithm of 1D Gabor wavelet based on 3D face contours and SVM classifier, has a fast calculating speed, and the face recognition rates are around 86.7% on better face images and 81.5% on the whole 3D face database of ZJU-3DFED.
Keyword：3D face recognition; contour lines; Gabor wavelet; feature extraction; Support Vector Machine
目录
目录
第一章 绪论
··· 1
1.1 研究背景及意义...1 1.2 论文的定位和研究思路...2 1.3 论文的内容和结构...4第二章 三维人脸识别研究
··· 5
2.1 引言...5 2.2 三维人脸识别系统框架...5 2.3 三维人脸识别算法现状...6 2.3.1 基于网格模型的识别算法...6 2.3.2 基于深度图像的识别算法...8 2.4 三维人脸识别研究面临的难点...9 2.5 本文采用的方法...10 2.5.1 特征提取...10 2.5.2 支持向量机分类... 11 2.6 涉及数据库及其预处理... 11 2.6.1 本文涉及的数据库... 11 2.6.2 数据库预处理...13第三章 基于三维人脸轮廓线的 Gabor 小波特征提取方法
··· 15
3.1 引言...15 3.2 轮廓线提取...15 3.2.1 基于轮廓线的识别算法...15 3.2.2 三维人脸轮廓线提取...16 3.3GABOR小波变换...20 3.3.1 Gabor滤波器...20 3.3.2 一维Gabor小波变换...21 3.4 基于轮廓线的一维Gabor小波特征提取...24厦门大学博硕士论文摘要库
目录 3.4.1 本文选择的一维Gabor核函数...24 3.4.2 轮廓线的Gabor小波特征...26 3.5 本章小结...27
第四章 基于支持向量机的人脸识别
··· 29
4.1 引言...29 4.2 支持向量机介绍...29 4.2.1 理论基础...29 4.2.2 线性支持向量机...31 4.2.3 非线性支持向量机...33 4.2.4 模型选择...34 4.3 多分类支持向量机...35 4.3.1 多分类支持向量机介绍...35 4.3.2 现有多类支持向量机算法...36 4.4 LibSVM用于人脸识别...37 4.4.1 关于LibSVM工具...38 4.4.2 LibSVM应用...38 4.4.3 部分人脸样本训练与测试数据...40 4.4 本章小结...42第五章 三维人脸识别系统设计与实现
··· 43
5.1 识别系统框架...43 5.2 识别系统的性能...44 5.3 识别系统的设计与实现...45 5.3.1 特征提取结果及分析...45 5.3.2 分类实验结果及分析...47 5.4 本章小结...50第六章 总结与展望
··· 51
6.1 本文工作总结...51厦门大学博硕士论文摘要库
目录 6.2 本文创新之处...52 6.3 未来工作展望...52
参考文献
··· 55
致谢
··· 60
厦门大学博硕士论文摘要库
Content
Content
Chapter1 Introduction ··· 1
1.1 Background and Significance ...1
1.2 Thesis location and research ideas ...2
1.3 Content and Framework...4
Chapter2 Research on 3D face recognition ··· 5
2.1 Introduction ...5
2.2 Framework for 3D face recognition system ...5
2.3 3D face recognition algorithm ...6
2.3.1 Recognition algorithm based on mesh image ...6
2.3.2 Recognition algorithm based on depth image...8
2.4 Difficulties faced on 3D face recognition ...9
2.5 The methods for this thesis ...10
2.5.1 Feature extraction...10
2.5.2 Support Vector Machine for classification... 11
2.6 3D face database involved and pretreatment... 11
2.6.1 Database involved ... 11
2.6.2 Pretreatment ...13
Chapter3 The feature extraction method of Gabor wavelet based on
3D face contour ··· 15
3.1 Introduction ...15
3.2 Contour extraction ...15
3.2.1 Recognition algorithm based on contour ...15
3.2.2 3D face contour extraction...16
3.3 Gabor wavelet ...20
3.3.1 Gabor filter...20
厦门大学博硕士论文摘要库
Content
3.3.2 1D Gabor wavelet ...21
3.4 Feature extraction of 1D Gabor wavelet based on face contour ...24
3.4.1 1D Gabor kernel function ...24
3.4.2 Feature of Gabor wavelet based on contour ...26
3.5 Brief of this Chapter...27
Chapter4 3D face recognition based on Support Vector Machine · 29
4.1 Introduction ...294.2 Introduction for Support Vector Machine ...29
4.2.1 Theoretical basis ...29
4.2.2 Linear Support Vector Machine ...31
4.2.3 Non-linear Support Vector Machine ...33
4.2.4 Model selection ...34
4.3 Multi-classification Support Vector Machine ...35
4.3.1 Introduction for multi-classification SVM...35
4.3.2 Algorithm for multi-classification SVM...36
4.4 Face recognition with LibSVM ...37
4.4.1 About LibSVM ...38
4.4.2 Application with LibSVM ...38
4.4.3 Some training and testing data for face model...40
4.5 Brief of this Chapter...42
Chapter5 Design and Implementation for 3D face recognition
system ··· 43
5.1 Framework for recognition system ...43
5.2 Performance of recognition system...44
5.3 Design of recognition system ...45
5.3.1 Result and analysis of feature extraction ...45
5.3.2 Result and analysis of classification ...47
5.4 Brief of this Chapter...50
Content
Chapter6 Conclusion and future work ··· 51
6.1 Conclusion ...51
6.2 Innovation of this thesis ...52
6.3 Prospect for feature work ...52
Reference··· 55
Acknowledges ··· 60
第一章 绪论 1
第一章 绪论
1.1 研究背景及意义
随着社会的进步及计算机技术的飞速发展，对个人身份识别的需求可以说无 处不在并与日俱增，特别是一些对安全要求较高的场合（如银行、海关、机密机 关等）。传统的身份鉴别方法，从口令、信物延续到大家随身携带或记忆的各种 钥匙、ID卡、密码等，有许多局限性，如容易丢失、忘记、仿冒等，给人们的 生活造成诸多不变。因此，在信息科技高速发展的今天，如何运用适应时代要求 的身份识别技术成为社会发展的迫切需要。 生物特征识别正是基于此背景下应运而生的一个新的研究课题，利用图像处 理、模式识别和计算机视觉技术提取并描述隐含在个体中的生理特征 （Physiological Characteristic，如脸像、指纹、虹膜、耳形、掌纹等）和行为特 征（Physiological Characteristic，如笔迹、步态、声纹等）进行可靠有效的个人 身份鉴定，具有稳定性、防伪性、和唯一性等特点[1-2]。与传统身份鉴别技术相 比，生物特征识别技术具有终身稳定、便捷、不易伪造等诸多优点。目前已有人 脸、指纹、虹膜识别等生物特征识别系统正在走向实际应用。 在诸多生物特征中，人脸是人类视觉中最为普遍的模式，人脸所包含的视觉 信息在人们日常交往过程中占据着主导地位，是区别人与人之间差别的最重要特 征。相比于其他生物特征，人脸具有方便的非接触性采集、应用广泛、用户易于 接受等优点。因此，从二十世纪六、七十年代起，利用计算机进行自动人脸识别 引起了国内外研究者的强烈兴趣，并且持续至今仍然是身份鉴定领域内的研究热 点。人脸识别，其目标是使得计算机像人类一样，能够根据人的脸部信息来判断 出人的身份。虽然人类自己可以非常容易地识别出不同的人脸，当我们看到自己 熟悉的人时，不管他是否又换了发型，是否长胖或留了胡须，人脑几乎是下意识 的就己经反映知道对方是谁，但要让计算机做到能够判断出人的身份，却是一个 非常困难的问题。它牵涉到模式识别、图像处理、计算机视觉、生理学、心理学 以及认知科学等方面的诸多知识，并与基于其他生物特征的身份鉴别方法及计算 机人机感知交互领域都有着密切的联系。厦门大学博硕士论文摘要库
基于Gabor小波和支持向量机的三维人脸识别方法研究 2 尽管始于二十世纪六十年代的人脸识别研究经历了几十年的发展，已经取得 了一些可喜的成果，但这些传统的人脸识别方法绝大部分是针对二维彩色或灰度 图像，即二维人脸识别，在实际应用中仍面临着许多严峻的问题，光照、表情、 姿态变化带来的三大难题影响着识别结果的稳健性和精确性，制约着二维人脸识 别的进一步发展，使之在成熟的技术应用面临一个瓶颈阶段。究其原因在于，人 脸本质上是一个具有颜色纹理信息的非刚性三维物体，既包含了人脸的颜色纹理 信息，也包含了形状结构信息。而二维人脸图像是由三维人脸的颜色纹理到二维 的平面上的投影，从而丢失了刻画人脸的重要特征的三维形状结构信息。因此， 采用三维人脸信息进行身份鉴别很可能比二维人脸图像拥有更大的潜力取得更 好的识别性能，这是目前人脸识别领域广泛接受的共识[3-6]。 由于二维人脸识别经过几十年的研究无法突破其固有的瓶颈问题、人脸的三 维本质信息及三维人脸获取技术的发展，这三大原因促使三维人脸识别从世纪90 年代开始逐步引起广大研究人员的关注。活跃在三维人脸识别这个领域的国际著 名研究机构有美国密歇根州立大学的模式识别和图像处理实验室、Kevin
W.Bowyer领导的美国Notre Dame大学计算机科学与工程系、英国Surrey大学的视
觉、语音和信号处理中心、以色列TIIT、美国休斯敦大学计算机系CBL、新加坡
南洋理工大学电子电气工程学院、土耳其Bogazici大学、美国Wisconsin-Madison
大学、美国York大学等。国内主要有中科院自动化所、清华大学、浙江大学等高
校及科研院所。一些公司甚至已经开发出走在时代前沿的三维人脸识别应用系
统，如美国的L-1 Identity Solution公司（原Viisage Technology公司和Identix
Incorporated公司合并后的公司）[7]和A4Vision公司[8]的产品。 三维人脸识别从人脸本质的三维信息出发研究人脸的匹配，能有效避免传统 二维人脸识别中光照、姿态变化两大问题，且有望解决表情变化带来的类内差异 过大的难题。随着这三大问题的解决，构建稳健精确且成熟的人脸识别应用系统 有望在不久的将来实现。
1.2 论文的定位和研究思路
三维人脸识别是一个系统性的研究课题，包含了三维数据获取、预处理、特 征提取、分类识别等步骤[9-10]，如图 1-1 所示，涉及的领域包括计算机视觉、模厦门大学博硕士论文摘要库
第一章 绪论 3 式识别、图像处理、计算机图形学等。文中重点主要专注三维人脸识别系统的后 两个步骤，即特征提取和分类识别，如图1-1的红色框内所含。 图1-1 三维人脸识别一般框架 三维数据采集设备获取的是三维深度数据，在经过去噪、归一化、配准等预 处理措施后，如何从这些数据中提取出表达能力强的、包含鉴别人脸的重要特征 以进一步分类识别，是直接决定人脸识别结果的关键性问题。由于三维人脸数据 与二维人脸灰度图像的值有着本质的不同，二维人脸识别的一些特征提取方法在 三维人脸数据上并不适用。因此，针对三维人脸这个崭新的模态，需要研究其特 殊性，以抽取真正刻画其本质身份的特征表达。此外人脸并不是一个不变的三维 刚体，类内会产生不规则形变，如表情变化等。所以在提取特征时，需要考虑人 脸三维形变带来的识别影响，即要提取对类内变换稳健的表达特征。 由于 Gabor 小波能很好地模拟哺乳动物皮质细胞区域剖面，显示出良好的空 间局部性和方向选择性，已被成功应用于二维人脸识别系统的特征提取阶段。以 往在进行二维人脸识别研究时是利用二维 Gabor 小波对人脸图像进行滤波，进而 提取人脸图像的局部特征。本文基于三维人脸这个崭新模态，利用一维 Gabor 小 波对三维人脸轮廓线进行滤波，而获得基于三维人脸轮廓线的 Gabor 小波特征， 以实现三维人脸的特征提取阶段。在分类识别阶段，基于支持向量机的良好泛化 能力及在解决小样本问题等优势，本文利用支持向量机分类器实现三维人脸的分 类识别阶段。 总之，本文定位为基于人脸的三维信息，以探索稳健精确的三维识别系统为 目标，就三维人脸识别系统中的特征提取、分类识别等关键性问题进行探索研究。 三维数 据获取 预处理 特征 提取 数据库模板 分类 1… 2… 3… … 识别 结果
厦门大学博硕士论文摘要库
基于Gabor小波和支持向量机的三维人脸识别方法研究 4
1.3 论文的内容和结构
基于以上分析，文中以三维人脸的特征提取、分类识别的研究为主题内容。 文章结构具体安排如下： 第一章主要从研究背景及意义、论文的定位和研究思路方面对三维人脸识别 领域作了简要的概述，从而对其有个较为直观的了解。 第二章介绍目前已有的三维人脸识别特征提取和分类识别方法。通过回顾三 维人脸识别领域的历史发展和归类总结已有的算法，以期提炼该领域现有的发展 道路及国内外研究人员的研究思路，用以指导本文的研究和论文工作；最后给出 了本文采取的三维人脸数据库并通过层次 B 样条对曲面逐步加精拟合生成的网 格控制顶点模拟三维点云数据而进行预处理。 第三章提出了一种基于一维 Gabor 小波变换的轮廓线特征提取方法。首先在 确定三维人脸坐标系下，结合深度信息提取人脸中分轮廓线及鼻尖横切处轮廓 线，并将轮廓线作为一维信号来处理；然后利用Gabor小波其良好的空间局部性 和方向选择性，可用于获得局部可分辨特征的优点，在基于轮廓线的基础上，对 其进行一维Gabor小波变换而提取三维人脸特征，最后通过实验验证了该三维人 脸特征提取方法的有效性与稳健性。 第四章先分析了三维人脸深度数据的特殊性，说明三维人脸的深度信息差异 比二维人脸灰度差异更直接地反映了人脸结构的差异，且不受光照、表情变化带 来的影响可能产生更为精确的识别算法。然后重点介绍了基于支持向量机的人脸 识别方法及LibSVM软件工具的应用，并给出了部分数据结果。 第五章阐述了三维人脸识别的系统框架、性能，并给出系统的设计与实现， 通过实验先是在“较好”的图像中验证了算法的性能，最后还在整个数据库上验 证算法。由于Gabor小波可根据特定的需要而获得想要的特征；而SVM用于识 别的实现步骤简单，不需要长时间的训练过程。实验结果表明，利用一维Gabor 小波变换抽取稳健的三维人脸轮廓线特征，结合支持向量机网络的强大分类能 力，计算量少，识别速度快，识别率高。 第六章对本文工作进行了总结，针对在研究中存在的不足和今后的研究方向 给出了下一阶段工作的展望。厦门大学博硕士论文摘要库
Degree papers are in the “Xiamen University Electronic Theses and Dissertations Database”. Full texts are available in the following ways:
1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submit requests online, or consult the interlibrary loan department in your library.
2. For users of non-CALIS member libraries, please mail to [email protected] for delivery details.
