1 学校编码：10384 分类号 密级 学号：X2008222018 UDC
工
程
硕
士
学
位
论
文
无序图像的全自动拼接
关键技术研究
A Key Technology Research of Disordered
Image Automatic Mosaic
姚树香
指导教师姓名：洪景新
高级工程师
专
业
名
称：电子与通信工程
论文提交时间：2013 年 04 月
论文答辩时间：2013 年 05 月
学位授予日期：
年
月
答辩委员会主席：
评
阅
人：
2013 年 月
厦门大学博硕士论文摘要库
厦门大学学位论文原创性声明
本人呈交的学位论文是本人在导师指导下,独立完成的研究成
果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均
在文中以适当方式明确标明，并符合法律规范和《厦门大学研究生学
术活动规范（试行）
》。
另外，该学位论文为（ ）课题（组）
的研究成果，获得（ ）课题（组）经费或实验室的
资助，在（ ）实验室完成。
（请在以上括号内填写课
题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特
别声明。）
声明人（签名）：
年 月 日
厦门大学博硕士论文摘要库
3
厦门大学学位论文著作权使用声明
本人同意厦门大学根据《中华人民共和国学位条例暂行实施办
法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交
学位论文（包括纸质版和电子版），允许学位论文进入厦门大学图书
馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国
博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和
摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。
本学位论文属于：
（ ）1.经厦门大学保密委员会审查核定的保密学位论文，
于 年 月 日解密，解密后适用上述授权。
（ ）2.不保密，适用上述授权。
（请在以上相应括号内打“√”或填上相应内容。保密学位论文
应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密
委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认
为公开学位论文，均适用上述授权。）
声明人（签名）：
年 月
厦门大学博硕士论文摘要库
摘要
I
摘 要
图像拼接技术一直是计算机视觉和图像处理的研究热点。它通过基于图像绘 制（Image Based Rendering,IBR)的方法把多幅离散的图像信息表现在一幅大视 角高分辨率的平滑图像上，很好地解决了图像的视野和分辨率的矛盾问题，在虚 拟现实技术、旅游、医学图像处理、遥感测量、航空和军事领域等方面都有广泛 的应用。传统获得高质量全景图的方法都依赖于特殊设备，这类的图像拼接算法 难以满足更广泛的需要，本文考虑结合手持相机获取图像的特点，针对图像配准 和图像的自动排序问题进行了研究。 本文在总结已有技术的基础上主要研究了图像拼接的关键技术。主要包括以 下几个方面：比较了各种投影算法的优缺点，选择柱面投影，并对图像的柱面投 影算法进行了详细的研究，讨论了相机焦距、水平视角等对柱面投影的影响；研 究了一个新的基于特征点的图像配准方法，首先在比较了SIFT特征检测、SUSAN 角点以及Harris角点等方法后，选择了鲁棒的SIFT方法对图像进行特征点的检 测，然后，对提取出的特征点采用最近邻方法进行匹配，利用RANSAC进行提纯去 掉错误的匹配，利用正确的特征匹配点对通过最小二乘法求解图像的坐标变换矩 阵，将两张图像的坐标归一到一个坐标系中；在图像的融合过程中，本文对传统 的渐入渐出算法进行改进，引入Szeliski的复合加权方法，将原图像和目标图像 的像素融合起来生成拼接平面上的像素，实现相邻图像间自然平滑的过渡，相对 于传统的方法，融合效果有了很大的提高。 此外，还总结了图像拼接领域的全自动图像拼接算法，在本文已改进的配准 算法基础上，实现了一种全自动的图像拼接算法。实验结果表明，本文的算法能 够有效地拼接多幅有重叠区域的图片，提高了图像匹配的准确性和图像单应性矩 阵的稳定性，并在执行时间上有所减少，具有良好的鲁棒性；而且该算法能够实 现多幅图像自动排序和配准，稳定性好，无需人工干预。 最后，对此次研究工作的内容进行了总结，并对下一步的研究工作和图像拼 接领域的未来发展进行了展望。 关键词：图像拼接；图像融合；自动排序
厦门大学博硕士论文摘要库
Abstract
II
Abstract
Image mosaic has been a research hot spot of the computer vision technology and image processing.Through approachsof Image Based Rendering,it represents a high-resolution and smooth image with large view,which consists of a number of discrete images information,and which well resolves the conflicting issues field of image view and resolution.In virtual reality technology,tourism,medical image processing,remote sensing measurement,aviation and military fields,the technology has a wide range of applications.Access to high-quality panorama of traditional methods relies on special equipment,for this image stitching algorithm,it is difficult to meet the needs of the wider.In this paper，considering the characteristics of the camera to obtain images,we research image registration and image automatic sorting problem．
The chief study of this paper is the technology of image mach on the basis of summing up existing technology. The follow is the primary job. First, the cylinder projection is chooses after compare the merits and drawbacks of various projection methods, and then study the effect factor of camera focus and level visual angle. Second, a new image math method based on feature points is proposed. Robust SIFT is chooses after compare the SIFT, SUSAN corner and Harris corner. Through this method the feature points of images that overlapping are detected and match them using the method of Nearest Neighbors and then throw off the wrong match feature points. The two image coordinates are normalized in one coordinate system after acquire the perspective and transform matrix through the method of least square method which used the accurate match feature points. In the image fusion process, the traditional fade out algorithm is improved, the composite weighted method into Szeliski, the original image pixel and image fusion pixel generated by stitching on the plane, realize the transition between adjacent images of natural smooth, compared with the traditional method, the fusion effect has been greatly improved.
In addition,we summarize fully automatic image stitching algorithm in the field of image mosaic,based on the improved registration algorithm,and realize a fully automatic image stitching algorithm．Experimental results show that the algorithm can splice the region of more overlapping images effectively,improve the accuracy of image matching and the stability of image homography,reduce the implementation
Abstract
III
time，and have a good robustness;And the algorithm can achieve a number of images automatic sorting and matching,which has a good stability,without human intervention.Finally,we summarize the content,and propose the next phase of research and the field of image mosaic of the prospect of future development．
Keywords：Image Mosaic;Image Fusion;Automatic Sortin
目录 IV
目 录
第一章
绪论
... 1
1.1引言... 1 1.2图像拼接技术研究的背景及意义 ... 1 1.3国内外研究现状 ... 2 1.4图像拼接技术主要研究内容 ... 4 1.4.1图像拼接分类 ... 4 1.4.2图像拼接的不足 ... 5 1.4.3图像拼接的难点 ... 5 1.4.4图像拼接主要研究内容 ... 6 1.5论文研究工作 ... 7 1.5.1本文主要工作 ... 7 1.5.2论文章节安排 ... 8第二章
图像获取与图像预处理
... 10
2.1图像拼接的基本流程 ... 10 2.2图像的获取 ... 11 2.2.1旋转照相机拍摄 ... 11 2.2.2平移照相机拍摄 ... 12 2.2.3手持照相机拍摄 ... 12 2.2.4平面透视映射关系 ... 12 2.2.5本文图像的获取方法 ... 14 2.3图像预处理 ... 15 2.3.1图像的校正 ... 16 2.3.2图像的增强 ... 18 2.3.3图像噪声的抑制 ... 20 2.4本章小结 ... 24第三章
图像配准的理论基础和关键技术
... 25
3.1图像配准一般步骤 ... 25厦门大学博硕士论文摘要库
目录 V 3.2特征空间 ... 26 3.2.1基于灰度统计信息的配准 ... 27 3.2.2基于特征的配准方法 ... 27 3.3搜索空间 ... 28 3.4本章小结 ... 30
第四章
一种精确匹配的图像配准算法研究
... 31
4.1 SIFT特征提取 ... 31 4.1.1 SIFT特征特点 ... 32 4.1.2尺度空间 ... 32 4.1.3高斯差分图像DOG ... 34 4.1.4 DOG图像求极值 ... 35 4.1.5特征点位置和方向的确定 ... 36 4.2特征点描述 ... 37 4.3特征点匹配 ... 39 4.3.1最近邻方法 ... 39 4.3.2 k-d树算法 ... 40 4.4 RANSAC特征点提纯 ... 41 4.5本章小结 ... 44第五章
图像投影模型及图像融合技术研究
... 45
5.1几种坐标系之间的关系 ... 45 5.2 像素坐标和像素焦距 ... 45 5.3柱面投影算法 ... 46 5.4图像插值技术 ... 49 5.5输入序列图像的自动排序 ... 50 5.6图像融合 ... 52 5.6.1加权的平滑处理 ... 52 5.6.2改进的加权平滑算法 ... 53 5.7实验结果 ... 55 5.7.1两幅图像拼接效果 ... 55厦门大学博硕士论文摘要库
目录 VI 5.7.2多幅无序图像拼接效果 ... 56 5.8本章小结 ... 60
第六章
总结和展望
... 61
6.1总结... 61 6.2工作展望 ... 62参考文献
... 63
致 谢
... 66
厦门大学博硕士论文摘要库
contents
VII
Contents
Chapter 1 Introduction... 1
1.1 Introduction ... 1
1.2 Research background and significance of image mosaicing ... 1
1.3 Current research State ... 2
1.4 The main research contents of Image stitching technology ... 4
1.4.1 Classification of image mosaics... 4
1.4.2 The Lack of image mosaics ... 5
1.4.3 Difficulties of image mosaics ... 5
1.4.4 The main research contents of Image stitching technology ... 6
1.5 The research work of this paper ... 7
1.5.1 This article mainly working ... 7
1.5.2 The arrangements of the Dissertaion ... 8
Chaper 2 Image acquisition and image processing ... 10
2.1 Basic processes of image mosaics ... 10
2.2 Image acquisition ... 11
2.2.1 Rotate camera ... 11
2.2.2 Pan camera ... 12
2.2.3 Handheld camera ... 12
2.2.4 Planar perspective mapping ... 12
2.2.5 Image acquisition method of this paper ... 14
2.3 Image preprocessing ... 15
2.3.1 Image correction ... 16
2.3.2 Image enhancement ... 18
2.3.3 Image noise suppression ... 20
2.4 This chaper summary ... 24
Chaper 3 The theory and key technology of image registration ... 25
3.1 Image registration steps ... 25
contents
VIII
3.2 Feature space ... 26
3.2.1 The registration Based on gray level statistics ... 27
3.2.2 Registration method based on feature ... 27
3.3 Search space ... 28
3.4 This chaper summary ... 30
Chaper 4 The study on an exact matching algorithm for image ... 31
4.1 SIFT feature extraction ... 31
4.1.1 SIFT features features ... 32
4.1.2 Scale space ... 32
4.1.3 Gaussian difference images DOG ... 34
4.1.4 DOG image seeking extreme value ... 35
4.1.5 The direction of feature point location and determine ... 36
4.2 Feature description ... 37
4.3 Feature point matching ... 39
4.3.1 Nearest-neighbor method ... 39
4.3.2 K-d tree algorithm ... 40
4.4 RANSAC purification of feature points ... 41
4.5 This chaper summary ... 44
Chaper 5 Research of Image projection model and image fusion ... 45
5.1 Relationship between coordinate systems ... 45
5.2 Pixel coordinate and pixel focal length ... 45
5.3 Cylindrical projection method ... 46
5.4 Image interpolation technology ... 49
5.5 Automatically sort input image sequence ... 50
5.6 Image fusion ... 52
5.6.1 Weighted smoothing ... 52
5.6.2 Improved weighted smoothing algorithm ... 53
5.7 Experimental results ... 55
5.7.1 Effect of stitching two images ... 55
contents
IX
5.7.2 Multiple images of concatenation result ... 56
5.8 This chaper summary ... 60
Chaper 6 Conclusions and Prospect ... 61
6.1 Conclusions ... 61
6.2 Work prospects ... 62
References ... 63
Acknowlegements ... 66
第一章 绪论 1
第一章
绪论
1.1
引言
随着社会经济的发展，人们在实际生活和工作中常常需要获得大视场、高分 辨率的全景图像，但是由于摄像设备的性能限制，一般只能得到局部的成像，有 些能够得到全景图像的硬件设备(全景相机、广角镜头等)也一般比较昂贵，不适 合普遍应用，那么如何自动的建立起宽视角、高分辨率的全景图像，已成为各个 学科研究领域的热点问题。于是人们提出了利用计算机进行图像拼接来获得全景 图的方法。 图像拼接技术就是将一组重叠的局部图像集合拼接成一幅大型的无缝高分 辨率的全景图像。它最早来源于人类的摄影知识，当相机的视野小于人类的视野 时，人们考虑到将多个照片拼接成一幅大的照片以增强相机的视野。第一种方法 是人们利用昂贵的全景相机和广角镜头可部分解决视角不足这一问题，但得到高 质量的全景图往往比较困难，而且代价较高，同时，广角镜头的边缘会产生难以 避免的扭曲变形；第二种方法是使用目前的许多图像处理工具Photoshop、 autostitch等，但这种拼接方法不仅拼接效果不够理想，比如不仅存在无法消除 序列间光照差异以及图像间无缝拼缝，拼接精度较低等问题，而且对于多幅图像 的拼接，工作量大且重复运作繁琐，还需人工干预，为了解决这些问题，近年来 的发展趋势是根据被拼接图像的特征，选取合适的算法，然后利用软件编程来自 动生成大幅无缝的高清晰图像。 目前图像拼接技术广泛应用于图像分析、遥感图像处理、全景图像的生成、 虚拟现实技术、宇宙空间探测、医学图像处理、军事、海底勘探及商业全景展示 等领域。1.2
图像拼接技术研究的背景及意义
在实际应用中，经常会用到超过人眼视野范围的甚至是全方位的高分辨率图 像，普通数码相机获取宽视野的场景图像时,必须通过调节相机焦距才可以提取 较大的场景，但由于相机的分辨率有限,拍摄场景越大,得到的图像分辨率就越厦门大学博硕士论文摘要库
无序图像的全自动拼接关键技术研究 2 低。为了在不降低图像分辨率的条件下获取大视野的场景照片，可将普通图像或 视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，实现场面宏大的景 物拍摄，由此人们提出了图像拼接的概念[1] 。 图像拼接技术，也叫图像镶嵌(Image Mosaics)技术，它将一组有重叠信息 的图像拼接成一幅广视角高分辨率的平滑图像[2] 。利用图像拼接技术，可以提出 冗余信息，压缩信息量，从而更加有效地反映真实世界。 图像拼接技术最初是应用于航空和卫星照片的合成，对于航摄照片，专业摄 影测量工具与实际景物的距离过远，同时又需要拍摄清晰的图像，如整个厦门市 的地形图，就需要对图像先分别进行拍摄，然后采用图像拼接技术合成。采用图 像拼接技术能将航空、卫星照片和宇宙空间探测器传回的照片进行拼接，建立大 型的整体清晰图像[3] ；同时在海底勘测、地质勘测领域，可以通过图像拼接技术 实现勘测场景的全幅绘制和三维重构[4] ；在医学图像处理方面，图像拼接技术将 电子计算机X射线断层扫描技术(computer tomography,CT)、核磁共振(Nuclear Magnetic Resonance，NMR)技术和数字减影血管造影技术(Digtal subtraction angiography,DSA)获得的图像数据组合起来，得到关于病人的完全信息，方便医 生诊断，从而提高病理检查的准确性[5] 。另外在虚拟现实领域[6] ，随着计算机技 术、数字图像处理、计算机图形学以及Internet技术的发展，利用全景图像拼接 技术得到清晰平滑宽视角的全景图像来绘制虚拟的现实场景弥补了文字和图形 缺点，使得人们所要表现的内容和场景，具有更强的说服力和更高的真实感。 综上所述，图像拼接技术是一种集摄影测量学、摄像学、计算机视觉、图像 处理和计算机图形学等多个学科，涉及数值计算、模式识别、神经网络、最优化 方法、显示技术等多领域知识的、应用广泛的多学科交叉处理技术[7] 。图像拼接 技术对设备要求低(手持相机拍摄离散图片)，适用于普通用户，应用前景十分广 泛，因此深入研究图像拼接技术具有非常重要的意义。
1.3
国内外研究现状
关于图像拼接的方法国内外已有不少的论文发表，国内外的学者针对不同的 图像拼接应用问题已经进行了大量的研究工作。 早在1992年，英国剑桥大学的Brown L G首度总结了图像拼接的主要理论及厦门大学博硕士论文摘要库
第一章 绪论 3 其在各个领域的应用[8] 。1996年,美国微软研究院的Richard Szeliski教授提出 了一种基于运动的全景图像拼接模型，采用Levenberg.Marquardt迭代非线性最 小化方法(简称L—M算法)，通过求出图像间的几何变换关系来进行图像配准，由 于此方法效果较好，收敛速度快，且可处理具有平移，旋转，仿射等多种变换的 待拼接图像，因此也成为图像拼接领域的经典算法[9] 。2000年，Shmule Peleg， Benny Rousso，Alex Rav.Acha和AssafZomet在Richard Szelisld的基础上做了
进一步的改进，提出了自适应的图像拼接模型[10] ，它是根据相机的不同运动，自 适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。 Szeliski R教授又提出通过迭代求出每幅图像对应的旋转矩阵和摄像机焦距来 实现拼接的方法[11] 。这种方法在一定程度上减少了拍摄图像时对摄像机运动的限 制，但计算量增大，拼接结果也不稳定。Kuglin C．D和Mines D．C于1975年提 出了相位相关法[12] ，此后Castro E.D和Morandi C提出了扩展相位相关法[13] ，利 用傅里叶变换的性质能够实现具有旋转和平移变换的图像配准。随着快速傅里叶 变 换 算 法 的 提 出 以 及 信 号 领 域 对 傅 里 叶 变 换 的 成 熟 应 用 ， SdnivasalLB 和 ChatterjiB.N提出了一种基于FFT的图像配准方法可以处理包含平移、缩放和尺 度变化在内的图像配准问题[14] 。Zokai S和WolbergG利用变换域的方法处理有大 面积相似区域的图像[15] 。RosenfeldA提出的交叉相关是最基本的基于灰度统计的 图像配准方法[16] 基于图像灰度统计的图像配准方法中，常用的算法有比值匹配 法、块匹配法和网格匹配法 [17] 。基于特征的图像配准方法是目前图像配准最常 用的方法之一。这类方法主要包括特征提取、特征匹配、选取变换模型及求取参 数、坐标变换与插值四个组成部分[18] 。文献[19]提出的图像配准方法基于图像中 结构的相似性，利用一系列结构的属性及关系匹配待配准图像中对应的结构，再 从匹配的结构中得到控制点用于图像转换参数的估计。Yang和Cohen ES等人提出 了一种利用仿射不变量和互加权矩仿射不变量来匹配角点的基于特征点的图像 配准算法[20] ，此方法虽然无需在两幅图像的角点之间建立对应关系，但是对噪声 角点比较敏感。Chang s.H等人提出了一种多特征图像配准方法[21] ，该方法使用 的特征主要是特征点和直线段。Li Hui等提出基于轮廓的图像匹配方法，采用LOG 算子提取两幅图像中的的物体特征轮廓，并用链码表示，然后根据相同轮廓的链 码差分值不变的特性，找出与图像相匹配的轮廓，但算法对图像的轮廓特征要求 较高。HengL．K、HwaE.M等提出的方法只适用于图像间存在小角度旋转(大约0-5)
厦门大学博硕士论文摘要库
Degree papers are in the “Xiamen University Electronic Theses and Dissertations Database”. Full texts are available in the following ways:
1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submit requests online, or consult the interlibrary loan department in your library.
2. For users of non-CALIS member libraries, please mail to [email protected] for delivery details.
