学校编码：10384 分类号 密级
学号：23020121152945 UDC
硕
士
学
位
论
文
基于自适应前景的行人检测跟踪系统设计
Pedestrian Detection and Tracking System
Based on Adaptive Foreground
肖四维
指导教师姓名 ： 雷蕴奇
教授
专 业 名 称 ： 计算机应用技术
论文提交日期 ：
2015 年
5 月
论文答辩时间 ：
2015 年
5 月
学位授予日期 ：
2015 年
月
答辩委员会主席：
评
阅
人：
2015 年 5 月
厦门大学博硕士论文摘要库
厦门大学学位论文原创性声明
本人呈交的学位论文是本人在导师指导下,独立完成的研究成
果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均
在文中以适当方式明确标明，并符合法律规范和《厦门大学研究生学
术活动规范（试行）
》。
另外，该学位论文为（计算机视觉）课题（组）的研究成果，获
得（计算机视觉）课题（组）经费或实验室的资助，在（雷蕴奇）实
验室完成。
（请在以上括号内填写课题或课题组负责人或实验室名称，
未有此项声明内容的，可以不作特别声明。
）
声明人（签名）
：
年
月
日
厦门大学博硕士论文摘要库
厦门大学学位论文著作权使用声明
本人同意厦门大学根据《中华人民共和国学位条例暂行实施办
法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交
学位论文（包括纸质版和电子版），允许学位论文进入厦门大学图书
馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国
博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和
摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。
本学位论文属于：
（
）1.经厦门大学保密委员会审查核定的保密学位论文，
于
年
月
日解密，解密后适用上述授权。
（
√ ）2.不保密，适用上述授权。
（请在以上相应括号内打“√”或填上相应内容。保密学位论文应
是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密委
员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为
公开学位论文，均适用上述授权。
）
声明人（签名）
：
年
月
日
厦门大学博硕士论文摘要库
目录
摘要
... I
Abstract...III
第一章 绪论
... 1
1.1 论文研究目的与意义...1 1.2 国内外研究现状...2 1.2.1 前景提取算法的研究情况...2 1.2.2 行人检测算法的研究情况...3 1.2.3 行人跟踪问题的研究情况...4 1.3 论文的研究内容与创新点...7 1.4 论文章节的安排...8第二章 前景提取算法研究
... 11
2.1 引言... 11 2.2 前景提取算法... 11 2.2.1 VIBE 算法介绍...11 2.2.2 混合高斯模型 GMM 算法介绍...13 2.2.3 使用前景区域增强改进 VIBE 算法...16 2.2.4 自适应参数的 VIBE 算法...22 2.2.5 改进的 VIBE 算法实验结果...27 2.3 本章总结...27第三章 目标检测和行人检测算法研究
... 29
3.1 引言...29 3.2 目标检测算法和行人检测算法...29 3.2.1 基于连通区域的目标检测...29 3.2.2 CENTRIST 算法研究...30厦门大学博硕士论文摘要库
3.2.3 基于 CENTRIST 的线性分类器检测...33 3.2.4 基于 CENTRIST 的高精度分类器检测...35 3.2.5 基于混合模型的肤色检测算法...36 3.2.6 实验效果展示...42 3.3 本章总结...45
第四章 压缩感知跟踪算法研究
...47
4.1 引言...47 4.2 压缩感知理论基础...48 4.2.1 信号稀疏表示...50 4.2.2 观测矩阵的设计...51 4.2.3 信号恢复算法设计...52 4.3 基于多特征的压缩感知跟踪算法...53 4.3.1 压缩感知跟踪模型...53 4.3.2 压缩感知算法流程...55 4.4 基于时空上下文跟踪算法...60 4.5 摄像机联动跟踪...61 4.5.1 海康威视网络高清球机及 SDK 介绍...61 4.5.2 球机联动跟踪过程...62 4.6 实验与分析...63 4.6.1 单摄像机跟踪对比实验结果展示...64 4.6.2 摄像头联动跟踪效果展示...67 4.7 本章总结...68第五章 总结与展望
... 69
5.1 工作总结...69 5.2 进一步的工作展望...70参考文献
... 71
硕士在读期间科研成果
...77
致谢
...79
厦门大学博硕士论文摘要库
Content
Abstract in Chinese...I
Abstract in English... III
Chapter 1 Introduction... 1
1.1 Purpose and Significance of this Paper... 1
1.2 Present Research of this Paper...2
1.2.1 Research state of Foreground Detection... 2
1.2.2 Research state of Object Detection... 3
1.2.3 Research state of Object Tracking...4
1.3 Main Work and Innovation Point...7
1.4 Content and Framework... 8
Chapter 2 Research of Foreground Detection... 11
2.1 Introduction... 11
2.2 Algorithm of Foreground Detection...11
2.2.1 Introduction of VIBE Algorithm... 11
2.2.2 Introduction of Mix Gaussion Model...13
2.2.3 Enhance Foreground Area to Improve VIBE... 16
2.2.4 Adaptive Parameter of VIBE...22
2.2.5 The Experimental Results of Improved VIBE... 27
2.3 The Summarize of this Chapter...27
Chapter 3 The Research of Object and Pedestrian Detection....29
3.1 Introduction... 29
3.2 Algorithm of Object Detection and Pedestrian Detection... 29
3.2.1 Object Detection based on Connected Region...29
3.2.2 Research of CENTRIST Algorithm... 30
3.2.3 Linear Classifier based on CENTRIST...33
厦门大学博硕士论文摘要库
3.2.4 High Precision Classifier based on CENTRIST... 35
3.2.5 Skin Detection based on Mix Model...36
3.2.6 The Exprimental Results... 42
3.3 The Summarize of this Chapter...45
Chapter 4 Research of Compressive Sensing Tracking...47
4.1 Introduction... 47
4.2 Basical Theory of Conpressive Sensing... 48
4.2.1 Sparse Representation of Signal...50
4.2.2 Design of Observation Matrix...51
4.2.3 Design of Signal Recovery...52
4.3 Multi-Feature Compressive Sensing Tracking... 53
4.3.1 Model of Compressive Sensing Tracking... 53
4.3.2 Process of Compressive Sensing Tracking...55
4.4 Tracking Algorithm based on Spatiotemporal Context...60
4.5 Linkage Tracking... 61
4.5.1 Introduction of HIK SDK...61
4.5.2 Process of Linkage Tracking... 62
4.6 Experiment and Analysis... 63
4.6.1 Tracking Result of Singal Camera... 64
4.6.2 Results of Linkage Tracking... 67
4.7 The Summarize of this Chapter...68
Chapter 5 Conclusion and Future Work...69
5.1 Conclusion...69 5.2 Future Work... 70
Reference... 71
Author's Project...77
Acknowledgments...79
厦门大学博硕士论文摘要库
摘要 I
摘要
智能视频监控作为模式识别领域的重要分支，人们对它的研究与应用越来越 广泛，其主要研究的是视频中的运动物体，对运动目标进行检测、识别和跟踪。 而人作为视频中最受关注的运动目标，通过对其进行行为分析，可给监控者提供 可靠、及时的信息，为人们对异常事件做出快速的反应提供依据。视频中行人的 检测与跟踪技术是这一切的基础，只有有了准确、鲁棒的行人检测与跟踪算法， 才能为后续的人体动作识别、人群异常事件检测等提供可靠的保障。因此研究视 频中的行人检测与跟踪算法具有重要的现实意义。本文研究了前景提取算法、目 标检测算法以及目标跟踪算法，并提出了相关的改进，主要的研究成果如下： 1) 本文在 VIBE 前景提取算法的基础上，加入了前景增强模块、阴影消除 模块和自适应参数优化。改进后的VIBE 算法在 Change Detection Challenge 公共 数据集上与原VIBE 算法进行实验对比：与原 VIBE 算法相比，改进后的 VIBE 算法在维持计算时间不变的前提下，得到的结果噪声点和前景空洞明显减少，改 进后的VIBE 增强算法在各项指标上都表现的更加优秀。 2) 在目标检测模块，本文引入了 CENTRIST 特征，并在原有精准分类器的 基础上再串连一个简单分类器基于CENTRIST 特征的核进行分类，得到行人目 标；在肤色检测方面本文融合了基于二次多项式的肤色检测模型和基于高斯核的 肤色检测模型，实验表明融合后的结果在不同的光照场景下均能较准确地提取肤 色。 3) 最后本文引入多特征的方法改进了压缩感知目标跟踪算法(CT)，对比于 只引入检测反馈的跟踪模块，实验发现多特征综合决策压缩感知算法比压缩感知 跟踪算法无论是在准确率和鲁棒性上都有更好的表现。 关键字：自适应前景检测；行人检测；多特征压缩感知跟踪；厦门大学博硕士论文摘要库
摘要
III
Abstract
As an important branch in the field of pattern recognition, intelligent video surveillance is researched and applied more and more widely. It mainly focus on the moving objects in the video, such as the detection, recognition and tracking of moving object. And pedestrian is the most concerned moving object in the video, it can provide people reliable and timely information to make a rapid response to the abnormal events via analyzing the behavior of pedestrian. The detection and tracking of video pedestrian is the basis of all mentioned above, only with the accurate and robust algorithm of pedestrian detection and tracking can provide a reliable guarantee for the human action recognition and unusual events detection. Thus it has an important practical significance of the research of pedestrian detection and tracking algorithm in video. This paper researches the foreground extracting algorithm, the object detection and tracking algorithm and put forward the related improvement. The main results of this paper are :
1) In this paper, we introduce the foreground enhancement module, shadow elimination module and adaptive parameter optimization based on the VIBE foreground extraction algorithm. The improved algorithm were compared with the original VIBE algorithm in the Change Detection challenge data set: In the premise of maintaining the computing time unchanged, the improved algorithm reduce the noise pixels and cavities in the foreground. The improved VIBE algorithm is more outstanding on the indicators.
2) In the object detection module, this paper introduces the CENTRIST features to classified the samples to get the pedestrian target by simple classifiers and accurate classifiers based on it. This paper also fuses the skin detection based on two order polynomial model and Gauss kernel, experiments show that the fusion results can accurately extract the color in different lighting scenes.
3) This paper proposes a multi-feature method to improve the Compressive Tracking algorithm(CT) and put a feedback in tracking module. Experiments show that Multi-feature Compressive Tracking algorithm has a better performance on accuracy and robustness.
Keywords: adaptive foreground; pedestrian detection; multi-feature CT tracking
厦门大学博硕士论文摘要库
绪论 1
第一章 绪论
1.1 论文研究目的与意义
计算机视觉技术就是让计算机及监控系统能模拟人的眼和脑，能对所检测到 的事物进行识别、理解、分辨和解释，并能通过预测事物的发展，下达一定的指 令。计算机视觉技术在实际的生活中已经有了很多的应用，比如指纹识别，人脸 识别，行为识别，图像检索等，但大都使用的算法和模式都比较单一，无法适应 复杂的和时刻变化的场景。因此，国内外的学者都致力于对实时的、自学习的计 算机视觉算法的研究。 运动目标检测与跟踪是指在多帧连续图像分析的基础上，通过模式识别技术 和数字图像处理技术，对帧间的关系进行解析，从而检测出所需目标事物，并且 对目标进行连续跟踪的一个过程。近年来，随着计算机技术和数字图像处理技术、 模式识别技术的迅猛发展，运动目标检测与跟踪已经在军事、民生和经济等方方 面面都得到应用。 在智能视频监控领域，通过跟踪目标的移动，可以分析出目标的行为，比如 滞留物品或其它群体性事件；在体育方面，可以分析运动员的技术动作，从而得 出相应的技术参数，如速度、高度等；工业方面的应用则是可以制成具有简单位 移理解能力的机器人，或者工业监控系统；在军事方面，可以利用目标跟踪技术 制造精确的导弹；公共安全方面，有比如疑犯图像分析，人脸检测，交通事故分 析等；生物医学方面，可以通过医学成像等技术，跟踪体内细胞的运动情况，从 而进行医学诊断。 随着人口的增多，公共安全问题已经越来越受到人们的关注。智能视频监控 技术作为公共安全系统密不可分的一部分，也越来越受到人们的注意，并因此吸 引了大量的学者对其研究，得到了较大的发展。智能视频监控技术是建立在运动 目标检测与跟踪基础上的，其主要关注的对象是视频中运动的物体，如行人、车 辆或者人群等。它通过对监控视频中运动物体的分析，再运用机器学习或者模式 识别的技术，可以从视频中提取我们需要的信息，甚至自动做出分析，为异常事 件的预警做好准备。厦门大学博硕士论文摘要库
基于自适应前景的行人检测跟踪系统研究 2 智能视频监控技术广泛应用在如安全，交通管理，银行，医院等事故多发场 所，具有十分重要的研究意义。运动目标的检测与跟踪技术的应用主要体现在以 下几个方面:车辆的检测与跟踪、行人的检测与跟踪、异常物体滞留与取走、人 群异动、异常事件发现、物品丢失、车牌检测识别、交通流量监测等。
1.2 国内外研究现状
1.2.1 前景提取算法的研究情况 优秀的背景消除及前景提取算法可以去掉图像中大量的冗余信息，为后续的 处理提供一个相对干净的前景区域，方便计算资源大量集中于此区域内，在为整 个系统节省掉大量时间的情况下，还能提高一定的准确率。因此前景提取算法成 为了视频处理领域热门的研究方向，科研工作者们进行了大量的研究并提出了很 多算法，比如混合高斯模型算法[1]、三帧差背景减除算法[2]等。其中，混合高斯 模型由于要在时间域上对每一个像素点单独建模，计算复杂度比较大而无法适用 于实时的视频监控系统；而三帧差背景减除算法又有对初始帧相当敏感、容易受 噪声影响及背景模型不能实时更新等特点，因此在本文中均不采用这两种模型。 基于三帧差背景减除模型易于实现且速度较快的特点，实验室前项目组成员 吴众山等人在其基础上提出了一种帧差模型[3]，它可以克服原三帧差背景减除模 型不能实时更新的缺点。实际应用于车辆监控中，并取得了较为理想的效果。 VIBE 算法[4]是2011 年 Olivier Barnich 等人提出的一种优秀的前景提取算法。对于每一个像素，算法从其像素值以及它的邻居点的像素值中，以一定的概率随 机地采集相当数目的像素点，用以组成一个像素值集合，所有的像素点所对应的 集合最终形成了当前图像的背景模型。判定下一帧的像素是否为背景像素时，需 先计算该像素点与像素点所对应的的背景集合中样本值的距离（即差的绝对值）： 我们将满足背景置信条件像素点判定为背景像素，否则判定为前景像素。相对于 其它背景减除算法而言，VIBE 具有建模方便、运算速度快且对光强度敏感度低 等优点，目前在摄像头抖动较少的实验环境下已经取得了不错的效果。 本实验室往期成员才盛[5]对VIBE 算法进行了深入的剖析，发现在较复杂背 景环境下，VIBE 算法仍然存在一些前景空洞和噪声点，并且阴影也会对 VIBE 算法造成较大的影响，即产生误检测。因此其在VIBE 算法的基础上，结合了一
厦门大学博硕士论文摘要库
Degree papers are in the “Xiamen University Electronic Theses and
Dissertations Database”.
Fulltexts are available in the following ways:
1. If your library is a CALIS member libraries, please log on
http://etd.calis.edu.cn/ and submit requests online, or consult the interlibrary
loan department in your library.
2. For users of non-CALIS member libraries, please mail to [email protected]
for delivery details.