The Efficient Particle MCMC Algorithms for Bayesian Estimation of Nonlinear State Space Models

学学学校校校编编编码码码：：：10384 学学学号号号：：：27720120153861 分 分 分类类类号号号 密密密级级级 UDC

博

博

博 士

士

士 学

学

学 位

位

位 论

论

论 文

文

文

非

非

非线

线

线性

性

性状

状

状态

态

态空

空

空间

间

间模

模

模型

型贝

型

贝

贝叶

叶

叶斯

斯

斯估

估

估计

计

计中

中

中的

的

的高

高

高效

效

效

粒

粒

粒子

子

子MCMC算

算

算法

法

法

The Efficient Particle MCMC Algorithms for Bayesian

Estimation of Nonlinear State Space Models

杨 远

指导教师姓名：

林明 牛霖琳 李迎星

专 业 名 称：

统 计 学

论文提交日期：

2 0 1 7 年 4 月

论文答辩时间：

2 0 1 7 年 5 月

学位授予日期：

2 0 1 7 年 7 月

答辩委员会主席：

评

阅

人：

2017 年

年

年 5 月

月

月

厦门大学博硕士论文摘要库

厦

厦

厦门

门

门大

大

大学

学

学学

学

学位

位

位论

论

论文

文

文原

原

原创

创

创性

性

性声

声

声明

明

明

本人呈交的学位论文是本人在导师指导下,独立完成的研究成

果。本人在论文写作中参考其他个人或集体已经发表的研究成果，

均在文中以适当方式明确标明，并符合法律规范和《厦门大学研究

生学术活动规范（试行）》。

另外，该学位论文为（

）课题（组）

的研究成果，获得（

）课题（组）经费或实验室

的资助，在（

）实验室完成。（请在以上括号内填

写课题或课题组负责人或实验室名称，未有此项声明内容的，可以

不作特别声明。）

声明人（签名）： 年 月 日

厦门大学博硕士论文摘要库

厦

厦

厦门

门

门大

大

大学

学

学学

学

学位

位

位论

论

论文

文

文著

著

著作

作

作权

权

权使

使

使用

用

用声

声

声明

明

明

本人同意厦门大学根据《中华人民共和国学位条例暂行实施办

法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交

学位论文（包括纸质版和电子版），允许学位论文进入厦门大学图书

馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国

博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和

摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。

　　本学位论文属于：

　　（

）1.经厦门大学保密委员会审查核定的保密学位论文，

于　　年　　月　　日解密，解密后适用上述授权。

　　（

）2.不保密，适用上述授权。

　　（请在以上相应括号内打“√”或填上相应内容。保密学位论文

应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密

委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认

为公开学位论文，均适用上述授权。）

声明人（签名）： 年 月 日

厦门大学博硕士论文摘要库

摘

摘

摘要

要

要

本文致力于发展出具有更高统计效率和更低计算成本的适用于非线性/非 高斯状态空间模型贝叶斯估计的粒子MCMC算法。文章使用多重尝试、延迟接 收、边缘化、后向抽样等计算技术和策略对基准粒子MCMC算法进行拓展。一 方面，这些技术和策略的使用能够拓宽粒子MCMC的应用范围。另一方面还能 够提高基准粒子MCMC算法的统计和计算效率。具体而言，本文的研究内容和 贡献主要有以下三点： 第一，本文提出了多重尝试粒子Metropolis-Hastings(MH)算法。该算法使用 多重尝试策略加速普通粒子MH算法的收敛性，同时通过使用非线性Kalman滤 波对似然函数进行快速近似将算法的计算成本大幅降低。本文之后考虑了算法 在独立抽样分布之下的特殊情形，并将算法与延迟接收策略结合以进一步提高 计算效率，还提出了使用该算法计算模型边缘似然的方法。在数值试验中，对 各个算法的收敛速率和计算成本进行了评估和比较。在实际应用部分，本文使 用所提出的算法对非线性动态宏观经济模型进行估计和模型比较，对中国的货 币政策进行了简要的分析。 第二，本文提出了近似贝叶斯计算(ABC)粒子MCMC方法。该算法能够解 决观测变量的条件分布非解析可得模型中的后验抽样问题。ABC粒子滤波通过 抽取伪观测值对不可得的条件分布进行近似来完成滤波过程。ABC粒子MH算 法使用ABC粒子滤波进行似然函数近似，而ABC粒子Gibbs抽样则使用ABC粒子 滤波对平滑分布进行近似同时完成状态更新。本文进一步使用边缘化策略以提 升ABC粒子滤波对似然函数的近似精度，并使用后验抽样解决粒子Gibbs算法中 的退化问题。在数值实验中，所提出的两个改进算法都显示出了较高的效率： 边缘化策略能够在相同的计算成本下实现更精确的似然函数近似，而后向抽样 策略则能够在计算成本仅略微增加的情况下极大地提升状态更新的混合速率。 第三，本文提出高效的后验抽样算法对Wishart动态期限结构模型进行贝叶 斯参数估计和模型评估。所提出的后验抽样算法基于粒子Gibbs的框架交替地对 状态变量和参数进行更新。在状态更新部分，使用带后向抽样的条件粒子滤波 来进行。在参数更新部分，使用多重尝试独立MH算法依次对各组参数进行更 新。多重尝试策略则有效地提高了参数更新中的接收概率和混合速率。数值实 验验证了所提出算法的良好表现。最后，基于美国数据对Wishart期限结构模型 进行贝叶斯估计和模型评估。考察了随机波动因子对债券收益率的影响，以及 I

厦门大学博硕士论文摘要库

模型在横截面和时间序列方向的预测能力。

关键词：非线性/非高斯状态空间模型；粒子滤波；马尔可夫链蒙特卡罗

II

Abstract

This thesis focuses on developing particle MCMC algorithms with higher statisti-cal efficiency and lower computational cost for Bayesian estimation of nonlinear/non-Gaussian state space models. The thesis improves the benchmark particle MCMC algo-rithm using multiple techniques and strategies in Monte Carlo computation, for exam-ple multiexam-ple-try, delayed acceptance, marginalization and backward sampling. These techniques and strategies broaden the scope of application of particle MCMC and im-prove the statistical and computational efficiency of benchmark algorithms. Specifical-ly, the research content and contribution of this thesis read as follows.

Firstly, the thesis proposes the multiple-try particle MH algorithm. The new al-gorithm accelerates the convergence of particle MH chain by multiple-try strategy. Through appropriately use of nonlinear Kalman filter for fast likelihood function ap-proximation, the algorithm admit the true stationary distribution while significantly re-duce the computational cost. The thesis then considers the special case of the algorithm with independent sampling distribution, and combines the algorithm with the delayed acceptance strategy to further improve its computational efficiency. It also proposes a method to calculate marginal likelihood of the model from particle MH outputs.In the numerical experiment, the convergence rate and the computational cost of various algo-rithms are evaluated and compared. In the application section, the proposed algorithm is used to estimate and compare alternative dynamic macroeconomic models and then to analyze China’s monetary policy.

Secondly, the thesis proposes the approximate Bayesian Computation(ABC) par-ticle MCMC algorithm. The algorithm is proposed to solve the posterior sampling problem in situation where the conditional distributions of the observed variables are analytically unavailable. The ABC particle filter implements the filtering process by generating pseudo observations to approximates the unavailable conditional distribu-tion. The ABC particle MCMC algorithm is then obtained by embedding the ABC par-ticle filter into the MH algorithm for likelihood function approximation or embedding it into the Gibbs sample for state updating. The thesis then uses the marginalization strategy to improve the accuracy of the ABC particle approximation to the likelihood function, and then use the backward sampling to solve the degeneracy problem in the particle Gibbs algorithm. In the numerical experiment, the two proposed improvement strategies show higher statistics and computational efficiency: The marginalization s-trategy can achieve more accurate likelihood approximation with computational burden

III

unchanged, and and the backward sampling strategy can greatly improve the mixing rate of the state updating whit minor increase in computational cost.

Thirdly, the thesis presents an efficient posterior sampling algorithm for Bayesian parameter estimation and model evaluation of Wishart dynamic term structure model. The proposed posterior sampling algorithm updates the state variables and parameters alternately in the framework of Gibbs algorithm. In the state update step, the condi-tional particle filter with backward sampling is performed. In the parameter update step, multiple-try independent MH algorithm is used to update the parameters group by group. Multiple-try strategy is effective to improve the acceptance probability and the mixing rate in parameter updating. Numerical experiments show that the proposed posterior algorithm has higher statistics and computational efficiency. Finally, Bayesian estimation and model evaluation of the Wishart term structure model are implemented based on US data. The effect of stochastic volatility factor on yield curve is studies and the cross-sectional and time series forecasting ability of the model is evaluated.

Key Words: Nolinear/Non-Gaussian state-space model; Particle filter; Markov chain Monte Carlo

IV

目

目

目 录

录

录

第

第

第一

一

一章

章

章 导

导

导论

论

论 . . . 1

1.1 研研研究究究背背背景景景 . . . 1 1.2 研研研究究究问问问题题题 . . . 4 1.3 本本本文文文结结结构构构与与与贡贡贡献献献 . . . 7

第

第

第二

二

二章

章

章 状

状

状态

态

态空

空

空间

间

间模

模

模型

型

型的

的

的贝

贝

贝叶

叶

叶斯

斯

斯估

估

估计

计

计 . . . 11

2.1 模模模型型型结结结构构构与与与实实实例例例 . . . 11 2.2 贝贝贝叶叶叶斯斯斯估估估计计计 . . . 15 2.2.1 Metropolis-Hastings算法和Gibbs抽样 . . . 16 2.2.2 状态与参数更新 . . . 18 2.2.3 粒子滤波 . . . 21 2.2.4 粒子平滑 . . . 25 2.2.5 粒子MCMC . . . 27 2.3 贝贝贝叶叶叶斯斯斯模模模型型型选选选择择择 . . . 31 2.4 附附附录录录 . . . 34 2.4.1 重要性抽样. . . 34 2.4.2 马尔可夫链的收敛性 . . . 36 2.4.3 MH算法和Gibbs抽样的收敛性 . . . 39 V

厦门大学博硕士论文摘要库

第

第

第三

三

三章

章

章 多

多

多重

重

重尝

尝

尝试

试

试粒

粒

粒子

子

子Metropolis-Hastings算

算

算法

法

法 . . . 43

3.1 引引引言言言 . . . 43 3.2 粒粒粒子子子Metropolis-Hastings算算算法法法. . . 45 3.3 多多多重重重尝尝尝试试试粒粒粒子子子MH算算算法法法 . . . 46 3.3.1 多重尝试策略 . . . 46 3.3.2 多重尝试PMH算法及其性质 . . . 49 3.3.3 独立抽样分布 . . . 50 3.3.4 延迟接收策略 . . . 51 3.3.5 边缘似然计算 . . . 53 3.4 数数数值值值实实实验验验 . . . 54 3.4.1 模型设定 . . . 54 3.4.2 数据和先验. . . 56 3.4.3 后验抽样 . . . 57 3.5 对对对中中中国国国宏宏宏观观观经经经济济济数数数据据据的的的分分分析析析. . . 63 3.5.1 模型选择 . . . 65 3.5.2 参数估计 . . . 66 3.6 结结结论论论 . . . 68 3.7 定定定理理理证证证明明明 . . . 69 3.7.1 定理3.1 . . . 69 3.7.2 定理3.2 . . . 70 3.7.3 定理3.3 . . . 71 VI

厦门大学博硕士论文摘要库

3.8 附附附录录录 . . . 71 3.8.1 中心差分Kalman滤波. . . 71 3.8.2 辅助粒子滤波 . . . 72

第

第

第四

四

四章

章

章 近

近

近似

似

似贝

贝

贝叶

叶斯

叶

斯

斯计

计

计算

算

算粒

粒

粒子

子

子MCMC算

算

算法

法

法 . . . 75

4.1 引引引言言言 . . . 75 4.2 ABC粒粒粒子子子滤滤滤波波波 . . . 78 4.2.1 粒子滤波的失效 . . . 78 4.2.2 ABC粒子滤波的实施 . . . 80 4.2.3 收敛性和最优窗宽 . . . 83 4.3 ABC粒粒粒子子子MCMC算算算法法法 . . . 84 4.3.1 ABC粒子MH算法 . . . 85 4.3.2 边缘化策略. . . 86 4.3.3 ABC粒子Gibbs抽样 . . . 88 4.3.4 后向抽样策略 . . . 89 4.4 数数数值值值实实实验验验 . . . 90 4.4.1 对似然函数与平滑分布的近似 . . . 90 4.4.2 后验抽样：MH算法 . . . 92 4.4.3 后验抽样：Gibbs抽样 . . . 96 4.5 结结结论论论 . . . 101 4.6 定定定理理理证证证明明明 . . . 102 4.6.1 定理4.2 . . . 102 VII

厦门大学博硕士论文摘要库

4.6.2 定理4.3 . . . 102 4.6.3 定理4.4 . . . 103 4.6.4 定理4.5 . . . 103 4.7 附附附录录录：：：参参参数数数ϕ的的的更更更新新新 . . . 103

第

第

第五

五

五章

章

章 Wishart动

动

动态

态期

态

期

期限

限

限结

结

结构

构

构模

模

模型

型

型的

的

的参

参

参数

数

数估

估

估计

计与

计

与

与模

模

模型

型

型评

评

评估

估

估 . . . 105

5.1 引引引言言言 . . . 105 5.2 Wishart动动动态态态期期期限限结限结结构构构模模模型型型 . . . 108 5.2.1 无套利定价. . . 108 5.2.2 随机方差-协方差的作用 . . . 109 5.3 后后后验验验抽抽抽样样样算算算法法法 . . . 110 5.3.1 状态空间表示 . . . 110 5.3.2 状态更新 . . . 111 5.3.3 参数更新 . . . 112 5.4 数数数值值值实实实验验验 . . . 113 5.5 基基基于于于美美美国国国数数数据据据的的的分分分析析析 . . . 115 5.5.1 参数估计 . . . 117 5.5.2 后验预测检查 . . . 122 5.5.3 横截面预测. . . 124 5.5.4 时间序列预测 . . . 125 5.6 结结结论论论 . . . 127 VIII

厦门大学博硕士论文摘要库

5.7 附附附录录录 . . . 129 5.7.1 概率分布 . . . 129 5.7.2 第5.4节中的抽样分布 . . . 130 5.7.3 第5.5节中的抽样分布 . . . 130

第

第

第六

六

六章

章

章 结

结论

结

论

论与

与

与展

展

展望

望

望 . . . 133

6.1 全全全文文文总总总结结结 . . . 133 6.2 研研研究究究展展展望望望 . . . 135

参

参

参考

考

考文

文

文献

献

献 . . . 137

攻

攻

攻读

读

读博

博

博士

士

士学

学

学位

位

位期

期

期间

间

间的

的

的研

研

研究

究

究成

成

成果

果

果 . . . 151

致

致

致谢

谢

谢 . . . 153

IX

厦门大学博硕士论文摘要库

Degree papers are in the “Xiamen University Electronic Theses and Dissertations Database”. Full texts are available in the following ways:

1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submit requests online, or consult the interlibrary loan department in your library.

2. For users of non-CALIS member libraries, please mail to [email protected] for delivery details.