学号：24320141152408 UDC
硕 士 学 位 论 文
基于 MOEA/D 的差分进化多目标
优化算法研究
Research on Differential Evolutionary Multi-objective
Optimization Algorithms
Based on MOEA/D
林书富
指 导 教 师：
陈 海 山 教 授
专 业 名 称：
软
件
工
程
论文提交日期：
2 0 1 7 年 4 月
论文答辩日期：
2 0 1 7 年 5 月
学位授予日期： 2 0 1 7 年 6 月
指 导 教 师：
答辩委员会主席：
2017 年 4 月
厦门大学博硕士论文摘要库
厦门大学学位论文原创性声明
本人呈交的学位论文是本人在导师指导下,独立完成的研究成果。
本人在论文写作中参考其他个人或集体已经发表的研究成果，均在文
中以适当方式明确标明，并符合法律规范和《厦门大学研究生学术活
动规范（试行）》。
另外，该学位论文为（ ）课题（组）
的研究成果，获得（ ）课题（组）经费或实验室的
资助，在（ ）实验室完成。 （请在以上括号内填写
课题或课题组负责人或实验室名称，未有此项声明内容的，可以不作
特别声明。）
声明人（签名）：
年 月 日
厦门大学博硕士论文摘要库
厦门大学学位论文著作权使用声明
本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》
等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位
论文（包括纸质版和电子版），允许学位论文进入厦门大学图书馆及
其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、
硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇
编出版，采用影印、缩印或者其它方式合理复制学位论文。
本学位论文属于：
（ ）1.经厦门大学保密委员会审查核定的保密学位论文，
于 年 月 日解密，解密后适用上述授权。
（ √ ）2.不保密，适用上述授权。
（请在以上相应括号内打
“√”或填上相应内容。保密学位论文应
是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密委
员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为
公开学位论文，均适用上述授权。）
声明人（签名）：
年 月 日
厦门大学博硕士论文摘要库
摘要 I
摘要
进化多目标优化算法是采用进化算法解决多目标优化问题，这种解决多目标 优化问题的方法目前已经成为了智能优化领域研究的重点。在实际生活中存在着 许许多多的多目标优化问题，这些问题的不同目标之间有时是相互促进的，有时 又是相互矛盾的，解决这些问题的目的是找到一组折衷的解。目前，进化多目标 算法广泛的应用于证券组合投资、物流路径规划、网络路由、数据挖掘等领域中。 在理论研究方面，进化多目标优化算法的重要研究目标是改善算法的收敛性和分 布性。本文基于差分多目标优化算法 MOEA/D，使用了多种改善 MOEA/D 算法 分布性和收敛性的策略，提出了 IMOEA/D 算法和 IMOEA/D-GSTS 算法。 本文首先介绍了进化多目标优化问题研究的背景及意义；其次介绍了进化多 目标优化领域的一些重要的概念、度量算法好坏的指标、算法研究的难点以及算 法的主要设计目标；接着提出了 IMOEA/D 算法，该算法基于差分多目标优化算 法 MOEA/D,通过引入双向搜索策略来改进 MOEA/D 算法的变异策略，使得算法 在每次变异操作产生两个子代个体，拓宽了算法的搜索空间，也加速算法的收敛 速度，同时，引入了基于支配量的选择策略替代 MOEA/D 算法的选择策略，使 得更加优秀的个体进入下一代的进化，通过实验证明双向搜索策略和基于支配量 的选择策略有效的改善了差分多目标优化算法 MOEA/D 的分布性和收敛性；为 了更进一步的改善算法 IMOEA/D 的分布性和收敛性，本文还基于万有引力搜索 算法，提出了用种群中每个个体的加速度作为变异算子替换算法 IMOEA/D 中基 于高斯分布的变异算子的策略，这样的策略能够充分利用万有引力搜索算法在进 化前期的开采性和进化后期的勘探性。为了避免算法陷入局部最优，本文还将遗 传算法的输出种群作为禁忌搜索算法的输入种群，有效的利用禁忌搜索算法的局 部搜索能力。基于算法 IMOEA/D 的两大改进策略也有效的提升了算法的性能， 提 出 了 一 种 基 于 万 有 引 力 搜 索 算 法 和 禁 忌 搜 索 算 法 的 多 目 标 进 化 算 法 IMOEA/D-GSTS。最后，对论文的成果进行了总结，同时指出了论文的不足之处。 关键字：选择策略，万有引力算法，差分多目标算法厦门大学博硕士论文摘要库
II
Abstract
An Evolutionary multi-objective optimization algorith，is that whose main task is to deal with multi-objective optimization problems by evolutionary computation, has become the focus of research in the intelligent optimization field. There are many multi-objective optimization problems in real life. Sometimes the different goals of these problems are mutually reinforcing, sometimes they are conflicting. The purpose of solving these problems is to find a compromise solution set. Currently, evolutionary multi-objective optimization algorithm has been widely applied to portfolio investments, route planning, network routing, data mining and so on. In theoretical research, the important research targets of evolutionary multi-objective optimization algorithm is to improve the convergence and distribution of the algorithm. This paper is based on MOEA/D. It proposes IMOEA/D and IMOEA/D-GSTS by improving the convergence and distribution of MOEA/D.
The beginning of the paper, introduces the background and significance of evolutionary multi-objective optimization algorithm. Then, it illustrates some important concepts of evolutionary multi-objective optimization algorithm, indicators of quality of metrics algorithm, the difficulties of algorithmic research and the main design goal of algorithmic. Finally, this article proposes IMOEA/D, which is based on MOEA. IMOEA/D improves the mutation of MOEA/D by using bidirectional research strategy, so that mutation operation produces two individuals can be produced during each mutation operation. Therefore, IMOEA/D broadens the searched space of algorithms, and it also accelerates the convergence rate of algorithms. At the same time, instead of the selection strategy of MOEA/D, IMOEA/D use the selection strategy that is based on governable amount, so that more outstanding individuals takes part in the evolution of next generation. The experiment shows that bidirectional research strategy and selection strategy that is based on governable amount improve the convergence and distribution of the algorithm. In order to further improve the convergenc e and distribution of the algorithm. This paper also proposes to use each individual acceleration as mutation operators instead of
Abstract
III
mutation operators that is based on gaussian distribution. This strategy is based on the gravitational search algorithm. In addition, this strategy can take full advantage of the gravitational search algorithm, which are exploitation of early evolution and exploration of late evolution. In order to avoid trapping in local optimum, this paper regards the output of genetic algorithm as the input of tabu search and effectively uses local search capabilities through the tabu search algorithm. The two optimization strategies of IMOEA/D effectively improve the performance of the algorithm. Therefore, the paper proposes IMOSEA/D, which is based on the gravitational search algorithm and the tabu search algorithm. At the end of the paper, it summaries some results and shortcomings of the paper.
Keywords: strategy selection, Gravitational Search Algorithms, Difference multiobjective algorithm
IV
目录
第一章 绪论 ... 1
1.1 研究背景与意义 ... 1 1.2 进化多目标优化算法的历史和研究现状 ... 2 1.2.1 第一代进化多目标优化算法... 2 1.2.2 第二代进化多目标算法... 3 1.2.3 当前进化多目标优化算法的研究方向... 4 1.3 进化多目标算法有待进一步研究的课题 ... 6 1.4 论文主要研究的内容 ... 7 1.5 论文的组织架构 ... 7第二章 进化多目标优化的相关理论基础 ... 9
2.1 多目标优化基本概念 ... 9 2.1.1 多目标优化问题定义... 9 2.1.2 Pareto 最优解相关知识 ... 10 2.2 算法的基本原理 ... 11 2.3 算法的设计目标 ... 12 2.4 算法的标准测试函数介绍 ... 12 2.5 算法的性能评价方法 ... 16 2.5.1 世代距离（GD） ... 16 2.5.2 分布度评价方法... 16 2.5.3 逆向世代距离（IGD） ... 17 2.6 算法研究的难点 ... 18 2.7 万有引力搜索算法 ... 18 2.8 禁忌搜索算法 ... 18第三章 基于支配量选择策略多目标优化算法 ... 20
3.1 引言 ... 20厦门大学博硕士论文摘要库
Abstract V 3.2 差分进化算法 MOEA/D... 21 3.2.1 差分进化算法 MOEA/D 产生子代的操作 ... 21 3.2.2 MOEA/D 算法选择操作 ... 23 3.3 改进的差分进化算法 IMOEA/D ... 23 3.3.1 IMOEA/D 算法的变异操作 ... 23 3.3.2 IMOEA/D 算法的选择操作 ... 24 3.3.3 支配量的概念... 24 3.3.4 选择策略详细描述... 25 3.4 实验 ... 26 3.4.1 实验的参数设置... 27 3.4.2 四个算法求解 ZDTs 系列测试函数实验结果分析... 27 3.4.3 四个算法求解 UFs 系列测试函数实验结果分析 ... 30
3.4.3 比较算法 MOEA/D 和 IMOEA/D 求解 ZDTs 和 UFs 系列测试函数 IGD 值变化曲线图验证本文提出的改进方法的有效性... 35 3.5 本章小结 ... 38
第四章 一种基于万有引力搜索算法和禁忌搜索算法的多目标进化算
法 ... 39
4.1 引言 ... 39 4.2 基于万有引力搜索算法的变异操作 ... 41 4.2.1 万有引力搜索算法的基本原理... 41 4.2.2 IMOEA/D-GSTS 算法的变异操作 ... 42 4.3 禁忌搜索算法 ... 44 4.3.1 禁忌搜索算法描述... 44 4.3.2 混合多目标进化算法 IMOEA/D-GSTS 中的禁忌搜索操作 ... 46 4.4 混合多目标进化算法 IMOEA/D-GSTS 描述 ... 47 4.5 实验与比较 ... 48 4.5.1 三个算法求解 ZDTs 系列测试函数实验结果分析... 48 4.5.2 三个算法求解 UFs 系列测试函数实验结果分析 ... 51厦门大学博硕士论文摘要库
VI 4.6 本章小结 ... 55
第五章 总结与展望 ... 56
5.1 总结 ... 56 5.2 展望 ... 57参考文献... 58
附录 作者在攻读硕士学位期间发表的论文 ... 63
致谢 ... 64
厦门大学博硕士论文摘要库
Contents
VII
Contents
Chapter 1 Introduction ... 1
1.1Backgroud andSignificance... 1
1.2History and Current Status of EMOAlgorithms ... 2
1.2.1 First Generation of EMO Algorithms ... 2
1.2.2 Second Generation of EMO Algorithms ... 3
1.2.3 Current Research Direction of EMO ALgorithms ... 4
1.3 Further Research Topics in EMO Algorithms ... 6
1.4 The Contents of Thesis ... 7
1.5 The Outline of Thesis ... 7
Chapter 2 The Theory of EMO Algorithms ... 9
2.1 The Concepts of Multi-objective Optimization ... 9
2.1.1 The Definition of MOPs ... 9
2.1.2 The Concepts of Pareto Set ... 10
2.2Basic Principle of Algorithms ... 11
2.3 Design Goals of Algorithms ... 12
2.4 Introduction to The Standard Test Functions... 12
2.5 Performance Measures of Algorithms ... 15
2.5.1 Generational Distance（GD） ... 16
2.5.2 The Method of Distribution evaluation... 16
2.5.3 Inverted Generational Distance（IGD）... 17
2.6 The Difficulties in Algorithm Research ... 18
2.7 Gravitational Search Algorithm... 18
2.8 Tabu Search Algorithm ... 18
Chapter 3 A MOEA/D-based Multi-objective Optimization Algorithm
... 20
VIII
3.1 Introduction ... 20
3.2 A Differential Evolution Algorithm MOEA/D ... 21
3.2.1 Operations for MOEA/D Algorithm to Produce Offspring ... 21
3.2.2 MOEA/D Algorithm Selection Operations ... 23
3.3 An Improved Differential Evolutional Gorithm IMOEA/D ... 23
3.3.1 IMOEA/D Algorithm Mutation ... 23
3.3.2 Selection Operations of IMOEA/D... 24
3.3.3 The Concept of Dominance Amount ... 24
3.3.4 Detailed Descriptions of the Selection Strategy ... 25
3.4 Experime nts ... 26
3.4.1 Parameter Settings of The Experiments ... 27
3.4.2 Experimental Result Analysis of Four Algorithms on ZDTs Test Functions ... 27
3.4.3 Experimental Result Analysis of Four Algorithms on UFs Test Functions . 30 3.4.3 Comparison of IGD Numerical Variation Curves Between MOEA/D and IMOEA/D in Solving ... 35
3.5 Conclusion ... 38
Chapter 4 A Multi-objective Evolutionary Algorithm Based on
Gravi-tation Search Algorithm and Tabu Search Algorithm ... 39
4.1 Introduction ... 39
4.2 Mutation Ope ration Based on Gravitation Search Algorithms ... 41
4.2.1 The Principle of GSA... 41
4.2.2 Mutation Operation of IMOEA/D-GSTS ... 42
4.3 Tabu Search Algorithms ... 44
4.3.1 The Description of Tabu Search Algorithms... 44
4.3.2 Tabu Search Algorithms in IMOEA/D-GSTS ... 46
4.4 The Description of IMOEA/D-GSTS ... 47
4.5 Experime nts and Comparisons ... 48
Contents
IX
4.5.1 Experimental Result Analysis of Three Algorithms on ZDTs Test Functions
... 48
4.5.2 Experimental Result Analysis of Three Algorithms on UFs Test Functions 51 4.6 Conclusion ... 55
Chapter 5 Conclusions and Future Work... 56
5.1 Conclusions ... 56 5.2 Future Work... 57
References ...
58Publications ...
63Acknowledgements... 64
厦门大学博硕士论文摘要库
1
第一章 绪论
1.1 研究背景与意义
不论在技术实践领域还是在理论研究上，都存在着大量的多目标优化问题。 在这些问题中，需要优化的多个目标有时是一致的，例如，在社会发展方面，社 会稳定和经济快速发展这两个优化目标是相辅相成的，相互促进的。但有时需要 优化的多个目标又是相互作用且冲突的，例如在很多的企业生产实践中，产品的 性能和成本就是两个相互冲突的目标，又如在股票投资市场上，投入的资金和收 益也是两个相互冲突的目标。实际生活中这些涉及多个目标优化的问题无处不在 无时不有，所以对于多目标优化问题（Multi-objective Optimization Problems,简称 MOPs）的探讨具有重要的理论意义和实践意义。在绝大对数情况下，MOPs 被 优化的多个目标的相互冲突的，如果仅仅考虑优化多个目标中的一个目标，得到 的结果在其他目标上往往并不是最优解。为了实现总的目标的最优化，一个可靠 的做法是对相互冲突的每个子目标进行综合的全面考虑，最后获得一组折中的解， 这组解构成的解集，称为 Pareto 最优解集（Pareto-optimal Sets,简称 PS）。从这些 解中，项目的决策者根据实际情况选择合适的解用于解决实际的多目标优化问题[1,2]。本文所研究的进化多目标优化（Evolutionary Multi-objective Optimization,
简称 EMO）的主要思想是：利用遗传进化算法来求解 MOPs，现在已经成为启 发式智能计算领域研究的热点 [3]。 求解多目标优化算法时，如果采用传统的优化算法（给每个子目标设定一个 适当的权值，将 MOPs 转化为单目标优化问题，然后应用数学规划方法求解，这 个权值根据决策者的经验来定或者采用自适应的方法获得）简单易行。但是传统 的算法存在着巨大的局限性，算法每次运行仅仅能得到一个 Pareto 最优解，要想 获得 Pareto 最优解集必须多次运行算法才能得到。同时，每个目标权值的设定对 结果影响很大，设定一组合适的权值是一个相当难以解决的问题，且 MOPs 的约 束函数和目标函数很可能是不可微、非线性、不连续的，传统的数学规划方法通 常效率是比较低的。进化算法（Evolutionary Algorithm,简称 EA）模拟了生物进
化过程中，“优胜劣汰，适者生存”的随机搜索过程。由于 EA 模拟的生物进化
基于 M OEA/D 的差分进化多目标优化算法研究 2 过程本身就是一个随机、多变、带有极大不确定性的过程，因此其适合用于求解 复杂的非线性问题。进化算法实现全局搜索的策略是在每代种群之间维持一个由 潜在解组成的种群，这种实现全局策略对于搜索 MOPs 的 Pareto 最优解集是非 常有用的。近年来，进化算法已被广泛用于求解非线性的 MOPs,事实证明进化算 法在求解 MOPs 时具有较好的通用性。 EMO 算法在实际应用和科学研究领域具有重大的意义。EMO 算法发展到现 在，已经在很多领域得到广泛的应用，如数据挖掘、柔性制造系统流程规划、通 信网络规划、机械涉及、Qos 路由、火箭发动机的设计、逻辑电路设计、车间调 度、导弹驾驶仪的设计、证券产品的组合投资、机器人运动路径规划、森林的规 划及优化等。
1.2 进化多目标优化算法的历史和研究现状
20 实际 80 年代末期，人们对多目标进化算法（Multi-objective Evolutionary Optimization,简称 MOEA）的研究进入快速发展的时 期。世界上许多致力于 MOEA 算法研究的学者，提出大量的 MO EA 算法。很多这些算法已经被成功在 应用在实际生活的各个领域中。 Rosenberg[4]最早提出用基于进化的搜索来处理 MOPs，但是他并没有具体的 去实现。到了 1975 年，Holland 提出了遗传算法。1984 年，David Schaffer[5]在机器学习中首次提出并实现了向量评估遗传算法（Vector Evaluated Genetic Algrithm, 简称 VEGA）。5 年过后，Goldberg[6]提出了将 Pareto 理论与进化算法结合来实现
多目标优化，这个新的思路推动了使用进化算法求解 MOPs 的发展，同时对于进 化多目标算法的研究提供了新的方向。1993 年，Fonseca 和 Fleming[7]以 Pareto
排序为基础提出了 MOGA。而后，Zitzler 和 Thiele[8]提出了“强度 Pareto 进化算
法”。此后，对于 MOEA 的研究得到了快速地发展，越来越多的学者将精力投入 到 MOEA 的研究中去，出现了一大批优秀的 MOEA 算法。 1.2.1 第一代进化多目标优化算法 第一代进化多目标优化算法的主要思想是：用非支配排序和小生境技术来解 决 MOPs，这两个策略是 Goldberg 提出的。其中非支配排序技术用于保证种群的
厦门大学博硕士论文摘要库
3
收敛性，小生境技术用于保持种群的多样性，防止早熟。虽然 Goldberg 没有具 体的实现他的思想，但是他的观点对于以后的研究者来说具有重要的指导意义。 随后，学者们基于他的这种思想提出了以下几种优秀的算法：Fonseca 和 Fleming 提出的多目标遗传算法（Multi-objective Genetic Algorithm,简称 MOGA[9]）、基于
Pareto 支配关系的锦标赛选择机制的遗传算法（N iched Pareto Genetic Algorithm, 简称 NPGA[10]）、基于非支配排序思想的遗传算法（Non-dominated Sorting Genetic
Algorithm,简称 NSGA[11]）。第一代进化多目标优化为了保持种群的多样性和分布 性采用了基于非支配排序的选择策略和基于共享函数的多样性维持策略。第一代 进化多目标算法也存在着亟需解决的问题，利用小生境技术保持种群的多样性需 要确定共享半径的大小，其计算复杂度为种群大小的平方。 1.2.2 第二代进化多目标算法 1999 年，Zitzler 等人在 SPEA 算法中将精英保留机制（采用一个种群来保 留优秀的个体）引入多目标优化算法，这个策略的使用标志着新一代的进化多目 标算法的诞生。随后，学者们基于精英保留策略提出了一系列经典的多目标优化 算法。2000 年，Knowles 和 Corne[12]提出了 PAES（Pareto Archived Evolution
Strategy）,该算法采用(1+1)进化策略将当前个体通过变异得到变异个体，然后使 用精英保留思想保留当前个体和变异个体中较好的那个个体。同时，该算法还引 进空间超格的策略来保持种群个体的多样性。2001 年，Corn 等人[13]利用网格选
择代替 PESA 的个体选择，提高了 PESA 算法的分布性，提出了改进版的 PESA 算法，称为 PESA-II[14]。同年，Zitzler 等学者针对 SPEA 算法的适应度分配策略、
非支配集的更新策略、个体分布性评估方法进行改进，提出了 SEPA2。2002 年， Deb 等人基于 NSGA 提出了改进版的 NSGA-II[15]，该算法采用了新的快速非支 配排序方法，极大的降低了计算的复杂度；再者，该算法使用拥挤距离的来改善 NSGA 的多样性维持策略，使用拥挤距离比较方法代替 NSGA 中使用的适应度 共享方法，极大地提高了算法的分布性；最后，该算法使用精英保留机制，保留 优良的个体，提高了算法的收敛速度。该时期的算法不再使用小生境技术来保持 种群的多样性，取而代之的是一些更加优秀的策略，如基于拥挤距离的方法、基 于聚类的方法等。
厦门大学博硕士论文摘要库
基于 M OEA/D 的差分进化多目标优化算法研究 4 1.2.3 当前进化多目标优化算法的研究方向 目前，进化多目标优化领域的发展出现了很多新的方向，如许多新的进化范 例被引入到进化多目标优化领域；高维（通常指目标数大于 5）多目标优化问题 的研究进入攻艰阶段；一些新的占优机制被提出；伴随着对多目标优化问题不断 深入地研究，越来越多的学者提出了各种拥有不同性质的测试问题。越来越多的 学者投入到 EMO 算法的研究中去，许多优秀的算法也相继被提出，这些算法如 下所述：基于粒子群优化（Particle Swarm Optimization,简称 PSO）的多目标优化 算法，如 MOPSO[16]
,该算法为了维持种群多样性，引入自适应网格机制的外部种 群。同时，为了同时优化算法的收敛速度和多样性，该算法提出了新的变异策略， 对粒子的分布范围进行变异，且变异概率与进化代数成反比。基于人工免疫系统 （Atificial Immune System,简称 AIS）的多目标优化算法,如 NNIA,该算法为了提 高种群的多样性，采用了基于非支配领域的个体选择方法，加强了对 Pareto 前沿 稀疏区域的搜索。实验证明，NNIA 在求解高维的 DTLZ 问题时具有巨大的优势。 基于分布估计思想的多目标优化算法，如 RM_MEDA 算法,该算法有 Zhang 和 Zhou 等学者提出的，他们认为决策空间解分布服从分段连续的流形分布，以此 结论为基础，他们采用局部主分量分析来聚类决策空间中的解，然后对每个类构 建概率模型，并使用该模型来产生新的种群个体。基于分解的多目标优化算法， 如 MOEA/D 算法[17]，该算法将多目标优化问题分解为几个单目标优化问题，然 后使用进化算法同时解决这些的单目标优化问题，算法通过权重向量之间的距离 来定义子问题间的近邻关系，邻近子问题的进化操作促使每个子问题不断地优化。 近年来，关于进化多目标优化领域的研究内容也在不断地扩展。在改进传统 的 Pareto 占优机制方面，Laumanns 和 Deb[18]等人提出了ε 占优的机制，该机制
是基于空间超格思想的。同年，Brckoff 和 Zitzler[19]等研究人员提出了用局部占 优结构来实现高维多目标优化问题的降维。在高维多目标算法研究方面，如何有 效地求解高维多目标优化问题，如何可视化的表达高维多目标优化问题的 Pareto 前沿面 ，都 是现 今高维 多目 标优 化研 究领 域面临 的难 题。 GrEA 算 法[21]和 FD-NSGA-II 算法[22]是两个典型的高维进化多目标优化算法。在动态多目标算法 研究方面，由于现实生活有些问题的目标函数、相关参数、约束条件是不断变化 的，所以利用进化算法求解动态多目标优化问题已经成为进化计算领域一个有重
厦门大学博硕士论文摘要库
1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submit requests online, or consult the interlibrary loan department in your library.
2. For users of non-CALIS member libraries, please mail to [email protected] for delivery details.
