Research of Differential Evolutionary Algorithm to Solve Multi-objective Optimization Problems

学校编码：10384 分类号______密级______ 学号：24320141152410 UDC______

硕

士

学 位

论

文

指

导

教

师：

______________

答辩委员会主席：

______________

2017

年

4

月

多目标优化问题的差分进化算法研究

Research of Differential Evolutionary Algorithm to Solve

Multi-objective Optimization Problems

曾家宋

指导教师姓名 ：

陈 海 山

教 授

专 业 名 称 ：

软

件

工

程

论文提交日期 ：

2 0 1 7

年

4

月

论文答辩日期 ：

2 0 1 7

年

5

月

学位授予日期 ： 2 0 1 7

年

月

厦门大学博硕士论文摘要库

厦门大学学位论文原创性声明

本人呈交的学位论文是本人在导师指导下,独立完成的研究成果。

本人在论文写作中参考其他个人或集体已经发表的研究成果，均在文

中以适当方式明确标明，并符合法律规范和《厦门大学研究生学术活

动规范(试行)》。

另外，该学位论文为( )课题(组)

的研究成果，获得( )课题(组)经费或实验室的资助，

在( )实验室完成。(请在以上括号内填写课题或课题

组负责人或实验室名称，未有此项声明内容的，可以不作特别声明。)

声明人(签名)：

年 月 日

厦门大学博硕士论文摘要库

厦门大学学位论文著作权使用声明

本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》

等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位

论文(包括纸质版和电子版)，允许学位论文进入厦门大学图书馆及其

数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、

硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇

编出版，采用影印、缩印或者其它方式合理复制学位论文。

本学位论文属于：

( )1.经厦门大学保密委员会审查核定的保密学位论文，于

年 月 日解密，解密后适用上述授权。

( √ )2.不保密，适用上述授权。

(请在以上相应括号内打“√”或填上相应内容。保密学位论文

应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密

委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认

为公开学位论文，均适用上述授权。)

声明人(签名)：

年 月 日

厦门大学博硕士论文摘要库

摘要 I

摘要

现实中存在着许多的优化问题，所谓的多目标优化问题通常指的是那些具有 多个相互影响甚至相互矛盾的目标函数的优化问题。现如今，运用进化（EMO） 算法解决多目标优化问题（MOPs）已经成为多目标优化领域的一个研究热点， 针对不同类型的多目标优化问题，许多的研究学者都相继提出了各种多目标进化 算法，并且一些优秀的算法已经成功地应用在了实际问题的解决中。可以说，运 用进化算法解决多目标优化问题，正受到越来越多的人的关注。本文首先全面阐 述了EMO算法的基础理论知识，并介绍了 EMO算法的研究现状。然后针对一 些不同特征的MOPs设计出了两个优秀的求解算法。本文的主要研究工作如下： (1)本文提出了一种新型的多目标差分进化算法：基于优异个体进化策略的

自适应多目标差分进化算法(Multi-objective Differential Evolution Algorithm Base on Excellent Individual and Evolutionary-strategy Self-Adaption ， 简 称 MODEA-EESA)。该算法在传统的差分算法的基础上，引入了一种基于优异个体

的进化策略，同时，结合不同效果的差分变异算子，提出了一种动态选择变异算 子的方案，即一种自适应方案，并给定一个阈值的概念对变异算子的选择进行干 预。而在分布度维持策略方面，则是采用了经典的基于拥挤距离的分布度维持法。

MODEA-EESA 将会通过一系列的双目标的测试函数与三个权威的经典进化算

法NSGA-II、MODEA以及PAES进行比较分析。

(2)本文还提出了一种新的基于非支配排序和维度双向搜索的多目标进化算 (NSDLS)。该算法以个体的维度搜索为搜索策略来产生新的种群，并通过不断的 迭代，在满足终止条件时，则输出非支配解。NSDLS算法的主要过程可简述为： NSDLS算法首先随机初始化一个固定大小的种群𝑃0，然后通过不断的迭代进化， 引导种群中的个体向最优前沿逼近。对于t-1代产生的种群𝑃_𝑡，NSDLS算法引入 一种局部的维度双向搜索策略来引导种群进化，从而产生种群𝑃_𝑡′；然后，将进 化产生的种群与原种群进行合并，运用经典的快速非支配算法对合并种群𝑃_𝑡∪ 𝑃_𝑡′进行排序，并产生优劣分层；在分层结束后，结合一种新的分布度维持策略， 来产生进入下一次进化的新种群。NSDLS 将会通过一系列双目标的测试函数与

三个经典算法NSGA-II, MOEA/D-DE, 以及MODEA进行比较，实验结果表明，

NSDLS能够找到具有更好的分布度与收敛性的解。

摘要 II 总之，本文针对一些特定特征的多目标优化问题，提出了两种有效的解决方 法。两个方法提升了传统多目标进化算法的性能，在一定程度上促进了多目标进 化算法的研究。 关键词：差分算法；维度搜索；自适应

厦门大学博硕士论文摘要库

Abstract

III

Abstract

There are many optimization problems in our lives, the multi-objective optimization problems have multiple object functions, which usually influence each other and even contradict each other. Nowadays, using the evolutionary algorithm to solve multi-objective optimization problem has become a research hotspot in the field of multi-objective optimization, to solve different types of multi-objective optimization problems, many researchers have proposed different multi-objective evolutionary algorithms, and some excellent algorithms have been successfully applied in solving the practical problems. It can be said that using evolutionary algorithm to solve multi-objective optimization problems, is receiving more and more people's attention. This dissertation expounded the basic theoretical knowledge of multi-objective evolutionary algorithms, and introduced the current research status of multi-objective evolutionary algorithms. And then two excellent algorithms are designed to solve different type of Multi-objective optimization problem. In this dissertation, the main research work is as follows:

This dissertation proposes a new kind of multi-objective differential evolution algorithm: Multi-objective Differential Evolution Algorithm Base on Excellent Individual and Evolutionary-strategy Self-Adaption. On the basis of the traditional finite difference algorithm, MODEA-EESA introduced a kind of evolutionary strategy based on excellent individuals, at the same time, combining with different mutation operators which have different effect, this dissertation proposes a dynamic selection mutation operator, and given the concept of a threshold for the selection of mutation operator intervention. In the distribution of degree maintain strategy, is using the classic distribution degree maintain method based on crowding distance. MODEA - EESA will compare with NSGA - II, MODEA and PAES through a series of test functions.

This dissertation presents a new Multi-Objective Optimization Algorithm Based on Non-Dominated Sorting and Bidirectional Local Search (NSDLS). The algorithm takes local beam search as the main body, NSDLS outputs the non-dominated

厦门大学博硕士论文摘要库

Abstract

IV

solution set through continuous iterative search when iteration termination condition is satisfied. It’s worthy to note that the iteration of NSDLS is similar to the generation of evolutionary algorithm; therefore, this dissertation uses generation to represent the iterations. The main algorithmic process of NSDLS can be summarized as: NSDLS maintains a population of size N and leads algorithm to approximate the Pareto-optimal front through continuous iteration. In each iteration process, set a given population 𝑃𝑡 first, in which t represents the generation; then, algorithm

introduces a bidirectional local search strategy based on improved differential operation to produce a better population 𝑃_𝑡′; then, algorithm uses fast non-dominated sorting algorithm to sort the combined population 𝑃_𝑡′∪ 𝑃_𝑡 and generate partial sequence boundaries, in this process, algorithm introduces a new distribution maintaining strategy based on the sampling theory to combine with the fast non-dominated sorting algorithm in order to select a new population into the next iteration. NSDLS will compare with three classical algorithms: NSGA-II, MOEA/D-DE, and MODEA through a series of bi-objective test problem, the proposed NSLS is able to find a better spread of solutions and a better convergence to the true Pareto-optimal front compared to the other four algorithms.

Keywords: Difference Algorithm; Dimension search; Self-adaption

目录 V

目录

第一章

绪论

...1

1.1 研究背景与意义 ... 1 1.2多目标优化问题的基本概念 ... 2 1.2.1 多目标优化问题的定义... 2 1.2.2 Pareto支配相关概念 ... 2 1.3 多目标进化算法的发展和研究现状 ... 3 1.3.1 多目标进化算法的发展... 3 1.3.2 多目标进化算法的研究现状... 4 1.3 论文的主要研究内容 ... 5 1.4 论文的组织结构 ... 6

第二章

进化算法相关理论基础

...8

2.1 进化算法解决多目标优化问题的基本原理 ... 8 2.2 进化算法的主要设计目标 ... 9 2.3 进化算法解决多目标优化问题的标准测试函数 ... 10 2.4 进化算法的性能评价指标 ... 15 2.4.1 收敛性评价指标... 15 2.4.2 收敛性和分布性综合评价指标... 16 2.4.3 分布性评价指标... 16 2.5 本章小结 ... 17

第三章

基于优异个体进化策略的多目标差分进化算法

... 18

3.1引言 ... 18 3.2 差分进化的基本原理 ... 20 3.3 分布度维持策略 ... 23 3.4 算法主体描述 ... 24 3.4.1 种群初始化... 24 3.4.2 优异个体的进化策略... 25 3.4.3 自适应选择变异算子... 26

厦门大学博硕士论文摘要库

目录 VI 3.4.4算法主体实现... 27 3.5 算法复杂度分析 ... 28 3.6 实验分析 ... 28 3.6.1 评价指标... 29 3.6.2 参数设置... 29 3.6.3 ZDTs系列函数实验结果讨论 ... 29 3.6.4 UFs系列函数实验结果讨论 ... 33 3.7 本章小结 ... 36

第四章

一种基于非支配排序和维度双向搜索的多目标进化算法

.. 36

4.1 引言 ... 36 4.2 维度双向搜索算法 ... 36 4.3 差分算法与局部双向搜索算法比较 ... 38 4.4 一种基于全局的分布度维持策略 ... 39 4.5 算法的主体描述 ... 42 4.6 实验结果分析讨论 ... 45 4.6.1 选取的测试函数... 45 4.6.2 选取的性能评价指标... 45 4.6.3 实验结果讨论... 46 4.7 本章小结 ... 53

第五章

总结与展望

... 53

5.1 总结 ... 53 5.2 展望 ... 53

参考文献

... 55

附录

作者在攻读硕士学位期间发表的论文

... 60

致

谢

... 61

厦门大学博硕士论文摘要库

Contents

VII

Contents

Chapter 1 Introduction ...1

1.1 Topic Background and Research Significance ... 1

1.2Basic Concept of Multi-objective Optimization Problem... 2

1.2.1 Definition of Multi-objective Optimization Problem ... 2

1.2.2 Concept of Pareto Dominance ... 2

1.3 Development and Research Status of Multi-objective Evolutionary Algorithms ... 3

1.3.1 Development of Multi-objective Evolutionary Algorithms ... 3

1.3.2 Current Research of Multi-objective Evolutionary Algorithms... 4

1.3 Research Contents ... 5

1.4 Organizational Structure of the Dissertation ... 6

Chapter 2 Basic Theories of EMO ...8

2.1 Basic Thoery of Multi-objective Evolutionary Algorithms ... 8

2.2 Design Goals of Multi-objective Evolutionary Algorithms ... 9

2.3 Test Problems of Multi-objective Evolutionary Algorithms ... 10

2.4 Performance Measures of Multi-objective Evolutionary Algorithms ... 15

2.4.1 Performance of Generational Distance ... 15

2.4.2 Performance of Inverted Generational Distance ... 16

2.4.3 Performance of Spread ... 16

2.5 Summary ... 17

Chapter 3 Multi-objective Differential Evoluation Algorithm Base on

Excellent Individual and Evolutionary-strategy Self-Adaption ... 18

3.1 Overview ... 18

3.2 Basic Principle of Differential Evolution Algorithm ... 20

3.3 Distribution Maintaining Strategy ... 23

3.4 Implementation of Algorithm ... 24

Contents

VIII

3.4.1 Population Initialization ... 24

3.4.2 Evolution Strtegy of Excellent Individual ... 25

3.4.3 Adaptive Mutation Strategy ... 26

3.4.4 Implementation of Algorithm... 27 3.5 Analysis of Algorithm ... 28 3.6 Analysis of Experiment ... 28 3.6.1 Evaluation Index ... 29 3.6.2 Parameter Setting ... 29 3.6.3 Experimental Results of ZDTs ... 29

3.6.4 Experimental Results of UFs ... 33

3.7 Summary ... 36

Chapter 4 Multi-Objective Evolutionary Algorithm Based on

Non-Dominated Sorting and Bidirectional Local Search ... 36

4.1 Overview ... 36

4.2 Bidirectional Local Search ... 36

4.3 Comparison of Differential Evolution Algorithm and Bidirectional Local Search ... 38

4.4 A Maintenance Strategy Based on Global Distribution of Degrees ... 39

4.5 Implementation of Algorithm ... 42

4.6 Analysis of Experimental Results ... 45

4.6.1 Test Proplems ... 45

4.6.2 Performance Measures ... 45

4.6.3 Dicussion of Experimental Results ... 46

4.7 Summary ... 53

Chapter 5 Conclusions and Future Work ... 53

5.1 Conclusions ... 53

5.2 Future Work ... 53

References ... 55

Contents

IX

Appendix Dissertations Published During Postgraduate for Master’s

Degree ... 60

Acknowledgements ... 61

第一章 绪论 1

第一章

绪论

1.1

研究背景与意义

在科学实验研究、实际工程项目以及平常的生活中总会经常遇到各种各样的 优化问题，这些问题时常需要我们对两个甚至多个相互影响甚至相互矛盾的子目 标同时进行优化。比如在物品销售时，需要平衡成本和质量两个目标，做到成本 最低而质量最高；又如在证券投资行业，收益和风险也是两个相互矛盾的目标。 可以说，在现实生活中，类似的优化问题是无处不在的，这些问题，人们通常将

其统称为多目标优化问题(Multi-object Optimization Problems，简称为MPOs)。显

然MPOs是存在着多个相互影响甚至相互矛盾的子目标，我们综合地考虑到各个 子目标的优化后，得到一个最优解的集合，这个集合被称之为Pareto最优解集。 求解多目标优化问题的传统思路是将多个子目标通过赋予权值转化为一个 最终目标，进而利用模拟退火算法、梯度法等基本算法求解。其中，权值的得到， 通常由决策者，根据某种方式取得。一般是由决策者根据以往的经验或者一些传 统的自适应方法获得。以往的一些求解方法虽然简单而且容易实现，但是，对于 多峰的多目标优化问题，传统求解方法很容易收敛于局部最优。同时，传统的求 解方法每一次只能得到一个单一的解，而不能得到一组Pareto最优解集，不符合 现实情况的要求，并且这个单一的解还很大程度上依赖于初始条件的设置。因此， 传统的多目标优化问题求解方法存在较大局限性。 与传统优化算法不同，进化算法是一种基于群体的智能计算方法，它将整个 解集作为一个群体进行搜索，进而能够处理大规模的搜索空间，这样，在每一次 搜索后就能得到一组解集，突破了传统算法的局限性。同时，进化算法不需要许 多数学上的必备条件，可以处理所有类型的目标函数和约束，且在处理许多非连 续的MOPs时具有很好的效果。因此，进化算法近几年被广泛地应用于求解多目 标优化问题。概括地讲，进化算法是一种模拟自然生态系统进化过程，即“优者 生存，劣者淘汰”的一种启发式搜索算法。它采用了较为简单的编码，是一种能 够具有自学习、自组织、自适应等智能特征的自然选择算法，这使得进化算法并 不需要设置其他复杂的辅助信息。 多目标进化算法体现了生命科学和新兴学科的相互融合 ，具有很强的科学 意义和现实意义。目前，多目标进化算法在实际工程项目中，特别是在工业制造、

厦门大学博硕士论文摘要库

多目标进化算法的研究 2 城市运输、资本计算、水库管理、能量分配以及网络通信等行业已经体现出了十 分重要的现实意义和应用前景。

1.2

多目标优化问题的基本概念

与Single-Problem的优化问题不同，MOPs需要同时考虑两个到多个相互影 响甚至相互矛盾的子目标，因此，求解多目标问题，就是要权衡考虑各个目标， 折中得到最优解集，即Pareto最优解集，提供给决策者从中选取最为合适的解。 关于Pareto最优解集会在后面给出定义。 多目标进化问题可以分为最大化目标和最小化目标两种，由于它们之间可以 通过公式(1-1)进行转化，所以本文规定未说明的多目标问题均指最小化目标问题。 max{𝑓(𝑥)} ⟺ min⁡{−𝑓(𝑥)}[1] _(1-1) 1.2.1 多目标优化问题的定义

Veldhuizen 和Lamont[1]对多目标进化问题(MOP)给出了如下严格的定义： Minimize:𝐹(𝑥) = (𝑓₁(𝑥), 𝑓₂(𝑥), … 𝑓_𝑚(𝑥)) [1] _(1-2) 其中𝑥 ∈ Ψ，𝛺表示n维决策变量空间(简称决策空间)，𝑥 = (𝑥_1，𝑥₂，…，𝑥_𝑛)𝑇 ∈ Ψ ⊂ 𝑅𝑛被称作𝑛维决策(变量)向量[1]；表示第i个需要被优化的目标函数，𝑦 = (𝑦₁, 𝑦₂, … 𝑦_𝑛)𝑇⊂ 𝑅𝑚被称为m维目标函数向量[1]；𝑔_𝑖(𝑥)，i=1,…,p和ℎ_𝑖(𝑥)，i=1,…q 分别表示p个不等式约束和q个等式约束；𝐹(𝑥): 𝑅𝑛 → 𝑅𝑚表示m个由决策空间 到目标空间的映射[1]_。 1.2.2 Pareto支配相关概念 假定现有两个决策向量𝑥(𝑥₁, 𝑥₂, … 𝑥_𝑛)𝑇_和𝑦(𝑦 1, 𝑦2, … 𝑦𝑛)𝑇，则有下面的定义：

定义1.2 （Pareto占优或Pareto支配(dominance)关系）[1]：决策向量x Pareto 支配

决策向量y，记为𝑥 ≺ 𝑦或𝑦 ≻ 𝑥，当且仅当∀𝑖 ∈ {1,2, … 𝑚}, 𝑓𝑖(𝑥) ≤ 𝑓𝑖(𝑦) 且∃𝑖 ∈ {1,2, … 𝑚}, 𝑓𝑖(𝑥) < 𝑓𝑖(𝑦)。如果决策向量x和决策向量y互不支配，这里记为𝑥 ≺≻ 𝑦。 定义1.3 （非支配个体）[1]_{：假设X为决策向量的集合，决策向量𝑥 ∈ 𝑋是非支配} 个体，当且仅当不存在𝑦 ∈ 𝑋，使得𝑦 ≺ 𝑥。 定义1.4 （非支配解集）[1]：假设X为决策向量的集合，X中所有非支配个体所构 成的集合被称为非支配解集（Non-dominated Set）。

定义1.5 （Pareto最优解（Pareto Optimum Solution））[1]：决策向量𝑥 ∈ 𝛺被称作

𝛺上的Pareto最优解，当且仅当不存在𝑦 ∈ 𝛺，使得𝑦 ≺ 𝑥。

第一章 绪论

3

定义1.6 （Pareto最优解集（Pareto-optimal Set，简称PS））[1]：一个给定MOP 决

策空间上的Pareto最优解集可以定义为X*={x∈Ω |∄y∈Ω，𝑦′ ≺ 𝑥}。

定义1.7 （Pareto最优前沿或Pareto最优边界（Pareto-optimal Front，简称PF））[1]：

一个给定MOP的Pareto最优解集在目标空间上对应的集合称为Pareto 最优前沿

或Pareto 最优边界。 从上述给出的定义中可以看出，求解多目标优化问题其本质就是要获取最优 解集的过程。在求出符合条件的最优解集后，决策者再根据实际情况与偏好进行 选择，从最优解集中选取最为合适的解来解决问题。图1-1[2]_{直观表示了PS的相} 关概念。图1-1[2]中表现的是一个具有双目标的优化问题的Pareto最优解和非最优 解，粗线表示Pareto最优解边界，在边界上的点u、v、w、x、y、z即为非支配的 最优解，而远离Pareto最优解边界的a、b、c、d、e、f、g则为被其他解支配的非 最优解。 u v w x y _z a b c d e f g F1 F2 图1-1 双目标MOP的PS[2]

1.3 MOEA

的发展和研究现状

进化算法在传统的多目标优化领域另辟蹊径，一方面，基于种群整体搜索的 进化算法拥有更好的全局性和多向性，能够在一次计算中获得一个解集；另一方 面，进化算法的自适应行、智能型使得该算法不必要给定数学上的种种确定条件， 这样，针对不同类型的约束，或者针对不同类型的函数，都能够进行求解，从而 适应更多的领域。目前，关于 进化算法的会议正在日益增多，而同时，这方面 的相关的专著如今也不胜枚举。 1.3.1 MOEA的发展

厦门大学博硕士论文摘要库

多目标进化算法的研究

4

EA最早用来处理MOPs，是在上个世纪的80年代。19世纪90年代末，Vifedo

Pareto就从数学角度给出了Pareto最优解集的定义[2]。1967年，Rosenberg[3]的博

士论文中最早提出了用多目标进化算法求解多目标优化问题。1985年，Schaffer[4] 提出了VEGA，扩展了简单遗传算法，开创了用EA求MOPs的先河。 1989年，Goldberg[5]首先使用了小生境技术和非支配排序方法，极大地推动 了多目标进算法的发展，其在著作中提到Pareto排序等内容，并利用小生境技术 来维持种群分布性。在此之后几年，在Goldberg[5]的影响下，第一代多目标进化 算法开始逐渐得到发展，出现了一系列有效的多目标进化算法，如多目标遗传算 法[6]_{、基于小生境的遗传算法}[7]_{、非支配排序算法}[8]_{等等。自1995年之后，关于} 多目标进化算法的文章数目呈现出指数增长，特别是 Coello 的多目标优化网站 [9]_{建立后，从事多目标进化研究的工作人员不断地提供最新的研究动态以及上传} 大量的研究资料，更快推动了该领域的发展。然而随着发展，新的一些急需解决 的问题逐渐凸显出来，比如能否找到替代小生境的方法来保持种群的多样性等等 问题。 20世纪90年代末期，Zitzler[10]等人在算SPEA(中首次提出了精英保留策略， 即在进化过程中保留了非支配个体。该策略的提出，正式宣告多目标进化算法进 入了第二代发展时期，多目标进化算法又一次开始飞速发展。2001 年，Zitzler 等人又改进了 SPEA 算法，提出 SPEA2[11]_{，该算法提升了解的分布性，极大的} 提高了算法的性能。Knowles 等人提出了自适应网络算法 AGA[12]。1999 年， Corne[13]等人提出算法PESA，提出使用超格技术来保证解的多样性。到2002年，

Deb等人改进了算法 NSGA，提出了算法NSGA-II [14]，该算法提出一种快速非

支配排序和拥挤距离的概念，再次极大的提高了多目标进化算法的性能。可以说 从20世纪90年代以来，多目标进化算法的研究菜真正引起了重视。 1.3.2 EMO算法的研究现状 近年来，多目标进化算法出现了许多新的亮点，很多新的技术方法被引入到 多目标进化算法中。国外逐渐涌现一些性能更好、效率更高的多目标进化算法。 例如基于模因算法的IM-MOGLS[15]_{和MOGLS-J-MOGLS}[16]_{、基于多目标粒子群}

算法的MOPSO[17]_和如CCPSO [18]_{、基于差分进化算法的MODE-DE}[19]_、基于分

散搜索算法的算法MOSS、基于人工免疫系统算的法MAM-MOIA [20]、基于多目

Degree papers are in the “Xiamen University Electronic Theses and Dissertations Database”. Full texts are available in the following ways:

1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submit

requests online, or consult the interlibrary loan department in your library.

2. For users of non-CALIS member libraries, please mail to etd@xmu.edu.cn for delivery details.