Mathematica How To II —— 数值全局最优化方法
今天小编给大家介绍在Mathematica中如何进行数值全局最优化，我们都知道，在Mathematica中如何进行数值全局最优化需要使用NMinimize函数，那么Mathematica中如何进行数值全局最优化是什么呢？在Mathematica中如何进行数值全局最优化是什么意思呢？小编也很想知道，下面就让小编来为大家介绍一下在Mathematica中如何进行数值全局最优化的详细内容。
玩烂梗
NMinimize函数基本介绍
基本语法
NMinimize[f,x]
关于x, 最小化f.
特点
- 有很强的通用性, 被优化的函数可以是有约束的，无约束的，可以是任意可以返回数值的函数对象。
- 虽说是全局最优化方法，但是可能会进入局部最优解，毕竟没有任何算法保证全局最有界可达。
-
智能的方法对应和转换，若目标函数和约束条件是线性的，会使用线性规划方法求解；如果有整数变量或者目标函数的头部不是数值函数的话，使用差分进化算法。对于其他所有类型的问题，使用Nelder-Mead(改进单纯形法) ，若效果不佳则转回差分进化。
文档叙述
约束非线性最优化的数值算法大致可以分为 基于梯度的方法 和 直接搜索方法. 基于梯度的方法使用一阶导数 (梯度) 或二阶导数（黑塞（Hessians）矩阵）. 例如，序列二次规划方法(SQP)、增广拉格朗日方法和（非线性）内点法. 直接搜索方法不使用导数信息. 例如，Nelder-Mead、遗传算法和差分进化，以及模拟退火. 直接搜索方法往往收敛速度较慢，但可以对函数和约束条件中噪声存在的限制更为宽松.
子方法的介绍
Nelder-Mead
算法介绍
Nelder-Mead方法是一个直接搜索方法. 对于一个具有 n 个变量的函数，该算法保持一个 n+1 个点的点集，这些点形成 n 维空间的多面体的顶点. 这种方法通常被称为 "单纯" 方法。
由于LaTeX引擎有问题，之后再补上算法的详细介绍。
特点
- 速度不错，对于复杂问题，由于只需要比待求参数多一个点的点集，计算量不会很大。例如在解决一个15维含参时滞非线性微分方程时，10000次迭代也只需要几个小时。
- 容易陷入局部最优解，这时候就需要调整子方法的选项，例如反射比率、收缩比率等。但总体来说，若问题有多个局部优解，该方法的性能相对不佳。
微分进化
算法介绍
通过初始点集在迭代过程中产生的新点集合逼近优解，其中新点从原点集中选取三个杂交形成。
特点
- 速度慢，真的很慢。对于上面的优化问题，250次迭代需要10小时左右。
- 能够更好的搜索全局优解，性能很好，并且通过SearchPoints可以设定初始点集的大小，可以自主控制运算的时间。
- 对于不同问题或同一问题的两次试验，该算法耗费的时间可以有很大的不同。
- 内存占用会随时间增加而变大，对于上面的问题，每个内核需要至少6G的内存。
模拟退火
没用过，效果可能一般
更新: 算法也很慢
由于模拟退火在无法找到优解时需要的设置和选项较多，目前我并没有使用过该函数，我用过之后再更新。
随机搜索
算法介绍
随机搜索算法的工作方式是先产生一族随机初始点，然后从每个初始点用一个局部优化方法收敛到一个局部极小值。最佳局部极小值被选为问题的解。
特点
- 速度很快，且对于简单问题，迭代次数可以很少。
- 对于连续问题和导数信息有用的问题效果很好。
子方法的选项
InitialPoints
结构必须为{{x11,x21,x31…},{x21,x22,x32…},…}
对于NM方法，初始点集需要是待优化参数+1个。
对于其他方法，该参数必须与SearchPoints结合使用。
SearchPoints
代表了搜索点集点的数量，对于NM法没有这个选项，而在模拟退火方法中该值默认为$$\mathrm{min}(2d,50)$$, 随机搜索中为$$\mathrm{min}(10d,100)$$.
PostProcess
一个帮助文档中没有详细叙述的选项，是在迭代完后使用局部搜索方法继续寻找优值的选项，如果MaxIteration比较小，这个选项开启之后结果会相对较优。
我正在解决的问题
对于一个含参时滞微分方程，需要控制时滞值和方程中的参量，使用ParametricNDSolve给出模型，再写出优化的目标函数，使用NMinimize进行求解。但其中有多个问题。
方程的刚性导致的计算中断和计算时间过长
对于很多参量区间该方程都是刚性或有奇解的，但如果使用刚性转换方法计算，一次Evaluation需要1分钟左右，我无法承受这样的运算复杂度，所以最终放弃对方程进行刚性转换。
NMinimize是运行在单核上的
任何NMinimize算法都是运行在单核上的所以我不得不对其进行并行化，但这样做的效率相对低。
Mathematica的内部Bug
在并行化运算的时候，我遇到了子内核停止的问题，经检查这应该是Bug导致的，所以提交了一份Feedack给WRI, 希望能尽快解决吧。
MMA Bug还真不少…
