泰勒公式

数学中，泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果公式足够平滑的话，在已知函数在某一点的各阶导数值的情况下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域的取值。

定义：如果\(f(x)\)在点\(x=x_0\)处具有任意阶导数，则幂级数 \[\begin{align} f(x) = \sum_{n=0}^{\infty} \frac{f^{(n)}(x_0)}{n!} = & f(x_0)+f'(x_0)(x-x_0)+\frac{f''(x_0)}{2!} (x-x_0)^2 + \cdots \nonumber \\ & + \frac{f^{(n)}(x_0)}{n!} (x - x_0)^n + R_n(x) \nonumber \end{align}\] 称为\(f(x)\)在点\(x_0\)处的泰勒级数。

实际优化问题的目标函数往往非常复杂，为了使问题简化，通常将目标函数在某点附近展开为泰勒多项式来逼近原函数。

多元函数的泰勒展开式

一元函数在点\(x_k\)处的泰勒展开式： \[f(x) = f(x_k) + f'(x_k)(x - x_k) + \frac{f''(x_k)}{2!}(x - x_k)^2 + o^n\]

二元函数在点\((x_k,y_k)\)处的泰勒展开式： \[\begin{align} f(x,y) = & f(x_k,y_k) + f_x'(x_k,y_k)(x-x_k) + f_y'(x_k,y_k)(y-y_k) \nonumber \\ & + \frac{f_{xx}''(x_k,y_k)}{2!}(x-x_k)^2 + \frac{f_{xy}''(x_k,y_k)}{2!}(x-x_k)(y-y_k) \nonumber \\ & + \frac{f_{yx}''(x_k,y_k)}{2!}(x-x_k)(y-y_k) + \frac{f_{yy}''(x_k,y_k)}{2!}(y-y_k)^2 + o^n \nonumber \end{align}\]

多元函数（n）在点\(\pmb{x}_k\)处的泰勒展开式： \[\begin{align} f(x^1,x^2,\cdots,x^n) = & f(x_k^1,x_k^2,\cdots,x_k^n) + \sum_{i=1}^n f_{x^i}'(x_k^1,x_k^2,\cdots,x_k^n)(x^i - x_k^j) \nonumber \\ & + \sum_{i,j=1}^n \frac{f_{ij}''(x_k^1,x_k^2,\cdots,x_k^n)}{2!} (x^i - x_k^i)(x^j - x_k^j) + o^n \nonumber \end{align}\]

把泰勒展开式写成矩阵的形式： \[f(\pmb{x}) = f(\pmb{x}_k) + [\nabla f(\pmb{x}_k)]^T (\pmb{x} - \pmb{x}_k) + \frac{1}{2!} [\pmb{x} - \pmb{x}_k]^T H(\pmb{x}_k) [\pmb{x} - \pmb{x}_k] + o^n\]

其中