多元函数的 Taylor 公式与极值问题

写在前面

引入记号
$$\begin{aligned}&(\Delta x\frac{\partial}{\partial x}+\Delta y\frac{\partial}{\partial y})^{k}f \\\ =& \sum^{k}_{i=0}C^{i}_{k}(\Delta x\frac{\partial}{\partial x})^{k-i}(\Delta y\frac{\partial}{\partial y})^{i}f\ (k=1,2,\cdots,n+1) \\\ =& \sum^{k}_{i=0}C^{i}_{k}(\Delta x)^{k-i}(\Delta y)^{i}\frac{\partial^{k}f}{\partial x^{k-i}\partial y^{i}}\ (k=1,2,\cdots,n+1)\end{aligned} \tag{1}$$
（在形式上就是二项式展开）

二元形式的 Taylor 公式

Lagrange 余项

（定理）设二元函数 $f(x,y)$ 在点 $(x_{0},y_{0})$ 的某邻域内是 $C^{(n+1)}$ 类函数，令 $\Delta x=x-x_{0},\Delta y=y-y_{0}$，则 $\exists \ \theta \in(0,1)$，使得
$$\begin{aligned}&f(x,y)\\
=& f(x_{0},y_{0})+\sum^{n}_{k=1}\frac{1}{k!}(\Delta x\frac{\partial}{\partial x}+\Delta y\frac{\partial}{\partial y})^{k}f(x_{0},y_{0})+R_{n}
\end{aligned}\tag{2}$$
其中
$$R_{n}=\frac{1}{(n+1)!}(\Delta x\frac{\partial}{\partial x}+\Delta y\frac{\partial}{\partial y})^{n+1}f(x_{0}+\theta\Delta x,y_{0}+\theta\Delta y)\tag{3}$$
（3）式为 Lagrange 余项.

Peano 余项

（定理）设二元函数 $f(x,y)$ 在点 $(x_{0},y_{0})$ 的某邻域内是 $C^{(n)}$ 类函数，令 $\Delta x=x-x_{0},\Delta y=y-y_{0}$，则当 $\rho=\sqrt{(\Delta x)^{2}+(\Delta y)^{2}}\rightarrow0$ 时，有
$$\begin{aligned}&f(x,y)\\
=& f(x_{0},y_{0})+\sum^{n}_{k=1}\frac{1}{k!}(\Delta x\frac{\partial}{\partial x}+\Delta y\frac{\partial}{\partial y})^{k}f(x_{0},y_{0})+R_{n}
\end{aligned}\tag{4}$$
其中
$$R_{n}=o(\rho^{n})\tag{5}$$
（5）式为 Peano 余项.

Hesse 矩阵

我们用 Taylor 公式展开二次函数的前两项
$$\begin{aligned}&f(x,y)=\\
&f(x_{0},y_{0})+\\
&\frac{\partial f(x_{0},y_{0})}{\partial x}\Delta x+\frac{\partial f(x_{0},y_{0})}{\partial y}\Delta y+\\
&\frac{1}{2}\left[\frac{\partial^{2} f(x_{0},y_{0})}{\partial x^{2}}(\Delta x)^{2}+2\frac{\partial^{2} f(x_{0},y_{0})}{\partial x^{}\partial y}\Delta x^{}\Delta y+\frac{\partial^{2} f(x_{0},y_{0})}{\partial y^{2}}(\Delta y)^{2}\right]+o(\rho^{2})
\end{aligned}\tag{6}$$
我们注意到，$\Delta x$ 与 $\Delta y$ 的一次项的系数恰好是 $f(x,y)$ 在点 $(x_{0},y_{0})$ 处的梯度
$$\nabla f(x_{0},y_{0})=\left(\frac{\partial f(x_{0},y_{0})}{\partial x},\frac{\partial f(x_{0},y_{0})}{\partial y} \right)$$

引入矩阵
$$H(x_{0},y_{0})=\begin{pmatrix}
\frac{\partial^{2} f(x_{0},y_{0})}{\partial x^{2}}&\frac{\partial^{2} f(x_{0},y_{0})}{\partial x\partial y}\\
\frac{\partial^{2} f(x_{0},y_{0})}{\partial y\partial x}&\frac{\partial^{2} f(x_{0},y_{0})}{\partial y^{2}}
\end{pmatrix}$$

则称其为 $f(x,y)$ 在点 $(x_{0},y_{0})$ 处的 $Hesse$ 矩阵。
如果记
$$\vec{x}_{0}=(x_{0},y_{o}),\Delta \vec{x}=(\Delta x,\Delta y),$$
则 $(6)$ 式可以写成
$$f(\vec{x}_{0}+\Delta \vec{x})=f(\vec{x_{0}})+\nabla f(\vec{x_{0}})\Delta \vec{x}+\frac{1}{2}\Delta \vec{x}H(\vec{x}_{0})\Delta \vec{x}^{T}+o(\rho^{2})\tag{7}$$
（性质）由于 $f(x,y)$ 是 $C^{(2)}$ 类函数，二阶混合偏导数与求导次序无关，所以 $H(\vec{x}_{0})$ 是二阶实对称矩阵，且 $\Delta \vec{x}H(\vec{x}_{0})\Delta \vec{x}^{T}$ 是关于 $\Delta x,\Delta y$ 的实二次型，其正定性和负定性由矩阵 $H(\vec{x}_{0})$ 的正定性和负定性决定。这一性质对讨论二元函数的极值问题十分重要。

多元函数的极值问题

我们这里不加证明地将一元函数极值问题的概念推广到多元函数。

极值

下面给出函数取极值的必要条件：
（定理）设n元函数 $f(x)$ 在点 $x_{0}$ 可偏导，并取得极值，则有
$$\frac{\partial f(x_{0})}{\partial x_{i}}=0\ (i = 1,2,\cdots,n),\ \ 即 \nabla f(x_{0})=\vec{0}.$$
并且称此处的点 $x_{0}$ 为 $f(x)$ 的驻点（稳定点）。

回顾一下矩阵的正定性、负定性：

• $A_{2\times 2}$ 为正定矩阵 $\Leftrightarrow$ 任意非零向量 $u\in \mathbb{R}^{2},u^{T}Au>0.$
• $A_{2\times 2}$ 为负定矩阵 $\Leftrightarrow$ 任意非零向量 $u\in \mathbb{R}^{2},u^{T}Au<0.$
• $A_{2\times 2}$ 为半正定矩阵 $\Leftrightarrow$ 任意（可零）向量 $u\in \mathbb{R}^{2},u^{T}Au \geqslant 0.$
• $A_{2\times 2}$ 为半负定矩阵 $\Leftrightarrow$ 存在 $u_{1},u_{2}\in \mathbb{R}^{2},\ s.t. \ u_{1}^{T}Au_{1}>0,u_{1}^{T}Au_{1}<0.$

下面给出验证二元函数的驻点是否为极值点的充分条件：
（定理）设二元函数 $f(x)\in C^{(2)}(U(x_{0})),\ \ x_{0}$是 $f(x)$ 的驻点，$H(x_{0})$ 是 $f(x)$ 在点 $x_{0}$ 处的 $Hesse$ 矩阵，则有

1. 若 $H(x_{0})$ 为正定矩阵，则 $f(x)$ 在点 $x_{0}$ 取得极小值；
2. 若 $H(x_{0})$ 为负定矩阵，则 $f(x)$ 在点 $x_{0}$ 取得极大值；
3. 若 $H(x_{0})$ 为不定矩阵，则 $f(x)$ 在点 $x_{0}$ 无极值；
4. 若 $H(x_{0})$ 为半正定或半负定矩阵，则 $f(x)$ 在点 $x_{0}$ 可能有极值，也可能无极值。

将二元函数的 $Hesse$ 矩阵记作
$$H(x_{0},y_{0})=\begin{pmatrix}
\frac{\partial^{2} f(x_{0},y_{0})}{\partial x^{2}}&\frac{\partial^{2} f(x_{0},y_{0})}{\partial x\partial y}\\
\frac{\partial^{2} f(x_{0},y_{0})}{\partial y\partial x}&\frac{\partial^{2} f(x_{0},y_{0})}{\partial y^{2}}
\end{pmatrix}=\begin{pmatrix} A & B\\ B & C \end{pmatrix}$$
并结合矩阵的正定性、负定性，有
当 $AC-B^{2}>0$ 且 $A>0$ 时，Hesse为正定矩阵；
当 $AC-B^{2}>0$ 且 $A<0$ 时，Hesse为负定矩阵；
当 $AC-B^{2}<0$ 时，Hesse为不定矩阵；
当 $AC-B^{2}=0$ 时，Hesse为半正定或半负定矩阵。

从而，有如下推论：
（推论）设二元函数 $f(x,y)\in C^{(2)}(U(x_{0},y_{0})),\ \ ( x_{0},y_{0})$是 $f(x)$ 的驻点，并且记
$$A=f_{xx}(x_{0},y_{0}),B=f_{xy}(x_{0},y_{0}),C=f_{yy}(x_{0},y_{0}),$$
则

1. 当 $AC-B^{2}>0$ 且 $A>0$ 时，$f(x_{0},y_{0})$ 是极小值；
2. 当 $AC-B^{2}>0$ 且 $A<0$ 时，$f(x_{0},y_{0})$ 是极大值；
3. 当 $AC-B^{2}<0$ 时，$f(x_{0},y_{0})$ 不是极值；
4. 当 $AC-B^{2}=0$ 时，$f(x_{0},y_{0})$ 有可能是极值也有可能不是。

最大值和最小值

对于 $\mathbb{R}^{n}$ 中的有界区域 $\Omega$ ，n元函数 $f(x)$ 必有最大值和最小值，并且在 $\Omega$ 内部或者边界 $\partial \Omega$上取得。

1. 先求出 $f(x)$ 在 $\Omega$ 内部的可能极值点的函数值；
2. 再求出 $f(x)$ 在 $\partial \Omega$ 上的最大值、最小值；
3. 将这些函数值相比较，其中最大（小）的就是最大（小）值。

在不一定是闭区域、不一定有界的区域上，如果可以判定最大（小）值在 $\Omega$ 内部取得，则 $f(x)$ 唯一的可能极值点就是最值。

条件极值问题

条件极值的概念

无条件极值：像上面讨论的多元函数极值问题，对于函数的自变量，除了限制在函数的定义域内并无其他的要求。
条件极值：在实际问题中，我们还经常要讨论另一种类型的极值问题，即对于函数的自变量，除了限制在函数的定义域内，自变量还受到其他条件的约束。
一些简易的问题可以将条件极值转化为无条件极值来处理，其实质是将有约束方程所确定的隐函数加以显化。然而这种方法并非总是可行。
下面介绍一种有效的求解条件极值问题的方法。

Lagrange 乘数法

先讨论三元函数极值点所应满足的条件。
设 $P_{0}(x_{0},y_{0},z_{0}),P(x,y,z)\in\mathbb{R}^{3},$ 函数 $f(P),\ \varphi (P)\in C^{(1)}(U(P_{0})),$ 且 $\nabla \varphi (P_{0})\not =0.$ 若 $P_{0}$ 是目标函数 $f(P)$ 在约束条件 $\varphi (P)=0$ 下的极值点，则存在常数 $\lambda,\ s.t.$
$$\begin{cases}
f_{x}(P_{0})+\lambda \varphi_{x}(P_{0})=0\\
f_{y}(P_{0})+\lambda \varphi_{y}(P_{0})=0\\
f_{z}(P_{0})+\lambda \varphi_{z}(P_{0})=0
\end{cases}\tag{8}$$
即
$$\nabla f(P_{0})+\lambda \nabla \varphi (P_{0})=0\tag{9}$$
因此，我们得到了条件极值问题取得极值的必要条件。引入（辅助函数） $\text{Lagrange}$ 函数
$$L(x,y,z,\lambda)=f(x,y,z)+\lambda \varphi (x,y,z)\tag{10}$$

其中，参数 $\lambda$ 称为 Lagrange 乘子。

点 $P_{0}$ 满足（8）式，即满足 $L_{x}=0,L_{y}=0,L_{z}=0$ ；而由于是条件极值问题，点 $P_{0}$ 当然还应该满足 $\varphi (x_{0},y_{0},z_{0})=0$. 即：

如果 $P_{0}$ 是方程组
$$\begin{cases}
L_{x}=f_{x}(x,y,z)+\lambda \varphi_{x}(x,y,z)=0\\
L_{y}=f_{y}(x,y,z)+\lambda \varphi_{y}(x,y,z)=0\\
L_{z}=f_{z}(x,y,z)+\lambda \varphi_{z}(x,y,z)=0\\
L_{\lambda}=\varphi_{}(x,y,z)=0
\end{cases}\tag{11}$$
的解，那么点 $P_{0}$ 是目标函数 $f(x,y,z)$ 在约束条件 $\varphi (x,y,z)$ 下的可能极值点。

Lagrange 乘数法对二元函数情形和一般n元函数情形也适用，更一般地：
（定理）设 n 元函数 $f(x),\ \varphi (x)\in C^{(1)}(U(x_{0})),$ 且 $\nabla \varphi (x_{0})\not =0.$ 若 $x_{0}$ 是目标函数 $f(x)$ 在约束条件 $\varphi (x)=0$ 下的极值点，则存在常数 $\lambda,\ s.t.$
即
$$\nabla f(x_{0})+\lambda \nabla \varphi (x_{0})=0\tag{12}$$

推广到多个约束条件

求三元函数 $f(x,y,z)$ 在约束条件 $\varphi (x,y,z)=0$ 和 $\psi (x,y,z) =0$ 下的极值。
可以先作 Lagrange 函数
$$L(x,y,z,\lambda ,\mu)=f(x,y,z)+\lambda\varphi (x,y,z)+\mu \psi (x,y,z)$$
其中，$\lambda,\mu$ 为 Lagrange 乘子，然后解方程组
$$\begin{cases}
L_{x}=0\\
L_{y}=0\\
L_{z}=0\\
L_{\lambda}=0\\
L_{\mu}=0
\end{cases}$$
可求得可能极值点 $P_{0}(x_{0},y_{0},z_{0})$.

总结

本文将 Taylor 公式推广到多元函数，讨论了多元函数的极值问题，并且主要介绍了 Lagrange 乘子在解决多元函数条件极值问题时的应用。