二次型

泰勒展式与二次型引入

对于一元函数 \(F(x)\)，定义其在 \(x_0\) 处的泰勒展式为

\[\begin{align*} F(x)=&F(x_0)+F'(x_0)(x-x_0)+\frac{F^{(2)}(x_0)}{2!}{(x-x_0)}^2+\cdots \\ &+\frac{F^{(n)}(x_0)}{n!}{(x-x_0)}^n+\cdots \end{align*} \]

引入余项可以得到

\[\begin{align*} F(x)=&F(x_0)+F'(x_0)(x-x_0)+\frac{F^{(2)}(x_0)}{2!}{(x-x_0)}^2+\cdots \\ &+\frac{F^{(n)}(x_0)}{n!}{(x-x_0)}^n+\frac{F^{(n+1)}(\xi)}{(n+1)!}{(x-x_0)}^{n+1} \end{align*} \]

该公式在 \(x_0\) 的邻域内可以任意逼近原函数。

若想求 \(F(x)\) 的极值点，例如极大值点，需要在 \(F(x)\) 的驻点（\(F'(x)=0\)）中选出 \(F''(x)>0\) 的点。

---

为了刻画现实世界中的复杂问题，需要引入多元函数。

此时 \(F(x)\) 的变量 \(x\) 为一个 \(n\) 维向量。记 \(x_i\) 为 \(x\) 的第 \(i\) 维。

可以使用偏导定义 \(F(x)\) 在 \(\alpha\) 处的泰勒展开：

\[\begin{align*} F(x)=&F(\alpha)+\sum_{i=1}^{n}\frac{\partial F(\alpha)}{\partial x_i}(x_i-\alpha_i) \\ +&\sum_{i=1}^{n}\sum_{j=1}^{n}\frac{\partial^2F(\alpha)}{\partial x_i\partial x_j}(x_i-\alpha_i)(x_j-\alpha_j)+\cdots \end{align*} \]

在最优化问题中，很自然地需要研究 \(F(x)\) 的极值。假设我们找到了 \(F(x)\) 的一个驻点 \(\alpha\)，满足 \(\forall i,\frac{\partial F(\alpha)}{\partial x_i}=0\)，则我们需要利用二阶偏导部分检验 \(\alpha\) 是否是 \(F(x)\) 的极值点。

为了方便讨论，下文将 \(x\) 移动到原点，即
令 \(x\leftarrow (x-\alpha)\)。

\[\sum_{i=1}^{n}\sum_{j=1}^{n}\frac{\partial^2F(\alpha)}{\partial x_i\partial x_j}x_ix_j \]

被称为 \(F(\alpha)\) 的二次型 \(f(x)\)。

定义海森矩阵 \(H\)，

\[H(i,j)=\frac{\partial^2F(\alpha)}{\partial x_i\partial x_j} \]

则二次型可以写成 \(f(x)=x^{T}Hx\)。

要求 \(\alpha\) 是 \(F\) 的极小值点，应要求 \(0\) 是 \(f\) 的一个极小值点。但其实有性质：当 \(0\) 为二次型 \(f(x)\) 的极小值点，它也为 \(f(x)\) 的全局最小值点。

有 \(f(0)=0\)，故即要求 \(f(x)>0(x\neq0)\)，这样的二次型被称为正定二次型，\(H\) 为正定矩阵。

在工程和生活实践中，\(H\) 常是对称的，即二阶偏导的顺序交换值相等。但需注意这并不对任意函数成立。

接下来对实对称矩阵的正定判定进行讨论。

正定矩阵的判定

对于实对称矩阵 \(A\)，称 \(A\) 是正定的，当 \(\forall x\neq 0, x^TAx>0\)。\((i)\)

该定义于下三条等价：

\((ii)\) \(A\) 的特征值都是正数。

\((iii)\) \(A\) 的所有顺序主子式的行列式都是正数。

\((iv)\) \(A\) 的主元都是正数。

关于等价判定的证明

有一个有趣的问题。如果要证明四个命题等价，至少需要证明多少个形如 \(A\to B\) 的推出命题？答案是 \(4\) 个，可以构造出 \(A\to B\to C\to D\to A\) 的环。

所以接下来不会证明所有的两两命题等价。

\((i)\to (ii)\)

对于 \(A\) 的特征向量 \(x\)，\(x^TAx=\lambda{\Vert x\Vert}^2>0\)，故 \(\lambda >0\)。

\((ii)\to (i)\)

\(A=Q^T\Lambda Q\)。

\(x^TAx=x^TQ^T\Lambda Qx\)，记 \(Qx=y\)，上式即 \(y^T\Lambda y=\lambda_1y_1^2+\lambda_2y_2^2+\cdots+\lambda_ny_n^2>0\)，证毕。

\((i)\to (iii)\)

令

\[A= \begin{bmatrix} A_k & \star \\ \star & \star \end{bmatrix} \]

则

\[\begin{cases} \begin{bmatrix}x_k^T & 0\end{bmatrix}A\begin{bmatrix}x_k\\0\end{bmatrix}=x_k^TA_kx_k \\\begin{bmatrix}x_k^T & 0\end{bmatrix}A\begin{bmatrix}x_k\\0\end{bmatrix}=0 \end{cases} \]

故 \(A_k\) 为正定矩阵。

由于矩阵的行列式等于特征值的积，故正定矩阵的特征值一定是正数。

故 \(\det(A_k)>0\)。

\((iii)\to (iv)\)

由 \((iii)\) \(A\) 一定能 \(LDU\) 分解。

记 \(A\) 的第 \(i\) 个主元为 \(d_i\)。

有 \(d_i=\det(A_i)/\det(A_{i-1})>0\)。

\((iv)\to (i)\)

对 \(A\) 进行 \(LDL^T\) 分解，有 \(D(i,i)>0\)。

\(x^TAx=x^TLDL^Tx\)。令 \(y=L^Tx\)，可知该式为正。

证毕。