对向量求导

标量y对向量x求导(最常用)

结果是个与$\overrightarrow{x}$ 同形的列向量，每个分量是 $y$ 对 $x$ 的偏导

线性组合：$y={\overrightarrow{a}}^T\overrightarrow{x}$

则：$\frac{\partial y}{\partial x}=\overrightarrow{a}$

二次型： $y={\overrightarrow{x}}^{T}Ax$

则：$\frac{\partial y}{\partial x}=(A+A^T)\overrightarrow{x}$ 显然当 $A$ 对称时 ， 结果为$2A\overrightarrow{x}$ ，长得像平方求导

于是：$y = \vec x^T A A^T x $ 必有： $\frac{\partial y}{\partial x}=2A{A}^T\overrightarrow{x}$

向量y对向量x求导

这就是雅可比矩阵：雅可比矩阵

例子：最小二乘法推导(伪逆)

给定线性系统 $\overrightarrow{y}=X\overrightarrow{w}$（$X$ 为 $m\times n$ 矩阵，$m>n$，方程数多于未知数，无精确解），求使误差最小的 $\overrightarrow{w}$。

第一步：写误差平方（方差表达式）

$$e=\parallel \overrightarrow{y}-X\overrightarrow{w}{\parallel }^2=(\overrightarrow{y}-X\overrightarrow{w}{)}^T(\overrightarrow{y}-X\overrightarrow{w})$$

展开：

$$e={\overrightarrow{y}}^T\overrightarrow{y}-{\overrightarrow{y}}^{T}X\overrightarrow{w}-{\overrightarrow{w}}^T{X}^T\overrightarrow{y}+{\overrightarrow{w}}^T{X}^{T}X\overrightarrow{w}$$

注意到 ${\overrightarrow{y}}^{T}X\overrightarrow{w}$ 是标量，等于它的转置 ${\overrightarrow{w}}^T{X}^T\overrightarrow{y}$，合并：

$$e={\overrightarrow{y}}^T\overrightarrow{y}-2{\overrightarrow{w}}^T{X}^T\overrightarrow{y}+{\overrightarrow{w}}^T{X}^{T}X\overrightarrow{w}$$

第二步：对 $\overrightarrow{w}$ 求导，令导数为 0

套用上面的规则：

• $-2{\overrightarrow{w}}^T{X}^T\overrightarrow{y}$：线性组合，导数为 $-2X^T\overrightarrow{y}$
• ${\overrightarrow{w}}^T{X}^{T}X\overrightarrow{w}$：二次型（$A=X^{T}X$ 对称），导数为 $2X^{T}X\overrightarrow{w}$

$$\frac{\partial e}{\partial \overrightarrow{w}}=-2X^T\overrightarrow{y}+2X^{T}X\overrightarrow{w}=\overrightarrow{0}$$

第三步：解出 $\overrightarrow{w}$

$$X^{T}X\overrightarrow{w}=X^T\overrightarrow{y}$$$$\boxed{{\displaystyle \overrightarrow{w}=(X^{T}X{)}^{-1}{X}^T\overrightarrow{y}}}$$

其中 $X^{+}=(X^{T}X{)}^{-1}{X}^T$ 就是 $X$ 的伪逆（Moore-Penrose 伪逆在列满秩时的特例）。