注：推导中用到两个结论：
由 $J_{ij}V_{ju} = \sigma_u U_{iu}$ 得 $J_{ij}\partial V_{ju} U_{iu} = \sigma_u V_{ju} \partial V_{ju}$ ，再结合正交矩阵求导结论 $\partial V_{ju} V_{ju}=0$ ，故该项为 0；
正交矩阵列向量单位性： $U_{iu} U_{iu}=1$ ，且 $\partial U_{iu} U_{iu}=0$ ）

Singular vector derivatives

奇异向量的导数

Next, to isolate the derivatives of the singular vecotrs, we’ll first multiply both sides of equation 1 by $V_{jv}$ , where $\neq u$ and sum over $j$ :
接下来推导奇异向量的导数。首先，将等式 1 两侧同时乘以 $V_{jv}$ （其中 $\neq u$ ），并对指标 $j$ 求和：

$\begin{align*} \partial J_{ij}U_{iu} V_{jv} + \underbrace{J_{ij}\partial U_{iu} V_{jv}}_{\sigma_v \partial U_{iu} U_{iv}} &= \partial \sigma_u \underbrace{V_{ju} V_{jv}}_{0} + \sigma_u \partial V_{ju} V_{jv} \\ \partial J_{ij}U_{iu} V_{jv} &= -\sigma_v \partial U_{iu} U_{iv} + \sigma_u \partial V_{ju} V_{jv} \end{align*}$

注：
由 $J_{ij}V_{jv} = \sigma_v U_{iv}$ 得 $J_{ij}\partial U_{iu} V_{jv} = \sigma_v \partial U_{iu} U_{iv}$ ；
正交矩阵列向量正交性： $V_{ju} V_{jv}=0$ （因 $\neq u$ ））

$\begin{align*} \partial J_{ij}V_{ju} U_{iv} + \underbrace{J_{ij}\partial V_{ju} U_{iv}}_{\sigma_v \partial V_{ju} V_{jv}} &= \partial \sigma_u \underbrace{U_{iu} U_{iv}}_{0} + \sigma_u \partial U_{iu} U_{iv} \\ \partial J_{ij}U_{iv} V_{ju} &= \sigma_u \partial U_{iu} U_{iv} - \sigma_v \partial V_{ju} V_{jv} \end{align*}$

注：
由 $J_{ij}U_{iv} = \sigma_v V_{jv}$ 得 $J_{ij}\partial V_{ju} U_{iv} = \sigma_v \partial V_{ju} V_{jv}$ ；
正交矩阵列向量正交性： $U_{iu} U_{iv}=0$ （因 $\neq u$ ））

So we’re left with the equation
综上，可得到如下方程组：

$\begin{align*} \partial J_{ij}U_{iu} V_{jv} &= -\sigma_v \partial U_{iu} U_{iv} + \sigma_u \partial V_{ju} V_{jv} \\ \partial J_{ij}U_{iv} V_{ju} &= \sigma_u \partial U_{iu} U_{iv} - \sigma_v \partial V_{ju} V_{jv} \end{align*}$

Left singular vectors

左奇异向量

Lets multiply the above equations by $\sigma_v$ and $\sigma_u$ respectively:
将上述方程组的第一个等式乘以 $\sigma_v$ ，第二个等式乘以 $\sigma_u$ ，可得：

$\begin{align*} \sigma_v \partial J_{ij}U_{iu} V_{jv} &= -{\sigma_v}^2 \partial U_{iu} U_{iv} + \sigma_v \sigma_u \partial V_{ju} V_{jv} \\ \sigma_u \partial J_{ij}U_{iv} V_{ju} &= {\sigma_u}^2 \partial U_{iu} U_{iv} - \sigma_v \sigma_u \partial V_{ju} V_{jv} \end{align*}$

If we sum the equations, the last terms cancel and we’re left with
将两个等式相加，右侧的交叉项（ $\sigma_v \sigma_u \partial V_{ju} V_{jv}$ 与 $-\sigma_v \sigma_u \partial V_{ju} V_{jv}$ ）相互抵消，最终得到：

$\begin{align*} \partial J_{ij}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) &= ({\sigma_u}^2 - {\sigma_v}^2) \partial U_{iu} U_{iv} \\ \implies \partial U_{iu} U_{iv} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \end{align*}$

Right singular vectors

右奇异向量

$\begin{align*} \sigma_u \partial J_{ij}U_{iu} V_{jv} &= -{\sigma_v} \sigma_u \partial U_{iu} U_{iv} + {\sigma_u}^2 \partial V_{ju} V_{jv} \\ \sigma_v\partial J_{ij}U_{iv} V_{ju} &= \sigma_v\sigma_u \partial U_{iu} U_{iv} - {\sigma_v}^2 \partial V_{ju} V_{jv} \end{align*}$

If we sum the equations, the first terms on the RHS cancel and we’re left with
将两个等式相加，右侧的交叉项（ $-\sigma_v \sigma_u \partial U_{iu} U_{iv}$ 与 $\sigma_v \sigma_u \partial U_{iu} U_{iv}$ ）相互抵消，最终得到：

$\begin{align*} \partial J_{ij}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) &= ({\sigma_u}^2 - {\sigma_v}^2) \partial V_{ju} V_{jv} \\ \implies \partial V_{ju} V_{jv} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \end{align*}$

Summary

总结

To simplify the expressions, we’ll use the notation $U_i := U_{:,i}$ and $V_i := V_{:,i}$ to denote the $i$ th column of $U$ and $V$ respectively. Then returning to matrix notation yields:
为简化表达式，定义符号 $U_i := U_{:,i}$ （ $U_i$ 为矩阵 $U$ 的第 $i$ 列）和 $V_i := V_{:,i}$ （ $V_i$ 为矩阵 $V$ 的第 $i$ 列），并还原为矩阵形式，可得：

$\begin{align*} \partial \sigma_u &= \partial J_{ij}U_{iu} V_{ju} \\ \partial U_u \cdot U_{v\neq u} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \\ \partial V_u \cdot V_v &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \end{align*}$

Note that to isolate the derivatives of $U$ and $V$ , we can write them as a linear combination of the singular vectors:
需注意，若要单独表示 $U$ 和 $V$ 的导数，可将其表示为奇异向量的线性组合：

$\begin{align*} \partial U_u = (\partial U_u \cdot U_{v\neq u}) U_u \\ \partial V_u = (\partial V_u \cdot V_{v\neq u}) V_u \end{align*}$

Because $U$ and $V$ are orthogonal, $\partial U_u \cdot U_u = \partial V_u \cdot V_u = 0$ .
这是因为 $U$ 和 $V$ 均为正交矩阵，根据正交矩阵求导结论，有 $\partial U_u \cdot U_u = \partial V_u \cdot V_u = 0$ （即奇异向量的导数与其自身正交）。

Time derivative

时间导数

We can also see how the singular vectors and singular values evolve when we flow on the vector field:
当矩阵 $J$ 随向量场 $\frac{dx_t}{dt} = X_t(x_t)$ 演化时，大家还可推导奇异向量和奇异值的时间导数：

$\begin{align*} \frac{dx_t}{dt} = X_t(x_t) \end{align*}$

To do this, recall that we can write the time derivative of the components of $J$ as:
开始，回顾矩阵 $J$ 各元素的时间导数表达式：

$\begin{align*} \frac{dJ}{dt} = \nabla X_t J \end{align*}$

Then we can look at the time derivative of the SVD derivatives.
基于此，可进一步推导奇异值分解各元素的时间导数。

Singular value derivatives

奇异值的时间导数

$\begin{align*} \frac{d\sigma_u}{dt} &= \frac{dJ_{ij}}{dt}U_{iu} V_{ju} \\ &= (\nabla X_t)_{ik} J_{kj} U_{iu} V_{ju} \\ &= (\nabla X_t)_{ik} U_{iu} \sigma_u U_{ku} \\ \end{align*}$

This is more simply expressed using the log of the singular values:
若对奇异值取对数，表达式可进一步简化：

$\begin{align*} \frac{d\log \sigma_u}{dt} = (\nabla X_t)_{ik} U_{iu} U_{ku} \end{align*}$

注：对 $\frac{d\sigma_u}{dt} = (\nabla X_t)_{ik} U_{iu} \sigma_u U_{ku}$ 两侧同时除以 $\sigma_u$ ，利用 $\frac{1}{\sigma_u}\frac{d\sigma_u}{dt} = \frac{d\log \sigma_u}{dt}$ ，即可得到上述对数形式的时间导数，该形式在分析奇异值的相对变化率时更便捷。）

Left singular vector derivatives

左奇异向量的时间导数

$\begin{align*} \frac{dU_u}{dt} \cdot U_{v\neq u} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \frac{dJ_{ij}}{dt}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik} J_{kj}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik}\left(\sigma_u^2 U_{iv} U_{ku} + \sigma_v^2 U_{iu} U_{kv}\right) \\ &= \frac{\sigma_u^2}{\sigma_u^2 - \sigma_v^2} U_v^T(\nabla X_t)U_u + \frac{\sigma_v^2}{\sigma_u^2 - \sigma_v^2} U_u^T(\nabla X_t)U_v \\ &= U_v^T\left(\frac{\sigma_u^2}{\sigma_u^2 - \sigma_v^2}\nabla X_t + \frac{\sigma_v^2}{\sigma_u^2 - \sigma_v^2} \nabla X_t^T\right)U_u \end{align*}$

注：
将“奇异向量导数公式”中的 $\partial$ 替换为时间导数 $\frac{d}{dt}$ ，并代入 $\frac{dJ_{ij}}{dt} = (\nabla X_t)_{ik} J_{kj}$ ；
利用 $J_{kj} U_{iv} V_{ju} = \sigma_u U_{kv} U_{iv}$ 和 $J_{kj} U_{iu} V_{jv} = \sigma_v U_{kv} U_{iu}$ （由 SVD 定义推导）；
后两步将爱因斯坦求和符号转化为矩阵乘法形式，其中 $U_v^T(\nabla X_t)U_u$ 对应 $(\nabla X_t)_{ik} U_{iv} U_{ku}$ ， $U_u^T(\nabla X_t)U_v$ 对应 $(\nabla X_t)_{ik} U_{iu} U_{kv}$ ，并通过合并同类项整理得到最终结果。

Right singular vector derivatives

右奇异向量的时间导数

$\begin{align*} \frac{dV_u}{dt} \cdot V_{v\neq u} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \frac{dJ_{ij}}{dt}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik} J_{kj}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik}\left(\sigma_u\sigma_v U_{iv} U_{ku} + \sigma_u\sigma_v U_{iu} U_{kv}\right) \\ &= \frac{\sigma_u \sigma_v}{\sigma_u^2 - \sigma_v^2}\left( U_v^T(\nabla X_t)U_u + U_u^T(\nabla X_t)U_v \right) \\ &= \frac{\sigma_u \sigma_v}{\sigma_u^2 - \sigma_v^2} U_v^T(\nabla X_t + \nabla X_t^T)U_u \end{align*}$

注：
与左奇异向量时间导数类似，第一步替换导数符号并代入 $\frac{dJ}{dt}$ 的表达式；
第二步利用 $J_{kj} U_{iv} V_{ju} = \sigma_u U_{kv} V_{ju}$ 和 $J_{kj} U_{iu} V_{jv} = \sigma_v U_{kv} V_{jv}$ ，进一步结合 $V_{ju} = \frac{1}{\sigma_u} J_{kj} U_{ku}$ （由 SVD 定义 $\Sigma V^T$ 变形），可化简得到 $\sigma_v U_{iv} U_{ku} + \sigma_u U_{iu} U_{kv}$ ，再乘以 $\sigma_u \sigma_v$ 的系数；
最后一步将两项合并为 $U_v^T(\nabla X_t + \nabla X_t^T)U_u$ ，利用了矩阵乘法的转置性质： $U_u^T(\nabla X_t)U_v = \left( U_v^T(\nabla X_t^T)U_u \right)^T$ ，而由于内积结果为标量，标量的转置等于其自身，故可合并为和的形式。