一元多元数据标准化

在求正态分布的数学期望和方差中，用到了一种变换：令U=(X−μ)/σU=(X-\mu)/\sigmaU=(X−μ)/σ，由E(U)=0E(U)=0E(U)=0，Var(U)=1\text{Var}(U)=1Var(U)=1，然后再去求出XXX的数学期望和方差。这个变换具有普遍意义。

对任意随机变量XXX，如果XXX的数学期望（均值）为μ\muμ，方差为σ2\sigma^2σ2，则称
Z=X−μσ Z=\frac{X-\mu}{\sigma}Z=σX−μ​
为XXX的标准化随机变量，且可得
E(Z)=0,Var(Z)=1. E(Z)=0, \quad \text{Var}(Z)=1.E(Z)=0,Var(Z)=1.

标准化的意义

1. 消除量纲：标准化可以消除原始数据的单位和量级影响，使得不同量纲或不同数量级的数据可以进行比较。
2. 统一尺度：将数据转换到一个统一的尺度上，便于后续的统计分析和建模。例如，在机器学习中，很多算法（如支持向量机、逻辑回归）都对特征的尺度敏感，标准化是常用的预处理步骤。
3. 简化计算：在处理正态分布时，标准化可以将任意正态分布N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2)转换为标准正态分布N(0,1)N(0, 1)N(0,1)，从而可以利用标准正态分布表来查概率，简化计算。

多元数据
z=Λ−12U⊤(x−μ) {\bm z} = {\bm \varLambda}^{- \frac{1}{2}} {\bm U}^{\top} \left( {\bm x} - {\bm \mu} \right)z=Λ−21​U⊤(x−μ)

1. 一维情况：标准化
   在一维空间中，用(x−μ)/σ(x - \mu) / \sigma(x−μ)/σ来标准化数据。这里的σ2\sigma^2σ2（方差）衡量了数据点xxx偏离均值μ\muμ的“程度”或“代价”。标准化后，数据被转换到一个均值为0、方差为1的统一尺度上。

2. 多维情况：马氏距离
   在多维空间中，情况更复杂。不仅需要考虑每个维度自身的方差，还需要考虑不同维度之间的相关性。这时，协方差矩阵CCC就扮演了关键角色。

   • 协方差矩阵CCC：它不仅包含了每个变量的方差（对角线元素），还包含了不同变量之间的协方差（非对角线元素），从而完整地描述了多维数据的“形状”和“方向”。