PCA / WHITENING LAB

把点云转正,再决定要不要拉平

白化常被一句“把方差变成 1”带过,真正容易混的是前后两步。PCA 投影只换坐标并按需要截断;重建把保留坐标送回原空间;白化则继续改动每条主轴的尺度。下面让同一批相关数据依次走完这三步。

z = WkT(x − μ) x̂ = Wkz + μ zw,j = zj / √λj

先看同一批点经历了什么

调高相关性,点云会更贴近一个低维方向;拉大方差比,各主成分的尺度差距会更明显。三维图使用固定等角投影,所有数值仍按完整三维坐标计算。

当前:三维数据保留前 2 个主成分,白化关闭。

原空间

数据与重建

实心点是 x,空心点是 x̂;连线就是被丢掉的残差。

PCA 得分空间

旋转并截断

保留 PC1–PC2;被丢弃的轴归零,仍保留 λ 的相对尺度。

白化空间

按 √λ 再缩放

白化关闭,因此这里与 PCA 得分图相同。

投影:得到坐标 z = Wₖᵀ(x − μ) 从原特征坐标转到前 k 条主轴,输出在得分空间。
重建:返回近似 x̂ = Wₖz + μ 回到原单位,但只包含保留子空间中的投影。
白化:改变尺度 zᵂⱼ = zⱼ / √λⱼ 仍在得分空间;它不是重建,也不保证一般分布下独立。

用数字核对几何变化

图形负责给直觉,矩阵负责对账。原协方差一般不是对角阵;PCA 得分的协方差是对角阵;开启白化后,保留部分应接近单位阵。

累计保留方差 Σ 前 k 个 λ / Σ 全部 λ
原空间重建 MSE ‖X − X̂‖²F / (样本数 × 维数)
最弱保留轴的相对拉伸 √(λ₁ / λₖ),白化时才真正施加

协方差矩阵

数值用样本协方差除数 n − 1 计算。右表只列保留的 k 个坐标。

原空间 Cov(X)
得分空间 Cov(z)

各主成分方差

条长以 λ₁ 为基准;“丢弃”只影响重建与输出,不会让该特征值从数据中消失。

小特征值检查

正在计算最小保留特征值与白化拉伸倍数。


别把三个词混在一起

投影回答“坐标是多少”

Wₖᵀ 把中心化样本写成 k 个主成分得分。它可以截断维度,但还没有回到原特征单位。

重建回答“近似长什么样”

WₖWₖᵀ 把样本正交投到保留子空间。k 小于原维度时,这是有损近似,残差不会凭空回来。

白化回答“各轴是否同尺度”

除以 √λⱼ 后,保留得分的样本方差变成 1。小 λ 对应更大拉伸,信号与噪声都会一起被放大。