原空间
数据与重建
实心点是 x,空心点是 x̂;连线就是被丢掉的残差。
PCA / WHITENING LAB
白化常被一句“把方差变成 1”带过,真正容易混的是前后两步。PCA 投影只换坐标并按需要截断;重建把保留坐标送回原空间;白化则继续改动每条主轴的尺度。下面让同一批相关数据依次走完这三步。
调高相关性,点云会更贴近一个低维方向;拉大方差比,各主成分的尺度差距会更明显。三维图使用固定等角投影,所有数值仍按完整三维坐标计算。
当前:三维数据保留前 2 个主成分,白化关闭。
原空间
数据与重建
实心点是 x,空心点是 x̂;连线就是被丢掉的残差。
PCA 得分空间
旋转并截断
保留 PC1–PC2;被丢弃的轴归零,仍保留 λ 的相对尺度。
白化空间
按 √λ 再缩放
白化关闭,因此这里与 PCA 得分图相同。
z = Wₖᵀ(x − μ)
从原特征坐标转到前 k 条主轴,输出在得分空间。
x̂ = Wₖz + μ
回到原单位,但只包含保留子空间中的投影。
zᵂⱼ = zⱼ / √λⱼ
仍在得分空间;它不是重建,也不保证一般分布下独立。
图形负责给直觉,矩阵负责对账。原协方差一般不是对角阵;PCA 得分的协方差是对角阵;开启白化后,保留部分应接近单位阵。
协方差矩阵
数值用样本协方差除数 n − 1 计算。右表只列保留的 k 个坐标。
各主成分方差
条长以 λ₁ 为基准;“丢弃”只影响重建与输出,不会让该特征值从数据中消失。
正在计算最小保留特征值与白化拉伸倍数。
Wₖᵀ 把中心化样本写成 k 个主成分得分。它可以截断维度,但还没有回到原特征单位。
WₖWₖᵀ 把样本正交投到保留子空间。k 小于原维度时,这是有损近似,残差不会凭空回来。
除以 √λⱼ 后,保留得分的样本方差变成 1。小 λ 对应更大拉伸,信号与噪声都会一起被放大。