降维实验 01 · 一维正交投影

同一条主轴,为什么同时留住最多方差、丢掉最少信息?

旋转蓝色单位方向,点会落到轴上的重建位置,红色残差就是被压掉的那部分。把数据先移到均值附近,两项目标会在每一个角度上对账。

数据总方差 = 投影方差 + 重建 MSE

旋转一条轴,看每个点留下什么

拖动蓝色圆环旋转方向,拖动黑色样本改变点云。键盘用户可聚焦方向或样本,用方向键旋转或移动;按住 Shift 可加大步长。

各向异性点云

投影轴经过样本均值;空心方块是重建点,红色虚线是正交残差。

已中心化 · θ=12°
二维点云到一条单位方向的正交投影 样本点、投影轴、重建点和残差线会随方向与点的位置更新。
原始样本 单位方向 重建残差
圆环可拖动;样本也可拖动

一个坐标压成一维,再还原到平面

投影坐标 t 是样本相对当前锚点在 w 上的有符号长度。重建点只保留这个坐标;残差与 w 正交,长度平方进入重建 MSE。

选中样本的投影账本

P1

把方向扫过 0°–180°

当前 θ=12°
蓝线是投影方差,红线是重建均方误差。中心化时蓝线最高点和红线最低点位于同一角度。
投影方差 重建 MSE 黑色竖线:当前方向

中心化后,两项目标在同一角度相遇

正交投影把每个中心化样本拆成互相垂直的“轴上部分”和“残差部分”。勾股关系逐点成立,求平均后就得到下面的能量对账。

等价成立:两个最优方向重合

最大投影方差与最小重建 MSE 的角度差为 0°。

最大投影方差方向
最小重建 MSE 方向
两方向最小夹角
特征值相对间隔0.000