多元高斯 · 协方差几何

两个数各自都常见,为什么放在一起却可能异常?

独立高斯只看每个坐标离均值多远;多元高斯还会问,这个移动方向是不是正常点云经常走的方向。把相关系数推高,你会看到轴对齐椭圆与斜着生长的协方差椭圆给出不同判断。

先看同一批点的两套等密度线

观察预设
2.5
1.4
0.85
60
2.4
1.8
0.00

轴对齐模型 vs 协方差模型

左图把协方差的非对角项清零,所以等密度线始终与坐标轴对齐。

右图保留相关方向;沿点云长轴移动的代价小,横穿窄轴的马氏距离增长更快。

同一个待测点,放进两套密度公式

独立高斯(对角协方差)

保留两维各自的经验方差与 λ,忽略它们一起变化的方向。

Σdiag,λ
马氏距离平方 DM²
log p(x)

多元高斯(完整协方差)

使用经验协方差的非对角项,并通过 Σ̂ + λI 做数值保护。

Σλ
马氏距离平方 DM²
log p(x)

两边都用 DM² ≥ 5.991 作为演示告警线,它对应二维高斯约 95% 的等密度轮廓。真实系统仍应在验证集上按误报、漏报与复核容量选择阈值。

接近奇异时,λI 修的是数值条件

生成目标 Σ

由两个方差和 ρ 直接得到,用来生成固定随机种子的教学点云。

经验协方差 Σ̂

按最大似然约定除以 m。样本很少时,估计会不稳定,m ≤ d 时必然无法满秩。

正则化 Σ̂ + λI

λ 只加到对角线,抬高过小特征值,降低对不稳定相关方向的依赖。

样本数 / 维数
det(Σ̂)
条件数 κ(Σ̂)
条件数 κ(Σ̂+λI)

计算马氏距离时,本页用 Cholesky 分解解线性方程,并用 Cholesky 对角项求 log|Σ|,没有显式构造 Σ−1。工程实现还应记录 λ,并在验证集上检查它是否损害有用的相关信号。