正则化 · 二维约束实验

为什么 L1 容易得到零系数，而 L2 更像连续收缩？

移动损失中心、相关程度和惩罚强度，观察损失椭圆第一次碰到约束边界的位置。这个切点，就是当前两个系数。

惩罚类型

调节几何条件

默认场景让 L1 切点落在横轴尖角，第二个系数正好变为 0。

1.10
β̂
2.20
0.70
0.55
0.50
当前系数 β₁ 0.000
当前系数 β₂ 0.000
出现零系数 已收敛
当前 L1 切点落在尖角，因此有一个系数精确为 0。

损失椭圆与约束边界

金色等高线与紫色边界在红点处相切。

损失等高线 相切等高线 约束边界 最优切点

当前使用 L1 惩罚。