支持向量机 · 交叉验证搜索

最亮的格子,真的值得选吗?

C 和 gamma 都跨越数量级时,先看对数网格的形状,再看训练—验证差距与折间波动。一个高均值格子如果来自泄漏,亮得越明显,判断反而越危险。

在对数网格上先找稳定区域

横轴 C、纵轴 gamma 都按 10 倍递进。点任一格查看明细;格子聚焦时可用方向键在网格中移动。

常规起点

当前热力图含验证信息泄漏:缩放器先看完整数据,再划分折。均值会偏乐观,折间波动也可能显得过小。

Pipeline 内缩放 · 验证均值 金点是按无泄漏结果得到的一个标准误差建议区域

C → 约束放松、模型更愿意照顾训练违例

较低较高无泄漏建议区域

拆开所选格子的平均分

验证均值只是一列摘要。训练分数、折间标准差、支持向量比例与协议差异要一起看。

格子明细

C=1,gamma=0.1

按 Pipeline 内缩放显示

平衡候选
训练分数0.000
验证均值 ± 折间标准差0.000 ± 0.000
训练—验证差距0.000
支持向量比例0%
每折验证分数均值标准误 0.000

正在生成诊断。

怎样从热力图走到可复查选择

网格只负责提出候选。切分、预处理、指标和最终测试边界决定这张图能不能成为证据。

读图规则
为什么建议选一片区域,不抢最高小数点?

折间波动可能让相邻格子的微小差异没有实际意义。本页把无泄漏最佳格子的“均值减一个标准误”当门槛,再从达标格子里选复杂度较低的起点。

支持向量比例为什么会跟着看?

比例很高可能来自类别重叠、噪声、过于局部的边界或较弱的间隔约束。它不是单独的好坏指标,但能解释模型体积与预测成本。

为什么 C 与 gamma 要一起搜?

C 决定违例代价,gamma 决定 RBF 距离衰减。高 gamma 配高 C 更容易围着训练样本急转,低 gamma 配低 C 又可能把结构抹平,只调一项会错过交互。

为什么热力图最好看也不是最终成绩?

同一交叉验证上试过很多组合后,最高均值仍会带选择偏差。参数冻结后还要在未参与搜索的测试集上做一次验收;若据此再调参,就进入新一轮开发。

一个实用顺序:先确认缩放器在 Pipeline 里,再用粗对数网格找稳定区域,最后围绕候选缩小范围。网格再密,也修不好验证信息已经进入预处理的问题。