线性核
K(x,z)=xᵀz直接使用原空间内积,边界保持线性。它是核实验的基线,也适合高维稀疏数据。
支持向量机 · 核函数直觉
核函数规定样本之间怎样比较。先拿线性核做基线,再换多项式或 RBF:同一批二维点没有移动,模型能利用的关系却变了。
先切换数据预设,再比较核。点图中的样本可选参照点;点空白处移动探针。键盘聚焦画布后,也能用方向键移动探针。
参照样本不变,移动探针 z。局部影响先看 K(xᵢ,z),再乘上训练得到的样本权重,才成为该样本对当前分数的贡献。
坐标 (0.00, 0.00),类别 +1
RBF 相似度只由距离决定,并随距离平方指数衰减。
下面三张说明与当前核同步高亮。先问数据关系是什么,再决定是否值得引入弯曲边界。
直接使用原空间内积,边界保持线性。它是核实验的基线,也适合高维稀疏数据。
让有限阶交互进入线性模型。degree、gamma 与 coef0 会彼此耦合,数值范围也会快速放大。
按欧氏距离衰减。gamma 很大时,每个样本的影响更局部,边界也更容易围着少量点转弯。
主图只显示原二维输入中的预测。核矩阵用样本对的内积替代显式特征坐标;可能很高维甚至无限维的 φ(x) 没有被逐轴画出,也没有必要逐轴画出。
提高多项式次数或 RBF gamma 往往能让边界贴近训练点,也可能只是记住离群点和标签噪声。真实选择要把预处理放进交叉验证,并同时检查验证误差、边界稳定性、支持向量数与计算成本。