神经网络表示 · XOR

一条直线为什么拦不住 XOR

先在原始坐标里旋转、平移边界,再把同一组点送进 ReLU 隐藏层。边界没变复杂,坐标先变了。

观察哪个坐标空间

拖动这条分类边界

原始坐标 (x₁, x₂)

分类正确 3 / 4
XOR 分类边界图 原始空间中的四个 XOR 点与一条可调直线,当前正确分类三个点。 预测 0 区 预测 1 区
圆形:XOR = 0 菱形:XOR = 1 蓝底:预测 1 ✓ 正确 × 错误

真值表跟着边界更新

“当前坐标”会在切换空间时改变,XOR 标签始终不变。

XOR 四组输入、当前坐标、预测和分类结果
输入 XOR 当前坐标 预测 判断

隐藏层到底改了什么

现在观察的是输入本来的正方形。

标签相同的点分处两条对角线。直线只能把平面切成两个半平面,所以总有至少一个点会落错边。

当前坐标:u = x₁,v = x₂
结论:XOR 在这里线性不可分

关键不是多画几条线。 ReLU 先把坐标改写成更适合分类的表示,输出层才有机会用一条线完成任务。