激活函数与局部梯度
选择函数并移动输入 z。蓝线是前向输出，橙线是导数；导数越接近零，当前节点向前传的梯度越弱。
函数值 φ(z)0.5000
导数 φ′(z)0.2500
局部状态有效区
上游梯度为 1 时0.2500
φ(z) 前向输出
φ′(z) 局部导数
黑色点：当前 z
ReLU 在 z=0 不可微，实验台和常见自动求导实现一样，在该点取导数 0。GELU 使用 tanh 近似式绘制。可用方向键移动滑块。