Time Unfolding Bench

沿时间展开一条 RNN,看看记忆和梯度能走多远

每个时间步共享同一套参数。前向时隐藏状态向右传递;反向时,最终损失产生的梯度沿计算图向左传播。

输入脉冲 隐藏状态 反向梯度

前向 → / 反向 ←

局部梯度:α(1-hₜ²)
RNN 时间展开和反向传播 各时间步显示输入、隐藏状态与从最终损失反传的梯度强度。
脉冲到最终状态的影响

比较脉冲后第一个状态与最终状态。

脉冲位置收到的梯度

若在截断窗口外,该位置的反向信号为 0。

本次反传覆盖

覆盖节点数 / 总节点数。

观察结论:拖动 α 和 M,比较“状态值仍在”与“训练信号能返回”这两件不同的事。