CELL STATE WORKSHOP

把 LSTM 当作一条可调阀门的记忆水渠

遗忘门决定旧记忆留下多少,输入门决定新候选写入多少,输出门只控制“对外展示”,不会反过来改写细胞状态。

cₜ = fₜ × cₜ₋₁ + iₜ × gₜ
hₜ = oₜ × tanh(cₜ)

数值流:先乘门,再把两路信息相加

管道粗细表示绝对值大小;正负号与文字标签一起标出,不仅依靠颜色。

LSTM 门控数值流图 旧细胞状态经过遗忘门,新候选经过输入门,二者相加为新细胞状态,再经输出门得到隐藏状态。
保留下来的旧记忆 fₜcₜ₋₁
写入的新内容 iₜgₜ
新细胞状态 cₜ
对外隐藏状态 hₜ
观察:

细胞状态 cₜ 是内部记忆

隐藏状态 hₜ 是当前暴露