同一个“苹果”,为什么会变成两个向量?

静态输入不变,但上下文汇总会把周围线索写进当前位置。调整上下文强度,观察两个表示如何分开。

企业语境
苹果公司发布芯片
水果语境
苹果切片沙拉
企业语境向量
水果语境向量
余弦相似度

语境越强,模型越能把词形相同但用法不同的 token 拉开。

0.42

这是一个可视化类比:真实模型的维度更高,且上下文作用是从数据中学出的。