负采样:少算多少,噪声怎么抽?

调节词表规模、负样本数和词频指数,比较每个正样本需要触碰的向量数量,并观察噪声分布如何改变。

训练参数

完整 Softmax 的分母需要查看词表中的每个候选词。

SGNS 每一步主要更新 1 个正上下文和 k 个噪声词。

α=0 是均匀抽样,α=1 是按原始词频抽样,0.75 位于两者之间。

即时结果

完整 Softmax 触碰量个候选向量 / 正样本
负采样触碰量个上下文向量 / 正样本

四类词被抽中的概率

四类词的示例频次依次为 100000、10000、1000、100。指数小于 1 会压平长尾:高频词仍常见,中低频词却不至于完全消失。

一次随机抽样

点击按钮后,观察高频功能词是否仍占优势,以及中低频词有没有获得训练机会。