负采样:少算多少,噪声怎么抽?
调节词表规模、负样本数和词频指数,比较每个正样本需要触碰的向量数量,并观察噪声分布如何改变。
训练参数
完整 Softmax 的分母需要查看词表中的每个候选词。
SGNS 每一步主要更新 1 个正上下文和 k 个噪声词。
α=0 是均匀抽样,α=1 是按原始词频抽样,0.75 位于两者之间。
即时结果
完整 Softmax 触碰量个候选向量 / 正样本
负采样触碰量个上下文向量 / 正样本
四类词被抽中的概率
四类词的示例频次依次为 100000、10000、1000、100。指数小于 1 会压平长尾:高频词仍常见,中低频词却不至于完全消失。
一次随机抽样
点击按钮后,观察高频功能词是否仍占优势,以及中低频词有没有获得训练机会。