词向量几何实验室

这里的每个词都有一组写死的二维坐标。坐标很小,正好让我们把余弦相似度和 b − a + c 的每一步都核算清楚。

二维概念坐标

中文概念词的二维向量图 坐标点和箭头会随近邻查询或向量类比选项变化。

按方向找近邻

cos(q, x) = (q·x) / (‖q‖‖x‖)

排序展示每个候选的实际余弦分数;+1 表示方向完全一致,−1 表示方向完全相反。

    相关不等于同义

    余弦近邻只说明模型把两个词放在相近方向。反义词也可能因为共享语境而接近,近邻不能直接翻译成“意思一样”。

    玩具几何不是语言定律

    这组二维坐标刻意保证“男人 → 女人”与“国王 → 王后”的偏移相同。真实高维词向量受语料、算法与偏差影响,类比不一定成立。