word2vec 究竟学到了什么？

新研究给出 word2vec 学习过程的定量预测理论，证明在特定近似条件下，其学习等价于对目标矩阵进行 PCA。从足够小的初始嵌入权重出发，模型逐步学习正交线性子空间，每一步增加嵌入矩阵的秩。这些特征可由语料统计与算法超参数预先计算，学习动力学的闭式解与数值实验高度吻合。