• 目标:CBow和Skip-Gram模型的主要目标都是通过上下文单词来预测目标单词,或者通过目标单词来预测上下文单词,从而学习单词的向量表示。
  • 神经网络结构: 两种方法都使用了一个简单的三层神经网络, 包括输入层、隐藏层和输出层。
  • 高效训练: CBow和Skip-Gram都采用了负采样或层次化softmax等技巧来提高训练效率。
  • 词向量: 两种方法最终都会为词汇表中的每个单词生成一个固定大小的向量表示。