注：個(gè)人筆記，價(jià)值有限，不建議逗留。

word embedding 的意義和目的？

通過一種映射，將自然語言中的單詞，嵌入到n維歐式空間中，得到可以用數(shù)學(xué)語言表達(dá)并用計(jì)算機(jī)計(jì)算的“詞向量”。
同時(shí)我們希望，在語言中語義相近的詞匯，在映射后的空間中仍具有相似性（表現(xiàn)為距離相近）

分布式語義

如何學(xué)習(xí)具有我們想要特性的word embedding呢？
一個(gè)重要的思路是分布式語義：
一個(gè)單詞的含義由頻繁的出現(xiàn)在其附近的單詞所決定

有一定道理，就好像我們?cè)趯W(xué)語言時(shí)，一個(gè)單詞的具體含義，經(jīng)常通過給出的若干例句來記住和理解。

Skip-Gram

進(jìn)行word embedding的方法應(yīng)該有很多，今天學(xué)習(xí)了 skip-gram
這里是一個(gè)不錯(cuò)的教程

模型結(jié)構(gòu)：

個(gè)人感覺結(jié)構(gòu)和思想都很像自編碼器。
輸入層：對(duì)詞典進(jìn)行one-hot編碼

如何得到某個(gè)單詞的詞向量？
網(wǎng)絡(luò)的隱層的輸出就是最終的 詞向量。
但實(shí)際中，并不需要進(jìn)行前向推理，更像是查表，因?yàn)?#xff1a;

模型是如何學(xué)到有效的詞向量的？
基于分布式語義的合理假設(shè)，設(shè)定輸出層負(fù)責(zé)預(yù)測(cè)所有詞表中的單詞出現(xiàn)在當(dāng)前輸入的單詞周圍的概率。

總結(jié)

以上是生活随笔為你收集整理的nlp cs224n 学习笔记1 Introduction and Word Vectors的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。