詞嵌入（word2vec）

自然語言是一套用來表達含義的復雜系統。在這套系統中，詞是表義的基本單元。顧名思義，詞向量是用來表示詞的向量，也可被認為是詞的特征向量或表征。把詞映射為實數域向量的技術也叫詞嵌入（word embedding）。近年來，詞嵌入已逐漸成為自然語言處理的基礎知識。

跳字模型

跳字模型假設基于某個詞來生成它在文本序列周圍的詞。舉個例子：

• 假設文本序列是“the”“man”“loves”“his”“son”
• 以“loves”作為中心詞，設背景窗口大小為2

如下圖所示，跳字模型所關心的是，給定中心詞“loves”，生成與它距離不超過2個詞的背景詞“the”“man”“his”“son”的條件概率，即

$$P(\text{the"},\text{man"},\text{his"},\text{son"}\mid \text{“loves"}).$$

假設給定中心詞的情況下，背景詞的生成是相互獨立的，那么上式可以改寫成

$$P(\text{the"}\mid \text{loves"})?P(\text{man"}\mid \text{loves"})?P(\text{his"}\mid \text{loves"})?P(\text{son"}\mid \text{loves"}).$$

在跳字模型中，每個詞被表示成兩個$d$維向量，用來計算條件概率。

• 假設這個詞在詞典中索引為$i$
• 當它為中心詞時向量表示為${\mathbf{v}}_i\in {\mathbb{R}}^d$
• 當它為背景詞時向量表示為${\mathbf{u}}_i\in {\mathbb{R}}^d$
• 設中心詞$w_c$在詞典中索引為$c$，背景詞$w_o$在詞典中索引為$o$

給定中心詞生成背景詞的條件概率可以通過對向量內積做softmax運算而得到：

$$P(w_o\mid w_c)=\frac{\text{exp}({\mathbf{u}}_o^{?}{\mathbf{v}}_c)}{{\sum }_{i\in \mathcal{V}}\text{exp}({\mathbf{u}}_i^{?}{\mathbf{v}}_c)},$$

其中詞典索引集$\mathcal{V}=0,1,\dots ,|\mathcal{V}|?1$。假設給定一個長度為$T$的文本序列，設時間步$t$的詞為$w^{(t)}$。假設給定中心詞的情況下背景詞的生成相互獨立，當背景窗口大小為$m$時，跳字模型的似然函數即給定任一中心詞生成所有背景詞的概率。

$$\prod _{t=1}^T\prod _{?m\le j\le m,j=0}P(w^{(t+j)}\mid w^{(t)}),$$

這里小于1和大于$T$的時間步可以忽略。

訓練跳字模型

跳字模型的參數是每個詞所對應的中心詞向量和背景詞向量。訓練中我們通過最大化似然函數來學習模型參數，即最大似然估計。這等價于最小化以下損失函數：

$$?\sum _{t=1}^T\sum _{?m\le j\le m,j=0}\text{log}P(w^{(t+j)}\mid w^{(t)}).$$

如果使用隨機梯度下降，那么在每一次迭代里我們隨機采樣一個較短的子序列來計算有關該子序列的損失，然后計算梯度來更新模型參數。梯度計算的關鍵是條件概率的對數有關中心詞向量和背景詞向量的梯度。根據定義，首先看到

$$\log P(w_o\mid w_c)={\mathbf{u}}_o^{?}{\mathbf{v}}_c?\log \left(\sum i\in \mathcal{V}\text{exp}({\mathbf{u}}_i^{?}{\mathbf{v}}_c)\right)$$

通過微分，我們可以得到上式中${\mathbf{v}}_c$的梯度

$$\begin{array}{rl}\frac{?\text{log}P(w_o\mid w_c)}{?{\mathbf{v}}_c}& ={\mathbf{u}}_o?\frac{{\sum }_{j\in \mathcal{V}}\exp ({\mathbf{u}}_j^{?}{\mathbf{v}}_c){\mathbf{u}}_j}{{\sum }_{i\in \mathcal{V}}\exp ({\mathbf{u}}_i^{?}{\mathbf{v}}_c)}\\ & ={\mathbf{u}}_o?\sum _{j\in \mathcal{V}}\left(\frac{\text{exp}({\mathbf{u}}_j^{?}{\mathbf{v}}_c)}{{\sum }_{i\in \mathcal{V}}\text{exp}({\mathbf{u}}_i^{?}{\mathbf{v}}_c)}\right){\mathbf{u}}_j\\ & ={\mathbf{u}}_o?\sum _{j\in \mathcal{V}}P(w_j\mid w_c){\mathbf{u}}_j.\end{array}$$

它的計算需要詞典中所有詞以$w_c$為中心詞的條件概率。有關其他詞向量的梯度同理可得。

訓練結束后，對于詞典中的任一索引為$i$的詞，我們均得到該詞作為中心詞和背景詞的兩組詞向量${\mathbf{v}}_i$和${\mathbf{u}}_i$。在自然語言處理應用中，一般使用跳字模型的中心詞向量作為詞的表征向量。

連續詞袋模型

連續詞袋模型與跳字模型類似。與跳字模型最大的不同在于，連續詞袋模型假設基于某中心詞在文本序列前后的背景詞來生成該中心詞。在同樣的文本序列“the”“man”“loves”“his”“son”里，以“loves”作為中心詞，且背景窗口大小為2時，連續詞袋模型關心的是，給定背景詞“the”“man”“his”“son”生成中心詞“loves”的條件概率（如下圖所示），也就是

$$P(\text{“loves"}\mid \text{“the"},\text{man"},\text{his"},\text{“son"}).$$

因為連續詞袋模型的背景詞有多個，我們將這些背景詞向量取平均，然后使用和跳字模型一樣的方法來計算條件概率。設${\mathbf{v}}_{\mathbf{i}}\in {\mathbb{R}}^d$和${\mathbf{u}}_{\mathbf{i}}\in {\mathbb{R}}^d$分別表示詞典中索引為$i$的詞作為背景詞和中心詞的向量（注意符號的含義與跳字模型中的相反）。設中心詞$w_c$在詞典中索引為$c$，背景詞$w_{o_1},\dots ,w_{o_{2m}}$在詞典中索引為$o_1,\dots ,o_{2m}$，那么給定背景詞生成中心詞的條件概率

$$P(w_c\mid w_{o_1},\dots ,w_{o_{2m}})=\frac{\text{exp}\left(\frac{1}{2m}{\mathbf{u}}_c^{?}({\mathbf{v}}_{o_1}+\dots +{\mathbf{v}}_{o2m})\right)}{{\sum }_{i\in \mathcal{V}}\text{exp}\left(\frac{1}{2m}{\mathbf{u}}_i^{?}({\mathbf{v}}_{o_1}+\dots +{\mathbf{v}}_{o2m})\right)}.$$

為了讓符號更加簡單，我們記$\mathcal{W}o=w{o}_1,\dots ,w_{o_{2m}}$，且${\bar{\mathbf{v}}}_o=\left({\mathbf{v}}_{o_1}+\dots +{\mathbf{v}}_{o_{2m}}\right)/(2m)$，那么上式可以簡寫成

$$P(w_c\mid {\mathcal{W}}_o)=\frac{\exp \left({\mathbf{u}}_c^{?}{\bar{\mathbf{v}}}_o\right)}{{\sum }_{i\in \mathcal{V}}\exp \left({\mathbf{u}}_i^{?}{\bar{\mathbf{v}}}_o\right)}.$$

給定一個長度為$T$的文本序列，設時間步$t$的詞為$w^{(t)}$，背景窗口大小為$m$。連續詞袋模型的似然函數是由背景詞生成任一中心詞的概率

$$\prod _{t=1}^{T}P(w^{(t)}\mid w^{(t?m)},\dots ,w^{(t?1)},w^{(t+1)},\dots ,w^{(t+m)}).$$

訓練連續詞袋模型

訓練連續詞袋模型同訓練跳字模型基本一致。連續詞袋模型的最大似然估計等價于最小化損失函數

$$?\sum _{t=1}^T\text{log}P(w^{(t)}\mid w^{(t?m)},\dots ,w^{(t?1)},w^{(t+1)},\dots ,w^{(t+m)}).$$

注意到

$$\log P(w_c\mid {\mathcal{W}}_o)={\mathbf{u}}_c^{?}{\bar{\mathbf{v}}}_o?\log \left(\sum _{i\in \mathcal{V}}\exp \left({\mathbf{u}}_i^{?}{\bar{\mathbf{v}}}_o\right)\right).$$

通過微分，我們可以計算出上式中條件概率的對數有關任一背景詞向量${\mathbf{v}}_{o_i}$（$i=1,\dots ,2m$）的梯度

$$\begin{gathered} \frac{?\log P(w_c\mid {\mathcal{W}}_o)}{?{\mathbf{v}}_{o_i}}=\frac{1}{2m}?{\mathbf{u}}_c?\sum _{j\in \mathcal{V}}\frac{\exp ({\mathbf{u}}_j^{?}{\bar{\mathbf{v}}}_o){\mathbf{u}}_j}{{\sum }_{i\in \mathcal{V}}\text{exp}({\mathbf{u}}_i^{?}{\bar{\mathbf{v}}}_o)}? \\ =\frac{1}{2m}?{\mathbf{u}}_c?\sum _{j\in \mathcal{V}}P(w_j\mid {\mathcal{W}}_o){\mathbf{u}}_j?. \end{gathered}$$

有關其他詞向量的梯度同理可得。同跳字模型不一樣的一點在于，我們一般使用連續詞袋模型的背景詞向量作為詞的表征向量。

• 詞向量是用來表示詞的向量。把詞映射為實數域向量的技術也叫詞嵌入。
• word2vec包含跳字模型和連續詞袋模型。跳字模型假設基于中心詞來生成背景詞。連續詞袋模型假設基于背景詞來生成中心詞。

總結

以上是生活随笔為你收集整理的深度学习-词嵌入（word2vec）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。