假設(shè)我們?cè)谧鲆粋€(gè)從中文翻譯到英文的過程，我們的詞表很簡(jiǎn)單如下：

中文詞表：[機(jī)、器、學(xué)、習(xí)] 英文詞表[deep、machine、learning、chinese]

先來看一下Transformer的整個(gè)過程：

接下來，我們將按順序來講解Transformer的過程，并配有配套的excel計(jì)算過程和tensorflow代碼。

先說明一下，本文的tensorflow代碼中使用兩條訓(xùn)練數(shù)據(jù)（因?yàn)閷?shí)際場(chǎng)景中輸入都是batch的），但excel計(jì)算只以第一條數(shù)據(jù)的處理過程為例。

1、Encoder輸入

Encoder輸入過程如下圖所示：

首先輸入數(shù)據(jù)會(huì)轉(zhuǎn)換為對(duì)應(yīng)的embedding，然后會(huì)加上位置偏置，得到最終的輸入。

這里，為了結(jié)果的準(zhǔn)確計(jì)算，我們使用常量來代表embedding，假設(shè)中文詞表對(duì)應(yīng)的embedding值分別是：

位置偏置position em

總結(jié)

以上是生活随笔為你收集整理的使用Excel和TF实现Transformer！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。