本文是對李宏毅老師的課程進行了整理。
視頻地址為：
https://www.bilibili.com/video/BV1Wv411h7kN?p=35

1 引入

Transform的應用場景

2 基本原理

Transform機制由編碼器（Encoder）和解碼器（Decoder）構成。

• 編碼器：輸入是一組向量序列，輸出為一組向量序列，attention（注意力機制）、CNN、RNN等都可以作為Encoder；
• 解碼器：根據(jù)編碼器的輸出，利用Begin特殊符號、輸入向量序列得到后續(xù)的輸出向量序列（如一段文字）。
  

上圖例子的步驟如下：

• Encoder的輸入為：機器學習；輸出為：向量序列；
• Decoder第一次輸入為：Encoder輸出的向量序列、Begin特殊符號；第一次輸出為文字出現(xiàn)的概率，假設最大的概率為：機；
• Decoder第二次輸入為：Decoder第一次輸出的向量序列、器；第二次輸出為文字出現(xiàn)的概率，假設最大的概率為：器；
• 重復直到整個序列處理完成為止。

因為Decoder不知道最后的輸出長度是多少，所以必須在輸出部分增加一個結束符號，用“END”表示。

Decoder有兩種方式：

• AT(Autoregressive) Decoder：輸入一個序列，輸出也是一個序列（一個一個單詞輸出）；
• NAT Decoder：輸入一串Begin（PPT是寫的START），直接輸出一個句子。

問：NAT Decoder方式如何知道結束？
答：有兩種方法，（1）用另外的分類器，輸入為Encoder的輸入，輸出為句子的長度；（2）假設句子最長不超過300，直接輸入300個Begin，然后得到一個句子，在輸出END之后的單詞都不考慮。
問：NAT Decoder方式有什么優(yōu)點？
答：平行，更穩(wěn)定。

總結

以上是生活随笔為你收集整理的Transform机制(1)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。