字節跳動 Xinsong Zhang、李航兩位研究者在細粒度和粗粒度標記化的基礎上，提出了一種新的預訓練語言模型，他們稱之為 AMBERT（一種多粒度 BERT）。在構成上，AMBERT 具有兩個編碼器。

 

預訓練語言模型如BERT在自然語言理解(NLU)的許多任務中表現出色。模型中的tokens通常是細粒度的，像英語是單詞或sub-words或者是像中文字符。在英語中,例如,有多詞表達形式的自然詞匯單位,因此使用粗粒度標記似乎也是合理的。事實上，細粒度和粗粒度的標記化在學習預訓練語言模型方面都有優缺點。在本文中，我們提出了一種新的基于細粒度和粗粒度標記的預訓練語言模型，稱為AMBERT(一種多粒度的BERT)。對于英語，AMBERT將單詞序列(細粒度令牌)和短語序列(

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的自然语言处理NLP，如何使用AMBERT算法建立多粒度token预训练语言模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。