??

預訓練語言模型屬于人工智能領域中自然語言處理領域的一個細分，是自然語言處理領域的重要突破，得到了越來越廣泛的關注，相關研究者和從業人員在實際應用的過程中，亟需一本理論翔實、代碼細節充分的參考書。本次給大家贈送3本新書，即《預訓練語言模型》。

本書內容

本書詳細梳理了預訓練語言模型的基本概念和理論基礎，并通過實際代碼的講解， 闡述了具有代表性的預訓練語言模型的實現細節，非常適合需要快速、全面掌握預訓練語言模型的從業者閱讀。全書共8章，約200頁，全彩色印刷。

第1章：預訓練語言模型簡介

講解自然語言處理的研究進展，預訓練語言模型自然語言表示，預訓練語言模型發展史及分類。

第2章 預訓練語言模型基礎知識

講解統計語言模型，神經網絡語言模型，詞向量，RNN和LSTM基礎，基于RNN的語言模型，ELMo模型。

第3章?Transformer與Attention

講解Transformer 的結構，Self-Attention的思想，位置編碼與單向掩碼，模型的訓練技巧。

第4章 GPT系列模型

講解GPT的結構，如何在不同任務中使用，GPT的核心代碼解讀 ，GPT-2與GPT-3的特點。

第5章 BERT模型

講解BERT的特征提取能力，無監督訓練，微調訓練用于句對分類，單句分類，文本問答，單句標注等下游任務，核心代碼解讀。

第6章 后BERT時代的模型

講解跨語言模型XLM，多任務融合MT-DNN，文本生成模型UniLM，更大掩碼范圍的SpanBERT，置換自回歸模型XLNet，用于知識圖譜的ERNIE，多模態融合模型VideoBERT等。

第7章 評測和應用

講解自然語言處理的通用評測任務 ，領域評測任務 ，其他評測任務，以及Transformers 代碼實戰，多模態預訓練模型。

第8章 總結和展望

講解預訓練語言模型的發展現狀和未來展望。

本書作者：

邵浩?日本國立九州大學工學博士，現就職于vivo。曾任狗尾草智能科技AI研究院院長，帶領團隊打造了AI虛擬生命產品的交互引擎。曾是上海對外經貿大學副教授，碩士生導師。是上海市靜安區首屆優秀人才，上海市人才發展基金獲得者，杭州市高層次人才。任中國中文信息學會青年工作委員會委員，語言與知識計算專委會委員，中國計算機學會語音對話與聽覺專業組委員，中文信息技術專委會委員。發表論文50余篇，獲專利10余項，主持多項***及省部級課題，曾在聯合國、世界貿易組織、亞利桑那州立大學、香港城市大學等機構任訪問學者。劉一烽全國中學生物理競賽保送生，清華大學電子系碩士，曾獲學習成績優異獎學金?，F任vivo人工智能研究院AI算法工程師，主要研究方向為強化學習、自然語言處理，主導游戲AI和機器翻譯核心算法研發工作。

贈書

接下來是福利時間，本次我們贈送出3本書籍，想要獲得書籍的同學，在本公眾號下方留言，根據點贊數的高低，下周一上午（6.21）10:00統計出獲獎讀者，屆時聯系有三微信Longlongtogo即可。

如果沒有獲得贈書，也可以在當當購買，鏈接如下：

往期相關

• 【CV春季劃】2021年有三AI-CV春季劃出爐，最后一屆言有三手把手從零帶學

• 【CV夏季劃】告別入門，提升眼界，從掌握最有價值的那些CV方向開始
  

• 【CV秋季劃】生成對抗網絡GAN有哪些研究和應用，如何循序漸進地學習好？

• 【CV秋季劃】模型優化很重要，如何循序漸進地學習好？

• 【CV秋季劃】人臉算法那么多，如何循序漸進地學習好？

• 【CV秋季劃】圖像質量提升與編輯有哪些研究和應用，如何循序漸進地學習好？

總結

以上是生活随笔為你收集整理的【赠书】如何掌握好自然语言处理中的预训练语言模型？你需要读这本书的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。