NLP近幾年非常火，且發(fā)展特別快。像BERT、GPT-3、圖神經(jīng)網(wǎng)絡(luò)、知識(shí)圖譜等技術(shù)應(yīng)運(yùn)而生。

我們正處在信息爆炸的時(shí)代、面對(duì)每天鋪天蓋地的網(wǎng)絡(luò)資源和論文、很多時(shí)候我們面臨的問(wèn)題并不是缺資源，而是找準(zhǔn)資源并高效學(xué)習(xí)。但很多時(shí)候你會(huì)發(fā)現(xiàn)，花費(fèi)大量的時(shí)間在零零散散的內(nèi)容上，但最后發(fā)現(xiàn)效率極低，浪費(fèi)了很多寶貴的時(shí)間。為了迎合大家學(xué)習(xí)的需求，我們這次重磅推出了《自然語(yǔ)言處理終身升級(jí)版》。

課程覆蓋了從經(jīng)典的機(jī)器學(xué)習(xí)、文本處理技術(shù)、序列模型、深度學(xué)習(xí)、預(yù)訓(xùn)練模型、知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)所有必要的技術(shù)。

重點(diǎn)：課程會(huì)不斷更新，比如一篇新的有趣的論文出現(xiàn)在arxiv，我們會(huì)在1個(gè)月之內(nèi)提供技術(shù)的講解和實(shí)戰(zhàn)。我相信這個(gè)課程將是你在NLP領(lǐng)域中的終身伴侶。

01 課程大綱

第一部分：機(jī)器學(xué)習(xí)基礎(chǔ)篇

第一章：自然語(yǔ)言處理概述

• 自然語(yǔ)言處理的現(xiàn)狀與前景

• 自然語(yǔ)言處理應(yīng)用

• 自然語(yǔ)言處理經(jīng)典任務(wù)

?

第二章：數(shù)據(jù)結(jié)構(gòu)與算法基礎(chǔ)

• 時(shí)間復(fù)雜度、空間復(fù)雜度

• 動(dòng)態(tài)規(guī)劃

• 貪心算法

• 各種排序算法

第三章：分類與邏輯回歸

• 邏輯回歸

• 最大似然估計(jì)

• 優(yōu)化與梯度下降法

• 隨機(jī)梯度下降法

第四章：模型泛化與調(diào)參

• 理解過(guò)擬合、防止過(guò)擬合

• L1與L2正則

• 交叉驗(yàn)證

• 正則與MAP估計(jì)

第二部分：文本處理篇

第五章：文本預(yù)處理與表示

• 各類分詞算法

• 詞的標(biāo)準(zhǔn)化

• 拼寫(xiě)糾錯(cuò)、停用詞

• 獨(dú)熱編碼表示

• tf-idf與相似度

• 分布式表示與詞向量

• 詞向量可視化與評(píng)估

第六章：詞向量技術(shù)

• 獨(dú)熱編碼的優(yōu)缺點(diǎn)

• 分布式表示的優(yōu)點(diǎn)

• 靜態(tài)詞向量與動(dòng)態(tài)詞向量

• SkipGram與CBOW

• SkipGram詳解

• Negative? Sampling

第七章：語(yǔ)言模型

• 語(yǔ)言模型的作用

• 馬爾科夫假設(shè)

• UniGram, BiGram, NGram模型

• 語(yǔ)言模型的評(píng)估

• 語(yǔ)言模型的平滑技術(shù)

第三部分：序列模型篇

第八章：隱馬爾科夫模型

• HMM的應(yīng)用

• HMM的Inference

• 維特比算法

• 前向、后向算法

• HMM的參數(shù)估計(jì)詳解

第九章：線性條件隨機(jī)場(chǎng)

• 有向圖與無(wú)向圖

• 生成模型與判別模型

• 從HMM與MEMM

• MEMM中的標(biāo)簽偏置

• Log-Linear模型介紹

• 從Log-Linear到LinearCRF

• LinearCRF的參數(shù)估計(jì)

?

第四部分：深度學(xué)習(xí)與預(yù)訓(xùn)練篇

第十章：深度學(xué)習(xí)基礎(chǔ)

• 理解神經(jīng)網(wǎng)絡(luò)

• 各種常見(jiàn)的激活函數(shù)

• 反向傳播算法

• 淺層模型與深度模型對(duì)比

• 深度學(xué)習(xí)中的層次表示

• 深度學(xué)習(xí)中的過(guò)擬合

第十一章：RNN與LSTM

• 從HMM到RNN模型

• RNN中的梯度問(wèn)題

• 梯度消失與LSTM

• LSTM到GRU

• 雙向LSTM

• 雙向深度LSTM

第十二章：Seq2Seq模型與注意力機(jī)制

• Seq2Seq模型

• Greedy Decoding

• Beam Search

• 長(zhǎng)依賴所存在的問(wèn)題

• 注意力機(jī)制的實(shí)現(xiàn)

第十三章：動(dòng)態(tài)詞向量與ELMo技術(shù)

• 基于上下文的詞向量技術(shù)

• 圖像識(shí)別中的層次表示

• 文本領(lǐng)域中的層次表示

• ELMo模型

• ELMo的預(yù)訓(xùn)練與測(cè)試

• ELMo的優(yōu)缺點(diǎn)

第十四章：自注意力機(jī)制與Transformer

• LSTM模型的缺點(diǎn)

• Transformer概述

• 理解自注意力機(jī)制

• 位置信息的編碼

• 理解Encoder和Decoder區(qū)別

• 理解Transformer的訓(xùn)練與預(yù)測(cè)

• Transformer的缺點(diǎn)

第十五章：BERT與ALBERT

• 自編碼介紹

• Transformer Encoder

• Masked語(yǔ)言模型

• BERT模型

• BERT的不同訓(xùn)練方式

• ALBERT?
  

第十六章：BERT的其他變種

• RoBERTa模型

• SpanBERT模型

• FinBERT模型

• 引入先驗(yàn)知識(shí)

• K-BERT

• KG-BERT

第十七章：GPT與XLNet

• Transformer Encoder回顧

• GPT-1, GPT-2,? GPT-3

• ELMo的缺點(diǎn)

• 語(yǔ)言模型下同時(shí)考慮上下文

• Permutation LM

• 雙流自注意力機(jī)制

第五部分：信息抽取與知識(shí)圖譜篇

?

第十八章：命名識(shí)別與實(shí)體消歧

• 信息抽取的應(yīng)用和關(guān)鍵技術(shù)

• 命名實(shí)體識(shí)別

• NER識(shí)別常用技術(shù)

• 實(shí)體統(tǒng)一技術(shù)

• 實(shí)體消歧技術(shù)

• 指代消解

第十九章：關(guān)系抽取

• 關(guān)系抽取的應(yīng)用

• 基于規(guī)則的方法

• 基于監(jiān)督學(xué)習(xí)的方法

• Bootstrap方法

• Distant Supervision方法

第二十章：句法分析

• 句法分析的應(yīng)用

• CFG介紹

• 從CFG到PCFG

• 評(píng)估語(yǔ)法樹(shù)

• 尋找最好的語(yǔ)法樹(shù)

• CKY算法

第二十一章：依存文法分析

• 從語(yǔ)法分析到依存文法分析

• 依存文法分析的應(yīng)用

• 基于圖算法的依存文法分析

• 基于Transition-based的依存文法分析

• 依存文法的應(yīng)用案例

第二十二章：知識(shí)圖譜

• 知識(shí)圖譜的重要性

• 知識(shí)圖譜中的實(shí)體與關(guān)系

• 非結(jié)構(gòu)化數(shù)據(jù)與構(gòu)造知識(shí)圖譜

• 知識(shí)圖譜設(shè)計(jì)

• 圖算法的應(yīng)用

第六部分：模型壓縮與圖神經(jīng)網(wǎng)絡(luò)篇

第二十三章：模型的壓縮

• 模型壓縮重要性

• 常見(jiàn)的模型壓縮總覽

• 基于矩陣分解的壓縮技術(shù)

• 基于蒸餾的壓縮技術(shù)

• 基于貝葉斯模型的壓縮技術(shù)

• 模型的量化

第二十四章：基于圖的學(xué)習(xí)

• 圖的表示

• 圖與知識(shí)圖譜

• 關(guān)于圖的常見(jiàn)算法

• Deepwalk和Node2vec

• TransE圖嵌入算法

• DSNE圖嵌入算法

第二十五章：圖神經(jīng)網(wǎng)絡(luò)

• 卷積神經(jīng)網(wǎng)絡(luò)回顧

• 在圖中設(shè)計(jì)卷積操作

• 圖中的信息傳遞

• 圖卷積神經(jīng)網(wǎng)絡(luò)

• 圖卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典應(yīng)用

第二十六章：GraphSage與GAT

• 從GCN到GraphSAge

• 注意力機(jī)制回歸

• GAT模型詳解

• GAT與GCN比較

• 對(duì)于異構(gòu)數(shù)據(jù)的處理

第二十七章：圖神經(jīng)網(wǎng)絡(luò)的其他應(yīng)用

• Node Classification

• Graph Classification

• Link Prediction

• 社區(qū)挖掘

• 推薦系統(tǒng)

• 圖神經(jīng)網(wǎng)絡(luò)的未來(lái)發(fā)展

課程其他的細(xì)節(jié)可以聯(lián)系課程顧問(wèn)來(lái)獲取

添加課程顧問(wèn)微信

報(bào)名、課程咨詢

????????????

02?課程中的部分案例

1. 實(shí)現(xiàn)一個(gè)拼寫(xiě)糾錯(cuò)器

? ? ? ? 2.?從零實(shí)現(xiàn)Word2Vec詞向量

? ? ? ? 3. 利用SkipGram做推薦

? ? ? ? 4. 從零實(shí)現(xiàn)HMM模型

? ? ? ? 5. 基于Linear-CRF的詞性分類器實(shí)現(xiàn)

? ? ? ? 6. 從零實(shí)現(xiàn)深度學(xué)習(xí)反向傳播算法

? ? ? ? 7. 實(shí)現(xiàn)AI程序幫助寫(xiě)程序

? ? ? ? 8. 實(shí)現(xiàn)AI程序幫助寫(xiě)文章

9. 基于Transformer的機(jī)器翻譯

? ? ? ?10. 基于KG-BERT的知識(shí)圖譜學(xué)習(xí)

? ? ? ?11. 基于知識(shí)圖譜的風(fēng)控系統(tǒng)

? ? ? ?12. 基于知識(shí)圖譜的個(gè)性化教學(xué)

? ? ? ?13. 利用蒸餾算法壓縮Transformer

? ? ? ?14. 利用GCN實(shí)現(xiàn)社交推薦

? ? ? ?15. 基于GAT的虛假新聞檢測(cè)

? ??? （剩下20+個(gè)案例被折疊，完整請(qǐng)咨詢...）

03?課程中的部分項(xiàng)目作業(yè)

????? ??

1.?豆瓣電影評(píng)分預(yù)測(cè)

? ??涉及到的知識(shí)點(diǎn)：

• 中文分詞技術(shù)

• 獨(dú)熱編碼、tf-idf

• 分布式表示與Word2Vec

• BERT向量、句子向量

2. 智能客服問(wèn)答系統(tǒng)

? ??涉及到的知識(shí)點(diǎn)：

• 問(wèn)答系統(tǒng)搭建流程

• 文本的向量化表示

• FastText

• 倒排表

• 問(wèn)答系統(tǒng)中的召回、排序

3. 基于Linear-CRF的醫(yī)療實(shí)體識(shí)別

? ??涉及到的知識(shí)點(diǎn)：

• 命名實(shí)體識(shí)別

• 特征工程

• 評(píng)估標(biāo)準(zhǔn)

• 過(guò)擬合

4. 基于閑聊的對(duì)話系統(tǒng)搭建

? ??涉及到的知識(shí)點(diǎn)：

• 常見(jiàn)的對(duì)話系統(tǒng)技術(shù)

• 閑聊型對(duì)話系統(tǒng)框架

• 數(shù)據(jù)的處理技術(shù)

• BERT的使用

• Transformer的使用

5. 搭建基于醫(yī)療知識(shí)圖譜的問(wèn)答系統(tǒng)

? ??涉及到的知識(shí)點(diǎn)：

• 醫(yī)療專業(yè)詞匯的使用

• 獲取問(wèn)句的意圖

• 問(wèn)句的解釋、提取關(guān)鍵實(shí)體

• 轉(zhuǎn)化為查詢語(yǔ)句

6. 搭建基于醫(yī)療知識(shí)圖譜的問(wèn)答系統(tǒng)

? ??涉及到的知識(shí)點(diǎn)：

• 文本摘要生成介紹

• 關(guān)鍵詞提取技術(shù)

• 圖神經(jīng)網(wǎng)絡(luò)的摘要生成

• 基于生成式的摘要提取技術(shù)

• 文本摘要質(zhì)量的評(píng)估

04?課程中帶讀的部分論文

主題	論文名稱
機(jī)器學(xué)習(xí)	XGBoost: A Scalable Tree Boosting System
機(jī)器學(xué)習(xí)	Regularization and Variable Selection via the Elastic Net
詞向量	Evaluation methods for unsupervised word embeddings
詞向量	Evaluation methods for unsupervised word embeddings
詞向量	GloVe: Global Vectors for Word Representation
詞向量	Deep Contexualized Word Representations
詞向量	Attention is All You Need
詞向量	BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
詞向量	XLNet: Generalized Autoregressive Pretraining for Language Understanding
詞向量	KG-BERT: BERT for Knowledge Graph Completion
詞向量	Language Models are Few-shot Learners
圖學(xué)習(xí)	Semi-supervised Classification with Graph Convolutional Networks
圖學(xué)習(xí)	Graph Attention Networks
圖學(xué)習(xí)	GraphSAGE: Inductive Representation Learning on Large Graphs
圖學(xué)習(xí)	Node2Vec: Scalable Feature Learning for Networks
被折疊	其他數(shù)十篇文章......

05 課程適合誰(shuí)？

大學(xué)生

• 理工科相關(guān)專業(yè)的本科/碩士/博士生，畢業(yè)后想從事NLP工作的人

• 希望能夠深入AI領(lǐng)域，為科研或者出國(guó)做準(zhǔn)備

• 希望系統(tǒng)性學(xué)習(xí)NLP領(lǐng)域的知識(shí)
  

在職人士

• 目前從事IT相關(guān)的工作，今后想做跟NLP相關(guān)的項(xiàng)目

• 目前從事AI相關(guān)的工作，希望與時(shí)俱進(jìn)，加深對(duì)技術(shù)的理解

• 希望能夠及時(shí)掌握前沿技術(shù)

06?報(bào)名須知

1、本課程為收費(fèi)教學(xué)。

2、本期僅招收剩余名額有限。

3、品質(zhì)保障！正式開(kāi)課后7天內(nèi)，無(wú)條件全額退款。

4、學(xué)習(xí)本課程需要具備一定的機(jī)器學(xué)習(xí)基礎(chǔ)。

●●●

課程其他的細(xì)節(jié)可以聯(lián)系課程顧問(wèn)來(lái)獲取

添加課程顧問(wèn)微信

報(bào)名、課程咨詢

????????????

總結(jié)

以上是生活随笔為你收集整理的详解NLP技术中的：预训练模型、图神经网络、模型压缩、知识图谱的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。