推薦github上的一個NLP代碼教程：nlp-tutorial，教程中包含常見的NLP模型代碼實現（基于TensorFlow和Pytorch），而且教程中的大多數NLP模型都使用少于100行代碼。

教程說明

這是使用TensorFlow和Pytorch學習NLP（自然語言處理）的教程，把常用NLP模型用不到100行的代碼實現了，教程里附論文下載，并且包含py和ipynb文件，經過測試全部通過。

倉庫地址：

https://github.com/graykode/nlp-tutorial

里面有使用說明和樣例（py和ipynb格式）。

注意：論文下載請“閱讀原文”。

教程目錄

1. Basic Embedding Model（基礎嵌入模型）

1-1. NNLM(Neural Network Language Model)- Predict Next Word

• 論文下載

A Neural Probabilistic LanguageModel(2003)

• 代碼實現

?NNLM_Tensor.ipynb, NNLM_Torch.ipynb

1-2. Word2Vec(Skip-gram) - EmbeddingWords and Show Graph

• ?論文下載

Distributed Representations of Wordsand Phrases and their Compositionality(2013)

• 代碼實現

Word2Vec_Tensor(NCE_loss).ipynb,Word2Vec_Tensor(Softmax).ipynb,Word2Vec_Torch(Softmax).ipynb

1-3. FastText(Application Level)- Sentence Classification

• 論文下載

Bag of Tricks for Efficient Text Classification(2016)

• ?代碼實現

FastText.ipynb

2. CNN(卷積神經網絡)

2-1. TextCNN - BinarySentiment Classification

• 論文下載

Convolutional Neural Networks for SentenceClassification(2014)

• 代碼實現

TextCNN_Tensor.ipynb, TextCNN_Torch.ipynb

2-2. DCNN(Dynamic Convolutional Neural Network)

3. RNN(循環神經網絡)

3-1. TextRNN - Predict NextStep

• 論文下載

Finding Structure in Time(1990)

• 代碼實現

TextRNN_Tensor.ipynb, TextRNN_Torch.ipynb

3-2. TextLSTM - Autocomplete

• 論文下載

LONG SHORT-TERM MEMORY(1997)

• 代碼實現

TextLSTM_Tensor.ipynb, TextLSTM_Torch.ipynb

3-3. Bi-LSTM - Predict NextWord in Long Sentence

• 代碼實現

Bi_LSTM_Tensor.ipynb, Bi_LSTM_Torch.ipynb

4. Attention Mechanism（注意力機制）

4-1. Seq2Seq - Change Word

• ?論文下載

Learning Phrase Representations using RNN Encoder–Decoder for Statistical MachineTranslation(2014)

• 代碼實現

Seq2Seq_Tensor.ipynb, Seq2Seq_Torch.ipynb

4-2. Seq2Seq with Attention - Translate

• 論文下載

NeuralMachine Translation by Jointly Learning to Align and Translate(2014)

• 代碼實現

Seq2Seq(Attention)_Tensor.ipynb,Seq2Seq(Attention)_Torch.ipynb

4-3. Bi-LSTM with Attention - BinarySentiment Classification

• 代碼實現

Bi_LSTM(Attention)_Tensor.ipynb,Bi_LSTM(Attention)_Torch.ipynb

5. Model based on Transformer（Transformer模型）

5-1. The Transformer - Translate

• 論文下載

Attention Is All You Need(2017)

• 代碼實現

Transformer_Torch.ipynb, Transformer(Greedy_decoder)_Torch.ipynb

5-2. BERT - ClassificationNext Sentence & Predict Masked Tokens

• 論文下載

BERT: Pre-training of Deep Bidirectional Transformers for LanguageUnderstanding(2018)

• 代碼實現

  BERT_Torch.ipynb

部分內容截圖

TextCNN的兩種實現方式（使用TensorFlow和Pytorch）

總結

推薦github上的一個NLP代碼教程：nlp-tutorial，一個使用TensorFlow和Pytorch學習NLP（自然語言處理）的教程，教程中的大多數NLP模型都使用少于100行代碼實現。

倉庫地址：

https://github.com/graykode/nlp-tutorial

里面有使用說明和樣例（py和ipynb格式）。

倉庫作者：Tae Hwan Jung(Jeff Jung)

注意：論文下載請“閱讀原文”。

本站簡介↓↓↓?

“機器學習初學者”是幫助人工智能愛好者入門的個人公眾號（創始人：黃海廣）

初學者入門的道路上，最需要的是“雪中送炭”，而不是“錦上添花”。

本站的知識星球（黃博的機器學習圈子）ID：92416895

目前在機器學習方向的知識星球排名第一（上圖二維碼）

往期精彩回顧

• 良心推薦：機器學習入門資料匯總及學習建議（2018版）
  

• 黃海廣博士的github鏡像下載（機器學習及深度學習資源）

• 吳恩達老師的機器學習和深度學習課程筆記打印版
  

• 機器學習小抄-（像背托福單詞一樣理解機器學習）

• 首發：深度學習入門寶典-《python深度學習》原文代碼中文注釋版及電子書

• 機器學習的數學基礎

• 機器學習必備寶典-《統計學習方法》的python代碼實現、電子書及課件

• 吐血推薦收藏的學位論文排版教程（完整版）

• Python環境的安裝（Anaconda+Jupyter notebook+Pycharm）

• Python代碼寫得丑怎么辦？推薦幾個神器拯救你

• 重磅 | 完備的 AI 學習路線，最詳細的資源整理！

備注：本站qq群：865189078（共8個群，不用重復加）。

加入本站微信群，請加黃博的助理微信，說明：公眾號用戶加群。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的推荐：常见NLP模型的代码实现（基于TensorFlow和PyTorch）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。