嵌入向量( embedding)是一項(xiàng)廣受歡迎的技術(shù)，有著眾多應(yīng)用。最近Mohammad和Jose撰寫了《Embeddings in Natural Language Processing Theory and Advances in Vector Representation of Meaning》，共163頁pdf，該書首先解釋了傳統(tǒng)的詞向量空間模型和詞嵌入(如Word2Vec和GloVe)，然后介紹了其他類型的嵌入，如語義、句子和文檔以及圖形嵌入，此外還概述了上下文化表示(如ELMo、BERT)的最新發(fā)展?fàn)顩r，并解釋了它們?cè)贜LP中的潛力。非常值得關(guān)注，推薦大家學(xué)習(xí)！

獲取方式：

關(guān)注下方公眾號(hào)，回復(fù)?embedding??即可獲取網(wǎng)盤鏈接：

目錄與內(nèi)容

自2010年代早期以來，嵌入(Embedding)一直是自然語言處理(NLP)的流行詞匯之一。將信息編碼為低維向量表示，在現(xiàn)代機(jī)器學(xué)習(xí)算法中很容易得到集成，這在NLP的發(fā)展中起到了核心作用。嵌入技術(shù)最初集中在單詞上，但很快注意力開始轉(zhuǎn)向其他形式:從圖形結(jié)構(gòu)(如知識(shí)庫)，轉(zhuǎn)向其他類型的文本內(nèi)容(如句子和文檔)。

第2章中提供了一些基本的NLP和機(jī)器學(xué)習(xí)應(yīng)用于語言問題的背景知識(shí)。然后，簡(jiǎn)要介紹了詞匯語義中常用的一些主要的知識(shí)資源。

第3章討論了單詞表示，從傳統(tǒng)的基于可數(shù)的模型的簡(jiǎn)要概述開始，接著是最近的基于預(yù)測(cè)的和基于字符的嵌入。在同一章中，還描述了一些專門用于嵌入的技術(shù)，例如跨語言單詞嵌入，以及單詞表示的通用評(píng)估方法。

第4章討論了嵌入結(jié)構(gòu)化知識(shí)資源的各種技術(shù)，特別是語義圖，將概述最近的主要方法對(duì)于圖的嵌入，并總結(jié)其應(yīng)用和評(píng)價(jià)。

在第5章中，重點(diǎn)討論了單詞的個(gè)別含義的表示，即:文字意義。討論了兩類意義表示(無監(jiān)督的和基于知識(shí)的)，然后討論了這類表示的評(píng)價(jià)技術(shù)。

第6章是關(guān)于上下文嵌入的最新分支。在本章中，首先解釋這種嵌入的必要性，然后描述主要的模型以及它們?nèi)绾闻c語言模型相聯(lián)系。在同一章中，還介紹了解釋和分析上下文模型有效性的一些工作。

第7章超越了單詞的層次，描述了如何將句子和文檔編碼成向量表示。介紹了一些著名的監(jiān)督和非監(jiān)督技術(shù)，并討論了這些表示的應(yīng)用和評(píng)估方法。

第8章解釋了最近討論的詞嵌入的一些倫理問題和固有偏見。本章還介紹了消除詞嵌入的一些建議。

最后，在第9章中，提出了結(jié)束語和開放式研究的挑戰(zhàn)。

獲取方式：

關(guān)注下方公眾號(hào)，回復(fù)?embedding??即可獲取網(wǎng)盤鏈接：

總結(jié)

以上是生活随笔為你收集整理的word2vec模型评估_【新书】从Word2Vec到BERT的自然语言处理嵌入进展，附下载的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。