本期內(nèi)容選編自微信公眾號(hào)「開放知識(shí)圖譜」。

TheWebConf 2018

■ 鏈接 | https://www.paperweekly.site/papers/1956

■ 解讀 | 花云程，東南大學(xué)博士，研究方向?yàn)樽匀徽Z言處理、知識(shí)圖譜問答

動(dòng)機(jī)

對于 KBQA 任務(wù)，有兩個(gè)最為重要的部分：其一是問題實(shí)體識(shí)別，即將問題中的主題實(shí)體識(shí)別出來，并與 KB 做實(shí)體鏈接；其二是謂詞映射。

對于主題實(shí)體識(shí)別任務(wù)，之前的做法多為依靠字符串相似度，再輔以人工抽取的特征和規(guī)則來完成的。但是這樣的做法并沒有將問題的語義與實(shí)體類型、實(shí)體關(guān)系這樣的實(shí)體信息考慮進(jìn)來。

實(shí)體類型和實(shí)體關(guān)系，很大程度上，是與問題的上下文語義相關(guān)的。當(dāng)只考慮實(shí)體關(guān)系時(shí)，會(huì)遇到 zero-shot 的問題，即測試集中某實(shí)體的關(guān)系，是在訓(xùn)練集中沒有遇到過的，這樣的實(shí)體關(guān)系就沒法準(zhǔn)確地用向量表達(dá)。?

因此，為了解決上述問題，本文首先利用 entity type（實(shí)體類型）的層次結(jié)構(gòu)（主要為實(shí)體類型之間的父子關(guān)系），來解決 zero-shot 的問題。

如同利用 wordnet 計(jì)算 word 相似度的做法一般，文章將父類型的“語義”視為所有子類型的“語義”之和。一個(gè)實(shí)體總是能夠與粗顆粒的父類型相關(guān)，例如一個(gè)實(shí)體至少能夠與最粗顆粒的 person、location 等類型相連。這樣，利用實(shí)體所述的類型，在考慮實(shí)體上下文時(shí)，就可以一定程度上彌補(bǔ)實(shí)體關(guān)系的 zero-shot 問題。

此外，本文建立了一個(gè)神經(jīng)網(wǎng)絡(luò)模型 Hierarchical Type constrained Topic Entity Detection (HTTED)，利用問題上下文、實(shí)體類型、實(shí)體關(guān)系的語義，來計(jì)算候選實(shí)體與問題上下文的相似度，選取最相似的實(shí)體，來解決 NER 問題。

經(jīng)過實(shí)驗(yàn)證明，HTTED 系統(tǒng)對比傳統(tǒng)的系統(tǒng)來說，達(dá)到了目前最優(yōu)的實(shí)體識(shí)別效果。

貢獻(xiàn)

文章的貢獻(xiàn)有：?

• 利用父子類型的層次結(jié)構(gòu)來解決稀疏類型訓(xùn)練不充分的問題；

• 設(shè)計(jì)了基于 LSTM 的 HTTED 模型，進(jìn)行主題實(shí)體識(shí)別任務(wù)；

• 提出的模型通過實(shí)驗(yàn)驗(yàn)證取得了 state-of-art 的效果。

方法

本文首先對于父子類型的層次結(jié)構(gòu)進(jìn)行解釋和論述，也是 HTTED 的核心思想。

本文認(rèn)為，父類型的語義視為接近于所有子類型的語義之和。例如父類型 organization 的語義，就相當(dāng)于子類型 company、enterprise 等語義之和。如果類型是由定維向量表示，那么父類型的向量就是子類型的向量之和。

此外，由于在數(shù)據(jù)集中，屬于子類型的實(shí)體比較稀疏，而父類型的實(shí)體稠密，如果不采用文中的方法，那么稀疏的子類型將會(huì)得不到充分的訓(xùn)練。若將父類型以子類型表示，那么父子類型都可以得到充分地訓(xùn)練。

▲?圖1：HTTED模型圖

其次是對文中模型的解釋。如上圖 1 所示，HTTED 使用了三個(gè)編碼器來對不同成分編碼。?

其一，是問答上下文編碼器，即將問題經(jīng)過分詞后得到的 tokens，以預(yù)訓(xùn)練得到的詞向量來表示，并依次輸入雙向 LSTM 進(jìn)行第一層的編碼；此后，將雙向 LSTM 得到的輸出拼接，再輸入第二層的 LSTM 進(jìn)行編碼，即得到表示問題上下文的 d 維向量 q。?

其二，是實(shí)體類型編碼器，即對于某個(gè)候選實(shí)體 e，得到其連接的類型，并將父類型以所有子類型向量之和表示，再將這些類型對應(yīng)的向量輸入一個(gè) LSTM 中進(jìn)行編碼，得到實(shí)體類型的 d 維向量 et。?

其三，是實(shí)體關(guān)系編碼器，即對于某個(gè)候選實(shí)體 e，得到其所有實(shí)體關(guān)系，并表示成向量。此外，對于實(shí)體關(guān)系，將其關(guān)系名切割為 tokens，并以詞向量表示。然后將實(shí)體關(guān)系和實(shí)體關(guān)系名這兩種向量，輸入一個(gè) LSTM 中進(jìn)行編碼，得到實(shí)體關(guān)系的d維向量 er。?

得到三個(gè)向量后，文章認(rèn)為實(shí)體的語義可以由實(shí)體類型、實(shí)體關(guān)系近似表達(dá)，所以有：

而在訓(xùn)練時(shí)，設(shè)置一個(gè) margin，則 ranking loss 為：

其中 γ 為超參數(shù)。

實(shí)驗(yàn)結(jié)果

文章使用單關(guān)系問答數(shù)據(jù)集 SimpleQuestions 和知識(shí)圖譜 FB2M，并有 112 個(gè)具有層次父子關(guān)系的實(shí)體類型。

HTTED 的詞向量為經(jīng)過預(yù)訓(xùn)練的，關(guān)系向量是初始隨機(jī)的，而類型向量中，葉子類型初始隨機(jī)，父類型的向量由子類型的向量累加得到。如下圖 2 所示，為 HTTED 與其他系統(tǒng)的效果對比，其中 -Hierarchy表示 HTTED 去除了實(shí)體類型的層次結(jié)構(gòu)表示。

▲?圖2：主題實(shí)體識(shí)別效果對比圖

由圖 2 可見，HTTED 為 state-of-art 的效果。并且，將實(shí)體類型的層次結(jié)構(gòu)去除，HTTED 的準(zhǔn)確性下降很多。可見層次類型約束對于該模型的重要性。?

由下圖 3 可見，由于使用了層次結(jié)構(gòu)的類型，同名的實(shí)體被識(shí)別出來，但是與問題上下文更相關(guān)的實(shí)體都被挑選出來，所以能夠正確識(shí)別到主題實(shí)體。

▲?圖3：主題實(shí)體識(shí)別示例圖

總結(jié)?

這篇文章，主要有兩個(gè)主要工作：其一，是引入了層次結(jié)構(gòu)的實(shí)體類型約束，來表達(dá)實(shí)體的語義，使得與問題上下文相關(guān)的實(shí)體，更容易被找到；其二，是建立了基于 LSTM 的 HTTED 模型，提高了主題實(shí)體識(shí)別的效果。

AAAI 2018

■ 鏈接 |?https://www.paperweekly.site/papers/1957

■ 解讀 |?張文，浙江大學(xué)博士生，研究方向知識(shí)圖譜的分布式表示與推理

動(dòng)機(jī)

知識(shí)圖譜的分布式表示旨在將知識(shí)圖譜中的實(shí)體和關(guān)系表示到連續(xù)的向量空間中，本文考慮的問題是如何將知識(shí)庫的分布式表示和邏輯規(guī)則結(jié)合起來，并提出了一個(gè)新的表示學(xué)習(xí)方法 RUGE (Rule-Guided Embedding)。

貢獻(xiàn)?

1. 本文提出了一種新的知識(shí)圖譜表示學(xué)習(xí)方法 RUGE，RUGE 在向量表示 (embeddings) 的學(xué)習(xí)過程中迭代地而非一次性地加入了邏輯規(guī)則的約束；?

2. 本文使用的是已有算法自動(dòng)挖掘的規(guī)則，RUGE 的有效性證明了算法自動(dòng)挖掘的規(guī)則的有效性；

3. 本文提出的方法 RUGE 具有很好的通用型，對于不同的邏輯規(guī)則和不同置信度的規(guī)則的魯棒性較好。

方法 RUGE?

RUGE 方法的輸入有三個(gè)部分：?

• 已標(biāo)記的三原組：知識(shí)庫中已有三元組；

• 未標(biāo)記的三元組：知識(shí)庫中不存在的三元組。在這篇論文中未標(biāo)記的三元組只考慮了能夠由邏輯規(guī)則推導(dǎo)出的三元組；

• 概率邏輯規(guī)則：本文主要考慮了一階謂詞邏輯規(guī)則，每一個(gè)邏輯規(guī)則都標(biāo)有一個(gè)成立的概率值。實(shí)驗(yàn)中使用的概率規(guī)則來自于規(guī)則自動(dòng)挖掘系統(tǒng) AMIE+。

模型核心想法如下：

三元組表示：

本文采用了 ComplEx 作為基礎(chǔ)的知識(shí)庫分布式表示學(xué)習(xí)的模型，在 ComplEx中，每一個(gè)實(shí)體和關(guān)系都被表示為一個(gè)復(fù)數(shù)向量，一個(gè)三元組 (e_i,r_k,e_j) 的得分函數(shù)設(shè)計(jì)如下：

其中 Re<x> 表示取 x 實(shí)部的值，bar{e}_j 為 e_j 的共軛向量。正確的三元組得分函數(shù)值會(huì)較高而不正確的三元組得分函數(shù)的值會(huì)較低。?

邏輯規(guī)則的表示：

本文借鑒了模糊邏輯的核心思想，將規(guī)則的真值看作其組成部件真值的組合。例如一個(gè)已經(jīng)實(shí)例化的規(guī)則 (e_u, e_s,e_v) =(e_u, e_t,e_v) 的真值將由 (e_u, e_s,e_v) 和 (e_u, e_t,e_v) 的真值決定。根據(jù)(Guo et al. 2016)的工作，不同邏輯算子的真值計(jì)算如下：

由上三式可推出規(guī)則真值計(jì)算公式：

此規(guī)則計(jì)算公式是后面規(guī)則應(yīng)用的一個(gè)重要依據(jù)。

未標(biāo)記三元組標(biāo)簽預(yù)測：

這一步是整個(gè)方法的核心，目的在于對未標(biāo)記三元組的標(biāo)簽進(jìn)行預(yù)測，并將這些三元組添加到知識(shí)圖譜中，再次進(jìn)行知識(shí)圖譜的分布式表示學(xué)習(xí)訓(xùn)練，修正向量結(jié)果。

標(biāo)簽預(yù)測的過程主要有兩個(gè)目標(biāo)：

目標(biāo)一：預(yù)測的標(biāo)簽值要盡可能接近其真實(shí)的真值。由于預(yù)測的三元組都是未標(biāo)記的，本文將由當(dāng)前表示學(xué)習(xí)的向量結(jié)果按照得分函數(shù)計(jì)算出的結(jié)果當(dāng)作其真實(shí)的真值。

目標(biāo)二：預(yù)測的真值要符合對應(yīng)邏輯規(guī)則的約束，即通過規(guī)則公式計(jì)算出的真值要大于一定的值。其中應(yīng)用的規(guī)則計(jì)算公式如下：

其中 φ(e_u, e_s,e_v) 是當(dāng)前向量表示計(jì)算的結(jié)果，s(e_u, e_t,e_v) 是要預(yù)測的真值。真值預(yù)測的訓(xùn)練目標(biāo)如下：

通過對上式對求 s(x_u) 導(dǎo)等于 0 可得到 s(x_u) 的計(jì)算公式：?

向量表示結(jié)果的修正：

將預(yù)測了標(biāo)簽的三元組添加到知識(shí)圖譜中，和已由的三元組一起進(jìn)行訓(xùn)練，來修正向量學(xué)習(xí)，優(yōu)化的損失函數(shù)目標(biāo)如下：

上式前半部分是對知識(shí)圖譜中真實(shí)存在的三元組的約束，后半部分為對預(yù)測了標(biāo)簽的三元組的約束。?

以上步驟在模型訓(xùn)練過程中迭代進(jìn)行。

實(shí)驗(yàn)

鏈接預(yù)測：

從實(shí)驗(yàn)結(jié)果可以看出，規(guī)則的應(yīng)用提升了表示學(xué)習(xí)的結(jié)果。

EMNLP 2017

■ 鏈接 |?https://www.paperweekly.site/papers/713

■ 解讀 |?劉兵，東南大學(xué)在讀博士，研究方向?yàn)樽匀徽Z言處理

動(dòng)機(jī)

近年來基于深度學(xué)習(xí)方法的遠(yuǎn)程監(jiān)督模型取得了不錯(cuò)的效果，但是現(xiàn)有研究大多使用較淺的 CNN 模型，通常一個(gè)卷基層加一個(gè)全連接層，更深的 CNN 模型是否能夠更好地解決以有噪聲的標(biāo)注數(shù)據(jù)為輸入的遠(yuǎn)程監(jiān)督模型沒有被探索。

為了探索更深的 CNN 模型對遠(yuǎn)程監(jiān)督模型的影響，本文設(shè)計(jì)了基于殘差網(wǎng)絡(luò)的深層 CNN 模型。實(shí)驗(yàn)結(jié)果表明，較深的 CNN 模型比傳統(tǒng)方法中只使用一層卷積的簡單 CNN 模型具有較大的提升。

方法

本方法的模型結(jié)構(gòu)如下圖所示：?

輸入層：每個(gè)單詞使用詞向量和位置向量聯(lián)合表示；

卷基層：為了得到句子更高級(jí)的表示，采用多個(gè)卷基層堆疊在一起。為了解決訓(xùn)練時(shí)梯度消失的問題，在低層和高層的卷基層之間建立捷徑連接；

池化層和 softmax 輸出層。

實(shí)驗(yàn)

實(shí)驗(yàn)在遠(yuǎn)程監(jiān)督常用的數(shù)據(jù)集 NYT-Freebase 上進(jìn)行。實(shí)驗(yàn)結(jié)果表明：?

本文提出的方法采用 9 個(gè)卷基層時(shí)達(dá)到最好的效果，這時(shí)不適用注意力機(jī)制和 piecewise pooling 性能也接近了使用注意力和 piecewise pooling 的方法。結(jié)果如下表所示。

不使用殘差網(wǎng)絡(luò)的深層 CNN 模型，當(dāng)層數(shù)較深時(shí)效果變差。使用殘差網(wǎng)絡(luò)可以解決其無法傳播的問題，效果改善很多；結(jié)果如下圖所示。

EMNLP 2017

■ 鏈接 |?https://www.paperweekly.site/papers/1960

■ 源碼 |?http://github.com/LiyuanLucasLiu/ReHession

■ 解讀 |?劉兵，東南大學(xué)博士，研究方向?yàn)樽匀徽Z言處理

動(dòng)機(jī)

現(xiàn)有的關(guān)系抽取方法嚴(yán)重依賴于人工標(biāo)注的數(shù)據(jù)，為了克服這個(gè)問題，本文提出基于異種信息源的標(biāo)注開展關(guān)系抽取模型學(xué)習(xí)的方法，例如知識(shí)庫、領(lǐng)域知識(shí)。

這種標(biāo)注稱作異源監(jiān)督（heterogeneous supervision），其存在的問題是標(biāo)注沖突問題，即對于同一個(gè)關(guān)系描述，不同來源的信息標(biāo)注的結(jié)果不同。這種方法帶來的挑戰(zhàn)是如何從有噪聲的標(biāo)注中推理出正確的標(biāo)簽，以及利用標(biāo)注推理結(jié)果訓(xùn)練模型。?

例如下面的句子，知識(shí)庫中如果存在 <Gofraid,born_in, Dal Riata> 這個(gè)三元組，則將下面的句子標(biāo)注為 born_in 關(guān)系；而如果使用人工模板“* killed in*”進(jìn)行匹配，則會(huì)將該句子標(biāo)注為 kill_in 關(guān)系。

Gofraid(e1) died in989, said to be killed in Dal Riata(e2).

為了解決這個(gè)問題，本文提出使用表示學(xué)習(xí)的方法實(shí)現(xiàn)為關(guān)系抽取提供異源監(jiān)督。

創(chuàng)新點(diǎn)

本文首次提出使用表示學(xué)習(xí)的方法為關(guān)系抽取提供異源監(jiān)督，這種使用表示學(xué)習(xí)得到的高質(zhì)量的上下文表示是真實(shí)標(biāo)簽發(fā)現(xiàn)和關(guān)系抽取的基礎(chǔ)。

方法

文章方法框架如下：

▲?關(guān)系描述表示方法

1. 文本特征的向量表示。從文本上下文中抽取出文本特征（基于pattern得到），簡單的one-hot方法會(huì)得到維度非常大的向量表示，且存在稀疏的問題。為了得到更好的泛化能力，本文采用表示學(xué)習(xí)的方法，將這些特征表示成低維的連續(xù)實(shí)值向量；

2. 關(guān)系描述的向量表示。在得到文本特征的表示之后，關(guān)系描述文本依據(jù)這些向量的表示生成關(guān)系描述的向量表示。這里采用對文本特征向量進(jìn)行矩陣變換、非線性變換的方式實(shí)現(xiàn)；

3. 真實(shí)標(biāo)簽發(fā)現(xiàn)。由于關(guān)系描述文本存在多個(gè)可能沖突的標(biāo)注，因此發(fā)現(xiàn)真實(shí)標(biāo)簽是一大挑戰(zhàn)。此處將每個(gè)標(biāo)注來源視為一個(gè)標(biāo)注函數(shù)，這些標(biāo)注函數(shù)均有其“擅長”的部分，即一個(gè)標(biāo)注正確率高的語料子集。本方法將得到每種標(biāo)注函數(shù)擅長的語料子集的表示，并以此計(jì)算標(biāo)注函數(shù)相對于每個(gè)關(guān)系描述的可信度，最后綜合各標(biāo)注函數(shù)的標(biāo)注結(jié)果和可信度，得到最終的標(biāo)注結(jié)果；

4. 關(guān)系抽取模型訓(xùn)練。在推斷了關(guān)系描述的真實(shí)標(biāo)簽后，將使用標(biāo)注的語料訓(xùn)練關(guān)系抽取器。

值得指出的是，在本方法中，每個(gè)環(huán)節(jié)不是各自獨(dú)立的，真實(shí)標(biāo)簽發(fā)現(xiàn)與關(guān)系抽取模型訓(xùn)練會(huì)相互影響，得到關(guān)系上下文整體最優(yōu)的表示方法。

實(shí)驗(yàn)結(jié)果

本文使用 NYT 和 Wiki-KBP 兩個(gè)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，標(biāo)注來源一方面是知識(shí)庫，另一方面是人工構(gòu)造的模板。每組數(shù)據(jù)集進(jìn)行了包含 None 類型的關(guān)系抽取，和不包含 None 類型的關(guān)系分類。

結(jié)果如下表所示，可見本文的方法相比于其他方法，在兩個(gè)數(shù)據(jù)集的四組實(shí)驗(yàn)中均有較明顯的性能提升。

ACL 2017

■ 鏈接 |?https://www.paperweekly.site/papers/1961

■ 源碼 |?https://github.com/stanfordnlp/cocoa

■ 解讀 |?王旦龍，浙江大學(xué)碩士，研究方向?yàn)樽匀徽Z言處理

本文研究了對稱合作對話（symmetric collaborative dialogue）任務(wù)，任務(wù)中，兩個(gè)代理有著各自的先驗(yàn)知識(shí)，并通過有策略的交流來達(dá)到最終的目標(biāo)。本文還產(chǎn)生了一個(gè) 11k 大小的對話數(shù)據(jù)集。

為了對結(jié)構(gòu)化的知識(shí)和非結(jié)構(gòu)化的對話文本進(jìn)行建模，本文提出了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，模型在對話過程中對知識(shí)庫的向量表示進(jìn)行動(dòng)態(tài)地修改。

任務(wù)

在對稱合作對話任務(wù)中，存在兩個(gè) agent，每個(gè)代理有其私有的知識(shí)庫，知識(shí)庫由一系列的項(xiàng)（屬性和值）組成。兩個(gè)代理中共享一個(gè)相同的項(xiàng)，兩個(gè)代理的目標(biāo)是通過對話找到這個(gè)相同的項(xiàng)。?

數(shù)據(jù)集

本文建立了一個(gè)對稱合作對話任務(wù)數(shù)據(jù)集，數(shù)據(jù)集中知識(shí)庫對應(yīng)的 schema? 中包含 3000 個(gè)實(shí)體，7 種屬性。數(shù)據(jù)集的統(tǒng)計(jì)信息如下所示：

模型

針對對稱合作對話任務(wù)，本文提出了 DynoNet (Dynamic Knowledge GraphNetwork)，模型結(jié)構(gòu)如下所示：

Knowledge Graph?

圖譜中包含三種節(jié)點(diǎn)：item 節(jié)點(diǎn)，attribute 節(jié)點(diǎn)，entity 節(jié)點(diǎn)。圖譜根據(jù)對話中的信息進(jìn)行相應(yīng)的更新。

Graph Embedding?

t 時(shí)刻知識(shí)圖譜中每個(gè)節(jié)點(diǎn)的向量表示為 V_t(v)，向量表示中包含了以下來源的信息：代理私有知識(shí)庫的信息，共享的對話中的信息，來自知識(shí)庫中相鄰節(jié)點(diǎn)的信息。

Node Features?

這個(gè)特征表示了知識(shí)庫中的一些簡單信息，如節(jié)點(diǎn)的度（degree），節(jié)點(diǎn)的類型。這個(gè)特征是一個(gè) one-hot 編碼。

Mention Vectors?

Mentions vector M_t(v) 表示在 t 時(shí)刻的對話中與節(jié)點(diǎn) v 相關(guān)的上下文信息。對話的表示 u_t 由個(gè) LSTM 絡(luò)計(jì)算得到（后文會(huì)提到），為了區(qū)分 agent 自身產(chǎn)生的對話語句和另一個(gè)代理產(chǎn)生的對話語句，對話語句表示為：

Mentions Vector 通過以下公式進(jìn)行更新：

Recursive Node Embeddings?

一個(gè)節(jié)點(diǎn)對應(yīng)的向量表示也會(huì)受到相鄰其他節(jié)點(diǎn)的影響：

其中 k 表示深度為 k 的節(jié)點(diǎn)，R 表示邊對應(yīng)的關(guān)系的向量表示。

最后節(jié)點(diǎn)的向量表示為一系列深度的值的連接結(jié)果。

本文中使用了：

Utterance Embedding?

對話的向量表示 u_t 由一個(gè) LSTM 網(wǎng)絡(luò)計(jì)算得到。

其中 A_t 為實(shí)體抽象函數(shù)，若輸入為實(shí)體，則通過以下公式計(jì)算：

若不為實(shí)體，則為文本對應(yīng)的向量表示進(jìn)行 zero padding 的結(jié)果（保證長度一致）。

使用一個(gè) LSTM 進(jìn)行對話語句的生成：

輸出包含字典中的詞語以及知識(shí)庫中的實(shí)體：

實(shí)驗(yàn)結(jié)果

點(diǎn)擊以下標(biāo)題查看更多相關(guān)文章：?

• 從 6 篇頂會(huì)論文看「知識(shí)圖譜」領(lǐng)域最新研究進(jìn)展

• 「知識(shí)圖譜」領(lǐng)域近期值得讀的 6 篇頂會(huì)論文

• 基于置信度的知識(shí)圖譜表示學(xué)習(xí)框架
  

• 綜述 | 知識(shí)圖譜向量化表示
  

• 東南大學(xué)周張泉：基于知識(shí)圖譜的推理技術(shù)

▲?戳我查看招募詳情

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的关于知识图谱，各路大神最近都在读哪些论文？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。