Abductive Commonsense Reasoning(溯因推理)

論文地址
論文代碼

介紹

溯因推理是對(duì)不完全觀察情境的最合理解釋或假設(shè)的推論。

上圖給出的是一個(gè)簡(jiǎn)明扼要的例子：

給定不同時(shí)間節(jié)點(diǎn)上的情境觀測(cè)值 (O_{1}) 和 (O_{2}) ，溯因推理的任務(wù)是從給出的一眾解釋性假設(shè) (H_{1}, space H_{2}, space cdots ,H_{n}) 中選出最合理的。例如，上圖在 (t_{0}) 時(shí)刻觀測(cè)到的情境 (O_{1}) 是：Jenny打掃好了房間并給窗戶留了條縫隙之后去工作了。而在 (t_{n}) 時(shí)刻，情境變成了：當(dāng)Jenny回到家，發(fā)現(xiàn)房間里一片狼藉。針對(duì)這兩個(gè)觀測(cè)到的不同時(shí)間節(jié)點(diǎn)上情境，有若干個(gè)解釋性假設(shè) (H_{1}, space H_{2}, space H_{3})。

對(duì)于假設(shè) (H_{1}) ，小偷的入室盜竊(broke into)很好的承接了 (O_{1}) 中”未關(guān)緊窗戶(a crack open)“帶來的安全隱患，并很好地解釋了情境 (O_{2}) 中房間為什么一團(tuán)亂(小偷翻東西)，因此看上去假設(shè) (H_{1}) 非常合理的解釋了情境 (O_{1}) 到情境 (O_{2}) 的轉(zhuǎn)換。
對(duì)于假設(shè) (H_{2}) ，假設(shè)中提到的大只的鳥(large bird)似乎不太可能從窗戶縫隙飛進(jìn)房間，但是如果不考慮情境 (O_{1})，該假設(shè)可以很好地解釋房間亂的現(xiàn)象(鳥兒被困房間，為了逃離，弄得房間很亂)
對(duì)于假設(shè) (H_{3})，前半部分(At work)可以很好地承接情境 (O_{1})(Jenny去工作了，因此Jenny在工作中)，但是該假設(shè)后半部分(blew her papers everywhere)完全沒法解釋情境 (O_{2})， 因?yàn)樵摷僭O(shè)完全指的是發(fā)生在辦公處的事情，而情境 (O_{2}) 則是Jenny家中的場(chǎng)景。

綜合以上對(duì)三個(gè)假設(shè)的考量，我們很容易得出，第一個(gè)假設(shè)是最符合情境 (O_{1}) 和 (O_{2}) 的。然而這看似簡(jiǎn)單的推理過程，對(duì)于現(xiàn)有的模型來說，卻不是那么容易的。

雖然長(zhǎng)期以來”溯因“這種行為被認(rèn)為是人們解讀、理解自然語言的核心，但受限于數(shù)據(jù)集的缺乏和模型的性能，支撐溯因自然語言推理和生成的研究卻相對(duì)較少。

ART數(shù)據(jù)集

ART(敘事文本中的溯因推理——ABDUCTIVE REASONING IN NARRATIVE TEXT)是第一個(gè)用于研究敘事文本中溯因推理的大規(guī)?；鶞?zhǔn)數(shù)據(jù)集。其組成如下：

20K左右的敘述背景 ——成對(duì)的觀察結(jié)果<(O
_{1}space，O_{2})>

這些觀察情境是根據(jù)ROCStories數(shù)據(jù)集進(jìn)行編寫的。ROCStories是一個(gè)由五句話組成的手動(dòng)精選短篇故事的大集合。它被設(shè)計(jì)為每個(gè)故事都有一個(gè)清晰的開始和結(jié)束，這自然對(duì)應(yīng)到ART數(shù)據(jù)集中的 (O_{1},O_{2}) 。

超過200K的解釋性假設(shè)

按可能的解釋性假設(shè) (h^{+}) 和不太可能的解釋性假設(shè) (h^{-}) 進(jìn)行眾包。對(duì)于 (h^{-}) 的眾包 ,要求眾包工人在 (h^{+}) 的基礎(chǔ)上，進(jìn)行最小限度的編輯(最多改動(dòng)5個(gè)單詞)，為每個(gè) (h^{+}) 創(chuàng)造不可信的假設(shè)變量 (h^{-})。

數(shù)據(jù)集分析

下面分別分析了訓(xùn)練集、開發(fā)集、測(cè)試集上對(duì)應(yīng)每個(gè)觀測(cè)的平均對(duì)應(yīng)的正反解釋性假設(shè)的個(gè)數(shù)和假設(shè)及觀測(cè)文本句的平均詞長(zhǎng)。

任務(wù)

論文中提出的兩個(gè)溯因推理任務(wù)分別是αNLI(溯因自然語言推理——Abductive Natural Language Inference)和αNLG(溯因自然語言生成 —— Abductive Natural Language Generation)。

ART數(shù)據(jù)集中每個(gè)例子按如下格式定義：

(O_{1}) —— (t_{1})時(shí)刻的觀察
(O_{2}) —— (t_{2})時(shí)刻的觀察
(h^{+}) —— 對(duì)觀察 (O_{1}) 和觀察 (O_{2}) 的更合理的解釋
(h^{-}) —— 對(duì)觀察 (O_{1}) 和觀察 (O_{2}) 來說不太合理的解釋

αNLI

給定一對(duì)觀測(cè)和一對(duì)解釋性假設(shè)，αNLI的任務(wù)是選出兩個(gè)假設(shè)中更有可能的那個(gè)。

在概率框架下模型的目標(biāo)函數(shù)為：

[h^{*}=arg max _{h^{i}} Pleft(H=h^{i} mid O_{1}, O_{2}ight)
]

根據(jù)貝葉斯法則，以觀測(cè) (O_{1}) 為先驗(yàn)條件，可以重寫上述公式：

[egin{equation}
egin{aligned}
Pleft(h^{i} mid O_{1}, O_{2}ight) = frac{Pleft(O_{2}, O_{1}, h^{i}ight)}{Pleft(O_{1} , O_{2}ight)} \
=frac{Pleft(O_{2}mid h^{i}, O_{1}ight)Pleft(h^{i},O_{1}ight)}{Pleft(O_{2}, O_{1}ight)} \
=frac{Pleft(O_{2}mid h^{i}, O_{1}ight)Pleft(h^{i} mid O_{1}ight)}{Pleft(O_{2}mid O_{1}ight)}
end{aligned}
end{equation}
]

因?yàn)?(Pleft(O_{2}mid O_{1}ight)) 是定值，所求又是優(yōu)化問題，所以可以僅考慮左側(cè)的目標(biāo)函數(shù)與右側(cè)乘式的相關(guān)關(guān)系即可：

[Pleft(h^{i} mid O_{1}, O_{2}ight) propto Pleft(O_{2} mid h^{i}, O_{1}ight) Pleft(h^{i} mid O_{1}ight)
]

根據(jù)上式，建立如下若干獨(dú)立性假設(shè)，為αNLI任務(wù)構(gòu)建一套概率模型：

(H_{i}) 與 (O_{1},O_{2})都無關(guān)時(shí)(模型沒用到觀測(cè)值)

[Pleft(h^{i} mid O_{1}, O_{2}ight)=Pleft(h_{i}ight)
]

(H_{i}) 僅與 (O_{1},O_{2})其中一個(gè)有關(guān)（模型用到了一個(gè)觀測(cè)值）

線性鏈模型 —— (H_{i}) 與 (O_{1},O_{2})都直接相關(guān)，但 (O_{1} perp O_{2}) (模型使用兩個(gè)觀測(cè)值，但獨(dú)立地考慮了每個(gè)觀測(cè)值對(duì)假設(shè)的影響)，

[h^{*}=arg max _{h^{i}} Pleft(O_{2} mid h^{i}ight) Pleft(h^{i} mid O_{1}ight) ext { where }left(O_{1} perp O_{2} mid Hight)
]

全連接(模型使用兩個(gè)觀測(cè)值，結(jié)合兩個(gè)觀測(cè)值的信息選擇合理的假設(shè))，目標(biāo)函數(shù)為：

[h^{*}=arg max _{h^{i}} Pleft(O_{2} mid h^{i},O_{1}ight) Pleft(h^{i} mid O_{1}ight)
]

在論文的實(shí)驗(yàn)中，將不同的獨(dú)立性假設(shè)文本輸入BERT進(jìn)行編碼。對(duì)于前兩個(gè)概率模型，可以通過簡(jiǎn)單地將模型的輸入限制為相關(guān)變量來加強(qiáng)獨(dú)立性。另一方面，相關(guān)線性鏈模型將所有三個(gè)變量 (O_{1},O_{2},H) 都作為輸入，通過限制模型的形式以加強(qiáng)條件獨(dú)立性。具體來說，學(xué)習(xí)一個(gè)具有二分類功能的分類器:

[P_{ ext {Linear }} ext { Chain }left(h mid O_{1}, O_{2}ight) propto e^{phileft(O_{1}, hight)+phi^{prime}left(h, O_{2}ight)}
]

其中，(phi) 和 (phi^{prime}) 為產(chǎn)生標(biāo)量值的神經(jīng)網(wǎng)絡(luò)模型。

αNLG

給定 (O_{1},O_{2},h^{+}) 為一組的的訓(xùn)練數(shù)據(jù)，αNLG的任務(wù)就是最大化 (O_{1},O_{2},h^{+}) 對(duì)應(yīng)的文本句在生成模型中的生成概率。同時(shí)，還可以在給定兩個(gè)觀測(cè)的基礎(chǔ)上再添加背景知識(shí) ( ext{K}) 作為條件，模型的損失函數(shù)構(gòu)造如下：

[mathcal{L}=-sum_{i=1}^{N} log Pleft(w_{i}^{h} mid w_{<i}^{h}, w_{1}^{o 1} ldots w_{m}^{o 1}, w_{1}^{o 2} ldots w_{n}^{o 2}, mathcal{K}ight)
]

其中，(O_{1}=left{w_{1}^{o 1} ldots w_{m}^{o 1}ight}) ，(O_{2}=left{w_{1}^{o 2} ldots w_{n}^{o 2}ight})，(h^{+}=left{w_{1}^{h} ldots w_{l}^{h}ight})，它們都由其自然語言文本對(duì)應(yīng)的token組成。 (w_{<i}^{h}) 代表當(dāng)前位置的前 (i) 個(gè)token，(w_{i}^{h}) 為當(dāng)前位置 (i) 處的token。模型的訓(xùn)練目標(biāo)就是最大化句子的生成概率 (P)，也即最小化上述公式的損失 (L)。

實(shí)驗(yàn)結(jié)果

αNLI

αNLI任務(wù)被構(gòu)造成了一個(gè)二分類問題。

Baseline

SVM —— 利用Glove詞嵌入，考慮詞長(zhǎng)度、詞的重疊和情感特征等對(duì)兩個(gè)假設(shè)選項(xiàng)進(jìn)行選擇。(50.6%)
BOW —— 將兩個(gè)觀察和一個(gè)解釋性假設(shè)文本串接在一起，利用Glove為串接起來的文本構(gòu)建句子嵌入，再通過一個(gè)全連接網(wǎng)絡(luò)為包含每個(gè)不同的解釋性假設(shè)選項(xiàng)的句子的嵌入打分。(50.5%)
Bi-LSTM + max-pooling —— 用Bi-LSTM編碼句子，使用經(jīng)過最大池化后的句子嵌入進(jìn)行打分。(50.8%)

可以看到，傳統(tǒng)分類器 + 上下文無關(guān)的單詞嵌入的方式對(duì)解決這個(gè)二分類問題看上去幾乎毫無作用(因?yàn)殡S機(jī)二選一都有一半的概率選對(duì))。

評(píng)估

最后一列代表模型在論文提出的 ( ext{ART}) 數(shù)據(jù)集上的表現(xiàn)，和前四個(gè)baseline相比，基于GPT和BERT構(gòu)造的分類模型在數(shù)據(jù)集上的表現(xiàn)明顯提高了很多，最好的BERT-ft[Linear Chain]比最佳baseline提升了10.1個(gè)百分點(diǎn)，達(dá)到了68.9。但是和人類的表現(xiàn)相比，這樣的結(jié)果還是非常差的。因此，在溯因推理方面的研究還有很多工作要做。

αNLG

實(shí)驗(yàn)?zāi)Ｐ?/h5>

(O_{1}-O_{2}- ext{Only}) —— 以組成兩個(gè)觀測(cè)值 (O_{1}) 和 (O_{2}) 的token為起始訓(xùn)練GPT2。

使用COMET生成ATOMIC格式(如果-那么)的知識(shí) —— 包含常識(shí)知識(shí)的圖，是一個(gè)以推理“如果-那么”的知識(shí)為主的知識(shí)庫，它以事件作為節(jié)點(diǎn)，下列九大關(guān)系作為邊：

ATOMIC是對(duì)( ext{ART}) 數(shù)據(jù)集中的敘事上下文進(jìn)行推理所需的背景常識(shí)的來源。COMET是基于ATOMIC訓(xùn)練的專門實(shí)現(xiàn)常識(shí)知識(shí)圖自動(dòng)構(gòu)建的Transformer，這里借助COMET生成基于事件的常識(shí)推理知識(shí)，然后再GPT2中集成了COMET生成的信息用于αNLG任務(wù)。集成方式分兩種：

COMeT-Txt+GPT-2（作為文本短語的方式集成）

在單詞嵌入層嵌入輸入標(biāo)記之后，我們?cè)谕ㄟ^Transformer架構(gòu)的層之前，向串接的觀察序列添加18個(gè)(對(duì)應(yīng)于每個(gè)觀察的九個(gè)關(guān)系)自然語言文本，由GPT2進(jìn)行編碼。

COMeT-Emb+GPT2（作為嵌入的方式集成）

和上面那種方式一樣，不過在觀察序列前添加的是18個(gè)COMeT Embedding，這允許模型在處理COMeT嵌入時(shí)學(xué)習(xí)每個(gè)token的表示——有效地將背景常識(shí)知識(shí)集成到語言模型中。

評(píng)估

自動(dòng)評(píng)估 —— BLEU、METEOR、ROUGE、CIDEr、BERT-Score
人工評(píng)估 —— 向眾包人員展示成對(duì)的觀察結(jié)果和一個(gè)生成的假設(shè)，要求他們標(biāo)注該假設(shè)是否解釋了給定的觀察結(jié)果。最后一欄為對(duì)應(yīng)的評(píng)估分?jǐn)?shù)。人工編寫的假設(shè)在96%的情況下是正確的，而我們最好的生成模型，即使有背景常識(shí)知識(shí)的增強(qiáng)，也只能達(dá)到45%——這表明αNLG生成任務(wù)對(duì)當(dāng)前最優(yōu)越的文本生成器來說尤其具有挑戰(zhàn)性。

生成實(shí)例

結(jié)論

文章提出了第一項(xiàng)研究，調(diào)查基于語言的溯因推理的可行性。概念化并引入溯因自然語言推理(αNLI)——一個(gè)關(guān)注敘事語境中溯因推理的新任務(wù)。該任務(wù)被表述為一個(gè)選擇題回答問題。文章還介紹了溯因自然語言生成(αNLG)——一種新的任務(wù)，需要機(jī)器為給定的觀察結(jié)果生成可信的假設(shè)。為了支持這些任務(wù)，創(chuàng)建并引入了一個(gè)新的挑戰(zhàn)數(shù)據(jù)集ART，它由20k個(gè)常識(shí)性敘述和200k多個(gè)解釋性假設(shè)組成。在實(shí)驗(yàn)中，基于最先進(jìn)的NLI和語言模型建立了這一新任務(wù)的Baseline，其準(zhǔn)確率為68.9%，與人類性能(91.4%)有相當(dāng)大的差距。αNLG任務(wù)要困難得多——雖然人類可以寫出96%的有效解釋，但是當(dāng)前表現(xiàn)最好模型只能達(dá)到45%。文章的分析讓我們對(duì)深度預(yù)訓(xùn)練語言模型無法執(zhí)行的推理類型有了新的見解——盡管預(yù)訓(xùn)練模型在NLI蘊(yùn)涵的密切相關(guān)但不同的任務(wù)中表現(xiàn)出色，但是在應(yīng)對(duì)基于 ( ext{ART}) 數(shù)據(jù)集提出的溯因推理和溯因生成任務(wù)時(shí)，表現(xiàn)卻差強(qiáng)人意，這為未來的研究指出了有趣的途徑。作者希望ART將成為未來基于語言的溯因推理研究的一個(gè)具有挑戰(zhàn)性的基準(zhǔn)，并且αNLI和αNLG任務(wù)將鼓勵(lì)在人工智能系統(tǒng)中實(shí)現(xiàn)復(fù)雜推理能力的表征學(xué)習(xí)。

總結(jié)

以上是生活随笔為你收集整理的Abductive Commonsense Reasoning —— 溯因推理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。