AAAI 2022 | 可解释和鲁棒的联合文本分类及证据提取
論文標題：
Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction
論文作者：
李東方，戶保田，陳清財，徐土杰，陶靖樅，張宇楠，鮑建竹，梁斌，孫婧伊，張義策，楊敏，徐睿峰
論文鏈接：
https://arxiv.org/abs/2112.10424
代碼鏈接：
https://github.com/crazyofapple/AT-BMC
論文簡介
神經(jīng)網(wǎng)絡已經(jīng)證明了它們在文本分類任務上的卓越預測能力，特別是結合基于預訓練的語言模型時。然而，與邏輯回歸和決策樹等傳統(tǒng)機器學習方法相比，它們更像是一個黑盒。眾所周知，要理解神經(jīng)網(wǎng)絡模型產生特定預測的原因是很困難的。一種實用的方法是從輸入中提取預測的證據(jù)（rationales）。證據(jù)可以被定義為文本片段或輸入文本的子集。其假設是，僅從證據(jù)中就可以做出正確的預測。換句話說，證據(jù)應該足以支持模型的預測。我們的工作也屬于這個范圍，其目標是通過提取與預測密切相關的證據(jù)來實現(xiàn)更好的預測性能和模型的可解釋性。?
以前的工作提出使用流水線（pipeline）的方法，任務預測分兩步進行：解釋階段和隨后的預測階段。任務的挑戰(zhàn)是如何在提取證據(jù)的條件下達到優(yōu)異的分類表現(xiàn)。大多數(shù)采用這種框架的方法往往只依賴任務標簽，他們從解釋階段的輸入中抽取證據(jù)。例如，這些模型通過提出基于強化學習方法和重參數(shù)化技術的優(yōu)化程序來模擬難以解決的采樣步驟，這可能導致模型對超參數(shù)敏感，而且需要復雜的訓練過程。
相反，我們對分類似然和輸入實例的證據(jù)似然同時進行優(yōu)化。雖然這是一個相對直接的優(yōu)化解釋階段模型的方法，但這項任務至少有兩個挑戰(zhàn)。首先，以前的工作容易受到不同類型的對抗性攻擊。例如，如表 1 所示，一個分類器在真實標簽保持不變的對抗下受到了影響。如果在輸入中加入小的擾動會修改模型的預測，我們就不能相信和解釋模型的輸出。
我們通過使用魯棒性測試進一步分析現(xiàn)有的方法遭受的文本攻擊，該測試對訓練好的分類模型進行模型無關的攻擊。其次，明確的邊界信息被忽略了，導致不準確的提取。例如，“interesting”和 “inspiring”是文本 “this film is interesting and inspiring.”證據(jù)的邊界，而 “and ”和“.”是一般的標記，其表示應與情感詞不同。此外，使用證據(jù)來訓練解釋階段的模型并不用考慮來自任務的監(jiān)督信號。
表1:?對抗攻擊的例子。其中標簽發(fā)生改變，而證據(jù)文本不變
為了解決這些挑戰(zhàn)，我們提出了一個聯(lián)合分類和證據(jù)提取框架 AT-BMC，其中任務預測和證據(jù)提取是通過混合對抗訓練（AT）和邊界匹配約束（BMC）聯(lián)合學習的。首先，我們在離散文本空間和嵌入空間中添加擾動，以提高模型的泛化和穩(wěn)健性。一方面，我們在詞的層面上產生對抗性的例子，同時保持證據(jù)不變。擾動也保持了預測的不變。另一方面，本文提出的嵌入空間的對抗性訓練在計算效率和訓練平穩(wěn)性方面上比標準對抗訓練更加完善。
其次，我們通過對邊界位置的建模來考慮匹配約束，這使得模型能夠進一步關注邊界相關的區(qū)域。邊界約束的主要思想是使序列標簽模型在定位實體時考慮邊界信息。通過將預測的合理片段的起始索引與相應的結束索引相匹配，全局序列標簽信息與局部區(qū)域感知信息相融合。此外，我們通過標簽嵌入使提取模型利用分類的結果（建立兩者的關聯(lián)）。
我們在兩個基準數(shù)據(jù)集（即 Movie Review 和 MultiRC）上進行了實驗。實驗結果表明，AT-BMC 在分類和證據(jù)提取方面大幅度超過了基線。魯棒性分析進一步表明，AT-BMC 可以有效地提高模型的魯棒性，在更強的對抗攻擊下，攻擊成功率從 96% 下降到 27%。我們的代碼已開源。
可解釋與對抗魯棒性的相關工作
之前的工作表明，神經(jīng)網(wǎng)絡很容易被攻擊，這自然帶來了一個問題：是否有必要應用可解釋性技術，來解釋模型的預測行為是否會受到攻擊的影響。之前的一些工作從經(jīng)驗上觀察到，在計算機視覺領域中，魯棒的模型可以更容易解釋。而盡管最近的一些研究專注于將可解釋性和對抗的魯棒性聯(lián)系起來，但現(xiàn)在并沒有模型明確聲明同時具備這兩種特性。另一方面，我們的目標是專注于理解文本分類任務中兩者之間的聯(lián)系，我們希望它能為自然語言處理任務中此類方法的未來發(fā)展帶來啟示。
任務定義
本文的目的是設計一個能夠產生準確預測的模型，并提供密切相關的提取性片段（即支持性證據(jù)）作為預測的潛在原因。以情感分類為例，對于 “titanic is so close to being the perfect movie...”這個文本，它的預測標簽是正面的，而這個預測的證據(jù)之一是 “titanic is so close to being the perfect movie...”。因此，帶有證據(jù)提取的文本分類可以被形式化為：給定詞序列單詞輸入??, 其中??是序列長度，??代表是第 i 個詞。?我們的目標是推斷出任務的標簽???, 并且對每個詞分配一個 0/1 的標簽???，代表是否是證據(jù)的一部分。?對應的參照標簽表示為??，人類標記的證據(jù)表示為??，兩者都用于訓練。在這里，證據(jù)是詞的序列，因此一個潛在的證據(jù)是輸入序列的一個子序列。值得注意的是，一個文本樣本可能包含多個不重疊的子序列作為證據(jù)。
整體框架
我們的基本框架遵循多任務學習（MTL），應用在這兩個任務：（1）證據(jù)提取和（2）實際預測任務。我們采用 MTL 的共享編碼器結構，兩個任務共享相同的編碼器，但是解碼器不同。如圖 1 所示，AT-BMC 包含以下 4 個部分：
(a) Prediction Network：根據(jù)輸入文本進行分類預測；?
(b) explanation generation network：根據(jù)輸入文本和預測的分類標簽使用 CRF 層解碼器抽取證據(jù)；
(c) 混合對抗訓練（Mixed Adversarial Training）：使用離散對抗方法對輸入文本進行改動，以及引入嵌入空間的對抗訓練，來增強模型的魯棒性；?
(d) 邊界匹配約束（Boundary Constraint）：用 start、end 雙指針做邊界限制來促進模型更準確地定位證據(jù)邊界。
圖1: 混合對抗訓練和邊界匹配約束的聯(lián)合分類和證據(jù)提取 AT-BMC 的總體架構
混合對抗訓練
由于對抗性攻擊的搜索空間很大，而標記的證據(jù)有限，我們對有證據(jù)的樣本進行基于離散對抗性攻擊的數(shù)據(jù)增強。通過引入現(xiàn)有樣本的詞級別的擾動版本，我們可以遞歸地重復使用這種擴增方法，以顯著擴大訓練數(shù)據(jù)集。為了簡單起見，這里的驗證只考慮為每個樣本增加一個新的編輯文本。此外，考慮到證據(jù)的標簽保留，擾動只包括那些在證據(jù)之外的句子部分。除了直接對輸入文本進行擾動外，我們還利用在嵌入空間上操作的對抗性訓練作為有效的正則化，以改善共享編碼器的泛化，減少魯棒性錯誤。
與標準訓練相比，K 步 PGD 需要通過網(wǎng)絡進行 K 次前向-后向傳播，這在計算上是很昂貴的。此外，K 步之后只有最后一步的擾動用于模型參數(shù)更新。我們遵循 FreeLB 中的自由對抗訓練框架，進行多次 PGD 迭代來構建對抗嵌入，并在每次迭代中迭代出累積參數(shù)梯度。之后，通過虛擬創(chuàng)建一個采樣小批次，利用累積梯度有效地逐一更新模型參數(shù) θ。我們在算法 1 中提供了嵌入空間的對抗性訓練的細節(jié)。
算法1: 嵌入空間對抗訓練算法
邊界匹配約束
在對于證據(jù)提取，CRF 解碼器可以捕獲開始/結束的邊界。由于 CRF 在給定觀察序列特征的情況下學習標簽序列的條件概率，因此可以將其目標函數(shù)視為以觀察 X 為條件的最大對數(shù)似然目標函數(shù)。但是，CRF 存在生成非法標簽序列的局限性，因為它鼓勵合理的標簽序列，而對于不合理的過渡懲罰較低。因此，我們使用邊界約束來鼓勵它在定位邊界時更加準確。邊界約束的基本思想是將證據(jù)文本的預測起始索引與其對應的結束索引匹配。
文本分類和證據(jù)抽取的性能比較：如表 2 所示，我們的模型在兩個數(shù)據(jù)集上都比以前的模型有所提高。在證據(jù)提取任務中，AT-BMC（BERT-base）和 AT-BMC（RoBERTa-large）在電影評論數(shù)據(jù)集上比以前的模型提高了 4.3% 和 13.3 % F1。此外，在 MultiRC 數(shù)據(jù)集上，我們的方法也將 F1 提高了 3.3% 和 10.8%。另一方面，AT-BMC（BERT-base）在準確性方面分別提高了?0.8% 和 1.3%，這可能主要來自兩個方面：一個是多任務學習，另一個是對抗性訓練。
表2：兩個文本分類數(shù)據(jù)集任務性能和證據(jù)抽取表現(xiàn)的對比
在不同攻擊方法下模型的魯棒性：我們沒有用可解釋性穩(wěn)健性來衡量穩(wěn)健性，在這種情況下，證據(jù)應該對輸入中的小擾動不變。我們考慮了三種不同的攻擊方法（即 TextFooler、TextBugger 和 PWWS）來測試穩(wěn)健性。在測試中，我們關注的是攻擊的成功率。TextFooler 和 TextBugger 使用混合的方法（如單詞嵌入距離、部分 Pos tag 標簽匹配），并設計了一個單詞替換機制來攻擊現(xiàn)有模型；PWWS 使用單詞重要性排名來替換部分句子，其中單詞突出性和同義詞交換分數(shù)被用來計算單詞重要性。
如表 3 所示，文章提出的模型在不同的攻擊強度下始終優(yōu)于基準方法。總的來說，在多種攻擊方法中，AT-BMC 在所有指標上都取得了最好的表現(xiàn)。值得注意的是，在 PWWS 攻擊下，AT-BMC 以 69.75% 的成功率大大超過了基線。我們將此歸功于 AT-BMC 通過對抗性訓練獲得的通用性。有趣的是，從第二欄的結果來看，使用聯(lián)合框架似乎也能提高該領域的通用性和穩(wěn)健性。我們還記錄了被替換為攻擊的單詞的百分比，作為平均單詞修改率。我們的方法需要更多的修改攻擊查詢，而且在所有的攻擊下都有更高的詞修改率。這表明該模型更難被攻擊，因此需要更多的詞被替換。
在圖 2 中，我們比較了不同方法在驗證集下的評估曲線。相對于其他沒有進行對抗性訓練和邊界匹配約束的方法，我們的方法的變化幅度要小得多，而且隨著訓練時間的變化，它逐漸收斂。這說明我們的方法在訓練過程中強化了模型在驗證集上的魯棒性，從而使其在訓練中更加穩(wěn)定，方差更小，從而緩解了現(xiàn)有方法中的超參數(shù)敏感性和高方差。
表3：在三種攻擊方法下的分類性能對比
圖2：Movie Review的驗證集上F1曲線
有限證據(jù)標注下模型的表現(xiàn)：我們的方法也可以應用在只有有限的注釋例子的情況下。如圖 3 所示，我們比較了訓練集中不同比例的人類標記的證據(jù)的模型的性能。我們發(fā)現(xiàn)，當只有 5% 的帶有標注信號的例子時，模型在測試集上的提取精度達到了 40% 以上。隨著這些標記實例比例的增加，模型的性能也隨之提高。由于這些標注的人工標注是耗時耗力的，這可能意味著我們的方法可以在沒有很多人工標注的情況下穩(wěn)定地生成合理的解釋。
圖3：不同攻擊策略下的節(jié)點分類性能
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優(yōu)質內容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝?稿件基本要求：
? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權問題
? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質量階梯制結算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現(xiàn)在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
·
總結
以上是生活随笔為你收集整理的AAAI 2022 | 可解释和鲁棒的联合文本分类及证据提取的全部內容，希望文章能夠幫你解決所遇到的問題。
