“機器的閱讀理解與問答”一直以來被認為是“自然語言理解（NLU）”的核心問題之一，隨著BERT等模型的興起，單段落的簡單閱讀理解任務取得了重大突破；研究者將目光轉向更能體現機器智能的“多跳”“復雜”情形。
本篇論文介紹了基于認知中“雙過程理論（dual process theory）”的CogQA模型，文章提出一種新穎的迭代框架：算法模擬認知學中人類的兩個認知系統，并維護一張認知圖譜（Cognitive Graph），系統一在文本中抽取與問題相關的實體名稱并擴展節點和匯總語義向量，系統二利用圖神經網絡在認知圖譜上進行推理計算。文章在HotpotQA全維基百科數據集上持續占據第一近三個月之久，直到文章在被ACL高分接收后公開。
假設你手邊有一個維基百科的搜索引擎，可以用來獲取實體對應的文本段落，那么如何來回答下面這個復雜的問題呢？
“誰是某部在2003年取景于洛杉磯Quality cafe的電影的導演？”
很自然地，我們將會從例如Quality cafe這樣的“相關實體”入手，通過維基百科查詢相關介紹，并在其中講到好萊塢電影的時候迅速定位到“Old School”“Gone in 60 Seconds”這兩部電影，通過繼續查詢兩部電影相關的介紹，我們找到他們的導演。最后一步是判斷到底是哪位導演，這需要我們自己分析句子的語意和限定詞，在了解到電影是2003年之后，我們可以做出最后判斷——Todd Phillips是我們想要的答案。
事實上，“快速將注意力定位到相關實體”和“分析句子語意進行推斷”是兩種不同的思維過程。在認知學里，著名的“雙過程理論（dual process theory）”[1]認為，人的認知分為兩個系統，系統一（System 1）是基于直覺的、無知覺的思考系統，其運作依賴于經驗和關聯；而系統二（System 2）則是人類特有的邏輯推理能力，此系統利用工作記憶（working memory）中的知識進行慢速但是可靠的邏輯推理，系統二是顯式的，需要意識控制的，是人類高級智能的體現。
01
如果說上面的說法過于抽象， 我們來看下面的小例子[2]：
這里有四張卡片，每張一面是數字，另一面是顏色。這里有一個命題：
“如果一張卡片一面是棕色，它的反面是一定是偶數（例如2，4，6，8，10）”我們想判斷這個命題的對錯，需要翻動哪兩張卡片？希望你能快速回答。
如果你的答案（像大多數人那樣）是第二和第四張卡片，我們先不評價，再看下面的問題。
這里有四張卡片，每張一面是一個人的年齡，另一面是他在喝的飲料。這里有一個規定：
“如果一個人要喝酒，那么他必須要年滿18歲”我們想判斷這個規定是否被遵守，需要翻動哪兩張卡片？希望你能快速回答。
我想你的答案（像大多數人那樣）可能是第一和第四張卡片。但是，如果我們來對比這兩個問題，會發現如果我們將啤酒和棕色對應，偶數和大于18歲對應，這兩個問題從邏輯上完全相同，但是我們快速思考（系統一）的時候卻容易得出了完全不同的結果。但是當我們將問題抽象化進行深入思考（系統二），則能發其中的相同之處。這是因為系統一往往依賴于經驗，第一個問題會直觀聯系到偶數，第二個問題則會聯系到日常生活中對未成年人禁令的各項檢查。因此，僅僅依靠系統一是不夠的。
02
自從BERT[3]橫空出世，單文本閱讀理解問答的基準數據集SQuAD很快超過人類水平，但是同時，大家也在反思這些模型是否真的能夠做到閱讀“理解”。在2018年Percy Liang等人的文章中，他們展現了一個有趣的例子：
原文為：In January 1880, two of Tesla's uncles put together enough money to help him leave Gospic? for Prague where he was to study.”
問題為：What city did Tesla move to in 1880?
大多數模型都能輕松回答對“Prague”。然而，一旦我們在原文后面增加一句“Tadakatsumoved to the city of Chicago in 1881.”則這些模型將會以很高的置信度回答“Chicago”——這僅僅是由于這句的形式與問題特別像，即使關鍵的信息都對不上。
這很像我們剛才舉的卡片的例子（Wason Selection Test），也暗示了之前的基于深度學習的NLP模型，主要類似于認知中的系統一，我們如果要進一步進行推理，就必須考慮系統二。
另外，可解釋性不足也是之前多層黑盒模型飽受詬病的弊端之一。這些模型往往只需要輸入問題和文本，然后輸入答案在文本中的位置；在多跳閱讀理解中，每一跳都是有原因的，如果不能給出合理答案解釋，則無法證明真的“理解”了文本。
問答系統很重要的一個問題是規模化。當語料不多時，面向單段閱讀理解的NLP模型都可以直接處理但是真正的問答系統勢必需要大規模語料并從中尋找答案。在陳丹琦等人的DrQA系統中使用的一個常見的權衡的方法是：
先根據問題在語料（維基百科）中檢索出少量相關段落，再在這些段落中進行NLP的處理。
CogQA文章認為，這樣的方法在多跳問答中存在“短視檢索”的問題，即后幾跳的文本和問題的相關性很低，很難被直接檢索到，導致了效果不佳。
03
在該文章提出一種新穎的迭代框架：算法使用兩個系統來維護一張認知圖譜（Cognitive Graph），系統一在文本中抽取與問題相關的實體名稱并擴展節點和匯總語義向量，系統二利用圖神經網絡在認知圖譜上進行推理計算。
正如之前提到的，人類的系統一是無知覺(unconscious)，CogQA中的系統一也是流行的NLP黑盒模型，例如BERT。在文章的實現中，系統一的輸入分為三部分：
■ 問題本身
■ 從前面段落中找到的“線索(clues)”
■ 關于某個實體x(例如x=上文中的電影《old school》)的維基百科文檔
系統一的目標是抽取文檔中的“下一跳實體名稱(hop span)”和“答案候選(ans span)”。比如上文例子中，從“quality cafe”的段落中抽取電影“old school”和“Gone in 60 seconds”作為下一跳的實體名稱，在“old school”的段落中抽取其導演“Todd Phillips”作為答案候選之一。這些抽取的到的實體和答案候選將作為節點添加到認知圖譜中。此外，系統一還將計算當前實體 x 的語意向量，這將在系統二中用作關系推理的初始值。
下圖展示了系統一（BERT實現）的結構：
文章還有很多值得注意的細節，比如之所以將“下一跳實體名稱”和“答案候選”分開，是因為前者更多關注語意相關性而后者則需要匹配疑問詞；“下一跳實體名稱”和“答案候選”是通過預測每個位置是開始或者結束的概率來確定的，這里與BERT原文做法相符；第0個位置的輸出被用來產生一個閾值，判斷段落內是否有有意義的“下一跳實體名稱”或者“答案候選”……詳情見論文。
接下來，每一個抽取出的“下一跳實體名稱”或“答案候選”將在認知圖譜中建立一個新的點，并進行下一步迭代。
同時系統二在認知圖譜上進行推理計算，文中使用圖神經網絡（GNN）實現的隱式推理計算——每一步迭代，前續節點將變換過的信息傳遞（Graph MessagePassing）給下一跳節點，并更新目前的隱表示（Hidden Representation）。最終所有的“答案候選”點的隱表示將通過一個帶有softmax函數的全連接網絡來判斷哪個是最終答案。
在認知圖譜擴展過程中，如果某被訪問節點出現新的父節點（環狀結構或匯集狀結構），表明此點獲得新的線索信息（clues），需要重新擴展計算。最終算法流程借助前沿點（frontier nodes）隊列形式實現，具體描述如下：
04
文章使用了CMU、Stanford和Montréal大學共同提出的HotpotQA數據集[4]，語料范圍是全維基百科。HotpotQA的每個問題都涉及多個文本，并且不僅要求模型輸出答案，而且要輸出支持信息所在的句子，只有當答案和支持句都判斷正確才被認為是正確的。CogQA顯著超過了之前的方法和同時期的其他模型：
值得一提的是，由于作者發現之前baseline的檢索部分方法有一定缺陷，為了排除檢索部分的影響，還優化了其檢索效果再比較（Yang et al.(2018)-IR）。
如果將問題按照提問類型分類，CogQA的效果隨著必需跳數的增加而變好：
除了效果的提升，案例分析中的認知圖譜也表明了其可解釋性方面的優越性：
上圖展現了幾個問答中的認知圖譜的實例。第一個樹形圖中，回答問題的關鍵在于判斷Ken Pruitt所在的組織是“Senate”（參議院） 還是“House of Representatives”（眾議院），模型通過判斷“upper house”（上院，在美國是參議院的別稱）和“Senate”的語意相似性做出回答；第二個是有向無環圖，多條推理路徑可以增強判斷；第三個是模型得出“錯誤答案”的例子，數據集的標準答案是“Ten Walls”可是CogQA給出的是“Marijus Adomaitis”，但是如果檢查認知圖譜，會發現Ten Walls不過是Marijus Adomaitis的藝名，模型給出了一個更加準確的答案，這種可解釋性帶來的好處是傳統黑盒模型不具有的。
05
在圖靈獎得主Judea Pearl的新作《The Book of Why》中，他強調了圖結構在認知和智能中的重要地位——智能不能拘泥于統計，更應該注重因果與邏輯鏈條，而后者則與圖結構密不可分。認知圖譜（Cognitive Graph）則是圖結構在問答問題上的一次有意義的嘗試，BERT、XLNet這樣的預訓練模型是否是認知理論中“系統一”的最終答案？圖結構到底應該怎樣服務于“系統二”的推理呢，比如如果能夠對超長的文本進行注意力（attention）機制，那么象征著因果和邏輯的結構信息究竟是否必要？
自然語言處理正處在一個蓬勃發展的時期，希望這篇文章可以給大家更多的思考。
Paper : https://arxiv.org/abs/1905.05460
Codes : https://github.com/THUDM/CogQA
參考文獻
[1] Evans, Jonathan St BT, and Keith E. Stanovich. "Dual-process theories of higher cognition: Advancing the debate." Perspectives on psychological science 8.3 (2013): 223-241.
[2] Cosmides, L. (1989). The logic of social exchange: Has natural selection shaped how humans reason? Studies with the Wason selection task. Cognition, 31(3), 187-276.
[3] Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
[4] Yang, Z., Qi, P., Zhang, S., Bengio, Y., Cohen, W. W., Salakhutdinov, R., & Manning, C. D. (2018). Hotpotqa: A dataset for diverse, explainable multi-hop question answering. arXiv preprint arXiv:1809.09600.
分享干貨
