當?shù)貢r間2月4日,AAAI 2021最佳論文獎出爐!
由AAAI 2021程序委員會主席Mausam在開幕式上宣布,共有3篇論文獲得了最佳論文獎。
以及3篇獲得最佳論文提名(Runners Up獎)。
值得注意的是,在這6篇獲獎論文中,有兩篇均是北航學子擔任第一作者,單從標題就可看出,研究均與Transformer相關。
首先,獲得最佳論文獎的是“Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting”。
第一作者來自北航的Haoyi Zhou,由北航、UC伯克利、羅格斯大學以及北京國網(wǎng)富達公司共同協(xié)作完成。
本文設計了一種專為LSTF(長序列時間序列預測)設計的基于Transformer模型Informer,來解決Transformer在應用于LSTF時存在一些嚴重的問題。
比如二次時間復雜度、較高的內(nèi)存使用量和編解碼器結(jié)構(gòu)的固有限制等。
Informer具有三個顯著特點:采用ProbSparse自關注機制、自注意力提煉、生成式解碼器。
除此之外,還有兩篇論文獲得了最佳論文獎。
其中一篇是來自華人團隊,名為“Mitigating Political Bias in Language Models Through Reinforced Calibration”。
第一作者是來自達特茅斯學院計算機科學系的Ruibo Liu,主要研究是通過強化校準來減輕語言模型中政治偏見問題。
以及來自新加坡科技設計大學的論文,叫做Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory。
研究了一個Q-learning的平滑模擬,以災難理論與博弈理論相結(jié)合,加強Exploration-Exploitation這一工具在多代理學習(MAL)中的理解。
而獲得最佳論文Runners Up獎的三篇論文中,“Self-Attention Attribution:Interpreting Information interactions inside transformer”的一作Yaru Hao同樣來自北航 。
二作是來自微軟亞洲研究院的董力。
本文提出了自注意力歸因算法,來解釋Transformer內(nèi)部的信息交互,并以BERT為例進行了廣泛的研究。
首先,提取各層中最突出的依賴關系,構(gòu)建歸因圖,揭示Transformer內(nèi)部的層次交互關系。
此外,還應用自注意力歸因法來識別重要的注意力頭,而其他的注意力頭被修剪,而性能僅有邊際下降。
最后,歸因結(jié)果作為對抗性模式來實現(xiàn)對BERT的非目標攻擊。
此外,還有來自加州大學伯克利分校、德克薩斯大學奧斯汀分校等團隊的“Learning From Extreme Bandit Feedback”論文,研究了在極度大的動作空間環(huán)境下,從Bandit Feedback中進行批量學習的問題。
以及,來自哈佛大學、卡內(nèi)基梅隆大學的團隊的論文“Dual-Mandate Patrols: Multi-Armed Bandits for Green Security”。
第一作者是來自哈佛大學的Lily Xu,探究了如何利用強化學習的Multi-armed Bandit算法,來避免偷獵者傷害野生動物。
本屆AAAI大會以線上會議的形式召開,大會主席由微眾銀行首席人工智能官、香港科技大學教授、遷移學習帶頭人楊強擔任。
楊強教授是 AAAI 大會歷史上第二位大會主席,也是擔任此職位的首位華人。
本次會議共接收了1696篇,接收率近21.4%,其中有70.6%是學生論文。
中國大陸論文總數(shù)仍然占據(jù)榜首,共提交了3319篇論文,其中627篇論文被接收,接收率為19.0% 。
在各個獎項上,華人表現(xiàn)出色,斬獲四項大獎。
包括北航的兩篇在內(nèi),共有4個華人團隊的論文獲得了最佳論文、最佳論文亞軍的獎項。
還有來自深圳市計算機視覺與模式識別重點實驗室、南方科技大學等團隊的論文獲得了杰出論文獎。
此外,還有來自微軟亞洲研究院的兩位學者Xiting Wang和吳方照獲得了杰出SPC獎。
大會將一直持續(xù)到2月9日結(jié)束,想了解更多細節(jié)可戳下方鏈接哦~
大會鏈接:
https://aaai.org/Conferences/AAAI-21/
最佳論文/亞軍鏈接:
https://arxiv.org/pdf/2012.03083.pdf
https://arxiv.org/pdf/2009.12947.pdf
https://arxiv.org/pdf/2004.11207.pdf
https://arxiv.org/pdf/2012.07436.pdf
https://arxiv.org/abs/2009.06560
https://www.aaai.org/AAAI21Papers/AISI-8076.LiuR.pdf
— 完 —