在過去幾年間，說起最引人注目的人工智能團隊一定少不了DeepMind。它不僅開發(fā)了AlphaGo等占據(jù)各大新聞頭條的人工智能，還在許多科學(xué)領(lǐng)域幫助科學(xué)家推進了科學(xué)的前沿。DeepMind團隊研發(fā)的各類人工智能已經(jīng)在“蛋白質(zhì)折疊問題”上取得重大突破，為化學(xué)界提供了預(yù)測分子內(nèi)電子分布的工具，還帶來了識別數(shù)學(xué)結(jié)構(gòu)和模式的機器學(xué)習(xí)。（詳見《生物學(xué)的一個基本大問題迎來重大突破！》《為化學(xué)界提供的最強大武器》《探索純數(shù)學(xué)的新奇方式》。）
近日，DeepMind團隊又帶來了另一項驚喜。它與瑞士等離子體中心（SPC）合作，共同開發(fā)了一種基于深度強化學(xué)習(xí)的等離子體磁控制的新方法，并首次將它應(yīng)用在現(xiàn)實世界的等離子體控制中，這項變革性的技術(shù)為推動核聚變研究開辟了新途徑。研究已于近日發(fā)表在《自然》雜志上。
“人造恒星”托卡馬克
為了解決全球能源危機，研究人員長期以來一直在尋求一種無限的清潔能源。核聚變正是一個有力的候選。通過粉碎和聚變氫，這個過程能夠釋放出巨大的能量。這種反應(yīng)在宇宙中幾乎“隨處可見”，它為包括太陽在內(nèi)的恒星提供著動力。
在地球上，科學(xué)家也試圖“建造太陽”。重現(xiàn)這類極端條件的方式之一是使用一種被稱為托卡馬克的裝置。
托卡馬克是一種磁線圈環(huán)繞的甜甜圈形狀的真空裝置，它借助強大的磁場將等離子體限制在數(shù)億攝氏度的極高溫狀態(tài)下，這甚至比太陽核心還要熱，從而讓氫原子之間發(fā)生核聚變反應(yīng)。這種方法被廣泛采用，目前全世界約有幾十臺投入使用的托卡馬克，包括中國著名的“東方超環(huán)”（先進實驗超導(dǎo)托卡馬克實驗裝置）。
在這項新研究中，位于SPC的托卡馬克裝置允許各種等離子體位形的存在，因此也被稱為可變位形托卡馬克（TCV）。一個等離子體的位形與它在設(shè)備中的形狀和位置有關(guān)，也就是說，科學(xué)家可以用它來研究限制和控制等離子體的新方法。
TCV照片以及三維模型。| 圖片來源：DeepMind & SPC/EPFL
但裝置中的等離子體本質(zhì)上是不穩(wěn)定的，要維持核聚變所需的過程成了一個復(fù)雜的挑戰(zhàn)。例如，控制系統(tǒng)需要協(xié)調(diào)托卡馬克的許多磁線圈，并以每秒數(shù)千次的頻率調(diào)整它們的電壓，確保等離子體不會接觸到容器的墻壁而帶來問題。
利用AI幫助解決問題
在這項新研究中，研究團隊描述了如何通過AI算法在TCV上建立并運行控制器，成功控制了核聚變等離子體。團隊使用一個結(jié)合了深度RL和模擬環(huán)境的學(xué)習(xí)架構(gòu)，建立了一套控制系統(tǒng)，它既能保持等離子體穩(wěn)定，又能精確地將等離子體塑造成不同形狀。
團隊面臨的第一個問題便是數(shù)據(jù)的缺乏。TCV在一次實驗中最多只能維持等離子體約三秒，之后需要15分鐘來冷卻和重置，才能進行下一次嘗試。不僅如此，多個研究團隊經(jīng)常共同使用托卡馬克，這進一步限制了可用于實驗的時間。
鑒于這種障礙，他們首先轉(zhuǎn)向模擬器來幫助推進研究。SPC已經(jīng)建立了一套強大的模擬工具，能夠?qū)ν锌R克的動態(tài)進行建模。這些工具可以讓深度強化學(xué)習(xí)系統(tǒng)學(xué)會在模擬中控制TCV，然后在真正的TCV上驗證這些結(jié)果。
雖然這是一種更廉價、更方便的方法來訓(xùn)練控制器，但仍然存在許多障礙。比如，等離子體模擬器運行得很慢，需要數(shù)小時的計算機才能模擬一秒的真實實驗。此外，TCV的狀況每天都會發(fā)生變化，這就需要在物理和模擬方面進行算法改進，適應(yīng)硬件的實際情況。
而最核心的問題仍然在于復(fù)雜性。現(xiàn)有的等離子體控制系統(tǒng)非常復(fù)雜，TCV的19個磁線圈每一個都需要單獨的控制器，同時，每個控制器都使用算法來實時估計等離子體的特性，并相應(yīng)地調(diào)整磁鐵的電壓。
這項新研究的架構(gòu)徹底改變了這一點，它使用單一的神經(jīng)網(wǎng)絡(luò)一次性控制所有線圈，并自動學(xué)習(xí)怎樣的電壓條件最適合實現(xiàn)某種等離子體位形。
團隊首先展示了一個單一的控制器操縱等離子體的許多方面的能力。控制器首先根據(jù)要求的形狀塑造等離子體，然后將等離子體向下移動并與壁分離，用兩條“腿”將其懸掛在容器的中間。等離子體被穩(wěn)定住，這也是測量等離子體特性所必需的。最后，等離子體被引導(dǎo)回到容器的頂部，并安全地銷毀。
用深度強化學(xué)習(xí)訓(xùn)練的控制器通過實驗的多個階段引導(dǎo)等離子體。左圖是實驗期間托卡馬克的內(nèi)部視圖。右圖是重建的等離子體形狀。| 圖片來源：DeepMind & SPC/EPFL
隨后，團隊成功創(chuàng)造了一系列的等離子體形狀。例如，他們制作了一個有許多“腿”的“雪花”形狀（下圖右2），這種形狀通過將排氣能量分散到容器壁上的不同接觸點，可以幫助降低冷卻的成本。
深度學(xué)習(xí)控制器創(chuàng)造出了一系列形狀各異的等離子體。| 圖片來源：DeepMind & SPC/EPFL
團隊還展示了一個非常接近正在建設(shè)的下一代托卡馬克ITER（國際熱核聚變實驗堆）提案的形狀（上圖中間），幫助預(yù)測ITER中等離子體的行為。他們甚至還嘗試了一些以前在TCV中從未試過的形狀，它被稱為“液滴”（上圖左1），此時容器內(nèi)同時有兩個等離子體。
可以這么說，這個系統(tǒng)能為所有這些不同的條件找到控制器。只要改變設(shè)置的目標(biāo)，算法就能自主找到一個合適的控制器。
核聚變的未來
這種“等離子體塑造”的實現(xiàn)說明，系統(tǒng)已經(jīng)成功地控制了等離子體，而且更重要的是，這讓科學(xué)家能夠研究等離子體在不同條件下的反應(yīng)，提高我們對聚變反應(yīng)堆的理解。
這項研究是另一個有力的例子，展示了機器學(xué)習(xí)可以幫助科學(xué)家應(yīng)對重大挑戰(zhàn)，并加速科學(xué)發(fā)現(xiàn)。對托卡馬克控制的成功演示，顯示了人工智能在加速和協(xié)助核聚變科學(xué)方面的力量。
DeepMind團隊認(rèn)為，未來人工智能的使用將越來越復(fù)雜。這種自主創(chuàng)造控制器的能力甚至可以用于設(shè)計新型的托卡馬克及其控制器。他們同時預(yù)測，在未來幾年，強化學(xué)習(xí)或許有望成為工業(yè)和科學(xué)控制應(yīng)用的一種變革性技術(shù)。
#創(chuàng)作團隊：
編譯：Takeko
排版：雯雯
#參考來源：
https://deepmind.com/blog/article/Accelerating-fusion-science-through-learned-plasma-control
https://actu.epfl.ch/news/epfl-and-deepmind-use-ai-to-control-plasmas-for-nu/
#圖片來源：
封面圖：Curdin Wüthrich /SPC/EPFL
首圖：DeepMind & SPC/EPFL
