文章摘自人工智能與算法學習
作者：賈子鈺（新加坡國立大學）
研究方向：時序預測
整理了ICML 2022關于時間序列相關的論文，圍繞時間序列預測、分類、異常檢測、表示學習以及在醫(yī)療、生物、交通、音樂、金融等方向的應用。
研究內(nèi)容：長期時間序列預測具有挑戰(zhàn)性，因為隨著視距的增加，預測精度會急劇下降。盡管基于變壓器的方法顯著改善了長期預測的最先進結(jié)果，但它們不僅計算成本高，更重要的是，無法捕捉時間序列的全局視圖(如總體趨勢)。為了解決這些問題，我們建議將Transformer與季節(jié)趨勢分解方法相結(jié)合，其中分解方法捕獲時間序列的全局剖面，而Transformer則捕獲更詳細的結(jié)構(gòu)。為了進一步增強Transformer在長期預測中的性能，我們利用了大多數(shù)時間序列往往在一個眾所周知的基(如傅里葉變換)中具有稀疏表示的事實，并開發(fā)了一種頻率增強Transformer。該方法被稱為頻率增強分解變壓器(FEDformer)，除具有更高的效率外，還具有比標準變壓器更高的效率，其復雜度與序列長度成線性關系。在6個基準數(shù)據(jù)集上的實證研究表明，F(xiàn)edformer對多變量和單變量時間序列的預測誤差分別比最新的方法降低了14.8%和22.6%。
研究內(nèi)容：遞歸神經(jīng)網(wǎng)絡(RNNs)是一個流行的選擇建模順序數(shù)據(jù)?，F(xiàn)代RNN架構(gòu)假設觀測之間的時間間隔恒定。然而，在許多數(shù)據(jù)集(如醫(yī)療記錄)中，觀察時間是不規(guī)律的，并且可能攜帶重要信息。為了應對這一挑戰(zhàn)，我們提出了連續(xù)循環(huán)單位(CRUs)——一種可以自然處理觀察之間不規(guī)律間隔的神經(jīng)結(jié)構(gòu)。CRU假設一個隱藏狀態(tài)，它根據(jù)線性隨機微分方程演變，并集成到一個編碼器-解碼器框架。CRU的遞推計算可以用連續(xù)-離散卡爾曼濾波器導出，并且是封閉形式。由此產(chǎn)生的循環(huán)架構(gòu)在隱藏狀態(tài)和門控機制之間具有時間連續(xù)性，可以最佳地集成噪聲觀測。我們提出了一種有效的CRU參數(shù)化方案，可快速實現(xiàn)f-CRU。我們在大量具有挑戰(zhàn)性的數(shù)據(jù)集上對CRU進行了實證研究，發(fā)現(xiàn)它可以比基于神經(jīng)常微分方程的方法更好地插值不規(guī)則時間序列。
研究內(nèi)容：時變量的估計是醫(yī)療保健和金融等領域決策的一個基本組成部分。然而，這種估計的實際效用受到其量化預測不確定性的準確性的限制。在這項工作中，我們解決了估計高維多元時間序列的聯(lián)合預測分布的問題。我們提出了一種通用的方法，基于變壓器架構(gòu)，使用基于注意的解碼器估計聯(lián)合分布，可證明學習模仿非參數(shù)連接的屬性。得到的模型具有幾個令人滿意的特性:它可以擴展到數(shù)百個時間序列，支持預測和插值，可以處理非對齊和非均勻采樣數(shù)據(jù)，并可以無縫適應訓練期間的缺失數(shù)據(jù)。我們以經(jīng)驗的方式展示了這些屬性，并表明我們的模型在多個現(xiàn)實世界的數(shù)據(jù)集上產(chǎn)生了最先進的預測。
研究內(nèi)容：時間序列對齊方法需要具有高度表達性、可微性和可逆性的扭曲函數(shù)來保持時間拓撲，即差分同構(gòu)。在常微分方程(ODE)控制下的速度場積分可以產(chǎn)生異形扭曲函數(shù)。包含異構(gòu)變換的基于梯度的優(yōu)化框架需要計算微分方程的解對模型參數(shù)的導數(shù)，即敏感性分析。不幸的是，深度學習框架通常缺乏自動微分兼容的靈敏度分析方法;隱函數(shù)，比如ODE的解，需要特別小心。目前的解決方案呼吁伴隨靈敏度方法，特別的數(shù)值求解或ResNet的歐拉離散化。在這項工作中，我們提出了一個閉合形式的ODE解及其梯度在連續(xù)分段仿射(CPA)速度函數(shù)。我們提出了一個高度優(yōu)化的結(jié)果在CPU和GPU上的實現(xiàn)。此外，我們在多個數(shù)據(jù)集上進行了大量的實驗，以驗證我們的模型對不可見數(shù)據(jù)的泛化能力。結(jié)果表明，在效率和準確性方面都有顯著提高。
研究內(nèi)容：在物理學、生物學或醫(yī)學中，經(jīng)驗觀察到的時間序列通常是由一些潛在的動力系統(tǒng)(DS)產(chǎn)生的，這是科學感興趣的目標。人們對收獲機器學習方法以數(shù)據(jù)驅(qū)動、無監(jiān)督的方式重建這個潛在的DS越來越感興趣。在許多科學領域中，從多種數(shù)據(jù)模式中同時采樣時間序列觀測是很常見的，例如，在典型的神經(jīng)科學實驗中，電生理和行為時間序列。然而，目前用于重建決策系統(tǒng)的機器學習工具通常只關注一種數(shù)據(jù)模態(tài)。本文提出了一個多模態(tài)數(shù)據(jù)集成的通用框架，用于非線性DS重構(gòu)和跨模態(tài)關系分析。該框架是基于動態(tài)可解釋的遞歸神經(jīng)網(wǎng)絡作為非線性決策系統(tǒng)的一般逼近器，耦合從一類廣義線性模型的模式特定解碼器模型集。提出并比較了期望最大化和變分推理兩種模型訓練算法。我們在非線性DS基準測試中展示了我們的算法可以通過利用其他通道有效地補償一個數(shù)據(jù)通道中過于嘈雜或缺失的信息，并在實驗神經(jīng)科學數(shù)據(jù)上演示了算法如何學習將不同的數(shù)據(jù)域連接到底層動態(tài)。
研究內(nèi)容：無監(jiān)督/自監(jiān)督時間序列表示學習是一個具有挑戰(zhàn)性的問題，因為它具有復雜的動態(tài)和稀疏的注釋。現(xiàn)有的研究主要采用對比學習的框架，利用基于時間的增強技術(shù)對正負號進行抽樣，進行對比訓練。然而，它們大多使用由時間切片衍生的分段級增強，由于失去全局上下文，可能會導致抽樣偏差和錯誤的優(yōu)化和假陰性。此外，它們都不注重將光譜信息納入特征表示。在本文中，我們提出了一個統(tǒng)一的框架，即雙線性時間譜融合(BTSF)。具體來說，我們首先利用實例級擴展，在整個時間序列上進行簡單的退出，以最大限度地捕獲長期依賴項。我們設計了一種新穎的迭代雙線性時間-光譜融合，以顯式編碼豐富的時間-頻率對的親和力，并利用頻譜-時間(S2T)和時間-頻譜(T2S)聚合模塊以融合-擠壓的方式迭代細化表示。我們首先對時間序列的分類、預測和異常檢測三個主要任務進行下游評價。實驗結(jié)果表明，我們的BTSF始終顯著優(yōu)于最先進的方法。
研究內(nèi)容：多變量時間序列中的異常檢測是數(shù)據(jù)挖掘和服務質(zhì)量管理的重要課題。近年來在異常檢測方面的研究主要集中在設計無監(jiān)督概率模型來提取MTS的魯棒正態(tài)模式上，本文通過開發(fā)嵌入引導的概率生成網(wǎng)絡，對MTS中的傳感器相關性和隨機性進行建模。我們將其與自適應變分圖卷積遞歸網(wǎng)絡%相結(jié)合，得到了變分GCRN (VGCRN)，用于在MTS中建模空間和時間上的細粒度相關性，為了探索分層潛在表示，我們進一步將VGCRN擴展到一個深度變分網(wǎng)絡，該網(wǎng)絡在不同層次捕獲多層次信息，對有噪聲的時間序列具有魯棒性。此外，我們開發(fā)了一種向上向下的變分推斷方案，該方案考慮了基于預測和基于重建的損失，以更好的MTS表示實現(xiàn)了潛在變量的準確后驗逼近。實驗驗證了該方法相對于現(xiàn)有方法的優(yōu)越性。
研究內(nèi)容：最近電子健康記錄(EHR)的可用性已經(jīng)允許開發(fā)預測住院病人惡化和軌跡演變風險的算法。然而，由于這些數(shù)據(jù)是稀疏的、異構(gòu)的、多維的、多模態(tài)的時間序列，EHR疾病進展的預測具有挑戰(zhàn)性。因此，聚類經(jīng)常用于確定患者隊列中的相似群體，以改善預測。目前的模型在獲得患者軌跡的聚類表示方面取得了一些成功。然而，他們i)無法獲得每個聚類的臨床可解釋性，ii)在疾病結(jié)果分布不平衡的情況下難以學習到有意義的聚類數(shù)。我們提出了一種有監(jiān)督的深度學習模型來聚類EHR數(shù)據(jù)，該模型基于臨床可理解表型的識別，與結(jié)果預測和患者軌跡有關。我們引入了新的損失函數(shù)來解決類不平衡和簇崩潰的問題，并進一步提出了一種特征時間關注機制來識別基于簇的表型在時間和特征維度上的重要性。我們在兩個對應于不同醫(yī)療環(huán)境的數(shù)據(jù)集中測試了我們的模型。我們的模型增加了集群形成的可解釋性，并在相關指標上超過基準至少4%。
研究內(nèi)容：近年來，深度神經(jīng)網(wǎng)絡在時間序列預測領域得到了越來越廣泛的應用。他們成功的一個主要原因是他們能夠有效地跨越多個相關的時間序列捕捉復雜的時間動態(tài)。這些深度預測的優(yōu)勢只有在有足夠數(shù)量的數(shù)據(jù)時才開始顯現(xiàn)。這對實踐中典型的預測問題提出了挑戰(zhàn)，在這些問題中，每個時間序列或每個時間序列的觀測數(shù)量有限，或兩者兼有。為了解決數(shù)據(jù)稀缺的問題，我們提出了一種新的領域適應框架——領域適應預測器(domain adaptation Forecaster, DAF)。DAF利用具有豐富數(shù)據(jù)樣本(源)的相關領域的統(tǒng)計優(yōu)勢，以提高具有有限數(shù)據(jù)(目標)的感興趣領域的性能。特別地，我們使用了一個基于關注的共享模塊，它帶有跨域的域識別器，以及針對單個域的私有模塊。我們同時誘導領域不變的潛在特征(查詢和密鑰)和再訓練領域特定的特征(值)，以使預測者能夠在源和目標領域上聯(lián)合訓練。一個主要的見解是，我們對鍵的設計允許目標域利用源時間序列，即使具有不同的特征。在各個領域的廣泛實驗表明，我們提出的方法在合成和真實數(shù)據(jù)集上優(yōu)于最先進的基線，消融研究驗證了我們設計選擇的有效性。
研究內(nèi)容：預測模型的不確定性量化是決策問題的關鍵。共形預測是一個普遍的和理論上合理的答案。但是，它需要可交換的數(shù)據(jù)，不包括時間序列。雖然最近的工作解決了這個問題，我們認為自適應共形推理(ACI, Gibbs & Candès, 2021)，為分布-移位時間序列開發(fā)，是具有一般依賴性的時間序列的一個很好的程序。在可交換和自回歸的情況下，我們從理論上分析了學習率對學習率效率的影響。我們提出了一種無參數(shù)方法AgACI，該方法自適應地建立在基于在線專家聚合的ACI基礎上。我們對倡導在時間序列中使用ACI的競爭方法進行了廣泛的公平模擬。我們進行了一個真實的案例研究:電價預測。該聚合算法為日前預測提供了有效的預測區(qū)間。
研究內(nèi)容：我們提出了一種結(jié)合專家知識的時間序列表示學習方法。我們的方法采用專家特征來替代以往對比學習方法中常用的數(shù)據(jù)轉(zhuǎn)換。我們這樣做是因為時間序列數(shù)據(jù)通常來自工業(yè)或醫(yī)療領域，在這些領域中，專家特征通?？梢詮念I域?qū)＜夷抢铽@得，而時間序列數(shù)據(jù)通常難以進行轉(zhuǎn)換。我們首先提出了兩個有用的時間序列表示應該滿足的性質(zhì)，并表明目前的表示學習方法不能確保這些性質(zhì)。因此，我們設計了ExpCLR，一種新的對比學習方法，其目標是利用專家特征來鼓勵學習表征的兩種屬性。最后，我們在三個真實的時間序列數(shù)據(jù)集上演示了ExpCLR在無監(jiān)督和半監(jiān)督表示學習方面超過了幾種最先進的方法。
研究內(nèi)容：神經(jīng)過程(NPs)是一種流行的元學習方法。與高斯過程(GPs)類似，NPs定義函數(shù)上的分布，并可以估計其預測的不確定性。然而，與全科醫(yī)生不同，NPs及其變體存在擬合不足，并且往往具有難以處理的可能性，這限制了它們在序列決策中的應用。我們提出了變壓器神經(jīng)過程(TNPs)，這是NP家族的一個新成員，它將不確定性感知元學習視為序列建模問題。我們通過一個基于自回歸似然的目標來學習TNPs，并使用一種新的基于變壓器的架構(gòu)來實例化它，該架構(gòu)尊重問題結(jié)構(gòu)固有的歸納偏差，例如對觀測數(shù)據(jù)點的不變性和對未觀測點的等方差。我們進一步在TNP架構(gòu)中設計旋鈕，以權(quán)衡譯碼分發(fā)的表現(xiàn)力增加與額外的計算。根據(jù)經(jīng)驗，我們表明，TNPs在各種基準問題上取得了最先進的性能，在元回歸、圖像完成、上下文多武裝強盜和貝葉斯優(yōu)化方面優(yōu)于所有以前的NP變體。
研究內(nèi)容：貝葉斯優(yōu)化(BayesOpt)是查詢高效的連續(xù)優(yōu)化的黃金標準。然而，由于決策變量的離散性、高維性，其在藥物設計中的應用受到了阻礙。我們開發(fā)了一種新的方法(LaMBO)，該方法聯(lián)合訓練了一種帶有判別式多任務高斯過程頭的去噪自編碼器，允許在自編碼器的潛在空間中基于梯度的多目標捕獲函數(shù)優(yōu)化。這些采集功能使LaMBO能夠在多個設計回合中平衡勘探-開發(fā)權(quán)衡，并通過在帕累托邊界的許多不同點上優(yōu)化序列來平衡目標權(quán)衡。我們在兩個小分子設計任務上評估了LaMBO，并引入了新的任務優(yōu)化了大分子熒光蛋白的硅和體外性質(zhì)。在實驗中，LaMBO算法的性能優(yōu)于遺傳優(yōu)化算法，且不需要大量的預訓練語料庫，證明了BayesOpt算法在生物序列設計中的實用性和有效性。
研究內(nèi)容：從視覺觀察中了解動態(tài)系統(tǒng)的潛在因果因素被認為是走向復雜環(huán)境中的代理推理的關鍵一步。在本文中，我們提出了CITRIS，這是一種變分自編碼器框架，可以從潛在的因果因素可能被干預的圖像的時間序列中學習因果表示。與最近的文獻相比，CITRIS利用時間性和觀察干預目標來識別標量和多維的因果因素，如三維旋轉(zhuǎn)角度。此外，通過引入一個規(guī)范化流程，CITRIS可以很容易地擴展到利用和解纏已經(jīng)預先訓練的自動編碼器獲得的表示。擴展了先前關于標量因果因素的結(jié)果，我們證明了在更一般的情況下的可識別性，在這種情況下，只有一個因果因素的某些組成部分受到干預的影響。在3D渲染圖像序列的實驗中，CITRIS在恢復潛在因果變量方面優(yōu)于以往的方法。此外，使用預訓練的自動編碼器，CITRIS甚至可以推廣到不可見的因果因素實例，為因果表示學習的簡單到真實的推廣開辟了未來的研究領域。
研究內(nèi)容：如何正確地建模視頻序列中的幀間關系是視頻恢復(VR)中一個重要但尚未解決的問題。在本研究中，我們提出一種無監(jiān)督流程對齊的序列對序列模型(S2SVR)來解決這個問題。一方面，首次在VR中探索了在自然語言處理領域被證明能夠進行序列建模的序列對序列模型。優(yōu)化的序列化建模顯示了捕獲幀之間的遠程依賴關系的潛力。另一方面，我們裝備了一個無監(jiān)督光流估計的序列模型，以最大限度地發(fā)揮其潛力。流量估計器使用我們提出的無監(jiān)督蒸餾損失進行訓練，這可以緩解以往基于流量的方法的數(shù)據(jù)差異和不準確的退化光流量問題。通過可靠的光流，我們可以建立多個幀之間的精確對應關系，縮小一維語言幀和二維失調(diào)幀之間的域差異，提高序列對序列模型的潛力。S2SVR在多個VR任務中表現(xiàn)出卓越的性能，包括視頻去模糊、視頻超分辨率、壓縮視頻質(zhì)量增強等。
研究內(nèi)容：設計具有特定生物功能的蛋白質(zhì)序列是蛋白質(zhì)工程長期面臨的挑戰(zhàn)。機器學習指導方法的最新進展集中在構(gòu)建替代序列函數(shù)模型，以減少昂貴的實驗室實驗負擔。本文研究了模型導向序列設計的探索機制。我們利用了蛋白質(zhì)適應性的自然特性，即在野生型序列上的一組簡潔的突變通常足以增強所需的功能。通過利用這一特性，我們提出了近端探索(PEX)算法，優(yōu)先進化搜索具有低突變計數(shù)的高適應度突變。此外，我們開發(fā)了一種專門的模型體系結(jié)構(gòu)，稱為突變因子分解網(wǎng)絡(MuFacNet)，以預測低階突變效應，進一步提高了模型引導進化的樣本效率。在實驗中，我們在一系列硅蛋白序列設計任務中廣泛評估了我們的方法，并證明了我們的方法比基線算法有實質(zhì)性的改進。
研究內(nèi)容：設計具有理想特性的從頭生物序列，如蛋白質(zhì)和DNA序列，通常需要一個主動循環(huán)，需要幾輪分子構(gòu)思和昂貴的濕式實驗室評估。這些實驗可以由多個階段組成，隨著精度和評估成本的提高，篩選候選人。這使得候選人的多樣性成為構(gòu)思階段的關鍵考慮因素。在這項工作中，我們提出了一種主動學習算法，利用認知不確定性估計和最近提出的GFlowNets作為不同候選解決方案的生成器，目的是在每一輪之后獲得不同批次的有用的(如由某些效用函數(shù)定義的，如肽的預測抗微生物活性)和有信息的候選。我們還提出了一個方案，將現(xiàn)有的標記數(shù)據(jù)集的候選，除了一個獎勵函數(shù)，以加快GFlowNets的學習。我們展示了幾個生物序列設計任務的實證結(jié)果，我們發(fā)現(xiàn)與現(xiàn)有方法相比，我們的方法產(chǎn)生了更多樣化和新的高得分候選批次。
研究內(nèi)容：最近的工作強調(diào)了因果關系在設計公平?jīng)Q策算法中的作用。然而，目前還不清楚現(xiàn)有的公平的因果概念是如何相互聯(lián)系的，或者使用這些定義作為設計原則的后果是什么。在這里，我們首先將算法公平的流行因果定義集合并分類為兩個大類:(1)那些約束決策對反事實差異的影響的因果定義;(2)限制受法律保護的特征，如種族和性別，對決策的影響。然后，我們通過分析和經(jīng)驗證明，這兩種定義家族幾乎總是——在測量理論意義上——導致強烈的帕累托支配決策政策，這意味著存在一個替代的、不受約束的政策，每個利益相關者的偏好來自一個大的、自然的階層。例如，在大學錄取決定的情況下，約束于滿足因果公平定義的政策將不受每一個對學術(shù)準備和多樣性具有中立或積極偏好的利益相關者的青睞。事實上，在因果公平的顯著定義下，我們證明了由此產(chǎn)生的政策要求以相同的概率錄取所有學生，無論其學歷或群體成員。我們的結(jié)果突出了因果公平的常見數(shù)學概念的形式限制和潛在的不利后果。
研究內(nèi)容：在這項工作中，我們追求一個統(tǒng)一的多模態(tài)預訓練范式，以打破復雜任務/模態(tài)定制的桎梏。我們提出OFA，一個支持任務全面性的任務不可知論和模式不可知論框架。OFA將一系列跨模態(tài)和單模態(tài)的任務，包括圖像生成、視覺基礎、圖像標題、圖像分類、語言建模等，統(tǒng)一在一個簡單的序列到序列的學習框架中。OFA在訓練前和微調(diào)階段都采用基于指令的學習方式，對下游任務不需要額外的任務特定層。與最近最先進的視覺和語言模型(依賴于超大的跨模式數(shù)據(jù)集)相比，OFA只在20M公開可用的圖像-文本對上進行了預訓練。盡管OFA的操作簡單且訓練數(shù)據(jù)相對較小，但它在一系列跨模式任務中實現(xiàn)了新的SOTAs，同時在單模態(tài)任務中獲得了高度競爭性的性能。我們的進一步分析表明，OFA還可以有效地轉(zhuǎn)移到未見任務和未見域。
研究內(nèi)容：我們提出了一種新的自回歸生成模型SkexGen，用于計算機輔助設計(CAD)結(jié)構(gòu)序列，包括草圖和擠壓建模操作。我們的模型利用獨特的Transformer架構(gòu)將構(gòu)造序列的拓撲、幾何和擠壓變化編碼到解纏的代碼本中。自回歸變壓器解碼器生成的CAD構(gòu)造序列共享由碼本向量指定的某些屬性。大量的實驗表明，我們的解糾纏碼本表示產(chǎn)生了多樣化和高質(zhì)量的CAD模型，增強了用戶控制，并使設計空間的有效探索。
研究內(nèi)容：可控的生成序列模型能夠提取和復制特定示例的風格，使許多應用成為可能，包括以不同的聲音敘述有聲讀物，自動補全和自動糾正手寫，以及為下游識別任務生成缺失的訓練樣本。然而，在無監(jiān)督樣式設置下，可控序列生成模型的典型訓練算法存在訓練與推理不匹配的問題，即訓練時使用相同的樣本作為內(nèi)容和樣式輸入，而推理時給出的是不配對的樣本。在本文中，我們解決了可控生成序列模型在無監(jiān)督學習過程中遇到的訓練-推理不匹配問題。該方法簡單有效，我們使用樣式轉(zhuǎn)換模塊將目標樣式信息轉(zhuǎn)換為不相關的樣式輸入。該方法允許使用不配對的內(nèi)容和樣式樣本進行訓練，從而減輕訓練推斷不匹配的問題。我們將風格均衡應用于三個數(shù)據(jù)集上的文本到語音和文本到筆跡合成。我們進行全面的評估，包括定量和定性的用戶研究。我們的結(jié)果表明，通過減少訓練推斷與建議的風格均衡的不匹配，我們在用戶研究中獲得了與真實數(shù)據(jù)相當?shù)娘L格復制分數(shù)。
