機器之心報道
在 WAIC 2022 AI 開發(fā)者論壇上，瀾舟科技創(chuàng)始人兼 CEO、中國計算機學會 CCF 副理事長、創(chuàng)新工場首席科學家周明發(fā)表主題演講《基于預訓練語言模型的可控文本生成研究與應用》。
在演講中，他主要從四個部分進行了介紹：可控文本生成背景、可控文本生成研究進展、瀾舟可控文本生成應用實踐、總結與展望。說到可控文本生成研究進展，周明總結了三個技術要點：可控文本生成神經網絡模型、可控文本生成模型訓練與解碼、改進生成文本的事實正確性。此外，周明還介紹了瀾舟可控文本生成平臺，并從應用角度進行介紹，例如基于關鍵詞的內容生成、基于寫作模板的內容生成、現代文小說續(xù)寫等。
以下為周明在 WAIC 2022 AI 開發(fā)者論壇上的演講內容，機器之心進行了不改變原意的編輯、整理：
大家下午好，今天非常榮幸來到機器之心開發(fā)者日，向大家介紹一下我們最新的工作，我的演講題目是《基于預訓練語言模型的可控文本生成研究與應用》。
主要有四個方面，第一可控文本生成的背景，第二可控文本生成的研究進展，第三瀾舟科技在可控文本生成中的應用實踐，第四是總結與展望。
可控文本生成背景
先說一下可控文本生成的背景，文本生成大家都清楚，比如我們平時要寫一些東西，一般會有題目、關鍵詞或者提綱，然后人開始去寫。當然這是一個迭代的過程，第一遍寫完之后再改進、修正，直到滿意為止。現在我們讓機器來寫文本，它的輸入可以是一個兩個關鍵詞、幾個小題目。如今，文本生成幾乎成了人工智能研究的必要技術，比如寫小說、寫報告以及對話生成。
文本生成的任務有很多，但什么是可控文本生成？用 AI 去寫，有時候可能不是你要表達的意思，有時想控制一下，例如生成的文本里必須包含如下幾個關鍵詞，或者必須體現某種風格；比如說幽默或者歡樂的表達，或者文本使用對象是小孩、老人、男孩、女孩之類。這些關鍵詞、限制信息等各種參數就是可控參數，我們希望電腦生成的文本可以滿足這些要求。這樣生成文本的方式就是可控文本生成。
這里給大家看幾個例子，可以輸入一些關鍵詞或者事實、知識圖譜三元組、鍵值對（比如天氣一定是好，房子一定是白色的），再就是標題，然后電腦就可以自動生成我們想要的文本。
面向文本生成任務的可控文本生成，目前都是用預訓練模型來做的，比較常見的有 GPT、BART、T5 等等。預訓練模型有時候用海量文本進行自監(jiān)督學習，有時候用多任務去學習一個語言模型；有的語言模型非常擅長于理解任務，有的非常擅長于生成任務，GPT 之類的模型就比較善于生成任務。
盡管基于預訓練的文本生成取得了較大進步，大家看到，有的生成模型生成的文本仍有各種各樣的問題，比如內容邏輯錯誤、內容發(fā)散不聚焦、語句重復等等。
可控文本生成研究進展
我給大家簡單綜述一下可控文本生成最新的研究進展，分三個部分：第一部分是可控文本生成的神經網絡模型、細粒度可控文本生成建模方法、長文本生成建模方法；第二部分是可控文本生成的模型訓練與解碼、可持續(xù)學習與輕量化微調、長文本生成模型訓練方法、可控生成的解碼方法；第三部分是如何改進生成文本的事實正確性，即融入知識的可控文本生成方法。
這些是可控文本生成的一般方法。我們說可控，什么是可控，關鍵詞要體現出來、語義風格要體現出來，具體怎么做？
實現可控生成通常有三種方法，第一種方法是調整解碼策略，在解碼的時候，把我們希望突出的詞的生成概率往上調，使模型傾向于輸出這樣的詞；第二種方法是調整一些訓練的目標函數，比如說我們要輸出非常快樂的語句，就在 模型的輸出層再加一個模塊，用于判斷它是正面的或者歡快的，然后再輸出，這就相當于增加了一個訓練函數；第三種就是調整模型輸入，像我們用提示方法，或者專門做一個 prompting 網絡來控制輸出的過程。
像 GPT 是比較常見的方法，但是有些問題，它很難實現細粒度可控的學習。簡單采用 Prompting-based 的方法難以實現細粒度的控制，隨著生成距離的增加控制能力越來越弱，難以使用一個 Prompting 控制整個生成的文本。
在最近一個 ACL 論文的工作中，研究者提出了細粒度的可控文本生成模型。它有一個 Prompt 網絡，把希望可控的部分放在 Prompt 里面，可以是具體的關鍵詞或者寫作風格；后面用了一個 GPT，GPT 原封不動，讓 GPT 輸出文本的表示。為了可控，由于沒辦法控制 GPT 某一個地方輸出你所喜歡的風格，該模型添加額外的一個生成模塊，如圖中黃色部分，它同時接受 Prompt 網絡的輸出，加上 GPT 部分的輸出，再次作為輸入，然后決定下一個詞是什么詞。這個詞決定完了之后，再加入到 GPT 的輸出，然后繼續(xù)生成下一個詞。
這樣做的好處是，第一利用 Prompt 網絡非常靈活；第二不用改 GPT；第三訓練成本非常低，因為基本上 GPT 不用動，只需要訓練 Prompt 網絡和黃色部分的生成網絡參數就可以了。
這里有一個小細節(jié)，第一步是初始化，這個 Prompt 網絡用 GPT 本身的參數來初始化，Prompt 網絡就容易達到相對來講比較滿意的值；然后，第二步對 Prompt 做一些預訓練；第三步對 Prompt 網絡和 GPT 互動的部分再進行一些微調；最后，如果有真實輸入和輸出對應的數據，可以再把 Prompt 網絡進行微調。
第二個是基于記憶網絡的長文本生成模型。長文本在用預訓練模型生成時越到后面越發(fā)散，同時，太長的文本難以放到 Transformer 中計算，所以就把已經生成好的部分用一個記憶網絡存著。這里做了一個改進，引入記憶單元（向量矩陣）存儲歷史信息，并對歷史生成信息進行壓縮，將記憶網絡的部分當成將要生成內容某種意義上的輸入，然后輸出的結果就變好了。
持續(xù)學習是什么意思呢？比如，我已經做了一個文本生成，這個文本生成能實現 N 個任務，現在再做一個文本生成實現 N+1 個任務，同時希望任務之間共享一些參數節(jié)省訓練效率，這是怎么實現的呢？這里就用了可持續(xù)學習的方法。
最右邊的藍圖假設有三個任務實現，傳統(tǒng)的方法就是三個任務分別訓練一個模型，模型和模型之間不搭界；中間的圖是三個任務讓他們共享一個模型，中間插入一些參數，但每個任務的路徑還是獨立的；第三個圖表示，還是有些路徑可以共享的；怎么樣利用已有的神經網絡部分，不要再做重復的工作呢？
于是提出了可持續(xù)學習模型，來一個新的任務的時候，先去算跟已有任務之間的相似度，如果相似度比較大，就重復使用已有的模型，這樣來提高效率。
還有一種情況是，在輸出的時候總是有重復的詞或重復的句子，所以就有人研究使用對比學習方法。這里的對比學習方法意思是，輸出的詞既要算最大似然，還要跟前面已經輸出的詞算語義相似度，如果語義相似度特別近則給一個懲罰值。用這個方法就減少了后面的詞跟前面的詞重復出現的概率。
我們總是希望生成是多樣化的生成，尤其是在實際應用的時候。比如營銷文案生成的時候，我們希望每一次輸出多個結果，而且各不相同。這個解碼的多樣化是非常重要的任務。怎么樣來實現解碼的多樣化呢？Beam Search 用得比較多，可以生成多個結果；然后 Greedy 的話，每次只選第一個詞。但是 Beam Search 和 Greedy 每次輸出的結果都類似。這里有人提出了一個新的方法——組合采樣；就是在輸出的時候，先輸出若干個關鍵詞作為前綴詞來引導輸出，輸出的關鍵詞就是多樣化的，每個多樣化的關鍵詞再用 Beam Search，它的多樣化就會增加，這樣就有效解決了多樣化的問題。
還有一種情況是在生成的時候有知識圖譜，如何把領域知識和知識圖譜融入在生成過程中，有兩種方法可行。第一種方法把這些知識圖譜文字化；第二種方法是在生成的時候利用關鍵詞查知識圖譜，利用知識圖譜拓展輸入層，使它生成更多的東西，而每個生成都符合知識圖譜。
前面快速介紹了文本生成目前的關鍵技術，總結一下，第一改進細粒度的生成，第二改進長文本，第三改進多樣化的問題，還有減少重復出現問題。這都是文本生成領域大家非常關注的問題。我剛才介紹的絕非是最優(yōu)的方法，只是給大家一個思路。我們在自己做文本生成的時候也受到很大的啟發(fā)，也開發(fā)了自己的思路。
可控文本生成應用實踐
下面介紹一下我們的項目。第一個是我們做了瀾舟的可控文本生成平臺，最底層是各種各樣的數據。我們有一個基于神經網絡的生成模型，基于這個模型可以接受垂直領域的數據或者知識圖譜。我們目前有弱標注學習數據構建、篇章結構建模、自動評測，然后生成各種各樣的文本。
我們在做的時候需要造一些偽數據來訓練預訓練模型，偽數據就是給一篇文章我們把關鍵詞、知識圖譜抽出來，然后反過來把這些知識圖譜、關鍵詞作為輸入看能不能生成原文，然后訓練預訓練模型。
基于這樣的模型，我們就做了一些工作。第一個是基于關鍵詞的生成，這個是可控文本生成只能輸入關鍵詞的時候，讓機器根據你的關鍵詞擴展語義，把整篇文章或者一個段落生成出來。目前來講，我們是生成一個段落；你可以選擇文體；也可以定義自己的一個模板，讓電腦來進行填空造句，它也可以生成得非常好。
我們在寫作的時候，往往可以自己寫一小段，但是不太漂亮；這時讓電腦來做優(yōu)化，這個過程叫渲染；有點像做 CV，把一個圖形變得更漂亮，我們就模仿這個過程。用戶隨便輸入一些句子或者一兩個關鍵詞，然后表達你想寫的東西。另外也可以續(xù)寫，就是人寫了一小段，讓電腦接著往下寫；我們甚至可以指定用現代文或者文言文進行續(xù)寫。
基于這些成果，我們考慮把文本生成落地，讓它有用。于是，我們做了一件事——營銷文案生成，即用最快的時間把一個營銷文案寫出來。這個有很多的應用，好多公司每天都要寫營銷文案，寫的時候既要有趣，還要尊重事實，還要快等等。我們有三步就能生成，第一是指定模板，第二是輸入關鍵詞，第三是一鍵生成。機器跟人做對比，人寫一篇營銷文案是一個小時，寫完了之后還要人工檢查審核；用電腦幾乎一瞬間寫出 N 篇營銷文案，而且多樣性、趣味性都比較強。
最后總結一下，可控文本生成應用前景非常廣泛，但是現在傳統(tǒng)的文本生成如果不做可控技術便會有很多問題，最常見的問題就是前后不一致，長文本的時候越寫越散，有時候知識無法融入，實現多樣化也是它的難題，以及連續(xù)出現重復的詞、重復的句子等等。相應的工作都有人做了很好的研究，我們把有關的技術融會貫通，加入自己新的技術，做了很多可控文本生成的工作，包括網文寫作、渲染、續(xù)寫，文言文與現代文風格轉換。另外，我們把它用在營銷文案方面，進行具體的產品落地。未來還有很多工作會引起大家關注。剛剛介紹的可控文本生成研究雖然有點進展，但不是長足的進展，還有很多的地方需要深入的研究，也希望在座的 AI 開發(fā)者仔細了解目前的進展情況，結合自己的實際，把可控文本生成推向新的高度，謝謝大家。
