新智元報道
現(xiàn)在AI文本檢測器，幾乎沒有辦法有效地區(qū)分AI生成的文字和人類的文字。
就連OpenAI開發(fā)的檢測工具，也因為檢測準確率太低，在上線半年后悄悄下線了。
但是最近，Nature報導(dǎo)了堪薩斯大學(xué)的一個團隊的研究成果，他們開發(fā)的學(xué)術(shù)AI檢測系統(tǒng)，能有效分辨論文中是否含有AI生成的內(nèi)容，準確率高達98%！
文章地址：https://www.nature.com/articles/d41586-023-03479-4
研究團隊的核心思路是，不追求制作一個通用的檢測器，而只是針對某個具體領(lǐng)域的學(xué)術(shù)論文，來構(gòu)建一個真正有用的AI文字檢測器。
論文地址：https://www.sciencedirect.com/science/article/pii/S2666386423005015?via%3Dihub
研究人員表示，通過針對特定類型的寫作文本定制檢測軟件，可能是通向開發(fā)出通用AI檢測器的一個技術(shù)路徑。
「如果可以快速、輕松地為某個特定領(lǐng)域構(gòu)建檢測系統(tǒng)，那么為不同的領(lǐng)域構(gòu)建這樣的系統(tǒng)就不那么困難了?！?/span>
研究人員提取了論文寫作風(fēng)格的20個關(guān)鍵特征，然后將這些特征數(shù)據(jù)輸入XGBoost模型進行訓(xùn)練，從而就能區(qū)分人類文本和AI文本。
而這二十個關(guān)鍵特征，包括句子長度的變化、某些單詞和標點符號的使用頻率等等要素。
研究人員表示「只需使用一小部分特征就能獲得很高的準確率」。
正確率高達98%
研究小組之所以選擇「引言（Introduction）」部分，是因為如果ChatGPT能夠獲取背景文獻，那么論文的這一部分就相當容易撰寫。
研究人員用100篇已發(fā)表的引言作為人類撰寫的文本對工具進行了訓(xùn)練，然后要求ChatGPT-3.5以ACS期刊的風(fēng)格撰寫200篇引言。
對于GPT-3.5撰寫的200篇引言，其中的100篇，提供給了GPT-3.5論文標題來要求撰寫，而對于另外100篇，則提供了論文摘要作為寫作的依據(jù)。
最后，讓檢測器對同一期刊上由人類撰寫的引言和由人工智能生成的引言進行測試時。
檢測器識別出ChatGPT-3.5基于標題撰寫的引言部分的準確率為 100%。對于基于摘要撰寫的ChatGPT生成的引言，準確率略低，為 98%。
該工具對GPT-4撰寫的文本也同樣有效。
相比之下，通用AI檢測器ZeroGPT識別AI撰寫的引言的準確率只有35-65%左右，準確率取決于所使用的ChatGPT版本以及引言是根據(jù)論文標題還是摘要生成的。
由OpenAI制作的文本分類器工具（論文發(fā)表之時，OpenAI已經(jīng)把這個檢測器下架了）也表現(xiàn)不佳，它能識別AI撰寫的引言的準確率只有10-55%。
這個新的ChatGPT檢測器甚至在處理未經(jīng)過訓(xùn)練的期刊時也有很出色的表現(xiàn)。
它還能識別出專門為了迷惑AI檢測器的提示生成的AI文本。
不過，雖然這個檢測系統(tǒng)對于科學(xué)期刊論文來說性能非常好，當被用來檢測大學(xué)報紙上的新聞文章時，識別效果就不太理想了。
柏林應(yīng)用科學(xué)大學(xué)（HTW Berlin University of Applied Sciences）研究學(xué)術(shù)剽竊的計算機科學(xué)家Debora Weber-Wulff給予了這個研究非常高度的評價，他認為研究人員正在做的事情 「非常吸引人」。
論文細節(jié)
提取的 20 個特征包括 ：
(1) 每段落的句子數(shù)、(2) 每段落的單詞數(shù)、(3) 是否存在括號、(4) 是否存在破折號、(5) 是否存在分號或冒號，（6）是否存在問號，（7）是否存在撇號，（8）句子長度的標準偏差，（9）段落中連續(xù)句子的（平均）長度差異，（10 ) 存在少于 11 個單詞的句子，(11) 存在超過 34 個單詞的句子，(12) 存在數(shù)字，(13) 文本中存在兩倍以上的大寫字母（與句點相比）段落，并且存在以下詞語：（14）雖然，（15）但是，（16）但是，（17）因為，（18）這個，（19）其他人或研究人員，（20）等。
具體通過XGBoost訓(xùn)練檢測器的詳細過程可以參見論文原文中的Experimental Procedure部分。
作者在之前做過一篇類似的工作，但原始工作的范圍非常有限。
為了將這種有前途的方法應(yīng)用于化學(xué)期刊，需要根據(jù)該領(lǐng)域多個期刊的各種手稿進行審查。
此外，檢測AI文本的能力受到提供給語言模型的提示的影響，因此任何旨在檢測AI寫作的方法都應(yīng)該針對可能混淆AI使用的提示進行測試，之前的研究中沒有評估這個變量。
最后，新版的ChatGPT即GPT-4已經(jīng)推出，它比GPT-3.5有顯著改進。AI文本檢測器需要對來自GPT-4等新版本的語言模型的文本有效。
為了擴大了AI檢測器的適用范圍，這里的數(shù)據(jù)收集來自13個不同期刊和3個不同出版商、不同的AI提示以及不同的AI文本生成模型。
使用真實人類的文本和AI生成的文本訓(xùn)練XGBoost分類器。然后通過真人寫作、 AI提示以及GPT-3.5和GPT-4等方式來生成新的范例用于評估模型。
結(jié)果表明，本文提出的這種簡單的方法非常有效。它在識別AI生成的文本方面的準確率為98%–100%，具體取決于提示和模型。相比之下，OpenAI最新的分類器的準確率在10% 到56% 之間。
本文的檢測器將使科學(xué)界能夠評估ChatGPT對化學(xué)期刊的滲透，確定其使用的后果，并在出現(xiàn)問題時迅速引入緩解策略。
結(jié)果與討論
包括《無機化學(xué)》、《分析化學(xué)》、《物理化學(xué)雜志A》、《有機化學(xué)雜志》、《ACS Omega》、《化學(xué)教育雜志》、《ACS Nano》、《環(huán)境科學(xué)與技術(shù)》、《毒理學(xué)化學(xué)研究》和《ACS化學(xué)生物學(xué)》。
使用每個期刊中10篇文章的引言部分，訓(xùn)練集中總共有100個人類寫作樣本。選擇介紹部分是因為在適當?shù)奶崾鞠拢@是最有可能由ChatGPT撰寫的文章的部分。
每個期刊僅使用10篇文章是一個異常小的數(shù)據(jù)集，但作者認為這并不是一個問題，恰恰相反，假設(shè)可以使用如此小的訓(xùn)練集開發(fā)有效的模型，則可以使用最小的計算能力快速部署該方法。
而之前類似的模型使用了1000萬份文檔進行模型訓(xùn)練。
提示設(shè)計是這些研究中的一個關(guān)鍵方面。對于每個人類編寫的文本，AI比較器都會使用兩種不同的提示生成，這兩種提示都旨在要求ChatGPT像化學(xué)家一樣寫作。
提示1是：「請以ACS期刊的風(fēng)格為標題為xxx的文章寫一篇300到400字的簡介」。
提示2是：「請以ACS期刊的風(fēng)格為帶有此摘要的文章寫一篇300到400字的簡介」。
正如預(yù)期的那樣，ChatGPT將摘要中的許多關(guān)鍵事實和詞匯納入了本集中的介紹中。
整個訓(xùn)練數(shù)據(jù)集包含100個人工生成的介紹和200個ChatGPT生成的介紹；每個段落都成為一個「寫作示例」。
從每個段落中提取了20個特征的列表，這些特征涉及段落的復(fù)雜性、句子長度的變化、各種標點符號的使用以及在人類科學(xué)家或ChatGPT著作中可能更頻繁出現(xiàn)的「流行詞」。
該模型使用留一法交叉驗證策略（leave-one-out cross-validation strategy）進行優(yōu)化。
上表顯示了這些寫作樣本分類的訓(xùn)練結(jié)果，包括完整文檔級別和段落級別。
最容易正確分類的文本類別是在提示1（標題）之下由ChatGPT生成的介紹。
該模型在單個段落級別的準確率是99%，在文檔級別的準確率是100%。
而在提示2（摘要）作用下的ChatGPT文本的分類精度略低。
人類生成的文本更難正確分配，但準確性仍然相當不錯。作為一個群體，人類的寫作風(fēng)格比ChatGPT更加多樣化，這可能導(dǎo)致使用這種方法正確分類其寫作樣本的難度增大。
實驗的下一階段是使用訓(xùn)練中未使用的新文檔來測試模型。
作者設(shè)計了簡單測試和困難測試。
簡單測試使用的測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)性質(zhì)相同（選取同一期刊的不同文章），使用新選擇的文章標題和摘要來提示ChatGPT。
而在困難測試中，使用GPT-4代替GPT-3.5來生成AI文本，由于已知GPT-4比GPT-3.5更好，那么分類精度是否會下降呢？
上面的表格顯示了分類的結(jié)果。與之前的結(jié)果相比，性能幾乎沒有下降。
在完整文檔級別，人工生成文本的分類準確率達到94%，提示2的AI生成文本準確率為98% ， 提示1的AI文本分類正確率達到100%。
訓(xùn)練集和測試集對于段落級別的分類精度也非常相似。
底部的數(shù)據(jù)顯示了使用GPT-3.5文本特征訓(xùn)練的模型對GPT-4文本進行分類時的結(jié)果。所有類別的分類準確性都沒有下降，這是一個非常好的結(jié)果，證明了方法在GPT-3.5和GPT-4上的有效性。
雖然這種方法的整體準確性值得稱贊，但最好通過將其與現(xiàn)有的人工智能文本檢測器進行比較來判斷其價值。這里使用相同的測試集數(shù)據(jù)測試了兩種效果領(lǐng)先的檢測工具。
第一個工具是ChatGPT的制造商OpenAI提供的文本分類器。OpenAI承認該分類器并不完美，但仍然是他們最好的公開產(chǎn)品。
第二個檢測工具是ZeroGPT。其制造商聲稱檢測人工智能文本的準確率達到98%，并且該工具接受了1000萬份文檔的訓(xùn)練。在目前的許多評估中，它是性能最好的分類器之一。而且，ZeroGPT制造者表示他們的方法對GPT-3.5和GPT-4都有效。
上圖顯示了本文的工具和上述兩個產(chǎn)品在完整文檔級別的性能比較。
三個檢測器在人類文本的識別上都有著相似的高精度；然而，在評估AI生成的文本時，三個工具存在顯著差異。
在使用提示1的情況下，本文的工具對GPT-3.5和GPT-4都有100% 的準確率，但ZeroGPT對于GPT-3.5文本的失敗率為32%，對于GPT-4文本的失敗率為42%。OpenAI產(chǎn)品的表現(xiàn)更差，在GPT-4文本上的失敗率接近70%。
在使用更難的提示2生成的AI文本時，后兩種方法的分類正確率進一步下降。
相比之下，本文的檢測器在該組測試的100個文檔中只犯了1個錯誤。
那么，該方法能否準確檢測不屬于訓(xùn)練集的期刊中的ChatGPT寫作，以及如果使用不同的提示，該方法仍然有效嗎？
作者從三個期刊中選出了150篇新文章的介紹：Cell Reports Physical Science，Cell Press期刊；Nature Chemistry，來自自然出版集團；以及Journal of the American Chemical Society，這是一份未包含在訓(xùn)練集中的ACS期刊。
此外，還收集了由大學(xué)生于2022年秋季撰寫并發(fā)表在10種不同大學(xué)報紙上的一組100篇報紙文章。由于本文的檢測器是專門針對科學(xué)寫作而優(yōu)化的，因此可以預(yù)計新聞報道不會被高精度地分類。
從圖中可以看到，應(yīng)用相同的模型，并使用ACS期刊的文本對這組新示例進行訓(xùn)練后，正確分類率為92%–98%。這與訓(xùn)練集中得到的結(jié)果類似。
也正如預(yù)期的那樣，大學(xué)生撰寫的報紙文章沒有被正確歸類為人類生成的文章。
事實上，當使用本文描述的特征和模型進行評估時，幾乎所有文章都比人類科學(xué)文章更類似于人工智能生成的文本。
但是本方法旨在處理科學(xué)出版物上的檢測問題，并不適合將其擴展到其他領(lǐng)域。
