來源：人機(jī)與認(rèn)知實驗室
作者：紐約老熊
首先開宗明義說明，我們認(rèn)為，沒有必要談?wù)摍C(jī)器的意識。很多人認(rèn)為人和具有一定智能的生物都具備意識，而且意識是這些生物智能體形成智能行動的基礎(chǔ)，因此他們認(rèn)為，要發(fā)展智能機(jī)器，要讓智能機(jī)器擁有強(qiáng)大的能力，就需要智能機(jī)器具備意識。我們認(rèn)為不應(yīng)該這樣看。現(xiàn)在人們還不具備足夠的知識來搞清楚究竟什么是意識，更遑論在人工智能體中建立意識。而且，也沒有必要考慮意識，考慮智能機(jī)器的的主動性即可。
無疑，智能機(jī)器的主動性是提升人工智能的關(guān)鍵。要考慮智能機(jī)器的主動性，可以考慮智能機(jī)器的行為傾向就可以。對人工智能體而言，其行為傾向并不虛無縹緲，而是可以把握、可以對它展開工作的。而且，即使以后的人工智能體中有了意識，意識是感知、體驗和意志，意識要起作用也還是需要先形成內(nèi)部的傾向，然后用這種傾向去影響行動，也就是說，意識也要通過行為傾向來起作用。因此，直接對行為傾向展開研究展開工作，是更合理的，也是現(xiàn)實可行的。
我們將特別關(guān)注這兩個方面：智能體的主觀和能動。
值得再次強(qiáng)調(diào)，我們不知道人工智能體是否有意識，是否可以有意識，但是我們確切知道它有主觀，而且主觀起極為關(guān)鍵的作用，即使有意識，意識也要通過主觀起作用。
什么是智能體的主觀（subjectivity）？智能體的主觀是指智能體所具備的內(nèi)部屬性和傾向，這些屬性和傾向形成智能體做推理和做反應(yīng)的基礎(chǔ)。
什么是智能體的能動（dynamic action或者agency）？智能體的能動是指智能體可以做出自己的行動，而非僅遵循預(yù)設(shè)的規(guī)定。智能體的能動反映智能體的這樣的能力：它可以根據(jù)具體情況作出針對性的決定和行動，這些決定和行動可能是全新的，而不僅僅是遵循預(yù)設(shè)的規(guī)定。
我們明確了最主要的宗旨：日益強(qiáng)大的智能體需要具備更高的主動性，主動性歸結(jié)為主觀和能動，具備良好的主觀和積極的能動的智能體能更有效地應(yīng)對復(fù)雜陌生的環(huán)境，這樣的環(huán)境也催生和促進(jìn)愈加豐富的主觀和更加強(qiáng)大的能動。
由此可知人工智能的發(fā)展方向?qū)⑹牵喊l(fā)展出這樣的智能體，它具備豐富正確的主觀和積極正確的能動。對這樣的智能體的需求，將會越來越大，越來越高級。這就要求我們深入研究主觀和能動，研究它們的基本性質(zhì)。
主觀是智能體內(nèi)部的傾向。可以由設(shè)計者來制定和灌輸，也可以由智能體通過學(xué)習(xí)和經(jīng)驗來獲取，也可以結(jié)合這兩種。智能體總是有主觀的。智能體的主觀是分布式地隱藏于智能體的諸多內(nèi)部結(jié)構(gòu)里面，并沒有被分離出來，而且很難被分離出來。對于智能體的主觀，我們應(yīng)該找到方法來描述和測度，進(jìn)而調(diào)整，這種方法目前尚缺。當(dāng)前的一個亟需解決的問題是：研究智能體的主觀的結(jié)構(gòu)，并且找到讓主觀和人類價值對齊的方法。這是一項困難的工作，但是，目前已經(jīng)有了一些先期工作，特別是依據(jù)現(xiàn)象學(xué)的研究進(jìn)路。這是非常值得開展的研究工作，將帶來非常巨大的利益。
能動是指智能體可以做出并非預(yù)設(shè)的行動。智能體可以沒有能動，那種完全沒有能動的智能體，也可以工作得很好，如果其工作環(huán)境是熟知的和固定的。但是，具備能動的智能體才能應(yīng)對復(fù)雜陌生的環(huán)境。智能體的能動是很困難的課題。要研究智能體的能動，就必須面臨這個極其尖銳和突出的矛盾：圖靈機(jī)是完全確定和基于固定規(guī)則的，怎么可能產(chǎn)生強(qiáng)大的能動（能動就是要超越預(yù)設(shè)的規(guī)則）？這個矛盾從計算時代的一開始就存在了。圖靈在剛剛導(dǎo)入圖靈機(jī)的兩年后就導(dǎo)入了所謂的神諭機(jī)，就是試圖對此有所突破。但是一直到現(xiàn)在，這個問題仍然非常尖銳存在。如果不能在這個問題上有所前進(jìn)，我們就不會有重大突破。最近我們試圖導(dǎo)入一種新的計算方式，希望可以利用這種方式在智能體中建立一種結(jié)構(gòu)，使用這種結(jié)構(gòu)，積極的能動將成為可能。我們將在后續(xù)的文章中討論這樣的計算方式。
再強(qiáng)調(diào)一次：智能的機(jī)器都有主觀，但是未必有能動；然而，如果要機(jī)器具備高級的主觀，則必須有能動。主觀和能動有密切的關(guān)系，以至于很多時候把它們合并稱為主觀能動性。當(dāng)然，把它們分開加以研究，是更有利的。
我們相信，至此，我們已經(jīng)基本上理清了圍繞智能機(jī)器的意識的諸多概念上的混淆。后面需要的是真正深入的工作。
最后，作為一例，我們用如上的觀點來看大語言模型。
大語言模型是一種使用大量的參數(shù)的神經(jīng)網(wǎng)絡(luò)，通過自監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)，在大量的未標(biāo)注的文本上進(jìn)行訓(xùn)練，從而能夠理解、生成、翻譯和摘要化新的內(nèi)容的語言模型。大語言模型使用深度學(xué)習(xí)技術(shù)和變換器模型來處理自然語言。這種智能體在多種自然語言任務(wù)上表現(xiàn)非常出色，表現(xiàn)出了這些特征：具有更強(qiáng)的靈活性和適應(yīng)性，可以根據(jù)不同的任務(wù)和環(huán)境調(diào)整其參數(shù)和行為；具有更強(qiáng)的泛化能力和遷移能力，可以利用在大規(guī)模文本上預(yù)訓(xùn)練得到的知識，來解決特定領(lǐng)域或場景下的問題；具有更強(qiáng)的生成能力和創(chuàng)造力，可以根據(jù)給定的輸入或提示，產(chǎn)生連貫、有意義、有趣甚至有創(chuàng)新性的文本或代碼。
這種智能體的主觀和能動是怎么樣的呢？從智能體的外部看，人們往往會認(rèn)為，這種智能體有非常強(qiáng)的主觀和能動。但是，當(dāng)我們和這種智能體有足夠多的互動后，我們就可以發(fā)現(xiàn)這種智能體的主觀在某些方面非常豐富，但是在某些關(guān)鍵方面相當(dāng)薄弱，而其能動則非常弱小且經(jīng)常出錯。
大語言模型的內(nèi)部程序是經(jīng)過機(jī)器學(xué)習(xí)形成的，即不是直接編制內(nèi)部程序，而是通過提供數(shù)據(jù)來影響內(nèi)部程序，這其實是另外一種編程方式。在使用大語言模型時，它常有令人驚艷的表現(xiàn)，看起來其能動很強(qiáng)大，還有人認(rèn)為大語言模型出現(xiàn)了涌現(xiàn)，即它的能動是涌現(xiàn)而出來的。但是，仔細(xì)考察后，可以知道它的行動來自于對訓(xùn)練數(shù)據(jù)的泛化。這種對數(shù)據(jù)的泛化如果可以看作是能動的話，也是非常薄弱的，這就是說，當(dāng)大語言模型面對遠(yuǎn)超其訓(xùn)練數(shù)據(jù)的范圍的問題，必然無法有效應(yīng)對。
因為大語言模型是通過極大的數(shù)據(jù)訓(xùn)練而成的，因此其內(nèi)部積累了非常豐富的知識，也就是說，當(dāng)它面對一個問題時，它可以從很多角度，運用很多知識，就是說可以有非常多的傾向，從這個角度看，其主觀非常豐富。但是另一方面，它的主觀可以又非常薄弱。大語言模型的驅(qū)動不在其自己，而在于所謂的提示詞，沒有提示詞，它就不能做任何事情。如果兩個提示詞僅有很小的差別，它也不會去主動考察和利用這種異同；如果兩個提示詞表面非常不同，但其實完全一樣，它也不會去考察和利用異同，而是按照訓(xùn)練數(shù)據(jù)形成的既定的泛化做處理。
那么大語言模型是否具備能動？我們可以從內(nèi)外兩方面來考察。從外部看，大語言模型有非常令人驚艷的表現(xiàn)。例如，給它一些提示詞，它可以做出一首動人的詩，而且從來沒有人教過大語言模型這樣的詩。用我們前面列出的標(biāo)準(zhǔn)看，我們自然可以認(rèn)為大語言模型具備能動。從內(nèi)部看，就更復(fù)雜一些。大語言模型是用一組大數(shù)據(jù)訓(xùn)練出來的，并不是人工編程實現(xiàn)的。然后，當(dāng)大語言模型運行時，它仍然是一個程序（只不過這個程序不是人工編程，而是大數(shù)據(jù)訓(xùn)練形成），也就是說它的一切行動都是已經(jīng)規(guī)定在這個程序中了，因此就不可能產(chǎn)生能動。但是，大語言模型又可以寫詩。這是非常令人困惑的事情，也是非常有爭議的事情。這里，我們可以提供一個解釋。一切都在泛化中。當(dāng)用大數(shù)據(jù)做訓(xùn)練時，就形成了一個很龐大的程序，這個程序可以對訓(xùn)練集中的數(shù)據(jù)做正確的計算，但是對不在訓(xùn)練集中的數(shù)據(jù)，就有可能也做正確的計算，雖然這些數(shù)據(jù)并不在訓(xùn)練集中。這就是泛化。就是說，訓(xùn)練可以使得程序正確計算某些沒有在訓(xùn)練集中的數(shù)據(jù)。如果是這樣的情況，大語言模型能做詩，就可以用泛化來解釋。當(dāng)然，要能做出有意義的良好的泛化，并不容易，需要訓(xùn)練集和學(xué)習(xí)過程達(dá)到一些嚴(yán)苛的要求。但是，如果我們能確定大語言模型的令人驚艷的能力來自于泛化時，我們也就知道大語言模型的能動很弱。事實上也很容易找到一些情況，使得大語言模型不具備強(qiáng)大能動這個事實凸顯出來。有人做過這樣的測試：先問一個問題，大語言模型通常會給出合適的答復(fù)，然后用答復(fù)中的某句話再問，這時，大語言模型就會陷入很糟糕的狀態(tài)，道歉，胡說，等等。也就是說，這樣的做法，就形成了這樣一個數(shù)據(jù)，它在訓(xùn)練集之外，而且和訓(xùn)練集非常不同，它使得大語言模型不能正確計算這個數(shù)據(jù)。世界超級復(fù)雜，訓(xùn)練集可以正確泛化到的數(shù)據(jù)僅是小部分。這樣也就看清楚了的大語言模型的作用，它是一個超級有用的工具，可以幫助我們做很多事情，但是它并不是一個理解了世界的機(jī)器怪物，不能指望它可以做任何事情。如果我們僅讓它做它擅長的事情，那就很好，否則就錯了。然而，什么是它擅長的事情？這就需要研究它的主觀。
