城研英華No.61
“城研英華”是深大城市治理研究院的新上線欄目,不定時向大家推介本院學術團隊的研究成果,主要涵蓋學術論文、學術專著、調研報告、指數開發等。如果讀者們有更多建議,可隨時在貼下或后臺留言。感謝大家支持、感謝與城研院一同成長~
作者簡介
鄭崇明
深圳大學城市治理研究院研究員
摘要
在人工智能時代,算法在改善公共管理績效的同時,也帶來了潛在的治理風險。在商業邏輯的支配下,算法公司可能通過程序設定將算法植入公共部門,并將算法優勢嵌入公共部門的投入、過程與產出等環節,以期為獲得更多的財政資金制造機會,進而充當算法影子官僚,不斷擴大算法權力在公共領域的影響。算法影子官僚以盈利思維驅逐公共價值,以算法權力消解公共權力,以算法秩序支配公共領域的資本邏輯將嚴重背離人本價值,致使公共部門日益空心化。政府與算法影子官僚在本質上是委托代理的關系。因此,消除算法影子官僚對政府潛在的負面影響,關鍵在于降低算法公司與政府之間的算法不對稱,治本之策是堅持以人為中心的公共治理,避免政府過度依賴算法。
關鍵詞
算法影子官僚; 委托代理; 算法不對稱; 算法權力; 算法秩序
算法的兩張面孔
在以機器學習算法為代表的第三次人工智能發展浪潮下,人工智能基于信息處理的優勢正在深刻地改變著人們的生活方式和工作方式,并集中體現在算法上。一般而言,算法是基于機器語言的清晰指令系統地描述和解決問題的策略機制。隨著人工智能時代不斷發展,算法正在建構新的規則,人類已經不可避免地日益生活在一個算法社會之中。作為一項新興技術,算法的出現引起了社會各界的高度關注,并聚焦于算法的技術屬性及其帶來的深遠影響。一方面,算法極大地突破了人類信息收集和認知能力的局限,使得人類進入一個前所未有的算法福利時代。但另一方面,算法的強勢崛起,特別是在商業邏輯的支配下也構成了對人類公開或隱蔽的宰制。比如在公共領域,對地方政府采用人工智能技術提高公共服務品質的研究表明,人工智能對公共管理者及其公共服務供給方面產生了意想不到的效果,即算法官僚主義??梢姡惴ň哂忻黠@的兩張面孔。
算法的第一張面孔呈現了專業主義的技術特質。從本質上講,人工智能是一種基于算法的自主決策系統,不僅突破人類的思維能力和運算速度的局限,而且能夠以較低的成本將諸如圖像數據、自然語言數據、文本數據、語音視頻數據等非結構性信息迅速結構化,并幫助人們對未來做出預測或決策。以公共部門為例,在治理負荷日益增長與治理資源相對有限的壓力下,越來越多的政府部門開始利用算法進行日常事務和決策的處理。算法的自主性決策有效地緩解了治理負荷日益增長與治理資源相對有限之間的張力。公共部門已經習慣甚至深度依賴于通過數據建構算法模型來幫助其進行日常決策和改善管理。另一方面,由于算法本身的不完備性或者使用不當,可能導致算法偏差、算法錯誤、算法歧視、算法黑箱、審查困難等問題,進而挑戰人類的知情權、個體的隱私與自由以及平等保護,而這正是人們最為擔憂的方面。
事實上,在算法的背后還隱藏著另一張面孔,即資本性。在人工智能市場競爭異常激烈的情況下,不論是算法技術的研發還是運用都意味著天量資金的投入。顯而易見,只有那些資本雄厚的企業才有足夠的財力投資算法研發,如谷歌、微軟、蘋果等公司。作為人工智能技術,算法本身是中立的,但資本的介入賦予其天然的逐利性,“掌握了數據就意味著掌握了資本和財富,掌握了算法就意味著掌握了話語權和規制權”。因此,一旦算法“代碼”投入市場運營,算法投資主體基于成本—收益的商業邏輯立即顯現出其逐利本性。算法的壟斷性使得資本巨頭能夠在極短的時間內以幾何倍增的方式積累財富,進一步地,資本市場通過算法不斷建構新的規則,并賦予算法獨有的權力,以期建立一個新的商業秩序和商業帝國,并深深地嵌入社會各個角落。
資本逐利最簡單粗暴的方式莫過于與國家權力的結合。如前所述,基于緩解治理壓力的考量,公共部門在一定程度上已經習慣甚至依賴于算法技術進行日常管理和決策。數據的抓取、問題的界定、議程的設置、方案的設計與選擇,甚至政策的執行和評估等等都一起打包給了算法,而算法的自主決策使得政府公職人員更多地充當著“屏幕官僚”的角色。如此一來,人工智能時代的公共治理就面臨算法的潛在風險,算法及其背后的資本力量將滲透到公共管理的每一個環節,并通過充當影子官僚,進而影響甚至支配政府的日常行為與公共決策。
算法影子官僚:一個分析性概念
一般而言,影子官僚是指通過市場機制,以直接招募、勞務派遣等方式進入政府的雇員,他們在名義上既不是公務員,也不是公共機構人員,在法律和勞動合同關系上他們甚至和政府沒有正式的聯系,他們主要集中在基層,并承擔著稅務、城管、警察、安全等方面的輔助管理和信息采集功能。事實上,古今中外不同形態的國家都或多或少地存在著影子官僚,比如帝制中國時代的各種吏役,當下中國各級政府中的編外人員,西方國家中的非正式雇員,等等,都是典型的影子官僚。影子官僚的一個基本特征是他們不是政府的正式雇員,而是“局中的局外人”。
在已有的文獻中,影子官僚或影子政府是一個經常被提及但研究不夠深入的概念,主要用于測量政府的規模。而影子官僚如何影響政府行為,特別是有何負面影響的研究則不多見,并且大多數研究者持樂觀態度,認為影子官僚對于降低行政成本、增強政府組織彈性有積極意義。隨著人工智能時代的到來,公共部門通過政府購買的方式引入算法技術以改善治理績效,而掌握算法的企業及其員工則可能化身為潛在的影子官僚。按照這個思路,可以把算法影子官僚界定為通過政府購買或公私合作的方式介入政府公共管理過程的算法公司及其員工,其主要目的在于影響政府以獲得超額的公共財政資金。從現有的個案可以看出,算法影子官僚的形成主要有三個機制,即算法植入、算法俘獲與算法支配。
首先是算法植入。隨著現代經濟社會的發展,人們對公共服務品質的要求越來越高。由于算法決策在提升預測精確性上具有傳統公共決策中的人腦判斷、專家預測和傳統統計模型無法比擬的優勢,為降低治理成本,回應外部需求,政府對算法表現出了極大的興趣和需求。通過政府購買的方式,算法公司為政府解決交通管理、稅收管理、政務咨詢、公共安全、醫療輔助、司法判決等領域存在的問題制定并提供算法方案??傊?,算法公司有技術、有能力幫助政府進行日常決策和管理,進而改善公共服務的質量。按照常規邏輯,作為契約雙方的政府與算法公司只需按合同約定履行各自權利義務即可。然而,基于資本逐利的本性,算法公司很可能采取“道德風險”的機會主義策略,即在政府購買算法服務合同簽訂后,算法公司在政府購買服務的項目中有目的地植入合同并未約定的算法代碼,或故意留下風險空間,并預留端口,為下一次交易制造機會,以期獲得更多的財政資金,進而實現其算法利益最大化目標。
其次是算法俘獲。盡管人工智能已經成為后工業社會的常態,但從交易費用理論來看,政府購買算法仍然是一個小數目現象。雖然市場主體在交易過程中的選擇非常大,但市場主體的交易對象受交易成本的影響,實際上發生交易的對象不僅相對有限,而且相對穩定。這不僅因為政府與算法公司在信息技術上具有不對稱性,以及重新尋求算法購買主體需要付出高昂的交易成本,更因為算法本身處于激烈競爭的市場中,與政府保持長期合作對于算法公司而言符合其不斷擴大市場占有率以不斷增進其收益的核心訴求。這樣一來,在算法項目實施后,政府為了彌補購買項目中的算法漏洞并降低交易成本,更傾向于繼續與之續約,進而建構一個周期性的“算法植入—政府購買—算法再植入—政府再購買”的路徑依賴。這一路徑的形成意味著政府在很大程度上已經為算法所俘獲,成為算法公司的“殺熟”對象。不同于20世紀90年代的政府俘獲理論——企業向政府官員進行非法的、不透明的私人支付,以期影響政府機構的法律、規則、規章或者命令的制定,算法俘獲更多的是通過算法植入影響政府管理的過程來影響政府行為,而不是通過與政府官僚的私相授受尋求租金。因此,算法俘獲在本質上反映了算法公司基于商業逐利邏輯對政府的算法嵌入,并使之深度依賴于算法公司。
最后是算法支配。一旦政府對算法形成依賴,算法就在很大程度上對政府的日常管理和公共決策擁有了潛在支配權。算法支配政府的根本原因在于算法資本擁有壟斷性的大數據和算法技術。正是在這個意義上,才出現了所謂的算法傲慢與偏見。在商業邏輯的主導下,算法研發者更加傾向于用有利于其利潤最大化的算法代碼與算法程序去影響甚至支配政府的日常行為,進而演化成為算法權力。算法權力是掌握算法技術的個人和企業利用自身的技術優勢和行業便利,把控社會資源及信息,直接引導政府作出決策的影響力。換言之,在公共治理算法路徑依賴的場域中,部分掌握了人工智能核心算法和海量數據的算法資本開始擁有了相對于政府的明顯的技術優勢,算法權力將在未來國家治理中發揮愈加重要的作用。資本對算法技術的壟斷及其在數據處理和應用上的技術優勢,將在很大程度上助推資本對國家權力優勢的形成。公共治理在某種程度上也很難按照自身的邏輯行動,而是取決于算法技術在多大程度上能夠給予支持。由此,算法不僅支配著公共治理的整個過程,而且決定著公共治理的績效產出,進而導致算法權力對抗甚至消解公共權力的潛在風險。
通過算法植入、算法俘獲與算法支配,算法公司完全可能實現其從商業主體到算法影子官僚的轉變。政府在前臺、算法影子官僚在幕后的格局猶如一只“無形的手”,滲透到政府管理的方方面面,深刻地影響政府的行為。從概念來看,算法影子官僚既有歷史上影子官僚的共性,也有其自身的獨特性。歸納起來,算法影子官僚的主要特征包括專業性、逐利性與隱蔽性。
一是專業性。算法影子官僚的專業性集中體現在算法技術上。算法影子官僚掌握了現代科技最前沿的算法技術。而對于大多數政府官員而言,算法更多的是一個“黑箱”,他們只能被動地接受算法的支配。算法技術的不對稱直接賦予算法影子官僚以算法權力,以及制定人工智能時代規則的權力。從工具理性的角度來看,思考和行動的目的都是被假定給定的。政府何為以及政府如何為,在很大程度上都受到算法影子官僚的專業性影響。因此,在某種程度上,算法決策把本應由政府部門承擔的決策責任轉移給了算法公司及算法影子官僚。
二是逐利性。逐利性是算法影子官僚最為根本的特征。算法影子官僚以算法公司為載體,在本質上是市場化的企業,其運作過程遵循商業邏輯,以追求資本利益最大化為核心目標。算法技術是建立在龐大資本投入基礎上的,作為現代科技的前沿陣地,算法的投入更加具有不確定性,其所面臨的市場競爭也非常殘酷。因而與其他市場主體相比,算法公司可謂秉持“經濟人”本性,更加注重資本的投入產出,至于其結果是否具有正當性,是否引發系統性風險,等等,則不在其核心訴求的考慮范圍之內。如前所述,資本逐利最簡單粗暴的方式就是與國家權力的結合。算法公司在設計和研發算法的過程中植入了特定的偏好和意圖,致使絕大多數算法從誕生之日起就存在特定的利益傾向。在算法技術的加持下,算法影子官僚將積極嵌入、影響政府行為,不遺余力地創造機會獲取超額的公共財政資金。
三是隱蔽性。政府在前臺、算法影子官僚在幕后的格局,直觀地呈現了算法影子官僚的隱蔽性特征。算法影子官僚披著科學、理性、效率的外衣,更加有利于其俘獲并支配政府行為。一方面,越來越多的政府部門試圖通過算法提高公共部門的效率,改善公共服務品質和社會公眾的體驗感,以至于忽略了算法資本對政府行為潛移默化的影響。換言之,算法影子官僚的隱蔽性是通過算法技術的植入來實現的。另一方面,大多數政府及其公職人員對算法的認知相對膚淺,難以有效地識別算法技術的潛在風險。相反,由于算法在日常決策與管理等方面的自主性極大地緩解了政府治理壓力,因而政府表現出對算法及其影子官僚的濃厚興趣與過度依賴。正是在技術理性的掩蓋下,算法影子官僚不僅具有隱蔽性,甚至帶有欺騙性。而對于享受算法公共服務的社會公眾而言,則幾乎完全處于被動接受的狀態。
算法影子官僚與政府空心化
在已有的研究中,人們已經關注到了算法帶來的潛在風險。換言之,人工智能精準治理潛藏著巨大的隱憂,特別是算法歧視、算法偏見等對公民基本權利、法治框架與行政倫理的挑戰。但也不難看出,這些研究主要還是從純技術的角度來探討算法對公共價值的潛在威脅。事實上,掌握算法技術并嵌入政府組織的算法影子官僚更值得關注。如果不加以重視,算法資本將在未來對國家權力形成巨大的挑戰。
在人工智能時代,幾乎政府的每一個職能部門都渴望借助算法技術來緩解治理壓力,并表現出對算法的高度依賴。而算法公司的商業邏輯和資本邏輯強勢地影響著政府的行為,甚至綁架政府。這預示著一個新的影子官僚正在形成,正在改變治理秩序。如果不對算法影子官僚加以規范和約束的話,可以預見的是,算法影子官僚將以算法權力消解公共權力,以盈利思維驅逐公共價值,以算法秩序支配公共領域,進而導致公職人員蛻變為“屏幕官僚”,致使政府日益走向空心化。
首先,算法影子官僚將極大地改變政府的人事結構。人事結構是政府的核心組成部分。在韋伯主義看來,官員是受雇于政府的全職雇員。然而,政府組織中的人事結構并不單純。在正式官僚的背后,都或多或少地集聚著各種非正式群體。比如當代中國地方治理的人事結構就是一個包括官僚群體(公務員)、派生群體(事業編群體)、雇傭群體(通過市場機制建立起來的輔助群體)的有機組合。這三種群體圍繞科層組織的行政權力形成了一個差序格局。盡管雇傭群體的身上具有明顯的影子官僚的特征,但他們處于行政權力的邊緣,并不能從根本上影響政府,他們至多是依附于政府組織并分享部分公共權力。與雇傭群體不同的是,算法影子官僚雖然也是通過市場機制與政府及其公職人員打交道,但卻通過算法技術深刻地改變了其與政府之間的關系。算法影子官僚雖然身處外圍,但卻幾乎嵌入了政府的各個角落,與政府及其公職人員形成了一種看似松散實則緊密相連的關系,使得政府的人事結構呈現出一種新的秩序,即算法影子官僚隱藏在正式官僚的背后操控政府行為,而政府官員則成為“屏幕官僚”。在算法影子官僚的技術操控下,政府官員機械地操作行政流程,甚至作惡而不自知。
其次,算法影子官僚將汲取超額的公共財政資金。作為算法公司的代理人,算法影子官僚遵循商業邏輯與資本邏輯。如前所述,如何獲得更多的公共財政資金是算法公司最大的訴求。由于算法技術的高度不對稱,算法影子官僚在與政府簽訂交易合同的過程中更容易采取機會主義行為,并借口技術研發、平臺建設、后期維護等投入而擁有較高的議價能力。與其他項目不同,與算法相關的項目涉及的資金都非常巨大,而算法植入、算法俘獲與算法支配都為算法影子官僚汲取超額的公共財政資金提供更加隱蔽的方式。事實上,幾乎所有的算法公司都不斷地向政府兜售新的版本,而不管客觀上是否有真的需要。
再次,算法影子官僚將不斷消解政府的公共權力。政府是典型的科層組織,具有高度程式化、高度正式化和高度集權化的特征,并通過行使公共權力以處理公共事務、維護公共秩序、增進公共利益。然而,在人工智能時代,算法影子官僚通過算法權力對公共權力構成了新的威脅。對算法技術進行搶先一步研發設計的早期組織和商業主體控制了算法的設計標準,進而執掌算法權力,即支配著利用算法技術輸入數據、輸出決策的權力。在很大程度上,算法權力正在逐漸形成一種“準公權力”,使得傳統的權力格局發生了權力主體去中心化、權力作用范圍的延展化和權力互動的雙向化之變遷。比如在政府決策過程中的問題界定時,算法影子官僚完全可能基于商業邏輯而進行前期植入,以及直接的程序操縱,進而導致預測失敗和偏誤。這樣一來,政府不僅失去了自身的自主性,而且將更加依賴算法影子官僚,由此形成的政策方案也將受到算法權力和程序的操縱而形成虛假的支持,導致政策方案的劣幣驅逐良幣,最終可能導致公共決策違背公共精神,損害公共利益。
最后,算法影子官僚可能使政府官員日益蛻變為“屏幕官僚”。在引入算法之后,算法影子官僚把本應由政府部門、公眾和專家等共同參與、互動協商的執行過程,退化為算法公司秘密進行的算法設計和數據處理過程,把決策責任交給了充斥復雜計算與最優化的模型和冰冷的數據。而政府官員則幾乎完全失去了問題識別、議程設置、方案選擇、政策執行與政策評估的自主性。對于政府官員而言,他們更多地充當“屏幕官僚”的角色。雖然看起來“屏幕官僚”通過計算機網絡精準操作并直接管理和控制著公共管理的過程與結果,但事實上,幾乎所有的流程都為算法所設定。他們無法在算法中注入公共精神,尤其是不能根據特定的場景作出相應的價值判斷。換言之,這些流程的背后真正發揮作用的是遵循資本邏輯的算法影子官僚。
總的來講,按照現有的發展趨勢,算法影子官僚完全可能改變傳統的科層組織體系,不管是在人事結構、財政分配、權力配置,還是官員角色方面,算法影子官僚都積極嵌入并發揮作用,在商業邏輯的支配下不斷擴大資本的影響力,潛在的巨大風險是政府的日益空心化。這不僅會削弱政府提供公共產品的能力,而且將侵蝕政府的合法性基礎,進而引發政府的信任危機。
算法不對稱及其治理
毋庸置疑,從技術層面而言,算法是中性的,對于改善公共治理、有效回應社會需求具有重要的積極意義。然而,算法的背后是資本與算法影子官僚。資本的逐利性決定了算法的實施者,即算法影子官僚必然遵循商業邏輯,以獲得政府公共財政資金為最大訴求。公共領域算法治理的一個顯著特點就是公共權力屈服于技術公司及其開發人員的私人控制。在算法植入、算法俘獲與算法支配的作用下,算法影子官僚憑借算法權力,利用算法不對稱,足以挑戰國家權力。
算法影子官僚以政府購買服務的方式嵌入政府,實際上是一種委托代理關系,并以合同的方式來建構雙方的權利與義務。政府作為委托方,期待借助算法緩解治理壓力;算法影子官僚作為代理方,則遵循商業邏輯,以期擴大資本影響力。因此,兩者之間不可避免地存著信息不對稱和激勵不相容等問題。由于存在信息非對稱、信息不完全、機會主義和合同內在不完備等因素,以及合同的市場化邏輯與政府的公共屬性之間存在必然沖突,政府合同治理也不可避免地將產生一系列委托代理的風險問題。
算法影子官僚之所以能夠挑戰,甚至支配公共權力,關鍵還是在于政府與算法公司之間委托代理結構下的算法不對稱,即算法“黑箱”。算法“黑箱”本質上歸屬于技術“黑箱”。在“黑箱”中,除了掌握算法的專業技術人員,其他人無從知曉輸入—輸出之間的相互作用是通過怎樣的結構才得以發生的。具體來講,算法是什么,算法代碼如何生成,以及算法如何收集信息、設置議題、設計與選擇方案,等等,政府及其官員幾乎都是一無所知或知之不詳。大多數政府官員所看見的是輸入前局部敘事的碎片化信息以及輸出結果的簡單直觀呈現,而無法獲得算法全景式的客觀認知,以及對算法及其影子官僚的算法植入、算法俘獲與算法支配進行有效的約束。而這恰恰是算法權力消解公共權力,致使政府日益空心化的重要根源,其結果將導致政府在算法社會中逐漸被邊緣化。
因此,規避算法影子官僚所帶來的潛在風險,需要從委托代理的角度,消除政府與算法公司之間的算法不對稱,從而根治合同中算法影子官僚的“逆向選擇”與“道德風險”。
首先,要加強政府算法專業人才的培養。算法影子官僚之所以能夠對政府進行算法植入、算法俘獲與算法支配,其中一個重要的原因在于政府缺乏算法專業人才。精于行政技能的科層官僚無法識別算法及其影子官僚所帶來的潛在風險。從這個意義上講,降低算法不對稱最為重要的策略就是在政府內部培養算法專業人才。只有這樣,才能打開算法“黑箱”,有效防范算法影子官僚利用算法不對稱而采取機會主義行為,使政府官員不至于被算法影子官僚牽著鼻子走。
其次,要建立事前算法審查機制,規避算法影子官僚的逆向選擇行為。算法影子官僚對于政府的算法植入在本質上是一種逆向選擇,即利用其對算法技術的優勢,采取欺騙性行為以謀求超額的公共財政資金。因此,有必要建立算法事前審查機制以防范算法影子官僚的機會主義行為。具體而言,可以從算法準入條件、第三方獨立評估、行政和司法審查等方面入手,全面評估算法影子官僚提供的算法方案的合法性、合規性與經濟性。
再次,要建立事后責任追究機制,消除算法影子官僚的道德風險動機。當出現算法風險時,政府行政人員往往傾向于把責任諉過于算法及其影子官僚,而對算法及其影子官僚又難以進行司法審查,使得責任主體模糊不清,導致算法決策陷入審查難、問責難的窘境,而這正是算法影子官僚的避責空間。因此,有必要建立事后算法責任追究機制,比如通過建構一套完善的信用評價體系,確立對算法公司的懲戒規則。
最后,公共治理應堅持以人為中心的價值立場。公共治理并不是算法的自由之地。公共治理的目標歸根結底是為了增進公共利益,實現人的自由和發展。對于政府而言,算法只是公共治理主體手中的一把槍,究竟如何使用這把槍,最終還是取決于公共治理主體。換言之,只有公共治理主體才有權決定哪些領域可以引入算法,哪些領域應當禁止算法。因此,公共治理不能成為算法技術支配的對象,也不應過度依賴于算法技術。
綜上所述,算法影子官僚可能成為影響政府行為的重要變量。算法影子官僚在為政府提供算法技術支持的同時,通過算法植入、算法俘獲與算法支配等方式可能改變政府的組織結構、人事結構與權力結構,進而影響并左右政府的日常行為,成為算法公司汲取財富和資本擴張的重要手段,最終對國家權力形成巨大的挑戰,甚至致使政府日益空心化。究其根源,關鍵是政府與算法影子官僚之間存在極大的算法不對稱,因而在政府內部培養算法專業人才,并在法律上建立健全約束算法公司的行業規范以及事前審查和事后追責機制,對于規避算法不對稱帶來的算法公司的機會主義行為具有重要意義。而堅持以人為中心的公共治理,避免公共治理過度依賴算法、依賴技術,方是治本之策。
來源
《探索與爭鳴》2021年01期
*注釋略
編輯 | 呂文丹
責編 | 陳碩、袁超