精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

面對人工智能技術(shù)，特別是致命性自主武器系統(tǒng)的飛速發(fā)展和廣泛應(yīng)用，如何加強人對自主系統(tǒng)的控制，是一個值得研究和亟需解決的問題。近日，聯(lián)合國裁軍研究所發(fā)布了題為《自主武器系統(tǒng)中的人機接口》的研究報告，強調(diào)了人機接口在人機交互和人類控制中的重要作用，提出了自主武器系統(tǒng)中的人機接口和人機交互方面的需求，闡釋了人機接口的設(shè)計方法以及對人員訓練的影響，探討了人工智能系統(tǒng)的可解釋性和透明性，并提出未來的工作建議。

中國指揮與控制學會堅持以傳播知識、交流思想、啟迪未來、促進創(chuàng)新為己任，編譯了該報告的主要章節(jié)，以饗讀者。

談及高度自主的系統(tǒng)，人們腦海中可能就會出現(xiàn)獨自采取行動的機器畫面。但在現(xiàn)實中，迄今為止，不管其自主程度有多高，還有完全獨立自主的系統(tǒng)，它們總是具有某種形式的人類控制或監(jiān)督。由于武器系統(tǒng)完全自主的目標目前既不可行，也不符合軍事效率的要求，人機交互仍然是討論自主武器系統(tǒng)的核心。

人類對自主武器系統(tǒng)（AWS）的控制，一直是致命自主武器系統(tǒng)方面的政府專家小組討論的一個核心議題。該小組于2019年一致通過的《專家組指導原則》，就反映了這一主題的重要性，特別是原則C，其中指出：

人機交互可能采取各種形式，在武器生命周期的不同階段實施。在致命自主武器系統(tǒng)領(lǐng)域，應(yīng)確保基于新興技術(shù)的武器系統(tǒng)的潛在使用符合適用的國際法，特別是國際人道主義法。在確定人機交互的質(zhì)量和程度時，應(yīng)考慮一系列因素，包括作戰(zhàn)環(huán)境以及武器系統(tǒng)整體的特點和能力。

此后，人類控制作為一個關(guān)鍵概念，多年來一直是專家組辯論的核心。盡管在哪些能力需要徹底禁止或不禁止方面存在許多分歧，但締約國之間達成了廣泛的共識，即無論武器系統(tǒng)的自主程度如何，都需要保持一定程度的人類控制。

與作戰(zhàn)中自主性相關(guān)的幾個關(guān)鍵主題（例如責任和問責制、國際人道主義法的適用性）實際上在“人類控制”概念的范圍內(nèi)。這與人工智能、機器學習和機器人技術(shù)在民用領(lǐng)域的應(yīng)用相呼應(yīng)。在這些民用領(lǐng)域中，圍繞“可控性”的討論成了中心話題，涉及“復雜的技術(shù)、人體工程、法律、道德和組織因素”。

1.1. 切實可行的人類控制措施和人機接口的作用

對于自主武器系統(tǒng)，提煉其中人類控制的含義及參數(shù)一直是一項具有挑戰(zhàn)性的工作，并且由于系統(tǒng)和作戰(zhàn)環(huán)境之間的差異，使該問題進一步復雜化。不過，人們通常提出的具體的人類控制措施，主要包括系統(tǒng)設(shè)計和使用方面的考慮。這種控制措施的分類，表明了實施人類控制的兩種不同但又相輔相成的方式，即武器系統(tǒng)本身的設(shè)計（包括硬件和軟件要素）和使用過程中的人類控制。

人機接口（HMI）對實現(xiàn)人類控制至關(guān)重要。它涵蓋了系統(tǒng)設(shè)計方面的標準，也包括使用方面的標準。

對于遠程（有時非常遙遠）控制的無人系統(tǒng)，人機接口的作用特別重要。操作人員與機器之間的感官連接就是以人機接口作為中介的。

實現(xiàn)自主系統(tǒng)的可控，并非只能通過接口，也不僅限于操作人員手動控制機器的能力。但是，作為人與機器之間的紐帶，接口對于控制自主武器系統(tǒng)至關(guān)重要，對系統(tǒng)的合法性使用有直接影響。雖然在系統(tǒng)設(shè)計中可以通過多種方式、分散運用控制參數(shù)（例如，目標類型等），但通過接口，使操作人員能夠監(jiān)視系統(tǒng)，在其他形式的控制出現(xiàn)問題或?qū)嶋H情況發(fā)生變化，“預先規(guī)劃的假設(shè)條件無效”時進行干預。

1.2. 人機接口和自主架構(gòu)

在ISO標準ISO 9241-110：2020中，用戶接口被定義為“交互式系統(tǒng)的所有組件構(gòu)成的集合。為用戶提供信息和控制，以使用交互式系統(tǒng)完成特定任務(wù)”。

接口是人機系統(tǒng)的子系統(tǒng)，是“操作人員與機器交互的窗口”。接口包括許多組件，這些組件因系統(tǒng)而異，例如輸入控件（例如，按鈕和復選框）、導航組件、信息組件等。

一般來說，人機接口有助于輸入和輸出：操作人員將信息輸入技術(shù)系統(tǒng)，輸出結(jié)果表明輸入產(chǎn)生的影響。例如，在打擊目標時，某種自主武器系統(tǒng)的輸入-輸出環(huán)路可能需要操作人員通過接口菜單將某些坐標輸入系統(tǒng)。該系統(tǒng)會反饋提供自己的坐標和評估信息，例如關(guān)于附帶損傷或基于操作程序的其他反饋（輸出）。

1.2.1 態(tài)勢感知

人機接口在形成態(tài)勢感知方面發(fā)揮著重要作用。態(tài)勢感知是人機交互的核心，尤其是在動態(tài)環(huán)境中。態(tài)勢感知受個人和組織因素（如壓力、工作量、任務(wù)切換要求或團隊動態(tài)）以及系統(tǒng)因素（如系統(tǒng)能力（如傳感器收集相關(guān)數(shù)據(jù)的能力）、系統(tǒng)接口）的影響。接口設(shè)計的質(zhì)量可以直接顯著改進態(tài)勢感知。

足夠的態(tài)勢感知水平，還有助于操作人員意識到，例如，某種情況超出了系統(tǒng)的自動化處理能力，或者自動化執(zhí)行不正確。

1.2.2 理解自主武器系統(tǒng)的狀態(tài)和行為

接口對于表示自主系統(tǒng)的關(guān)鍵控制特性至關(guān)重要，包括系統(tǒng)的可觀察性、可預測性和可引導性。

· 可觀察性是指觀察和監(jiān)視系統(tǒng)狀態(tài)的能力

· 可預測性是指理解系統(tǒng)的行為

· 可引導性是指對系統(tǒng)施加影響的能力

許多技術(shù)文獻對于控制要素有不同的分類，但“可觀察性-可預測性-可定向性”的目標綜合了對武器系統(tǒng)自主能力和接口設(shè)計的基本要求。

人機接口不是一種孤立的能力，對于其在人類控制中的作用，只有在人機交互的框架內(nèi)才能理解。本章特別關(guān)注在更寬泛的自動化和自主化背景下考察對人提出的素質(zhì)需求，并結(jié)合接口的使用，考察接口所起的作用。

2.1. 新的人員素質(zhì)需求和認知參與

自主性的引入帶來了對人員能力素質(zhì)要求方面的重要變化。開發(fā)有效的系統(tǒng)不僅僅是工程和技術(shù)進步的問題。更是人員方面的問題。“自主作戰(zhàn)最有問題的是人員方面，或人機集成”。

即使操作人員“僅僅”負責監(jiān)督一個自主系統(tǒng)，他們也面臨著許多挑戰(zhàn)。這些挑戰(zhàn)可能來自數(shù)據(jù)過載、系統(tǒng)的不可理解性、訓練不足、接口設(shè)計沒有考慮到用戶的實際需求等等。

例如，在1988年的（美國）海軍文森斯號巡洋艦事件中，伊朗航空公司655號航班被軍艦上的宙斯盾作戰(zhàn)系統(tǒng)擊落時，設(shè)計拙劣的武器控制計算機接口導致飛機被錯誤地識別為戰(zhàn)斗機。由于信息顯示過于復雜和不充分，給（武器）控制人員的印象是客機正在向軍艦俯沖而來，而實際上它正在遠離軍艦。此外，對宙斯盾技術(shù)的過度自信最終導致對系統(tǒng)的“過度信任”，沒有懷疑系統(tǒng)的識別結(jié)果。

為了降低軍事環(huán)境中人機交互方面的一些風險，有人建議接口需要保持用戶的認知參與，這一點已被致命性自主武器系統(tǒng)政府專家組所接受。

在自主系統(tǒng)中保持人的認知參與是具有挑戰(zhàn)性的，至少有兩個原因：

第一個原因是，當被賦予監(jiān)督角色時，人們根本無法持續(xù)、一致地保持注意力。期望操作人員持續(xù)保持警惕（這是在適當?shù)臅r候進行干預所必需的）也是不合情理的。將一個相當被動的角色委托給操作人員，很可能會使他們脫離實際，從而難以保持警惕。正如一位專家解釋的那樣，“通常在[指揮和控制]中心，一切如常，然后突然發(fā)生了什么事情，你需要回到相應(yīng)的認知回路。但無論這個人機接口有多好，你都很難理解當前的情況”。

人們提出了一些通過接口設(shè)計，保持較高警惕的解決方案。英國國防部開發(fā)、概念與條令中心的一份報告表明，可以通過優(yōu)化接口以支持這一目標，包括要求操作人員1）搜索已確定的對象（這可以增強心智方面的參與），2）探詢相關(guān)的事物，如邊界或異常。

可以通過文本消息和警報等功能，提示操作人員檢查系統(tǒng)狀態(tài)。然而，讓操作人員保持警惕的最終辦法在于讓其從事有意義的任務(wù)，“而不是去后端”。雖然通過訓練課程，可以提高操作人員監(jiān)督系統(tǒng)的能力，但將（有意義的）任務(wù)分配給人類操作員，仍然是使其保持認知參與的關(guān)鍵。

第二個原因可以用人機交互中固有的挑戰(zhàn)來解釋，包括“自動化自滿癥”的挑戰(zhàn)，即隨著某些作業(yè)實現(xiàn)自動化，人的注意力轉(zhuǎn)移到其他任務(wù)上，或者因?qū)ο到y(tǒng)模糊或不準確的期望，造成的注意力缺失。其中一些挑戰(zhàn)源于所謂的“自動化難題”。該理論認為人類警惕性的喪失與系統(tǒng)增強的自動化和可靠性成正比：“系統(tǒng)的自動化程度越高、越可靠和越魯棒，監(jiān)督自動化系統(tǒng)的操作人員就越不可能意識到關(guān)鍵信息并能夠在需要時進行手動控制”。

當高度自動化和高度可靠的系統(tǒng)出現(xiàn)故障時，會給操作員帶來更加復雜的挑戰(zhàn)。因為高度自動化會增加人們對系統(tǒng)的依賴，同時也會使系統(tǒng)更難以手動恢復。這被描述為“伐木工人效應(yīng)”，它反映了高可靠性的好處和隨之而來的故障成本之間的權(quán)衡，類似于森林中的樹木：“它們越高，落得越遠”。在自動化研究領(lǐng)域，作為造成人員技能退化的風險，這種情況人們已經(jīng)討論了二十多年，尤其是第一次故障之前長時間正常運行的高性能自動化系統(tǒng)。在這種情況下，操作人員開始廣泛依賴系統(tǒng)，過度信任它，甚至變得自滿。“信任校準”是指“一個人對自動化（系統(tǒng)）的信任與（系統(tǒng)）自動化能力之間的一致性”，可以表現(xiàn)為過度信任，反過來也可以表現(xiàn)為信任不足。

2.2. 接口設(shè)計與使用背景

接口設(shè)計對其可用性至關(guān)重要，因為它“可以直接影響操作員完成任務(wù)的能力和愿望，以了解當前情況，做出決策，以及監(jiān)督和向機器人系統(tǒng)提供高層級的命令”。例如，對偵察任務(wù)無人機控制的研究表明，操作人員希望“駕駛攝像機”，這意味著操作人員更希望能夠?qū)z像機定位在需要的位置以實現(xiàn)其任務(wù)目標，而不是控制無人機及其系統(tǒng)。因此，在設(shè)計用戶接口時，取消了對無人機橫搖、俯仰和偏航的直接控制。

許多地方都有關(guān)于自主武器系統(tǒng)設(shè)計的一般原則。例如，美國國防部指令3000.09規(guī)定，“自主和半自主武器系統(tǒng)的人機接口應(yīng)：1.經(jīng)過訓練的操作人員很容易理解；2.可根據(jù)反饋信息跟蹤系統(tǒng)狀態(tài)；3.為經(jīng)過訓練的操作員清晰的操作程序以激活和停用系統(tǒng)功能”。

美國在致命性自主武器系統(tǒng)政府專家組會議上多次闡述了這項建議。2019年版政府專家組報告將“易于理解的人機接口和控制”與“嚴格測試和評估系統(tǒng)”和人員訓練等措施一道列為降低風險可行途徑。

然而，關(guān)注于使接口“清晰”或“易于理解”，有可能會被誤解為“簡單”。這可能會導致人們將注意力轉(zhuǎn)向微觀人機工程，或顯示系統(tǒng)中的元素，如顏色、字體大小等，盡管這些元素很重要，但“不是工作的起點”。通常，顯示功能需要關(guān)注“任務(wù)相關(guān)信息”的控制，同時最小化“任務(wù)無關(guān)信息”。然而，在復雜系統(tǒng)中，感知并不局限于來自屏幕的數(shù)據(jù)。有一種觀點，認為“通過適當?shù)南到y(tǒng)和接口設(shè)計，可以把技術(shù)和戰(zhàn)術(shù)復雜性降低到可管理的水平”。這種觀點受到認知系統(tǒng)工程專家的質(zhì)疑，他們認為這種方法不會降低復雜性，而只是向用戶隱藏它。

這并不意味著解決之道在于顯示系統(tǒng)的復雜性，而是必須滿足系統(tǒng)接口設(shè)計的其他條件，才能有助于增強的人類的能力和實施控制。

與自主武器系統(tǒng)交互的一個基本要求是，在使用之前建立一個良好的系統(tǒng)心智模型（包括了解系統(tǒng)的自動化水平，它是否正在正常運行以及是否在預期的參數(shù)下運行），理解系統(tǒng)的行為范圍，以及系統(tǒng)可能隨時間發(fā)生的種種變化，這是基于機器學習的系統(tǒng)的一個關(guān)鍵方面。這些需求必須反映在接口設(shè)計和訓練要求中。

本章概述了高度自動化和自主系統(tǒng)中的接口設(shè)計方法，從“以人為中心的設(shè)計”開始，然后是“以交互為中心”的方法。隨著關(guān)于人-機團隊或人-AI團隊的討論越來越多，接口設(shè)計變得更加復雜。

人-系統(tǒng)集成（HSI）源于20世紀80年代中期，處理系統(tǒng)設(shè)計和實現(xiàn)中的人因因素。它是一種“全系統(tǒng)”方法，著眼于跨系統(tǒng)集成，包括人、技術(shù)、運行環(huán)境以及這些要素之間的接口。如本章所述，人工智能和機器學習的引入（以及對人-AI團隊的日益關(guān)注），揭示了傳統(tǒng)或認知系統(tǒng)工程方法的局限性，以及它們無法解決新系統(tǒng)需要如何適應(yīng)的問題。

3.1 以人為中心的設(shè)計

對接口設(shè)計人員的兩個一般性要求是：（1）了解各種任務(wù)和領(lǐng)域的機器人操作人員需要知道什么；（2）確定如何以一種綜合的方式呈現(xiàn)信息，以支持態(tài)勢感知和決策。

將操作人員需要知道的內(nèi)容集成到流程中，是以人為本的設(shè)計的基礎(chǔ)。該范式出現(xiàn)于20世紀80年代，旨在解決傳統(tǒng)的、以技術(shù)為中心的標準范式中的缺陷。在以技術(shù)中心的范式下，接口首先反映的是創(chuàng)建系統(tǒng)的工程師們認為重要的內(nèi)容，或他們認為相關(guān)的內(nèi)容。

相比之下，以人為中心的設(shè)計“聚焦于系統(tǒng)的使用，應(yīng)用人因因素、人機工程學和可用性方面的知識及技術(shù)，使交互式系統(tǒng)更具可用性”。以人為中心的設(shè)計，無論是以士兵為中心、以客戶為中心還是以用戶為中心，都尋求“圍繞人如何工作”優(yōu)化接口，而不是強迫人們改變工作方式以適應(yīng)系統(tǒng)。它將操作人員視為“與傳感器或底層代碼一樣的系統(tǒng)組件”，必須把操作人員的能力納入到設(shè)計中。

在實踐中，以人為中心的設(shè)計遵循一個迭代過程。該過程在接口開發(fā)之前就開始了，需要通過系統(tǒng)的“增量式開發(fā)和迭代式改進”來整合設(shè)計和評估工作，基于輸入和反饋，理解用戶，并從一開始就集成他們的觀點。在此過程中，系統(tǒng)中可能會出現(xiàn)新的屬性，或者人們可能會以不同的方式使用系統(tǒng)。這將影響設(shè)計中的幾個選擇，包括操作員的認知負荷量、他們對系統(tǒng)的依賴程度，以及何時使用或何時關(guān)閉某些功能。簡而言之，這是一個“基于證據(jù)的進化式修補”過程。

隨著各種自主功能的增多，對以人為本設(shè)計的提出了更多需求，以支持操作人員理解系統(tǒng)的功能。除了高效呈現(xiàn)決策所需的信息外，人們還建議接口必須包括與自動化狀態(tài)相關(guān)的提示（包括各種模式和系統(tǒng)邊界條件），對模式轉(zhuǎn)換的支持（例如，對轉(zhuǎn)換到手動控制的必要支持）以及系統(tǒng)的透明度，以提供系統(tǒng)行為的可理解性和可預測性。

3.2 以交互為中心的方法

從21世紀10年代開始，新的智能系統(tǒng)設(shè)計方法開始關(guān)注人與機器之間的交互和相互依賴關(guān)系。

嚴格來說，交互始終是設(shè)計過程的一部分，只不過表現(xiàn)為不同的形態(tài)，“以人為本的設(shè)計”的基本原則并沒有被拋棄。然而，過去十年，這方面的研究更專注于人機交互的協(xié)作方面，而且現(xiàn)在的技術(shù)可以更快地適應(yīng)系統(tǒng)學習之需。最近興起的一種認識更是佐證了這種演變，即構(gòu)建有效的自治系統(tǒng)依賴于一種成功的人-自主系統(tǒng)或人-AI團隊協(xié)作方法，并且隨著機器能力的擴展，人機交互能力也必須隨之擴展。

例如，人們采用一種名為“協(xié)同設(shè)計”的方法，評估人機協(xié)作對設(shè)計的影響，其中的人和系統(tǒng)同時參與完成任務(wù)，系統(tǒng)設(shè)計要能夠支持協(xié)調(diào)，協(xié)作和團隊合作。這種設(shè)計方法將團隊合作視為涉及雙方（人和AI系統(tǒng)）的過程，并以兩者交互中存在的相互依賴性為前提。

關(guān)于人-AI團隊合作，人們還提出了“動態(tài)任務(wù)分配”模型，把風險最大，道德影響最最突出的任務(wù)分配給人類，而其他決策則分配給智能代理。這種方法需要把可解釋性作為人-智能代理協(xié)作和接口設(shè)計的一部分。

另一種稱為“自適應(yīng)引導”的方法基于一個類似的原則，即接口需要根據(jù)用戶的反饋進行調(diào)整，并隨著時間的推移校準（人的）認知參與、信任和不斷變化的期望。在隨著時間推移不斷學習的系統(tǒng)中，這種方法闡釋了人-系統(tǒng)交互中“三個不斷變化的部分”：1）操作人員不斷變化的心智模型，2）實際情況也在變化，3）系統(tǒng)/人工智能模型本身也在變化。

這需要接口能夠同步和表征系統(tǒng)的學習及調(diào)整情況。為了實現(xiàn)有效的交互，還需要系統(tǒng)變得更像一個智能代理，即它能夠提示操作人員進行干預，例如在某些情況下向他們表達“我需要輸入”或“我不知道”。為這種方法提供支持的“自適應(yīng)學習”技術(shù)，還需要系統(tǒng)的用戶模型能夠引導它檢測不一致或矛盾的信號，從而起到保護作用。例如，如果突然更換操作人員，系統(tǒng)可能會完全停止運行。

其中一些原則被應(yīng)用到自動駕駛汽車行業(yè)。該行業(yè)中的接口設(shè)計越來越多地被視為一種“共同創(chuàng)造的過程”。這種過程渴望集成駕駛員的偏好或采用一些糾正措施，例如提示年輕的駕駛員提高注意力。在自動駕駛汽車行業(yè)中，人們認為面向用戶的接口適應(yīng)性，對行業(yè)的未來以及取得人們對技術(shù)（特別是高層次的自動化技術(shù)）的更多信任非常重要。不過，隨著自動化程度的提高，也需要對駕駛員的數(shù)據(jù)進行權(quán)衡，包括需要更多的生物特征數(shù)據(jù)，因為“隨著你給予（車輛）更多的控制權(quán)并建立更多的信任，車輛也需要更多地了解你；現(xiàn)在，您作為操作人員，也需要受到監(jiān)督”。

在軍事領(lǐng)域，在接口設(shè)計中使用生物特征識別和神經(jīng)生理數(shù)據(jù)，盡管目前在很大程度上仍然是探索性的，但它并不是一個全新的想法。例如，在空中交通管制中進行的模擬仿真就運用了眼球運動參數(shù)，以此了解面對不同的信息顯示（例如，雜亂的天氣信息顯示會使飛行員更難以提取相關(guān)數(shù)據(jù)）時，人們的認知需求以及認知工作量的波動。雖然這是用于測試和模擬仿真場景，但生物特別識別和神經(jīng)生理數(shù)據(jù)的使用，也可以集成到實時的、具有閉合反饋環(huán)路的分析系統(tǒng)中。這樣的環(huán)路對用戶的交互情況進行評估，并更新用戶的狀態(tài)和當前的認知負荷信息。

技術(shù)上對更多“用戶狀態(tài)”數(shù)據(jù)的需求，凸顯了這樣一個事實，即隨著系統(tǒng)獲得更多的決策能力，人機協(xié)作依賴于來自雙方的信任。對于自主系統(tǒng)，信任是指嵌入在系統(tǒng)中的驗證機制。例如，這種機制會確保操作人員的輸入是一致的，不會受到壓力的影響。

最后，還有一種設(shè)計方法，它包含了沉浸式接口，近年來在各個領(lǐng)域進行了研究，包括自動駕駛汽車和無人駕駛飛行器。沉浸和沉浸式技術(shù)是指模擬的、動態(tài)的虛擬世界，包括豐富的三維空間和高保真運動等元素。

虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）系統(tǒng)已被用于軍事訓練和創(chuàng)建模擬仿真環(huán)境。而沉浸式接口將用于任務(wù)執(zhí)行，以及促進協(xié)作行為（即人機協(xié)作）。

沉浸，作為一種設(shè)計選擇，被認為是一種更自然的協(xié)作平臺，并成為一種實用工具，能夠以同樣的維度將物理世界及其視覺映像以可視化的方式呈現(xiàn)出來。之前有人提出，這種接口形成的遠程距離起到了一種“道德緩沖器”的作用，它使操作人員遠離其行為和造成的負面后果。對于一般性的遠程操作的武器系統(tǒng)（如無人機），人們曾多次表達了這種擔憂。而沉浸也可能是一種減少認知和道德距離的有用方法。

對自主武器系統(tǒng)操作人員的訓練是一項重要的控制要素。致命性自主武器系統(tǒng)政府專家組對控制的闡述，涉及武器的整個生命周期，包括訓練。

自主系統(tǒng)對操作人員提出了新型的訓練要求，這取決于系統(tǒng)接口的特性和復雜性。

首先，操作人員需要更全面地了解系統(tǒng)的功能邊界以及人與機器之間的功能分配。此外，對于使用AI的自主系統(tǒng)，由于系統(tǒng)的不斷學習和演進，人員訓練變得更有挑戰(zhàn)性。與靜態(tài)系統(tǒng)相比，訓練需求變得更加復雜。系統(tǒng)改變其內(nèi)部模型的方式通常是不透明的，甚至開發(fā)人員也難以理解，而且也很難提出一個操作人員可以訓練的學習模型，因為系統(tǒng)在不同的環(huán)境中（例如，訓練階段與使用環(huán)境下），其學習情況是不一樣的。

4.1 理解自主等級和功能分配

任務(wù)的分配，以及人們感覺的/認為的自主等級，與自主系統(tǒng)的實際能力水平之間的關(guān)系，對于人們校準對系統(tǒng)的信任和依賴至關(guān)重要。自動駕駛汽車領(lǐng)域的初步研究，揭示了在進行自主等級或模式轉(zhuǎn)換，而操作人員沒有準確評估系統(tǒng)的局限性時，所蘊含的風險。例如，人們發(fā)現(xiàn)，在系統(tǒng)的部分自動化和高度自動化之間，存在一個特別脆弱的區(qū)域。在此區(qū)域，當駕駛員認為車輛比某個給定時刻的自動化程度更高時，就會導致碰撞。

軍隊中，也發(fā)生過由于對系統(tǒng)的實際能力認識不足而產(chǎn)生的問題。例如，2003年的愛國者誤傷事件，美國陸軍愛國者導彈系統(tǒng)擊落了英國“龍卷風”和美國海軍F/A-18戰(zhàn)機。當時系統(tǒng)顯示的信息令人困惑，有時甚至是不正確的。當時操作人員有10秒的時間來否決計算機的方案，并且缺乏“在高度復雜的系統(tǒng)中進行例外管理”的訓練。

在使用此類系統(tǒng)之后，美國陸軍研究實驗室的一位工程心理學家總結(jié)說，“對于訓練不足的人員來說，其手中的自動化系統(tǒng)實際上是一個完全自動化的系統(tǒng)”。訓練不足可能導致不正確的期望，無法應(yīng)對系統(tǒng)故障，或無法替代系統(tǒng)的行動方案，使系統(tǒng)“因（操作人員的）忽視而完全自主”。僅靠接口設(shè)計無法彌補高效的訓練。

針對自主系統(tǒng)的訓練必須聚焦于培養(yǎng)操作人員的專業(yè)本領(lǐng)。這包括定量的和定性的兩個方面的要素：

· 定性要素：更加密切關(guān)注系統(tǒng)心智模型的開發(fā)，確保訓練不僅僅是“習慣轉(zhuǎn)移”（操作人員在使用新的接口時經(jīng)常會碰到此類問題，因為他們往往會參考以往的模型）。這包括理解各種變量，如自主功能的程度和范圍、從一個環(huán)境轉(zhuǎn)到另一個環(huán)境時系統(tǒng)的變化，系統(tǒng)最脆弱的地方或有哪些不確定性；

· 定量要素：包括訓練持續(xù)時間的變化，或者更新訓練的間隔等等。

然而，需要注意的是，針對人擔任系統(tǒng)監(jiān)督角色，相應(yīng)訓練仍然面臨人因因素的限制。在擔任監(jiān)督角色時，持續(xù)不斷的保持警覺是一項非常困難的任務(wù)。保持注意力既是一個選拔問題，也是一個訓練問題。現(xiàn)在人們都知道，一些人就是比其他人更善于持續(xù)不斷的保持警覺。然而，即使有適當?shù)倪x拔過程和必須的訓練，越是長時間從事重復性或監(jiān)督性任務(wù)，出錯的機率就會越高。使操作人員保持認知參與，會涉及到更復雜的因素，包括各種自主功能的增量式使用，通過這種方式，可以讓操作人員更好地理解系統(tǒng)，知道何時以及如何轉(zhuǎn)為手動控制，避免喪失責任感

4.2 人-AI團隊協(xié)作訓練

最后，隨著人和AI系統(tǒng)日益相互依賴，越來越多的研究結(jié)果表明，在開展訓練時，必須考慮到人與AI的組隊和協(xié)作。

人們期望隨著武器系統(tǒng)自主能力的提高，人和AI系統(tǒng)能夠集成為一個（作戰(zhàn)）單元，協(xié)作完成高度復雜的任務(wù)。這方面的訓練不能局限于知識轉(zhuǎn)讓，它將越來越需要（人和AI系統(tǒng)）一起訓練。這意味著雙方將作為“同伴”進行交互，各自發(fā)揮自己的本領(lǐng)和職權(quán)。在這種情況下，需要把人-AI訓練的目標需要聚焦于一起工作和相互學習上。

與人和人的組隊訓練相比，人-AI組隊訓練需要有兩個方面的重大改變：

· 認識上的轉(zhuǎn)變。涉及偏向、信任和可驗證性等問題。可驗證性針對的是人對AI系統(tǒng)的期望和要求，這方面的問題有可能導致人對AI的負面偏見

· （工作）程序上的轉(zhuǎn)變。包括新的工作分配和團隊訓練方法，這需要針對實際和合成環(huán)境，設(shè)計適當?shù)幕谀M仿真的訓練。

這使得操作人員需要理解：1）自己扮演的角色；2）AI系統(tǒng)；3）如何與AI系統(tǒng)/隊友交互；4）如何與其他人類隊友交互。

這一領(lǐng)域的研究尚處于早期階段，但至關(guān)重要。

智能系統(tǒng)的“黑匣子”性質(zhì)，使其與最終用戶的交互更加復雜，并可能導致相應(yīng)的心智模型不準確，結(jié)果是過于信任或過于不信任。近年來，人們越來越多地認識到，AI的不透明性會損害人們對系統(tǒng)及其決策機制的信任。因此，人們正在努力使AI更加透明、更具可解釋性。

從理論上講，在使用自主武器系統(tǒng)時，嵌入在界面中的解釋系統(tǒng)可以降低其中一些風險，但是現(xiàn)有的可用方法面臨著許多挑戰(zhàn)（甚至是潛在的不足）。

可解釋的人工智能（XAI）是一個專注于理解和解釋人工智能系統(tǒng)（行為）的領(lǐng)域。可解釋性不同于透明性。可解釋性以事后回頭看的方式評估系統(tǒng)的過程，它研究的機器做過什么，并提供事后解釋。相比之下，透明性提供了對系統(tǒng)行為的實時理解。雖然在軍事行動中，透明性在支持實時決策方面更有價值，但可解釋性和透明性在構(gòu)建態(tài)勢感知方面都很重要。在時間允許的情況下，可解釋性可以改進系統(tǒng)審核過程和心智模型，進而影響未來的態(tài)勢感知。

5.1 XAI儀表盤及其局限性

大多數(shù)XAI方法都集中在通過界面和儀表盤等可視化技術(shù)，來呈現(xiàn)一部分AI過程。例如，解釋界面能夠以對話框和餅圖等圖形化形式展現(xiàn)概率，也可以是交互式界面，用戶可以從幾個算法中選擇最佳的算法。

可視化有助于培養(yǎng)人們對AI系統(tǒng)的信任，提升人的能動性。例如，研究表明，通過提供與系統(tǒng)不確定性相關(guān)的信息，可以提高系統(tǒng)性能，包括人在接管系統(tǒng)時的表現(xiàn)也會更佳。

雖然“XAI途徑”包括許多機器學習模型和可視化分析方法，但它們?nèi)匀槐憩F(xiàn)得異常復雜，往往只有機器學習方面的專家才能理解。XAI的其他局限性包括：

· 信任不僅僅是一個技術(shù)問題，它是一個動態(tài)變化的過程，可視化不能解決所有與信任相關(guān)的問題

· （對AI系統(tǒng)）的解釋，可能會使有缺陷的心智模型得到進一步的強化；太多的細節(jié)可能會使人們茫然失措；或者包含太多的懸念；在可能需要進一步驗證的情況下誤導操作人員（從而導致過度信任）；不同的用戶可能會有不同的理解

· 在高強度的作戰(zhàn)行動中，一些解釋工具可能會增加人們的工作量，例如操作人員需要在有限的時間查看系統(tǒng)的解釋

5.2 XAI和自主武器系統(tǒng)

雖然透明度和可解釋性更高的系統(tǒng)應(yīng)該優(yōu)于“黑匣子”，但需要注意的是，可解釋性不是解決信任問題的靈丹妙藥，某些方法執(zhí)行的不好，結(jié)果可能會適得其反。就自主武器系統(tǒng)而言，需要我們進一步研究哪些方法和何種信息能夠更好地提高系統(tǒng)的透明性。例如，為了增加操作人員對系統(tǒng)的信任，許多人機界面用百分比表示概率，例如，X是合法目標的概率是87%。事實上，這種方法使操作人員更難以做出決策，并不會增強操作人員信心。87%的概率就足以讓操作人員繼續(xù)攻擊目標嗎？剩下的13%是什么意思？此外，該信息是應(yīng)該表示為“87%的確定性”，還是表示為“13%的不確定性”？

即便是對于完全透明和可解釋的AI,也存其他困境，可能造成出現(xiàn)錯誤時，其責任完全落在操作人員身上。由于無法讓AI系統(tǒng)承擔責任，這種情況有可能給操作人員帶來過分的問責。

XAI作為一種有發(fā)展前景的方法，需要精心設(shè)計并集成到系統(tǒng)中，有效促進人機交互，增強人對系統(tǒng)的信任和控制。

自主武器系統(tǒng)中的人機接口對于實施人工控制非常重要，但在設(shè)計和使用方面仍然存在重大挑戰(zhàn)和需要考慮的問題。

本報告以自主性和人機交互為背景，闡述了人機接口幾個方面的問題。過去十年中，自動駕駛汽車行業(yè)在可控性方面的研究取得了顯著進展。本報告也借鑒了該領(lǐng)域的一些經(jīng)驗教訓， 

一般性結(jié)論：

· 人機接口作為自主武器系統(tǒng)的子系統(tǒng)，對它的研究揭示了人類控制的復雜性——它是一種通過接口設(shè)計而嵌入、通過訓練而培養(yǎng)、通過特定技術(shù)特性（例如XAI）而增強或（或破壞）的能力。

· 在武器系統(tǒng)中引入自主功能和人工智能，特別是機器學習，擴展了人機交互的選項和模式；它使人機接口的設(shè)計和開發(fā)變得非常復雜，這進而需要對操作人員進行新的培訓。

接口設(shè)計：

· 自20世紀50年代以來，接口設(shè)計方法從以技術(shù)為中心，到以用戶/人為中心，再到以交互/人-AI組隊為中心，反映了自主性和自主功能的發(fā)展。

· 致命性自主武器系統(tǒng)政府專家組必須從政策的角度考慮這些范式的意義，因為它們超越了技術(shù)升級，反映了人機交互的深層次變化，對實施人類控制有直接影響。

訓練：

· 對操作人員的進行訓練，是實施人類控制的一項重要內(nèi)容。自主武器系統(tǒng)的自主化以及接口的復雜化，給人員訓練帶來了新的挑戰(zhàn)。

· 實施訓練需要更清晰地理解自主武器系統(tǒng)的局限性、功能分配和系統(tǒng)故障，并且必須解決常見的行為方面的因素（例如自滿），同時保持對責任和問責的清晰理解。

可解釋的AI：

· 雖然XAI號稱可以通過引入更多的可理解性和可預測性，來增強人們對技術(shù)的信任，但對于自主系統(tǒng)固有的透明性和可解釋性問題，XAI所起的作用依然有限。今后聯(lián)合國裁軍研究所（UNIDIR）將更詳細地研究這個問題。

· 對于人工智能驅(qū)動的系統(tǒng)，必須努力實現(xiàn)更高的可解釋性和透明性，同時適當考慮不同的作戰(zhàn)類型、環(huán)境和用戶等方面的軍事需求。這需要深入研究接口設(shè)計，以最好的方式表征透明度方面的信息和系統(tǒng)的脆弱性，使人們能夠校準期望并增強技術(shù)的信任。

本報告認為致命性自主武器系統(tǒng)政府專家組當前和未來工作應(yīng)當著眼以下幾個方面：

深入細致地討論自主化背景下的人機交互以及接口在人類控制中所扮演的角色等問題。這應(yīng)當包括智能系統(tǒng)背景下接口設(shè)計和人員訓練的相互聯(lián)系、AI系統(tǒng)的可解釋性問題以及對技術(shù)的信任問題。

更清晰地闡述在人類控制方面的期望和目標，以指引未來AI系統(tǒng)的接口開發(fā)工作。政府專家組的闡述有助于向技術(shù)界界定人類控制方面的問題，但還需要更進一步，以確保更明確地界定人類控制的含義，契合各類武器系統(tǒng)和使用環(huán)境。

討論人工-AI團隊協(xié)作對人類控制自主武器系統(tǒng)的影響。“團隊協(xié)作”并不意味著AI系統(tǒng)與人類處于平等地位，我們堅持認為人應(yīng)當處于主導地位。不過，針對人類控制的含義，它確實引發(fā)了新的問題。技術(shù)專家的參與對于探索這一范式的影響和挑戰(zhàn)至關(guān)重要。