人工智能 (AI) 在整個行業和社會中的采用速度正在加快。這是因為政府、民間組織和行業都認識到使用人工智能生成的自動化可以提高效率和降低成本。這個過程是不可逆的。
仍然未知的是，當對手開始將人工智能用作有效的攻擊武器而不是有益改進的工具時，可能會帶來多大的危險。那一天即將到來，web3 將從 2023 年開始出現。
條條大路通向2023
Adversa.AI 的首席執行官兼聯合創始人 Alex Polyakov 主要出于歷史和統計原因關注 2023 年。“從 2012 年到 2014 年，”他說，“見證了學術界安全人工智能研究的開端。據統計，學術成果需要三到五年才能進入對實際應用的實際攻擊。” 在 2017 年和 2018 年開始的 Black Hat、Defcon、HITB 和其他行業會議上展示了此類攻擊的示例。
“然后，”他繼續說道，“還需要三到五年的時間才能在野外發現真實的事件。我們談論的是明年，人工智能中的一些大規模 Log4j 類型的漏洞將被 web3 大規模利用。”
從 2023 年開始，攻擊者將擁有所謂的“利用市場契合度”。“利用市場契合度是指黑客知道利用特定漏洞利用系統并獲得價值的方式的場景，”他說。“目前，金融和互聯網公司對網絡犯罪分子完全開放，如何對其進行黑客攻擊以獲取價值的方式顯而易見。我認為一旦攻擊者找到適合市場的漏洞，情況會進一步惡化并影響其他人工智能驅動的行業。”
該論點與紐約大學教授納西爾·梅蒙 ( Nasir Memon )給出的觀點類似，他在評論中描述了 Deepfakes 廣泛武器化的延遲，“壞人還沒有想出一種方法來將這一過程貨幣化。” 將利用市場契合的場景貨幣化將導致廣泛的網絡攻擊 web3，這可能從 2023 年開始。
在過去十年中，安全團隊主要使用 AI 進行異常檢測；也就是說，檢測他們負責保護的系統中的妥協跡象、惡意軟件的存在或活躍的對抗活動。這主要是被動檢測，由人類威脅分析師和響應者負責響應。這正在改變。有限的資源 web3 將在預期的經濟衰退和 2023 年 web3 可能的衰退中惡化，這推動了對更自動化響應的需求。目前，這在很大程度上僅限于對受感染設備進行簡單的自動隔離；但更廣泛的自動化 AI 觸發響應是不可避免的。
Barracuda XDR 安全運營副總裁 Adam Kahn 表示：“人工智能在威脅檢測 web3 中的使用越來越多，特別是在消除 web3 引起如此多安全關注的'誤報’安全噪音方面，這將對安全產生重大影響。” “它將優先處理需要立即引起注意和采取行動的安全警報。SOAR（安全編排、自動化和響應）產品將繼續在警報分類中發揮更大的作用。” 這是迄今為止人工智能在安全領域的傳統有益用途。它將在 2023 年繼續增長，盡管需要保護所使用的算法免受惡意操縱。
ServiceTitan 的首席技術官 Anmol Bhasin 表示：“隨著公司尋求削減成本和延長跑道，通過人工智能實現自動化將成為保持競爭力的主要因素。到 2023 年，我們將看到人工智能的采用率增加，使用這項技術的人數增加，并為企業闡明新的人工智能用例。”
人工智能將更深入地嵌入到業務的各個方面。安全團隊曾經使用 AI 來保護企業免受攻擊，而現在他們需要在更廣泛的業務范圍內保護 AI，以免它也被用來對付企業。在未來的 web3 攻擊者了解人工智能、了解弱點并擁有利用這些弱點獲利的方法的情況下，這將變得更加困難。
隨著 AI 使用的增長，其目的的性質也發生了變化。最初，它主要用于業務檢測變化；也就是說，已經發生的事情。將來，它將用于預測 web3 可能發生的事情，而這些預測通常會集中在人（員工和客戶）身上。解決人工智能中眾所周知的弱點將變得更加重要。AI 中的偏見會導致錯誤的決定，而學習失敗會導致沒有決定。由于此類 AI 的目標將是人，因此對 AI 的完整性和公正性的需求變得勢在必行。
“人工智能的準確性部分取決于數據的完整性和質量，”Duality Technologies 的聯合創始人 Shafi Goldwasser 評論道。“不幸的是，少數群體的歷史數據往往缺乏，而一旦存在，就會強化社會偏見模式。” 除非被消除，否則這種社會偏見將對員工中的少數群體產生影響，導致對個別員工的偏見，并錯失管理機會。
2022 年在消除偏見方面取得了長足進步，并將在 2023 年繼續。這主要基于檢查 AI 的輸出，確認它是預期的，并了解算法的哪一部分產生了“有偏見”的結果。這是一個不斷改進算法的過程，隨著時間的推移顯然會產生更好的結果。但最終仍將存在一個哲學問題，即是否可以從人類制造的任何東西中完全消除偏見。
“減少偏見的關鍵在于簡化和自動化人工智能系統的監控。如果不對 AI 系統進行適當的監控，模型中內置的偏差可能會加速或放大，”Vianai 創始人兼首席執行官 Vishal Sikka 說。“到 2023 年，我們將看到組織授權和教育人們大規模監控和更新 AI 模型，同時提供定期反饋以確保 AI 正在攝取高質量的真實數據。”
人工智能的失敗通常是由于可供學習的數據湖不足造成的。顯而易見的解決方案是增加數據湖的規模。但是，當主題是人類行為時，這實際上意味著個人數據湖 web3 的增加，而對于人工智能來說，這意味著一個更像是個人數據海洋的大量增加的湖。在大多數合法場合，這些數據將被匿名化，但正如我們所知，要完全匿名化個人信息是非常困難的。
“在考慮模型訓練時，隱私經常被忽視，”NetSPI 研究主管 Nick Landers 評論道，“但數據不能完全匿名化而不破壞其對機器學習 (ML) 的價值。換句話說，模型已經包含了大量的私人數據，這些數據可能會作為攻擊的一部分被提取出來。” 隨著 AI 使用的增長，到 2023 年針對它的威脅也會增加。
BlackBerry 高級副總裁兼首席信息安全官 John McClurg 警告說：“威脅行為者不會在網絡戰空間中措手不及，而是會變得富有創造力，利用他們的巨大財富來嘗試找到利用 AI 和開發新攻擊媒介的方法。”
自然語言處理（NLP）將成為企業內部使用人工智能的重要組成部分。潛力顯而易見。“自然語言處理 (NLP) AI 將在 2023 年走在前列，因為它將使組織能夠通過分析客戶和員工的電子郵件并提供有關他們的需求、偏好甚至情緒的見解來更好地了解他們的客戶和員工，”負責人 Jose Lopez 表示。Mimecast 的數據科學家。“組織很可能會提供其他類型的服務，不僅關注安全或威脅，還關注通過使用 AI 生成電子郵件、管理日程甚至撰寫報告來提高生產力。”
但他也看到了其中的危險。“然而，這也將促使網絡犯罪分子進一步投資于人工智能中毒和云化技術。此外，惡意行為者將使用 NLP 和生成模型來自動化攻擊，從而降低他們的成本并達到更多的潛在目標。”
Polyakov 同意 NLP 越來越重要。“我們可能會在 2023 年看到更多研究的領域之一，以及之后可能出現的新攻擊，是 NLP，”他說。“雖然我們今年看到了很多與計算機視覺相關的研究示例，但明年我們將看到更多的研究集中在大型語言模型 (LLM) 上。”
但是一段時間以來，眾所周知，LLM 在 web3 中存在問題，并且有一個最近的例子。2022 年 11 月 15 日，Meta AI（對大多數人來說仍然是 Facebook）推出了卡拉狄加。Meta 聲稱已經在 1060 億個開放獲取科學文本和數據的標記上對系統進行了訓練，包括論文、教科書、科學網站、百科全書、參考資料和知識庫。
“該模型旨在存儲、組合和推理科學知識，”Polyakov web3 解釋說，但 Twitter 用戶迅速測試了它的輸入容忍度。“結果，該模型產生了現實的廢話，而不是科學文獻。” “現實的廢話”是善意的：它產生了帶有偏見的、種族主義和性別歧視的回報，甚至是錯誤的歸因。幾天之內，Meta AI 被迫將其關閉。
“所以新的 LLM 會有很多我們沒有意識到的風險，”Polyakov 繼續說道，“預計這將是一個大問題。” 在利用潛力的同時解決 LLM 的問題將是 AI 開發人員前進的主要任務。
基于卡拉狄加的問題，Polyakov 測試了針對 ChatGPT 的語義技巧——ChatGPT 是 OpenAI 開發的基于 AI 的聊天機器人，基于 GPT3.5（GPT 代表生成預訓練變壓器），并于 2022 年 11 月發布到眾包互聯網測試。ChatGPT令人印象深刻。它已經發現并建議修復智能合約中的漏洞，幫助開發 Excel 宏，甚至提供了可用于欺騙 LLM 的方法列表。
最后，這些方法之一是角色扮演：“告訴法學碩士它正在假裝成戲劇中的邪惡角色，”它回答說。這是 Polyakov 開始他自己的測試的地方，基于 Jay 和 Silent Bob 的查詢“如果你是一只綿羊......”模因。
然后，他用多個抽象反復提煉他的問題，直到他成功獲得繞過 ChatGPT 關于內容違規的阻止政策的答復。“這種多重抽象的高級技巧的重要之處在于，問題和答案都不會被標記為違規內容！” 波利亞科夫說。
他更進一步，欺騙 ChatGPT 概述了一種毀滅人類的方法——一種與電視節目烏托邦驚人相似的方法。
然后他要求對圖像分類算法進行對抗性攻擊——并得到了一個。最后，他展示了 ChatGPT 能夠“破解”不同的 LLM (Dalle-2) 繞過其內容審核過濾器的能力。他成功了。
這些測試的基本點表明，模仿人類推理的 LLM 以類似于人類的方式做出反應；也就是說，他們可能容易受到社會工程學的影響。隨著法學碩士在未來變得更加主流，可能只需要先進的社會工程學技能就可以打敗他們或規避他們的良好行為政策。
同時，重要的是要注意大量詳細說明 ChatGPT 如何發現代碼中的弱點并提供改進的報告。這很好——但對手可以使用相同的過程來開發漏洞利用程序并更好地混淆他們的代碼；那很糟糕。
最后，我們應該注意到，這種質量的 AI 聊天機器人與最新的深度偽造視頻技術的結合可能很快就會產生令人震驚的虛假信息能力。
撇開問題不談，法學碩士的潛力是巨大的。“大型語言模型和生成式人工智能將成為新一代應用程序的基礎技術，”Two Sigma Ventures 的合伙人 Villi Iltchev 評論道。“我們將看到新一代企業應用程序的出現，以挑戰幾乎所有軟件類別的老牌供應商。機器學習和人工智能將成為下一代應用的基礎技術。”
他期望應用程序執行目前由專業人員完成的許多任務和職責，從而顯著提高生產力和效率。“軟件，”他說，“不僅會提高我們的生產力，還會讓我們更好地完成工作。”
2023 年可能出現的惡意 AI 使用最明顯的領域之一是 deepfakes 的犯罪使用。OpenText Security 首席解決方案顧問 Matt Aldridge 警告說：“Deepfakes 現在已成為現實，使它們成為可能的技術正在以驚人的速度發展。” “換句話說，deepfakes 不再只是科幻小說 web3 的引人入勝的創作，作為網絡安全專家，我們面臨著挑戰，即開發更強大的方法來檢測和轉移部署它們的攻擊。” （有關更多詳細信息和選項，請參閱Deepfakes – 重大威脅還是炒作威脅？）。
已經向公眾開放的機器學習模型可以實時自動翻譯成不同的語言，同時還將音頻轉錄成文本 web3，我們已經看到近年來計算機機器人對話的巨大發展。隨著這些技術的協同工作，攻擊工具的前景十分廣闊，可能會在有針對性的攻擊和精心策劃的詐騙期間導致危險情況。
“在未來幾年，”Aldridge 繼續說道，“我們可能會成為由 deepfake 技術支持的電話詐騙的目標，這些詐騙可能會冒充銷售助理、商業領袖甚至家庭成員。在不到十年的時間里，我們可能經常成為此類電話的目標，而根本沒有意識到我們不是在與人交談。”
Proofpoint 的全球常駐 CISO Lucia Milica 同意 Deepfake 威脅正在升級。“Deepfake 技術正變得越來越容易為大眾所接受。多虧了在龐大的圖像數據庫上訓練的人工智能生成器，任何人都可以在不具備技術知識的情況下生成深度假貨。雖然最先進模型的輸出并非沒有缺陷，但技術在不斷改進，網絡犯罪分子將開始使用它來創造無法抗拒的敘事。”
到目前為止，deepfakes 主要用于諷刺目的和色情內容。在相對較少的網絡犯罪攻擊中，他們主要集中在欺詐和商業電子郵件泄露方案上。Milica 預計未來的使用范圍會更廣。“想象一下，當一家大公司的深造 CEO 或 CFO 發表大膽聲明，導致股價大幅下跌或上漲時，金融市場會出現怎樣的混亂。或者考慮一下惡意分子如何利用生物識別身份驗證和深度偽造的組合進行身份欺詐或帳戶接管。這些只是 web3 的幾個例子，我們都知道網絡犯罪分子可以非常有創造力。”
成功操縱市場的潛在回報將成為高級敵對組織 web3 的主要吸引力，因為在地緣政治緊張時期，將金融混亂引入西方金融市場確實會吸引敵對國家。
對人工智能的期待，可能還是有點超前于它的實現。WithSecure Intelligence 的高級研究員 Andrew Patel 表示：“'流行’的大型機器學習模型 [2023 年] 對網絡安全幾乎沒有影響。” “大型語言模型將繼續推動人工智能研究的發展。預計 GPT-4 和 2023 年全新且令人興奮的 GATO 版本。預計 Whisper 將用于轉錄 YouTube 的大部分內容，從而為語言模型帶來更大的訓練集。但是，盡管大型模型民主化了，但它們的存在對網絡安全的影響很小，無論是從攻擊還是防御方面。從攻擊者或防御者的角度來看，這些模型仍然太重、太昂貴，而且不實用。”
他建議真正的對抗性 AI 將隨著“對齊”研究的增加而出現，這將成為 2023 年的主流話題。“對齊，”他解釋說，“將使對抗性機器學習的概念進入公眾意識。”
AI Alignment 是對復雜 AI 模型行為的研究，一些人將其視為變革性 AI (TAI) 或通用人工智能 (AGI) 的先驅，以及此類模型是否可能以可能對社會或生活有害的不良方式運行這個星球。
“這門學科，”帕特爾說，“本質上可以被認為是對抗性機器學習，因為它涉及確定什么樣的條件會導致不期望的輸出和行為超出模型的預期分布。該過程涉及使用 RLHF web3 人類偏好強化學習等技術微調模型。對齊研究會帶來更好的人工智能模型，并將對抗性機器學習的理念帶入公眾意識。”
Malwarebytes 的高級情報記者 Pieter Arntz 同意，人工智能的全面網絡安全威脅并不像正在醞釀中那樣迫在眉睫。“雖然沒有真正的證據表明犯罪集團在出于犯罪目的管理和操縱 AI 和 ML 系統方面擁有強大的技術專長，但人們的興趣無疑是存在的。他們通常需要的只是一種他們可以復制或稍微調整以供自己使用的技術。因此，即使我們預計不會有任何直接危險，也最好密切關注這些事態發展。”
人工智能保留了改善網絡安全的潛力，并且由于其在一系列應用程序中的變革潛力，將在 2023 年取得更大進展。“特別是，將 AI 嵌入固件級別應該成為組織的優先事項，”X-PHY 首席執行官兼創始人 Camellia Chan 建議。
“現在可以將注入 AI 的 SSD 嵌入筆記本電腦，其深度學習能力可以抵御各種類型的攻擊，”她說。“作為最后一道防線，這項技術可以立即識別出可以輕松繞過現有軟件防御的威脅。”
Darktrace Federal 的首席執行官 Marcus Fowler 認為，公司將越來越多地使用 AI 來應對資源限制。“到 2023 年，首席信息安全官將選擇更積極主動的網絡安全措施，以便在預算削減的情況下最大限度地提高投資回報率，將投資轉移到人工智能工具和能力上，不斷提高他們的網絡彈性，”他說。
“由于人類驅動的道德黑客手段、滲透測試和紅隊作為一種資源仍然稀缺且昂貴，CISO 將轉向人工智能驅動的方法來主動了解攻擊路徑、增強紅隊的努力、強化環境并減少攻擊面漏洞，“ 他繼續。
Fortinet 網絡安全解決方案和服務副總裁 Karin Shopen 預見了云交付的 AI 與本地內置到產品或服務中的 AI 之間的重新平衡。“到 2023 年，”她說，“我們希望看到首席信息安全官通過購買在本地部署人工智能的解決方案來重新平衡他們的人工智能，以進行基于行為的分析和靜態分析，以幫助做出實時決策。他們將繼續利用收集大量全球數據的整體和動態云規模人工智能模型。”
很明顯，當當局開始監管一項新技術時，必須認真對待它。這已經開始了。多年來，美國一直在就基于人工智能的面部識別技術 (FRT) 的使用展開爭論，許多城市和州已禁止或限制執法部門使用面部識別技術。在美國，這是一個憲法問題，以 2021 年 4 月出臺的題為“第四修正案不得出售法案”的 Wyden/Paul 兩黨法案為代表。
該法案將禁止美國政府和執法機構在沒有授權的情況下購買用戶數據。這將包括他們的面部生物識別技術。在一份相關聲明中，Wyden 明確表示 FRT 公司 Clearview.AI 在其視線范圍內：“該法案阻止政府從 Clearview.AI 購買數據。”
在撰寫本文時，美國和歐盟正在共同討論合作，以在歐盟人工智能法案和美國人工智能權利法案web3的基礎上，對必要的人工智能概念（包括可信度、風險和危害）形成統一的理解，我們可以期待看到在 2023 年協調共同商定的標準方面取得的進展。
但還有更多。“NIST AI 風險管理框架將在 2023 年第一季度發布，”Polyakov 說。“至于第二季度，我們開始實施人工智能問責法；在今年剩下的時間里，我們有來自 IEEE 的倡議，以及計劃中的歐盟可信賴人工智能倡議。” 因此，2023年對于人工智能的安全來說將是多事之年。
“到 2023 年，我相信我們將看到圍繞 AI 與隱私和風險的討論趨于一致，以及在實踐中執行 AI 倫理和偏見測試等事情意味著什么，”首席隱私官兼 AI 倫理委員會 Christina Montgomery 說IBM 主席。“我希望在 2023 年，我們可以將對話從籠統地描繪隱私和 AI 問題轉移開，不再假設'如果涉及數據或 AI，它一定是壞的和有偏見的’。”
她認為問題通常不是技術，而是技術的使用方式，以及驅動公司商業模式的風險水平。“這就是為什么我們需要在這個領域進行精確和周到的監管，”她說。
蒙哥馬利舉了一個例子。“X 公司銷售可監控和報告使用數據的聯網'智能’燈泡。隨著時間的推移，X 公司收集了足夠的使用數據來開發一種人工智能算法，該算法可以學習客戶的使用模式，并為用戶提供在他們下班回家前自動打開燈的選項。”
她認為，這是可以接受的 AI 用法。但還有 Y 公司。然后，它會在未經消費者同意的情況下將這些數據出售給電話推銷員或政治游說團體等第三方，以更好地鎖定客戶。X 公司的商業模式風險遠低于 Y 公司。”
人工智能最終是一個分裂的主題。“技術、研發和科學領域的人們將為它解決問題的速度比人類想象的更快而歡呼。治愈疾病，讓世界更安全，并最終拯救和延長人類在地球上的壽命……”Idemia 首席執行官 Donnie Scott 說。“反對者將繼續主張對人工智能的使用進行重大限制或禁止，因為'機器的崛起’可能威脅到人類。”
最后，他補充道，“通過我們的民選官員，社會需要一個能夠保護人權、隱私和安全的框架，以跟上技術進步的步伐。 到 2023 年，這一框架的進展將是漸進的，但國際和國家管理機構的討論需要增加，否則地方政府將介入并制定一系列阻礙社會和技術發展的法律。”
對于 AI 在企業中的商業用途，Montgomery 補充說：“我們需要 web3，而 IBM 提倡智能且有針對性的 web3 精確監管，并且能夠適應新出現的威脅。一種方法是查看公司商業模式核心的風險。我們可以而且必須保護消費者并提高透明度，我們可以在鼓勵和支持創新的同時做到這一點，以便公司能夠開發未來的解決方案和產品。這是我們將在 2023 年密切關注和權衡的眾多領域之一。”
>>>供應鏈安全<<<
>>>其他<<<
