王超
近年來，人工智能越來越成為引領未來的戰略性技術，世界主要發達國家紛紛把發展人工智能技術、推進人工智能在網絡安全領域的深度應用作為提升國家網絡空間核心競爭力、維護國家網絡空間安全的重大戰略。然而，人工智能技術是把“雙刃劍”，在大力發展人工智能網絡安全技術的同時，必須高度重視可能帶來的網絡安全風險，加強前瞻預防與約束引導，最大限度地降低風險，確保人工智能在網絡安全領域安全、可靠、可控發展。
AI在網絡安全的深度應用
（一）人工智能技術成為國家網絡空間競爭的新高地。當前，發達國家紛紛加強網絡安全領域的人工智能戰略布局。美國把人工智能技術提升到能給網絡安全，甚至國家安全帶來顛覆性變革的戰略的高度。2016年10月，美國前總統奧巴馬發布的《國家人工智能研究和發展戰略計劃》提出，“確保人工智能系統安全可靠”的發展戰略，要將“對抗機器學習”作為人工智能發展的關鍵領域。同年 12 月20日，美國白宮發布的《人工智能、自動化與經濟報告》提出，“出于網絡防御和欺詐偵查目的發展人工智能”，意在打造能精準預測網絡攻擊、有效偵測欺詐交易和欺詐信息的人工智能系統。在我國，國務院于 2017年7月印發《新一代人工智能發展規劃》，提出要加強人工智能網絡安全技術研發，強化人工智能產品和系統網絡安全防護。工業和信息化部于2017年12月發布《促進新一代人工智能產業發展三年行動計劃（2018—2020年）》，明確倡導人工智能先進技術在網絡安全領域的深度應用，提出到2020年要實現的目標，即“完善人工智能網絡安全產業布局，形成人工智能安全防控體系框架，初步建成具備人工智能安全態勢感知、測試評估、威脅信息共享、應急處置等基本能力的安全保障平臺”。
（二）人工智能技術成為IT企業布局網絡安全技術產業的新抓手。人工智能技術正在引發網絡安全產業變革熱潮。根據CB Insights的統計結果，在應用人工智能領域，網絡安全是活躍度排名第四的行業。一方面，新興IT企業著力研發基于人工智能的網絡安全技術，并強勢崛起成為領域獨角獸企業。美國Cylance是世界上最早提供基于機器學習和人工智能反病毒的公司之一，其研發的反病毒軟件Cylance PROTECT利用人工智能預測網絡攻擊的發生，在沒有網絡連接的情況下，僅需60MB 內存和 1%的CPU就能保護計算機免受攻擊。目前，該公司的估值已超過10億美元。美國帕洛阿爾托網絡公司（Palo Alto Networks）推出的名為Magnifier 的行為分析解決方案，使用結構化和非結構化的機器學習來模擬網絡行為，改善網絡危險檢測。另一方面，大型互聯網和網絡安全企業紛紛加碼網絡安全領域人工智能技術的創新和應用。2017年，亞馬遜先后收購人工智能網絡安全公司——Harvest.ai 和 Sqrrl，通過機器學習和人工智能算法，加強對數據竊取行為的識別和阻止，以保護云中的敏感數據。2018年5月，360發布了“安全大腦”，利用人工智能技術對采集的安全數據進行分析計算，可實時感知網絡安全運行狀況和態勢，預測網絡攻擊并自動響應。
（三）人工智能技術成為應對網絡安全風險的新方案。網絡安全專業人員不足和網絡攻擊發現能力薄弱，日益成為抵御網絡安全風險的短板。人工智能技術以其強大的運算能力逐步成為應對網絡安全挑戰的新方案。一方面，人工智能技術能夠大幅提高分析效率。一個信息安全分析師一天的日志數據分析量，人工智能只需幾分鐘就能完成。另一方面，人工智能有助于提升威脅檢測效果。基于機器學習、深度學習等算法，人工智能技術能夠主動識別網絡中的異常行為，現已充分應用于物聯網設備防御、惡意軟件預防、安全運營中心效率提升、風險量化，以及網絡流量異常和惡意移動應用檢測等領域。ESG 的調查顯示，12%的企業組織已普遍應用了基于人工智能的安全分析產品，27%的企業間接使用了基于人工智能的安全分析服務，20%以上的網絡安全工程師希望使用基于人工智能的網絡安全技術加速事件檢測和響應、識別和處置網絡安全風險，掌握網絡安全態勢。
AI引發新的網絡安全風險
（一）易遭受“投毒攻擊”。當前，機器學習、深度學習等人工智能算法嚴重依賴于數據的分布，如果黑客改變數據分布生成惡意的對抗樣本，向人工智能系統發起“投毒攻擊”，就可能造成人工智能系統的識別錯誤。OpenAI 在最新研究報告中指出，攻擊者將對抗樣本輸入圖像識別的機器學習模型，就能夠使人工智能系統在視覺上產生幻覺，從而出現錯誤的圖片識別結果。一旦人工智能技術在無人駕駛等領域推廣普及，“投毒攻擊”很可能對人們的生命、財產安全產生巨大威脅。
（二）底層開源框架是薄弱環節。當前，Google、FaceBook、IBM、百度等國際 IT 巨頭紛紛開源其人工智能系統，幫助應用開發人員屏蔽底層實現細節，構建起以自身技術框架為基礎的應用生態。然而，不時曝出的安全漏洞推高了人工智能系統的安全風險。2017年12月，奇虎360、美國佐治亞大學和美國弗吉尼亞大學的安全研究人員一致認為，Google開源的TensorFlow、FaceBook開源的Caffe 和Torch等深度學習框架對第三方開源基礎庫過度依賴，這會導致其存在大量的安全威脅。安全人員在上述三個框架中發現了15個安全漏洞，極易導致人工智能系統遭到拒絕服務攻擊、逃逸攻擊、系統損害攻擊的影響。考慮到基于深度學習的應用往往需要復雜的訓練過程，針對深度學習框架的惡意攻擊很難在短時間內被識別，這就可能導致攻擊持續的時間更長，造成的危害更加嚴重。
（三）基于人工智能技術的網絡攻擊多樣化。一方面，人工智能技術降低了網絡攻擊門檻。隨著大量人工智能模型開源，黑客入侵的工具愈發多樣化，他們可以利用開源工具欺騙識別系統。另一方面，基于人工智能技術的網絡攻擊危害嚴重。人工智能技術會進一步豐富攻擊模式，以自動化方式提升復雜攻擊的速度與效率，加大魚叉式網絡釣魚等勞動密集型網絡攻擊的危害;追蹤、分析信息系統進化趨勢和安全軟件更新特點，設計出新的、更強大的惡意程序來發動網絡攻擊。利用人工智能技術操作無人機或其他智能設備發起定向攻擊，可能導致物理設備損害，威脅關鍵信息基礎設施安全，危及個人生命、財產安全。
幾點建議
（一）重點突破人工智能網絡安全技術。一是重視和加強前瞻性基礎研究，加大對感知技術、深度學習、機器學習等人工智能算法的研發支持力度，提升算法的可解釋性、透明性、運行效率等。二是加強基于人工智能的漏洞挖掘、安全測試、威脅預警、攻擊檢測、應急處置等網絡安全技術攻關，強化人工智能安全態勢感知、測試評估、威脅信息共享和應急處置等能力。三是支持應用技術研究，重點加強對抗性機器學習研究，分析機器學習對抗性攻擊對人工智能系統的危害程度，提出應對的技術方案，提升算法的魯棒性。
（二）加快優化人工智能開發框架。一方面，研發推廣應用國內人工智能技術開發框架，重點支持自動駕駛、城市大腦等國家新一代人工智能開放創新平臺發展，帶動和引領國內人工智能企業構建涵蓋機器學習、語義分析、控制決策等眾多技術在內的體系化開源平臺，推進人工智能開源代碼、開源軟件的信息匯聚和技術交流，推動國內企業逐步擺脫對TensorFlow等國外開源開發框架的依賴。另一方面，提高開發人員的安全技能和意識，將安全理念貫穿到需求、設計、實施、測試和發布響應等各個階段，堅持在開發階段發現漏洞，強化安全測試，提高人工智能開發框架的安全性。
（三）積極應對人工智能型網絡攻擊。一方面，加強關鍵信息基礎設施等重要信息系統的安全防護能力。結合關鍵基礎設施控制系統的體系架構特征，有針對性地開展漏洞挖掘、安全測試，排查關鍵信息基礎設施的安全風險隱患，提升關鍵信息基礎設施的抗偵聽、抗攻擊和恢復能力。另一方面，以人工智能技術對抗人工智能技術，推動人工智能先進技術在網絡防御領域的深度應用。通過人工智能技術，加強對網絡攻擊的特點和規律的分析，發現過去網絡攻擊的共性和特殊性，分析惡意程序和攻擊手段的演化方向，提升網絡攻擊防御的效率和精準度。
中國計算機報2019年8期
