【引子】在IT領域中，DevOps 是軟件工程效能的重要方法論以及工具集， 在人工智能領域同樣如此。
MLOps 和 LLMOps 都是管理機器學習系統的方法。MLOps 致力于解決機器學習生命周期的生產問題，促進數據科學家和運營專家之間的合作，提高機器學習系統的效率和質量。LLMOps 通過結合“終身”學習擴展了 MLOps，使機器學習模型能夠隨著時間的推移不斷地從新數據中學習和改進，從而使數據快速變化的應用程序受益。
在機器學習領域，建立和部署模型僅僅是個開始。為了確保模型隨著時間的推移保持準確、可靠和相關性，采用全面的 MLOps (機器學習操作)方法是至關重要的。MLOps 生命周期包括一系列階段，這些階段控制著整個過程，從數據收集到模監視和再訓練。
數據是任何機器學習項目的基石。數據的質量和數量極大地影響了 ML 模型的性能。數據收集階段包括從各種來源收集相關數據，這些來源可能包括數據庫、 API、網頁抓取等等。
主要活動包括從不同來源收集原始數據，將數據加載到存儲系統中，在那里可以訪問和處理數據，并為為監督式學習任務標記數據。
在數據采集中，我們需要確保數據質量，驗證數據的準確性、完整性和一致性。使用流水線自動化數據攝取并盡量減少手動錯誤，并且遵守隱私條例，確保數據收集符合法律標準。
一旦數據被收集，它必須被清理和處理，以便對訓練模型有用。數據處理包括將原始數據轉換為適合于分析的格式。
數據處理的主要活動包括數據清理，即刪除重復數據，處理丟失的值，并糾正錯誤；規范化、縮放和編碼數據，創建可以提高模型性能的新特性。
一般地，我們使用腳本來處理日常數據清理任務，維護數據譜系并跟蹤數據轉換以確保可重復性，利用分布式處理框架(如 ApacheSpark)處理大型數據集。
在這個階段，數據科學家使用處理過的數據來訓練機器學習模型。這涉及到選擇適當的算法、調優超參數和評估模型性能。
模型訓練的主要活動包括模型選擇，即根據問題類型和數據特征選擇正確的算法，優化超參數以提高模型性能，使用準確度、精確度、召回率和 F1評分等指標來評估模型的性能。
一般地，我們要對模型進行版本控制，跟蹤不同版本的模型及其參數，利用 AutoML 工具簡化模型選擇和超參數調整，使用像 k重采樣交叉驗證這樣的技術來確保穩健的模型評估。
模型經過訓練和評估后，需要將其部署到生產環境中，以便對新數據進行預測。部署可以確保最終用戶或其他系統可以訪問模型。
模型部署的主要活動包括以易于部署的格式包裝模型，創建用于模型預測的 API，使用 Docker 或 Kubernetes 管理模型的大規模部署。
一般地，我們采用持續集成/持續部署方式，使部署過程自動化，以確保一致和可靠的更新。實現檢測數據或概念漂移的機制，這些數據或概念漂移可能隨著時間的推移而降低模型性能。同時，確保 API 和數據的安全，以防止未經授權的訪問和攻擊。
模型監視對于確保已部署的模型在生產環境中繼續良好運行至關重要。這個階段包括跟蹤模型性能和檢測數據漂移、模型漂移和異常等問題。
模型監控的主要活動包括使用相關度量持續測量模型性能，別可能影響模型預測的輸入數據分布的變化，設置性能降低警報和調試日志事件。
一般第，我們實施實時監控，以便在問題發生時及時捕捉。同時，創建反饋回路，用新數據重新訓練模型。另外，使用可伸縮工具，如 Prometheus 和 Grafana 進行大規模監控。
從監測中獲得的見解反饋到初始階段。如果模型的性能惡化，數據科學家可以用新的數據重新訓練模型或者探索新的算法。這種連續的反饋回路確保模型保持相關性并提供最佳結果。
通過建立一個結構化的 MLOps 生命周期，組織可以享受到以下好處:
更快產生價值: 自動化流程和簡化模型部署導致更快的機器學習解決方案的交付。
改進的模型性能: 持續的監控和反饋循環確保模型保持準確和有效。
增強協作: MLOps 促進了數據科學家、工程師和操作團隊之間的協作。
可伸縮性和治理: MLOps 實踐使健壯的模型管理成為可能，并有助于擴展機器學習部署。
MLOps 是現代機器學習項目的基本實踐，確保模型不僅能夠高精度地開發，而且能夠在生產環境中有效地部署和維護。通過遵循從數據收集到模型監控的 MLOps 生命周期，組織可以實現可靠、可擴展和高效的機器學習系統，從而推動業務價值。采用 MLOps 最佳實踐將有助于數據科學家和工程師更加協作地工作，簡化工作流程，并最終提供更加健壯和有效的機器學習解決方案。
從機器學習運營(MLOps)的基本原理過渡到大型語言模型運營(LLMOps)的專門領域，標志著人工智能領域的重大進展。
MLOps 已經建立了一個健壯的框架，用于在生產環境中部署、監視和管理機器學習模型。它強調自動化、可重復性和可擴展性，確保機器學習模型不僅得到開發，而且隨著時間的推移得到有效的維護。
LLMOps 以這些原則為基礎，深入研究大型語言模型特有的復雜性。其中包括管理訓練所需的大量數據集，優化模型訓練和推理的計算資源，以及鑒于 大模型對信息傳播和交流的深遠影響，確保合規地使用到模型 。
二者之間的主要區別如下：
1.規模和復雜性: 與典型的機器學習模型相比，機器學習模型需要更多的數據和計算能力。LLMOps 通過利用基于云的解決方案、分布式計算和專門的硬件加速器來滿足這些需求。
2.模型微調和版本控制: 考慮到預訓練大模型的一般特性，針對特定任務或領域對它們進行微調是一種常見的做法。LLMOps 致力于簡化這個過程，結合有效的數據注釋、模型版本控制和跟蹤實驗的工具來迭代地完善模型。
3.倫理考慮和減少偏見: 語言和交流的普遍影響，放大了倫理考慮的重要性。LLMOps 整合了用于監測模型輸出的偏倚和毒性的實踐，確保負責任的使用。
4.高級工具和技術的作用: 向 LLMOps 的過渡是由一套高級工具和技術促進的，這些工具和技術旨在應對大模型的獨特挑戰。例如，像 Google Cloud 的 Vertex AI 這樣的工具為管理大模型應用的整個生命周期提供了一個集成的平臺，從數據處理和模型訓練到部署和監控。
在迅速發展的人工智能領域，大模型應用已經成為創新的基石，這要歸功于大模型無與倫比的理解、解釋和生成人類語言的能力。然而，部署和管理這些復雜的模型充滿了復雜性，包括需要大量的計算資源，管理大量的數據集，并遵守道德標準。
解決這些挑戰需要一種稱為LLMOps的方法。該規程是機器學習操作(MLOps)的一個關鍵子集，重點關注從開發到部署和持續管理的 LLM 生命周期的流線化和自動化。
下圖是 LLMOps 流水線的簡化表示，它隨用例的變化而變化。
1.數據準備和版本控制: 這是流水線中的第一步，其中收集、清理、處理數據，并將其轉換為用于訓練模型的合適格式。在這里，版本控制對于跟蹤不同的數據集和隨時間變化的情況至關重要，可以確保模型訓練中的可重復性和可靠性。
2.流水線設計(監督調整) : 一旦數據準備就緒，下一步是設計流水線，包括建立監督調整大模型的過程。這包括決定模型將如何從準備好的數據中學習，決定使用哪種機器學習算法，以及如何構造訓練過程以優化模型的性能。
3.工件配置和工作流: 在這個階段，建立了流水線的配置細節和工作流。這包括建立必要的計算資源，定義操作序列，以及為成功的模型訓練和部署指定標準。
4.流水線執行: 這是將設計的流水線付諸實施的地方。模型使用準備好的數據完成訓練過程，系統自動執行預定義的工作流。這種自動執行確保了模型得到一致和有效的訓練。
5.部署大模型: 在對模型進行訓練和評估之后，將其部署到生產環境中。這可能意味著將模型集成到應用程序中，將其設置為響應 API 調用，或者將其提供給最終用戶。
6.提示和預測: 隨著 LLM 的部署，現在可以提示它生成預測。這包括向模型提供輸入(提示)和接收輸出(預測) ，輸出基于從訓練數據中學習的模式。
7.有責任的人工智能: 最后一步是對已部署的 LLM 進行持續監測和管理，以確保其在道德準則范圍內運作。這包括檢查模型預測的偏差、公平性和整體社會影響，確保它符合負責任的人工智能原則。
每個步驟都是相互關聯的，形成了一個內聚的流水線，確保 LLM 得到有效和負責任的開發、部署和管理。
在部署大模型的過程中，最初也許是最關鍵的一步是準備數據。這個基礎階段為模型的后續表現及其準確解釋和生成人類語言的能力奠定了基礎。此外，精煉數據和模型體系結構的迭代過程才是真正使這些模型能夠隨著時間的推移實現和維護其顯著能力的原因。
數據準備是一個多方面的過程，包括收集、清洗、預處理和將原始數據轉換成適合訓練 LLM 的結構化格式。這一過程至關重要，原因如下:
1.質量和相關性: 確保數據的質量和相關性至關重要。高質量的數據導致更有效的訓練，允許 LLM 生成更準確的、與上下文相關的輸出。例如，請考慮為用于匯總電子郵件的 LLM 準備數據集的過程。數據必須被仔細地清理和格式化，確保不相關的信息，如電子郵件標題或簽名，被排除在訓練集之外。
如果數據已經在數據倉庫中，像 Google Vertex AI 這樣的平臺提供了創建數據集的必要工具，包括處理 sql 查詢。在處理(大型)數據時，需要進行查詢優化，以節省時間和資源并創建必要的過濾器。LLM 的指令已經被證明可以改進模型性能和對未知任務的泛化。
將數據分成訓練集和評估集兩部分。默認情況下，使用80/20分割。
訓練和評估的文件格式：
JSON 是一種簡單的基于文本的格式，每個問題和答案都放在一行中。它是人類可讀的，是中小型數據集的理想選擇。
TFRecord: 二進制格式，易于計算機閱讀，是高效訓練的理想選擇。
Parquet:Parquet 是一個很好的選擇，為大型和復雜的數據集。
版本控制數據很重要。它允許機器學習模型的可重復性、可追溯性和可維護性。
2.減輕偏差: 仔細的數據準備允許識別和減輕偏差，確保模型的輸出在不同的人口統計學和場景中是公平和無偏見的。
3.效率: 準備適當的數據可以顯著提高訓練效率，減少所需的時間和計算資源。
大型語言模型(LLM)的部署和運營操作需要一個復雜的框架來處理它們的復雜性和規模。自動化、編排和流水線構成了這個框架的主干，簡化了從數據準備到 LLMOps 景觀中的模型部署和監控的每一步。
LLMOps 中的自動化是指利用技術以最少的人為干預來執行任務，提高效率并減少出錯的可能性。它包括廣泛的操作，包括數據預處理、模型訓練和性能監視。
自動化的好處:
1.一致性和可靠性: 自動化過程確保任務的統一執行，減少可變性，提高模型輸出的可靠性。
2.可伸縮性: 自動化允許伸縮操作來處理訓練和微調 LLM 所需的大量數據，以適應模型的增長，而不必成比例地增加時間或資源。
3.速度: 通過自動化重復性任務，組織可以顯著加快 LLM 的開發和部署周期，從而實現更快的迭代和改進。
LLMOps 中的編排涉及到協調各種自動化任務，以確保它們以精確、高效的方式執行。它包括管理任務之間的依賴關系，處理資源分配，確保數據在模型生命周期的不同階段無縫流動。
編排的關鍵因素包括：
1.工作流管理: 編排工具管理任務序列，確保在成功完成前面的任務時觸發每個步驟。
2.資源優化: 有效的編排包括在最需要的地方分配計算資源，優化基礎設施的使用，以平衡性能和成本。
3.錯誤處理和恢復: 協調器監視故障流水線，根據需要自動重試或重新路由任務，以維持工作流的連續性。
LLMOps 中的流水線是定義好的任務序列，可以自動化部署 LLM 的端到端過程。這些流水線集成了自動化和編制的各種組件，提供了管理模型開發、部署和監視的結構化方法。
LLMOps 流水線說明:
數據處理: 自動腳本預處理和清理數據，為訓練做準備。
模型訓練和評估: 模型在處理過的數據上自動訓練、評估和反復調整。
部署: 一旦模型滿足性能標準，就通過自動化腳本將其部署到生產環境中。
監測和維護：部署后，模型的性能將被持續監控，并對異常或性能下降發出自動警報。
流水線是編排的一組組件。構建和實現流水線(例如: KubeFlow 流水線)，可以讓你定義執行的順序以及數據如何從一個步驟流向另一個步驟。流水線被編譯成 yaml 文件，比如“ pipeline.yaml”。一旦創建了流水線文件，任何人都可以在任何類型的環境(云或本地)中執行它。
部署大模型是 LLMOps 過程的重心，在這個過程中，模型已經為實際應用做好了準備。部署策略的選擇必須考慮到模型的預期用途，無論它是需要實時交互還是能夠在定期的批量更新中起作用。
一般地， LLM 的部署策略包括：
1.批量部署: 在實時處理不重要的場景中，批量部署是一種可行的策略。在這里，數據，例如在一個設定的時期內收集的客戶評論(例如，前一周) ，是大批量處理的。經過訓練的模型對這些累積的數據進行預測，允許每隔一段時間進行全面的分析和洞察。這種方法對于不需要立即響應并且可以在非高峰時間安排以優化資源利用的任務特別有用。
2.使用 REST API 的實時部署: 對于需要即時反饋的應用程序，通過 REST API 部署 LLM 是理想的。該策略支持與最終用戶的實時交互，其中用戶界面通過一個 REST API 與后端服務通信，該 API 將請求中繼到模型并立即返回響應。這樣的設置對于像 ChatGPT 這樣的人工智能會話模型來說是典型的，用戶需要即時和交互式的通信。
3.提示和預測: 生產數據與訓練數據相同是非常重要的。數據的差異會影響模型的性能。
4.負責任的人工智能: 回應還應該包括安全分數。這些分數可以用來確保 LLM 的響應在預期行為的范圍內。一個典型的 LLMOps 平臺可以處理這些問題，比如 Google Vertex AI。
在部署大型語言模型(LLM)之后，重點轉移到確保它們在操作中保持健壯、有效和合乎道德。這個階段對于維護性能標準和適應不斷變化的需求和用戶交互是至關重要的。部署后管理涉及以下幾項關鍵的活動。
正確的版本控制和 LLM 打包對于跟蹤更改、重現結果以及在必要時回滾到以前的版本至關重要。這種實踐促進了模型的可控部署，并支持為不同的用例或環境維護多個版本。
持續監控對于評估模型的健康狀況和部署后的性能至關重要。這包括跟蹤各種指標，如響應時間、準確性和吞吐量，同時確保模型的輸出保持在安全和道德準則范圍內。監測工具可以提醒從業人員注意任何偏離預期業績或道德標準的情況，促進及時干預。
推理操作的可伸縮性是適應不同負載和維護性能的關鍵，包括:
負載測試: 進行負載測試，以了解模型在不同條件下的行為，并準備峰值使用時間。
可控制的發布: 在全面推出之前，通過逐步引入對用戶子集的更改，實施分階段推出策略可以幫助管理新特性或模型的發布。
延遲是指模型返回預測所需的時間。這是一個關鍵因素，尤其是對于實時應用程序而言:
1.允許延遲: 根據應用程序的需求和用戶期望確定可接受的延遲閾值。
2.更小的模型: 在可行的情況下，利用更小、更有效的模型可以減少延遲，而不會顯著影響預測的質量。
3. 更快的處理器: 使用高速處理器，如 GPU 或 TPU，可以加快推理時間，提高總體響應能力。
4. 區域部署: 在更接近終端用戶的地方部署模型，例如，在區域數據中心，可以減少網絡延遲并提高響應時間。
通過精心管理這些部署后方面，組織可以確保其 LLM 有效、高效和符合道德地服務于預期目標，為用戶提供價值，并保持對 AI 應用程序的信任。
一些常見的LLMOps實踐如下：
擁抱全面的數據管理: 使用工具和平臺自動化數據收集、清理和預處理，確保高質量數據的穩定流動。確保使用數據版本控制工具對數據集進行版本控制，從而允許在不同數據集版本之間進行無縫轉換。
關注AI倫理: 使用工具檢測和糾正培訓數據和模型輸出中的偏差。確保模型易于理解和解釋。這涉及到利用可解釋性工具和框架來提供對模型決策的洞察力。
優化模型訓練: 使用分布式訓練技術處理 LLM 中的大規模數據和參數。定期用新數據對模型進行微調，以保持其更新和有效性。
優先考慮模型安全性: 使用工具檢查模型的漏洞并進行定期的安全審計。定期測試模型對抗對手攻擊，以確保其健壯性。
持續監控和維護: 使用監控工具檢測模型性能隨時間的變化。實現一個系統，在這個系統中，對模型輸出的真實反饋可以用來細化和重新訓練模型。
優先考慮隱私和合規性: 在培訓敏感數據模型時采用差分隱私技術。通過定期進行合規檢查，確保業務符合 GDPR 和 CCPA 等法規。
社區參與: 參與并為開源社區做出貢獻，不斷更新最新的進展和最佳實踐。鑒于人工智能的快速發展，確保團隊總是在學習和采用新的方法、工具和最佳實踐。
災難恢復和冗余: 定期備份模型、數據和配置，以確保在發生任何災難時進行恢復。具有適當的冗余來處理系統故障而不影響模型可用性。
MLOps 和 LLMOps 都強調自動化，以減少人為錯誤，提高機器學習系統的效率，同時確保機器學習模型符合業務和監管要求。與深度學習是機器學習的一個子集類似，LLMOps 是MLOps的一個子集。
大模型應用的開發和實現復雜性突出了 LLMOps 的重要作用。從準備數據到確保合乎預期的使用，結合了技術技能、戰略規劃和有責任人工智能的承諾。通過關注 LLMOps，我們可以充分利用大模型的潛力，確保它們能夠有效地滿足我們的需求。
【參考資料與關聯閱讀】
