近日，北京智源人工智能研究院（簡稱智源研究院）發布大規模并行訓練效率提升器TDS。作為超大規模智能模型系統“悟道”的階段進展，TDS（Tsinghua/Temporary DeepSpeed）插件將進一步優化現今最流行的DeepSpeed 并行計算框架，從而“多快好省”地訓練一個大模型。
據介紹，數據、算法、算力是當前人工智能技術崛起的重要驅動力。利用海量數據訓練大規模機器學習模型，有助于人類充分學習數據中蘊含的知識，達到更好的訓練效果。
然而，隨著訓練規模的擴大，單張GPU卡的顯存與計算效率已經無法滿足訓練的需要，通過分布式訓練框架實現多GPU并行訓練成為了一種新的剛需。為了提升多GPU并行訓練的效率，研發更高效的并行計算框架十分必要。
為應對大規模計算集群高效訓練方法的需求，智源研究院發揮其在硬件設計、模型架構、編程框架研發等方面的優勢，組織智源“悟道”團隊科研人員研發了 TDS 插件，對當下主流的并行計算框架進行了優化。
據介紹，TDS 插件重新實現了DeepSpeed的流水線，通過適配器模式封裝了DeepSpeed 的其它功能，該插件十分易于使用。如果已經完成了對 DeepSpeed 的安裝，只需要將TDS的代碼拷貝到工程中，然后加載 DeepSpeed 庫即可。（鄭金武）
