MLPerf 3.0 基準測試揭示人工智慧訓練效能超越摩爾定律
背景
在人工智慧（AI）領域，以生成式人工智慧（generative AI）為代表的應用正受到越來越多人的關注，相應的，支援機器學習（ML）訓練的底層系統的效能也在不斷提高。MLCommons 最近公佈了其 MLPerf 訓練 3.0 基準測試的最新結果，旨在為 ML 模型訓練效能提供一個行業標準的測量標準。MLCommons 是一個開放的工程協會，致力於 ML 基準測試、資料集和最佳實踐，旨在加快 AI 的發展。該組織當前有一系列針對 ML 的基準測試，包括上一次於 2022 年 11 月發布的 MLPerf 訓練 2.1 結果。MLPerf 訓練 3.0 的一個重要新增內容是對大型語言模型（LLMs）進行測試，其中包括從 GPT-3 開始。LLMs 的新增對測試套件來說是至關重要的，因為組織正在構建生成式 AI 技術。
ML 訓練在超越摩爾定律的情況下持續加快
從所有結果來看，MLPerf 訓練 3.0 基準測試結果顯示出效能的顯著提升，這表明 ML 訓練的能力正在超越摩爾定律。MLCommons 執行主任大衛·坎特（David Kanter）在新聞簡報中表示：“作為一個行業，摩爾定律是我們前進的指標；這是人們習慣於思考電子產品進步的標尺”。他還指出：“自 2018 年以來，我們在效能方面的進步大約是 30 至 50 倍，這是令人難以置信的，而且比摩爾定律快了 10 倍”。具體來看，過去一年的 MLPerf 訓練資料顯示，所有結果的增長幅度在 5%至 54%之間。
ML 訓練加速的原因
ML 訓練持續加快的原因有多個，而且速度超過了摩爾定律的範疇。其中一個主要推動因素是硬體的改進，包括 Nvidia 和 Intel 等業界廠商正在積極最佳化的領域。坎特指出，當 MLPerf 基準測試剛開始時，最先進的矽使用的是 16 奈米工藝。相比之下，如今使用最先進的矽材料已經達到 5 奈米，從而提供更高的密度和效能。
除了硬體，算法和軟體也是使訓練加速的關鍵。廠商和研究人員不斷發展新的高效執行操作方法。此外開發工具鏈的整體改進也起到了重要作用，例如程式碼編譯器。此外擴大系統規模以提供更多的通訊頻寬也是一個重要因素。Nvidia 最近幾年一直在構建其基於 InfiniBand 的存取性，以支援高速通訊頻寬。而 Intel 則一直致力於改善乙太網路以實現更高效能的 ML 操作。
測試 LLM 訓練並非易事
將 LLM 訓練基準測試納入 MLCommons 並非易事。GPT-3 是一個擁有 1750 億引數的模型，與之相比，自然語言處理（NLP）模型 BERT 要小得多，只有 3.4 億個引數。坎特表示：“這是我們所有基準測試中計算成本最高的。”即使對於 Nvidia 來說 LLM 基準測試也需要大量的工作才能進行評估。Nvidia 的 AI 基準測試和雲端計算負責人戴夫·薩爾瓦多（Dave Salvator）在一次簡報中解釋說，他的公司與雲平臺提供商 CoreWeave 一起提交了基準測試報告。他們使用多個 MLPerf 訓練 3.0 基準測試的 3484 個 GPU 進行評估。薩爾瓦多指出，CoreWeave 在今年 3 月的 Nvidia GTC 大會上宣布其大型 GPU 實例已經開始提供。他還提到，CoreWeave 成為首家推出 HG H100 實例的供應商。薩爾瓦多表示：“透過這次合作，我們在幾乎所有的工作負載上創造了新的紀錄。同樣有趣的是這個實例是一個真正的商業實例。”MLPerf 基準測試使用的與 CoreWeave HG H100 實例相同，也被新創企業 Inflection AI 使用，該公司開發了自己的個人 AI 品牌 Pi。薩爾瓦多指出，Inflection AI 還協助 Nvidia 和 CoreWeave 對 GPU 實例進行了一些微調。“我們在 MLPerf 的測試結果並不是在虛擬實驗室中獲得的，這是一個實實在在的商業實例，我們有一個名為 Inflection AI 的客戶使用相同的實例進行創新的 LLM 工作並獲得了很好的結果。” 薩爾瓦多說。
總結與展望
MLPerf 訓練 3.0 基準測試的結果表明，ML 訓練的效能正在快速提升，超越了摩爾定律所預示的進步速度。這一超越摩爾定律的現象得益於硬體、算法和軟體的不斷改進以及系統規模的增大。在發展 ML 領域時，企業應該密切關注這些技術和趨勢，並適時進行投資，以確保獲得競爭優勢。同時基準測試的引入也為訓練大型語言模型提供了一個衡量標準，使組織能夠更好地評估和改進 AI 技術的效能和效益。
因此無論是硬體廠商還是軟體開發者，都應致力於在 ML 訓練效能方面不斷創新和改進。同時企業需要具備適應快速發展的 ML 技術和工具的能力，以充分利用 ML 訓練的最新成果。只有這樣，企業才能充分發揮 AI 在業務和創新中的潛力，並實現持續的成長和成功。
注：本文參考了新聞源中提供的訊息，並進行整理和解讀。
延伸閱讀
- 加州新 AI 法案出爐，SB 1047 作者再推出改革措施！
- 《超級瑪利歐成為 AI 基準測試的新標準！你絕對想不到的理由》
- Google 推出 SpeciesNet：專為識別野生動物而設的人工智慧模型！
- 安瑟普提克獲得 35 億美元巨額資金 瞄準人工智慧未來！
- OpenAI 重磅推出 GPT-4.5：歷史上最大的語言模型來了！
- 探索 DeepSeek：你必須理解的 AI 聊天機器人應用全指南！
- OpenAI 的創業帝國：揭密其風投基金背後的諸多創新公司
- 揭開 Mistral AI 的神祕面紗：揭示 OpenAI 競爭者的所有祕密！
- 未來科技：研究人員揭示如何打造變形機器人，猶如 T-1000 般神奇！
- ElevenLabs 推出全新語音轉文字模型，引領 AI 語音技術的新潮流！
