IBM 推動 PyTorch 為 AI 推論加速
引言
IBM 正致力於推動機器學習框架 PyTorch 在 AI 推論方面的應用，該公司正在進行一系列開發專案，以使 PyTorch 能夠在推論領域中具有更廣泛的應用。當前 AI 推論技術軟體市場上有多家競爭者，其中無一能與英偉諾提供的 TRITON 推論伺服器相比。IBM 的目標並非取代其他技術，而是提供一個新的開源替代方案，可以在多個供應商技術以及 GPU 和 CPU 上執行。PyTorch 是一個開源專案，最初由 Meta（前 Facebook）發起，並於 2022 年 9 月與 Linux Foundation 創立 PyTorch Foundation 時轉向開放治理模式。IBM 是 PyTorch Foundation 的活躍成員，並透過新的研究致力於推動該開源技術在企業部署中的應用。推論的需求與挑戰
推論與模型訓練的需求有所不同，需要更高的速度和更少的延遲，以實現快速響應。IBM 團隊正在 PyTorch 中結合三種技術——圖形融合、核心最佳化和並行張量，以實現更快的推論速度。透過在 PyTorch 的每夜版本上使用這些結合最佳化技術，IBM 研究人員成功實現了在擁有 70 億個引數的大型語言模型上，使用 100 個 GPU 系統進行推論時每個記號的 29 毫秒推論速度。這三種技術的目的都是消除過程瓶頸，改善對記憶體的存取。Ganti 指出，當處理需要從 CPU 到 GPU 來回切換的過程時，通常會導致 AI 的效能下降。圖形融合是一種能夠減少 CPU 和 GPU 之間通訊量的能力，有助於加速推論。Ganti 解釋說，PyTorch 中的核心最佳化主要關注的是最佳化記憶體存取來加速推論的注意力計算，以提供更好的效能。IBM 用於改善 PyTorch 推論的第三種技術稱為並行張量，也是有關記憶體的改進。Ganti 表示當前的大型語言模型通常太大而無法放入單個 GPU 中，因此它們通常在多個 GPU 上執行。並行張量與圖形融合和核心最佳化一起工作，以加速推論的程式。PyTorch 2.1 即將發布
Ganti 強調 IBM 加速 PyTorch 推論的努力尚未準備好進行生產部署。IBM 正在使用的一些最佳化技術基於當前的 PyTorch 每夜版本中的功能，這些功能將在即將發布的 PyTorch 2.1 更新中更廣泛地提供。此外 IBM 還有許多尚未成為開源專案一部分的新程式碼，但 Ganti 表示 IBM 的目標是共享推論最佳化能力的程式碼，並將其合併到主程式專案中。展望未來，IBM 還在致力於另一項名為動態批處理的功能，以提升 PyTorch 在企業部署中的推論能力。Ganti 解釋說，動態批處理是一種用於提高模型推論的 GPU 利用率的技術。它涉及將來自多個使用者的多個推論請求或“提示”動態地組合在一起，並在 GPU 上批次處理，而不是逐個處理。這樣可以使 GPU 更有效地利用，因為推論通常單個使用者的負載很低。IBM 的目標：使 PyTorch 成為企業級解決方案
Ganti 表示：“從我們的角度來看，PyTorch 在企業級解決方案中具有重要意義。”IBM 希望透過它的努力，使 PyTorch 更加適合企業級應用。儘管當前 IBM 的推論加速技術還未達到生產部署的水準，但 IBM 正在努力確保這些最佳化技術能夠在專案的即將發布版本中得到更廣泛地應用。此外 IBM 還在開發名為動態批處理的功能，以進一步提升 PyTorch 在企業級部署中的推論能力。IBM 透過推動 PyTorch 在推論方面的發展，旨在提供多個供應商技術和 GPU、CPU 的開源替代方案，並加速推動該技術在企業中的應用。社論
推論技術的重要性
AI 推論技術在當今資料驅動的世界中具有重要地位。模型訓練在 AI 開發中佔有重要地位，但推論才是讓 AI 真正發揮價值的關鍵。推論技術影響著 AI 應用的速度和效能，直接關係到給予客戶手中的 AI 能力以及運營成本。因此提升推論技術的效率和速度，對於推動 AI 普及化和商業價值的實現至關重要。IBM 的貢獻與挑戰
IBM 作為 PyTorch Foundation 的一員，透過研究和開發，致力於推動 PyTorch 在推論方面的應用。IBM 的努力集中在三個關鍵技術上，即圖形融合、核心最佳化和並行張量，這些技術旨在消除推論過程中的瓶頸，提高記憶體存取效率。然而 IBM 當前的最佳化技術尚未完全準備好進行生產部署，仍需進一步的研發和測試。此外 IBM 也面臨著將推論最佳化能力貢獻給開源專案的挑戰。然而 IBM 的目標是透過將相關程式碼融入到 PyTorch 主程式專案中，使得更多的企業和開發者能夠受益於這些最佳化技術的共享。開源替代方案的意義
對於 AI 技術的發展和普及，開源替代方案具有重要意義。開源技術的開放性和合作性使得更多的人能夠參與和貢獻，並促進技術的創新和進步。IBM 致力於使 PyTorch 成為一個多供應商技術和硬體平臺上執行的開源替代方案，這將使企業能夠在不同的環境中選擇最適合自己需求的解決方案。這種多元化和靈活性將有助於提高企業的 AI 部署效率，推動 AI 在各個行業的應用和發展。建議
持續關注開源技術
開源技術在當今資料驅動的世界中具有重要地位。作為企業的決策者和技術領袖，應該持續關注開源專案的發展，特別是在關鍵領域如 AI 和機器學習。開源技術提供了一個共享和合作的平臺，使得眾多企業和開發者能夠共同參與，推動技術的發展和創新。在 AI 推論方面，IBM 的努力將使 PyTorch 成為一個更具競爭力的開源替代方案，企業應該密切關注這一專案，以理解和應用其中的技術和創新。注重推論技術的效率和速度
推論技術的效率和速度對於 AI 的應用和商業價值至關重要。作為企業決策者，應該注重推論技術的最佳化和改進，以提高 AI 應用的效能和效能。IBM 正在透過技術最佳化和開源貢獻來推進 PyTorch 的推論能力，企業可以關注和應用 IBM 的研究成果，以理解如何在自己的 AI 部署中提升推論的速度和效率。推動 AI 普及化和商業化
AI 的普及化和商業化需要持續的投資和努力。作為企業的決策者，應該將 AI 納入到企業的發展戰略中，並致力於提升 AI 的應用效能和商業價值。開源技術如 PyTorch 為企業提供了一個強大的工具和平臺，可以加速 AI 的部署和應用。企業應該加固對開源技術的理解和運用，並積極參與和貢獻開源專案，推動 AI 技術的發展和普及化。Technology-IBM,PyTorch,模型訓練,AI 推論
延伸閱讀
- Stack Overflow 與 OpenAI 簽約，提供資料支援其模型
- IBM-HashiCorp 聯手可能比想像中更複雜
- IBM 以 64 億美元收購 HashiCorp，深入發展混合雲管理
- Pienso 推出無程式碼工具，助力 AI 模型訓練
- 聚焦 SambaNova：現在提供一攬子生成式人工智慧模型
- 歐盟能提供支援 AI 新創以利用超級電腦進行模型訓練
- IBM 以 23 億美元收購 Software AG 的 StreamSets 和 WebMethods
- OpenAI 與 Axel Springer 簽訂新聞授權協議加固模型訓練
- 銘記與 IBM 攜手共建 AI 聯盟，究竟有何目的？
- 資料、使用案例和訓練模型之間的關鍵連結
