PyTorch 2.1 及 ExecuTorch 在 AI 推論方面帶來的新發展
開源機器學習框架 PyTorch 發表新版本
在 PyTorch Conference 舉辦的同一天，開源機器學習框架 PyTorch 宣布推出了新的版本以及用於在邊緣裝置和移動裝置上開展 AI 推論的新專案。這些新進展是在成立 PyTorch Foundation 一週年的時間點上宣布的，而 PyTorch Foundation 則是在 Linux Foundation 成立的。在這個活動中，他們討論了 10 月 4 日發布的 PyTorch 2.1 更新的技術細節。然而最引人注目的是關於 PyTorch Edge 和 Meta 平臺（前身為 Facebook）開源的 ExecuTorch，這兩者都與移動裝置和邊緣裝置的 AI 推論有關。
PyTorch 2.1 的擴充套件推論能力
PyTorch 一直是訓練人工智慧（AI）的最常用工具之一，包括 OpenAI 的 GPT 模型和 Meta 的 Llama 等世界上最受歡迎的大型語言模型。然而從歷史上看，PyTorch 並不常用於推論，但現在情況正在改變。IBM 在接受 VentureBeat 獨家專訪時詳細介紹了他們在 PyTorch 2.1 上的努力和貢獻，以改善伺服器推論。PyTorch 2.1 還提供了效能增強，有助於改善作為這項技術基礎的 torch.compile 函數的操作。新增對於自動動態形狀的支援將減少因張量形狀變化而需要重新編譯的需求，並且 Meta 開發人員還新增了將 NumPy 操作轉譯為 PyTorch 的支援，以加速常用於資料科學的某些型別的數值計算。
ExecuTorch 改變 AI 推論的規則
在 PyTorch Conference 的主題演講中，Meta 的軟體工程師 Mergen Nachin 詳細介紹了 ExecuTorch 技術的內容及其重要性。Nachin 表示 ExecuTorch 是一種新的端到端解決方案，用於在移動裝置和邊緣裝置上部署 AI 推論。他指出，當前的 AI 模型已經擴充套件到不僅僅執行在伺服器上，還可以在移動裝置（如手機、AR/VR 頭戴裝置等）、可穿戴裝置、嵌入式系統和微控制器等邊緣裝置上執行。ExecuTorch 透過將標準的 PyTorch 模組轉換為匯出圖，並透過進一步的轉換和編譯針對特定裝置進行最佳化，解決了邊緣裝置的挑戰。ExecuTorch 的一個關鍵優勢是其可在移動和嵌入式裝置上執行的可移植性。Nachin 指出，ExecuTorch 還可以透過在不同目標上使用一致的 API 和軟體開發工具包來提高開發人員的生產力。ExecuTorch 已透過實際的工程問題進行了取證，並且 Meta 已經在其 Ray-Ban Meta 智慧眼鏡中部署了該技術。現在隨著這項技術作為 PyTorch Foundation 的一部分開源，Nachin 表示目標是幫助行業共同解決將 AI 模型部署到各種邊緣裝置所面臨的碎片化問題。Meta 相信 ExecuTorch 可以透過其最佳化且可移植的工作流程，幫助更多組織充分利用裝置上的 AI。
結論及建議
這次 PyTorch Conference 帶來了 PyTorch 2.1 和 ExecuTorch 等重要發展，為 AI 推論方面帶來了新的可能性。PyTorch 2.1 的擴充套件推論能力使得 PyTorch 在部署運算上有了更高的效能和靈活性，為 AI 模型的實際應用提供了更多可能性。ExecuTorch 則致力於在移動裝置和邊緣裝置上部署 AI 推論，並且已在 Meta 的智慧眼鏡和 VR 頭戴裝置上得到取證。
然而隨著 AI 模型在各種邊緣裝置上的部署不斷增加，碎片化問題也變得日益嚴重。開源 ExecuTorch 的目標是透過共同努力，解決這一問題，並推動更多組織能夠從 AI 的部署中獲益。
鑒於這些新發展，我們鼓勵企業和組織關注這些開源專案，並尋找如何將其應用在現有的業務流程中。同時開發人員也應試著瞭解這些新技術的執行方式，並考慮如何將它們應用到自己的專案中。
總結來說這次的 PyTorch Conference 展示了 AI 推論方面的新技術和新進展，為 AI 在移動裝置和邊緣裝置上的應用提供了更多可能性。這些開源專案和框架將成為開發和部署 AI 模型的重要工具，有助於推動 AI 在多個行業的應用和創新。
（本報專業解析，報導）
延伸閱讀
- OpenAI 的創意寫作 AI 讓人想起高中文學社那個討人厭的孩子
- 亞馬遜成立新型代理 AI 團隊，將如何改變科技未來？
- 「搶先報名！TechCrunch Sessions: AI 演講者申請截止日期迫在眉睫！」
- MWC 最新報導：AI 影響力的兩極化觀點首次曝光！
- 亞馬遜新推出 Alexa+：為孩子們帶來 AI 驅動的「探索」與「故事」新功能！
- Bridgetown Research 載著 AI 助力，成功募資 1900 萬美元加速盡職調查！
- Nomagic 獲得 4400 萬美元資金，AI 驅動的機器手臂技術將改變未來！
- 全方位理解 Anthropic 的 AI：揭開 Claude 的神祕面紗！
- 微軟刪除 AI 資料中心租賃，背後原因何在？
- Perfect 獲得 2300 萬美元資金，運用 AI 革新招聘流程！
