亞馬遜發布新晶片，用於訓練和執行 AI 模型
現況概述
亞馬遜在其年度 re:Invent 大會上發布了兩款新的自定義晶片，分別用於模型訓練和推論。AWS Trainium2 晶片旨在提供比首代 Trainium 更優異的效能和能源效率。這款晶片旨在在 AWS 雲端提供 EC Trn2 實例，並能擴充套件到 EC2 UltraCluster 產品中的最多 100,000 個晶片。另一款 Graviton4 則旨在用於推理，提供比前一代 Graviton3 更優異的計算效能、核心數量和記憶體頻寬。
當前 GPU 短缺情況
這項發展發生背景是，由於對生成式人工智慧的需求增加，對於通常在 GPU 上進行訓練和執行的需求也在增長，NVIDIA 最高效能的晶片據報售罄，直到 2024 年。臺積電的執行長最近表示對於 NVIDIA 以及 NVIDIA 的競爭對手的 GPU 的短缺可能會持續到 2025 年。
對 AI 模型訓練的影響
對於能夠負擔得起的公司來說（即科技巨頭），他們正在開發，並在某些情況下向客戶提供，針對建立、迭代和產品化 AI 模型的定制晶片，以減少對 GPU 的依賴。Amazon 表示 100,000 個 Trainium 晶片叢集可在數週內訓練一個 3000 億引數的 AI 大型語言模型，這大約是 OpenAI 的 GPT-3 的 1.75 倍。
編輯意見
這一步驟標誌著科技巨頭尋求創新解決方案，以應對 GPU 短缺的挑戰。然而新晶片的發布也引發了一系列問題，包括對 GPU 供應鏈的持續影響以及新晶片的價格是否會使得 AI 技術更加專有化，約束了對 AI 的普及使用。
未來展望
隨著科技不斷進步，推動 AI 技術的創新，公司必須平衡對新技術的追求與現有技術的利用。展望未來，我們也期待看到更多的創新解決方案，以應對 GPU 短缺問題，並促進 AI 技術的發展與應用。
Processor-亞馬遜,晶片,訓練,執行,AI 模型
延伸閱讀
- 亞馬遜旗下的 Audible 將利用 Prime Video 資料進行有聲書推薦，與 Spotify 競爭加劇
- 亞馬遜旗下的 Audible 將測試使用 Prime Video 資料進行有聲書推薦
- 亞馬遜 CodeWhisperer 更名為 Q Developer 並擴大功能
- 藍天公司支援專案，促使 Mastodon 應用程式（如 Ivory）能在其網路上執行
- 英國調查亞馬遜和微軟與 Mistral、Anthropic 和 Inflection 的 AI 合作關係
- 亞馬遜計劃託管企業定製的生成式人工智慧模型
- 亞馬遜在美國推出全新的雜貨送貨訂閱服務
- 亞馬遜停止加州無人機送貨服務
- 亞馬遜將「Amazon Live」購物影音帶到 Prime Video 和 Freevee
- 瓦納計劃讓使用者出租 Reddit 資料以訓練人工智慧【AI】
