![Google 採用專用 GPU 結構訓練大型語言模型,深入"超級電腦"遊戲。 Google 採用專用 GPU 結構訓練大型語言模型,深入"超級電腦"遊戲。](/Upload/42441_202305151161_.webp)
Google 推出專用 GPU 的超級電腦,加速語言模型的訓練
背景
Google 於 Google I/O 2023 上宣布推出一款基於 Nvidia H100 GPU 的超級電腦,這款電腦被稱為 A3,最大特點就是加速語言模型的訓練,對於需要大量運算的人工智慧工程師和科學家來說這將更加便利和高效。
加速語言模型訓練的需求
近年來科學家們在應用人工智慧技術的過程中發現語言模型的訓練需要更多的運算資源,尤其在訓練大型的語言模型時,需要大量的 GPU 等運算資源。Google 這次推出的超級電腦,可以更好地滿足這樣的需求。
更快的通訊
Google 這款超級電腦不僅擁有 Nvidia H100 GPU 這樣的高效運算資源,還採用了自主研發的高速互聯技術,讓各個 GPU 之間能夠更快地通訊,從而加速整個模型的訓練過程。Google 預計,採用這款 GPU 可以實現 GPU 與 GPU 之間的資料轉移,遠比之前採用 CPU 主機的方式更快 10 倍,可以進一步加速語言模型的訓練。
對比 Microsoft 與 IBM
除了 Google,Microsoft 和 IBM 也都在推出各自的超級電腦,加速各種科學模型的訓練。其中 IBM 主要針對其政府客戶,要求訓練大型的模型,Microsoft 與 Nvidia 合作,也早前推出了類似的產品,此舉顯示這是一種行業趨勢。
展望
這款超級電腦將會加速人工智慧的發展,進一步滿足科學家和工程師對於高效運算資源的需求,加速各種語言模型的訓練和各種模型的推理。此舉將進一步釋放巨大的運算潛力,打破現有的科學和工程的障礙,從而推動人工智慧的發展,帶來更多的技術突破和商業創新。
關鍵詞
人工智慧、Google、專用 GPU、語言模型、超級電腦、遊戲
延伸閱讀
- Meta 計劃將生成式人工智慧引入 Metaverse 遊戲
- 穿插 AI 能源成本的 Google 環保報告
- 寫下新關於 Gemini 未能達到 Google 宣稱的資料分析能力的標題
- 2024 科技新品大放送:蘋果、Google、微軟等巨頭最新產品一次看
- Google 改進 Chrome 行動應用的搜尋體驗
- Unbabel 成為首批獲得歐盟超級電腦數百萬 GPU 訓練時數的人工智慧新創公司
- Meta AI 解除對印度與選舉相關查詢的約束,而 Google 仍然實施約束
- Google 推出 Gemini 行動應用程式,支援九種印度語言
- TikTok 悄悄推出圖片搜尋功能,競逐 Google 的地盤
- Google 6 月 Pixel 功能更新:為 Pixel 8 和 8a 使用者帶來 Gemini Nano AI 模型