Google 推出專用 GPU 的超級電腦,加速語言模型的訓練
背景
Google 於 Google I/O 2023 上宣布推出一款基於 Nvidia H100 GPU 的超級電腦,這款電腦被稱為 A3,最大特點就是加速語言模型的訓練,對於需要大量運算的人工智慧工程師和科學家來說這將更加便利和高效。
加速語言模型訓練的需求
近年來科學家們在應用人工智慧技術的過程中發現語言模型的訓練需要更多的運算資源,尤其在訓練大型的語言模型時,需要大量的 GPU 等運算資源。Google 這次推出的超級電腦,可以更好地滿足這樣的需求。
更快的通訊
Google 這款超級電腦不僅擁有 Nvidia H100 GPU 這樣的高效運算資源,還採用了自主研發的高速互聯技術,讓各個 GPU 之間能夠更快地通訊,從而加速整個模型的訓練過程。Google 預計,採用這款 GPU 可以實現 GPU 與 GPU 之間的資料轉移,遠比之前採用 CPU 主機的方式更快 10 倍,可以進一步加速語言模型的訓練。
對比 Microsoft 與 IBM
除了 Google,Microsoft 和 IBM 也都在推出各自的超級電腦,加速各種科學模型的訓練。其中 IBM 主要針對其政府客戶,要求訓練大型的模型,Microsoft 與 Nvidia 合作,也早前推出了類似的產品,此舉顯示這是一種行業趨勢。
展望
這款超級電腦將會加速人工智慧的發展,進一步滿足科學家和工程師對於高效運算資源的需求,加速各種語言模型的訓練和各種模型的推理。此舉將進一步釋放巨大的運算潛力,打破現有的科學和工程的障礙,從而推動人工智慧的發展,帶來更多的技術突破和商業創新。
關鍵詞
人工智慧、Google、專用 GPU、語言模型、超級電腦、遊戲
延伸閱讀
- Google 為 iPhone 使用者帶來「圈選搜尋」新變化
- Google 錢包正式登陸印度市場
- 紐約時報遊戲推出“Wordle”檔案庫,提供超過 1000 個過往謎題
- Google 新推出預算款 Pixel 8a,更新硬體配置,售價 499 美元
- Google 稱 Epic 在反壟斷訴訟勝訴後的要求「不必要」和「超出判決範圍」
- Google 擴大 Passkey 支援,提前爲美國總統大選加固保護計畫
- Google 裁員 Flutter、Dart 和 Python 團隊,開發者大會前數週 in traditional Chinese
- Google 裁員 Flutter、Dart 和 Python 工程師,開發者大會前夕訊息爆發
- Google 推出新功能“口語練習”,利用人工智慧幫助使用者提高英文能力
- Google 支援的 Glance 在美國試點推出 Android 鎖定屏平臺