Google 採用專用 GPU 結構訓練大型語言模型，深入"超級電腦"遊戲。

Google 推出專用 GPU 的超級電腦，加速語言模型的訓練

背景

Google 於 Google I/O 2023 上宣布推出一款基於 Nvidia H100 GPU 的超級電腦，這款電腦被稱為 A3，最大特點就是加速語言模型的訓練，對於需要大量運算的人工智慧工程師和科學家來說這將更加便利和高效。

加速語言模型訓練的需求

近年來科學家們在應用人工智慧技術的過程中發現語言模型的訓練需要更多的運算資源，尤其在訓練大型的語言模型時，需要大量的 GPU 等運算資源。Google 這次推出的超級電腦，可以更好地滿足這樣的需求。

更快的通訊

Google 這款超級電腦不僅擁有 Nvidia H100 GPU 這樣的高效運算資源，還採用了自主研發的高速互聯技術，讓各個 GPU 之間能夠更快地通訊，從而加速整個模型的訓練過程。Google 預計，採用這款 GPU 可以實現 GPU 與 GPU 之間的資料轉移，遠比之前採用 CPU 主機的方式更快 10 倍，可以進一步加速語言模型的訓練。

對比 Microsoft 與 IBM

除了 Google，Microsoft 和 IBM 也都在推出各自的超級電腦，加速各種科學模型的訓練。其中 IBM 主要針對其政府客戶，要求訓練大型的模型，Microsoft 與 Nvidia 合作，也早前推出了類似的產品，此舉顯示這是一種行業趨勢。

展望

這款超級電腦將會加速人工智慧的發展，進一步滿足科學家和工程師對於高效運算資源的需求，加速各種語言模型的訓練和各種模型的推理。此舉將進一步釋放巨大的運算潛力，打破現有的科學和工程的障礙，從而推動人工智慧的發展，帶來更多的技術突破和商業創新。

關鍵詞

人工智慧、Google、專用 GPU、語言模型、超級電腦、遊戲