使用 LUMI 超級電腦推動語言模型在學術界的應用
近日芬蘭的 Turku 大學的研究團隊成功應用 LUMI 超級電腦的高效運算能力，將語言模型開放給學術界使用，這一突破有望推動語言模型在更廣泛的研究應用中發揮價值。語言模型的應用正在迅速增長，然而培訓這些模型需要巨大的運算資源，並且現有的模型往往都是專有的且基於英語。因此 Turku 大學研究小組決定利用 LUMI 超級電腦的規模和計算能力，加速語言模型的培訓過程，從而擴充套件語言模型的價值。
LUMI 超級電腦：歐洲最快、最節能的超級電腦
LUMI 超級電腦是基於 HPE Cray EX 超級電腦架構，搭載 AMD Epyc CPU 和 AMD Instinct GPU 的，是歐洲速度最快、能效最高的超級電腦之一。據稱，LUMI 超級電腦的運算能力是前一代芬蘭超級電腦的百倍。以前，研究團隊需要半年時間在計算機上預培訓一個十億引數的語言模型，而現在 LUMI 只需要兩周就能處理約 400 億個 tokens，這些 tokens 可以是字元、音節或單詞。
語言模型在學術界的應用
Turku 大學的目標是將語言模型開放給學術界使用。Sampo Pyysalo 教授和他的合作夥伴在 TurkuNLP 團隊致力於為學術界建立實用的語言模型，以滿足他們在各個領域的研究需求。他們所面對的挑戰是，現有的大型語言模型多由大型跨國公司專有且閉源。因此 TurkuNLP 團隊需要透過自主建模的方式來滿足他們的需求，而這需要強大的超級電腦資源。
在 Turku 大學的專案中，TurkuNLP 團隊與 Hugging Face 合作使用先進的人工智慧和機器學習工具集。建立這樣規模的模型需要龐大的運算能力，而 LUMI 超級電腦正提供了這樣的規模。
LUMI 超級電腦的規模和能力
LUMI 超級電腦由歐洲高效能計算聯盟（EuroHPC Joint Undertaking）共同出資建立，由十個歐洲國家組成的 LUMI 聯盟負責運營。該超級電腦位於芬蘭 CSC - IT Center for Science 的資料中心，並由 LUMI 聯盟承擔託管工作。LUMI 超級電腦的 GPU 部分是 CSC 託管的各類 GPU 系統中規模最大的，其 Mahti AI 部分具備 24 個 GPU 節點，而 Puhti 則提供 80 個 GPU 節點，每個節點配備四個 GPU。相比之下，LUMI 超級電腦擁有 2,560 個基於 AMD Epyc 處理器的節點，每個節點配備四個 AMD Instinct MI250x 加速器，總計有 10,240 個 GPU 和 20,480 個計算裝置。
結語
LUMI 超級電腦的運算能力為語言模型在學術界的應用提供了全新的可能性。透過應用 LUMI 超級電腦，Turku 大學的研究團隊成功將語言模型開放給學術界使用，這對於各個領域的學術研究來說具有重要的意義。未來，隨著超級電腦技術的發展，語言模型的培訓將變得更加快速和高效，並且將能夠支援更多語言的模型訓練。這將為學術界的研究者提供更多的工具和資源，推動人工智慧在學術界的應用和發展。
延伸閱讀
- Google 推出新一代 AI 模型 LearnLM，助力教育業界革新
- NFT 平臺 Zora 提供了一種新的賺錢方式，適合 AI 模型製作者
- 史上最大的文字轉語音 AI 模型體現「新興能力」
- 研究發現：人類學家發現 AI 模型可以被訓練成欺騙者
- Google 首款搭載全新 AI 模型 Gemini 的智慧手機--Pixel 8 Pro
- Google 的 AI 聊天機器人 Bard 進行大幅升級，搭載 Google 的下一代 AI 模型 Gemini
- Google 布局生成式 AI 模型，但「Gemini」並非我們期待的模型
- 亞馬遜推出新晶片，用於訓練和執行 AI 模型
- Giskard 開源框架在將 AI 模型推向生產前進行評估
- 聚焦於 ChatGPT-like AI 模型開發的 Hugging Face 有兩人團隊
