哈薩克的 LUMI 超級計算機推進語言模型研究
背景
最近，歐洲最快、最節能的超級計算機 LUMI，成為了芬蘭 TurkuNLP 團隊創造新模型的關鍵。芬蘭國家超級計算中心（CSC）的機器學習專家 Väinö Hatanpää表示：“LUMI 的計算能力和可擴充套件性使我們的客戶能夠推動機器學習/人工智慧（AI）的發展。”
開啟大型語言模型
TurkuNLP 的目標是使大型語言模型（LLMs）能夠為學術用途開放使用。TurkuNLP 的合作夥伴 Risto Luukkonen 和 Ville Komulainen 表示：“大型跨國公司是大型模型的所有者，他們將模型保密。作為學術界，我們希望能夠實際使用這些模型，因此我們一直在自己建立模型，這需要超級計算機資源。”因此 TurkuNLP 專注於開發自己的研究領域，使用先進的人工智慧和機器學習工具集，其中包括與 Hugging Face 合作。
LUMI 超級計算機的優勢
LUMI 超級計算機是由歐洲超級計算合作組織（EuroHPC）聯合合作夥伴資助的，該計劃由 10 個歐洲國家組成的 LUMI 集團提供資金支援。它位於芬蘭 CSC 的資料中心，由 LUMI 集團託管。相比之下，LUMI 的 GPU 分割槽遠遠超過 CSC 託管的其他 GPU 分割槽。該組織的 Mahti AI 分割槽包括 24 個 GPU 節點，而 Puhti 分割槽則提供 80 個 GPU 節點，每個節點配備四個 GPU。而 LUMI 則擁有 2,560 個由 AMD Epyc 處理器提供動力的節點，每個節點都配備四個 AMD Instinct MI250x 加速器，總計擁有 10,240 個 GPU 和 20,480 個圖形運算核心（GCDs）。
影響
LUMI 超級計算機的推出為語言模型的研究和開發帶來重大影響。過去，TurkuNLP 團隊在一臺計算機上預先訓練一個具有價值的 10 億引數語言模型需要半年時間，但現在 LUMI 只需兩週時間處理約 400 億個標記（字元、音節或單詞）。LUMI 的計算能力為研究人員在短時間內訓練大型模型提供了可能，加速了相關領域的研究與應用探索。
編輯評論：開放大型語言模型的重要性
作為人工智慧領域的重要應用之一，大型語言模型具有廣泛的應用前景。然而由於技術約束和商業考量，大型模型往往由少數大型企業所獨佔，並未得到充分開放和共享。開放大型語言模型是實現技術進步和知識共享的重要一環。
像 TurkuNLP 這樣的學術機構致力於推進大型語言模型的研究和開發，為學術界和社會帶來了巨大的潛力和價值。借助 LUMI 超級計算機的計算能力，TurkuNLP 團隊成功地開發了自己的大型語言模型，並將其開放給學術界使用。
開放大型語言模型將有助於促進知識的共享和技術的進步。透過公開可用的模型，研究人員和開發者可以更好地理解和應用自然語言處理技術，並在各個領域推動創新。此外開放大型語言模型還能夠提供對多種語言和文化背景的支援，有助於減少數位鴻溝和促進全球合作。
建議與展望
為了進一步推動大型語言模型的開放和共享，我們需要更多的科研機構和技術公司加入到這一領域中來。除了像 TurkuNLP 這樣的學術機構外，大型技術企業也應該積極推動開放大型語言模型，並與學術界進行更多的合作，實現知識共享和技術共同進步。
此外政府和國際組織也應該加大對大型語言模型研究和開發的資金和支援力度，推動大型語言模型的開放發展。同時技術界也需要加固倫理、隱私和版權保護等相關議題的討論和應對措施，確保開放大型語言模型的發展在合理範圍內進行。
總之開放大型語言模型將為技術和社會帶來巨大的價值和影響。透過持續的研究和合作，我們可以實現語言模型的開放和共享，為人工智慧和自然語言處理領域的發展創造更多機會。
延伸閱讀
- NFT 平臺 Zora 提供了一種新的賺錢方式，適合 AI 模型製作者
- 史上最大的文字轉語音 AI 模型體現「新興能力」
- 研究發現：人類學家發現 AI 模型可以被訓練成欺騙者
- Google 首款搭載全新 AI 模型 Gemini 的智慧手機--Pixel 8 Pro
- Google 的 AI 聊天機器人 Bard 進行大幅升級，搭載 Google 的下一代 AI 模型 Gemini
- Google 布局生成式 AI 模型，但「Gemini」並非我們期待的模型
- Atomic Industries 斥資 1700 萬美元，以實現美國工業基地的超級計算機目標
- 亞馬遜推出新晶片，用於訓練和執行 AI 模型
- Giskard 開源框架在將 AI 模型推向生產前進行評估
- 聚焦於 ChatGPT-like AI 模型開發的 Hugging Face 有兩人團隊
