正在挑戰開放原始碼：MosaicML 推出破壞性語言模型 MPT-30B
引言
位於舊金山的人工智慧創業公司 MosaicML 今天宣布，他們推出了一款具有開創性的語言模型 MPT-30B。這款新模型僅以競爭對手的一小部分成本訓練，有望在企業應用的人工智慧領域引起一場革命。MosaicML 的 CEO 兼共同創辦人 Naveen Rao 在接受 VentureBeat 的採訪中表示 MPT-30B 的訓練成本為 70 萬美元，遠低於訓練 GPT-3 所需的數千萬美元。MPT-30B 的低成本和較小的規模可能會對企業在部署自然語言處理（NLP）模型方面產生更大的吸引力，例如對話系統、程式碼自動完成和文字摘要等應用。
革新性的語言模型
MosaicML 使用各種技術來最佳化模型，例如 Alibi 和 FlashAttention 機制，這些機制使得模型能夠處理更長的內容並充分利用 GPU 運算能力。MosaicML 還表示他們是少數擁有 NVIDIA H100 顯示卡的實驗室之一，這提高了每個 GPU 的吞吐量，使完成時間更快。MosaicML 將這些最佳化後的模型提供給企業自行使用，讓他們能夠根據自己的資料訓練模型，然後透過推理 API 部署模型。
開放技術的發展趨勢
Rao 表示 MosaicML 的目標是讓更多人使用這項技術，而不是成為一種獨享的特權。他說：“我們的目標是讓越多的人使用這項技術。我們一直以來都非常重視透明的成本、時間和困難性。” MosaicML 提供 MPT-30B 作為開源模型以及模型調整和部署服務，這使其成為在大型語言模型技術市場上挑戰 OpenAI 的競爭者。根據 Rao 的說法，MosaicML 還計劃在接下來的幾個月中發布更先進的模型和工具，這意味著兩家公司正為領導下一代人工智慧技術展開競爭。
挑戰開放原始碼：MosaicML 的願景和影響
未來語言模型的定制化
該公司對生成式人工智慧的未來有一個具體的願景，即建立一個能夠幫助各行業專家加快工作速度的工具，而不是取代他們。Rao 解釋道：“我認為至少在未來五年內，重點將是將這些技術應用於讓已經是專業人士的人更上一層樓。”
提高資料質量和可用性
MosaicML 還致力於提高資料質量，以獲得更好的模型效能。他們正在開發工具，幫助使用者在預訓練過程中引入特定領域的資料。這需要多樣而高質量的資料混合，這對於構建有效的人工智慧模型至關重要。
結論：人工智慧的未來
隨著企業對人工智慧技術的採用和投資不斷增加，MosaicML 的 MPT-30B 有可能成為推動商業界實現更合適和更有影響力的人工智慧解決方案的催化劑。MosaicML 致力於開放原始碼技術和賦予更多人使用人工智慧工具的能力，這有可能帶來一系列未開發的創新，使人工智慧成為全球企業的有價值資產。
本報告撰寫的目的是為理解釋 MosaicML 推出的 MPT-30B 的意義以及它如何挑戰當前在大型語言模型技術市場上佔主導地位的 OpenAI。此外本報告還討論了 MosaicML 在提高資料質量和可用性方面的努力以及他們對於人工智慧發展的願景。
延伸閱讀
- OpenAI 揭開 AI 祕密指令的面紗
- OpenAI 表示正在建立一個工具，以讓內容創作者選擇退出 AI 訓練
- 微軟和 OpenAI 啟動 200 萬美元基金以對抗選舉假影片
- Stack Overflow 與 OpenAI 簽約，提供資料支援其模型
- Quora CEO Adam D’Angelo 分享人工智慧和聊天機器人平臺 Poe，並解釋為何 OpenAI 並非競爭對手
- OpenAI 與英國《金融時報》達成戰略合作，包括內容使用
- OpenAI 旗下創投基金悄悄籌集 1500 萬美元
- 「不鏽鋼」幫助 OpenAI、Anthropic 等公司構建其 API 的 SDK
- OpenAI 計劃在東京設立新辦事處、特斯拉裁員數千人
- OpenAI 宣布東京辦公室成立，並推出日文最佳化的 GPT-4 模型
