冒起開放原始碼 AI 模型的農業革命——Nucleus AI 釋放 220 億引數大語言模型
加州的初創企業 Nucleus AI，該團隊成員曾經在亞馬遜和三星研究機構工作，如今以一款 220 億引數的大語言模型（LLM）正式亮相。這款通用模型可在 MIT 開放和商業許可證下使用，該模型的大小介於 130 億和 340 億之間，可進行不同生成任務和應用的微調。Nucleus 稱該模型在相同規模的模型中表現更優，將有助於公司在未來以 AI 改變農業的目標前進。"我們開始是用這款 220 億模型，它是一個 Transformer 模型。然後，大約兩週後，我們將公開我們最新的 RetNet 模型，這將在成本和推理速度方面帶來顯著好處"，該公司的 CEO Gnandeep Moturi 在接受 VentureBeat 的採訪時表示。
新的 Nucleus AI 模型
Nucleus 開始培訓這款 220 億模型約三個半月前，當時他們從一位早期投資者那裏獲得了計算資源。該公司利用現有的研究成果和開放原始碼社區，對長度為 2,048 個 token 的語境進行預訓練 LLM，然後對包含網路、維基百科、Stack Exchange、arXiv 和程式碼的大規模去重和清理資料進行訓練，為模型構建了一個全面而豐富的知識庫，涵蓋了從通用訊息到學術研究和程式碼洞察的範疇。
作為下一步，Nucleus 計劃推出其他版本的 220 億模型，包括經過 3500 億和 7000 億 token 的訓練，還有兩個分別具有 30 億和 110 億引數的 RetNet 模型，其預訓練長度達到了 4,096 個 token。這些尺寸較小的模型將充分發揮迴圈神經網路（RNN）和 Transformer 神經網路架構的優點，在速度和成本方面取得巨大進展。Moturi 表示在內部實驗中，這些模型的速度比相應的 Transformer 模型快了 15 倍，且僅需四分之一的 GPU 記憶體。
“到當前為止，只有研究表明這種模型可能有效。沒有人實際上構建過一款模型並將其發布給公眾，”該公司的 CEO 補充道。
更大的抱負
雖然這些模型將用於企業應用，但 Nucleus 在 AI 研究方面有更大的抱負。不同於其他公司 OpenAI、Anthropic 和 Cohere 等直接構建聊天機器人的方式，Moturi 表示他們計劃利用 AI 構建一個針對農業的智慧作業系統，旨在最佳化供需，減輕農民所面臨的不確保性。"我們有一個類似於市場的想法，供需將針對農民進行超級最佳化，就像 Uber 為計程車司機所做的一樣"，他說。這將解決農民面臨的多個挑戰，包括氣候變化和缺乏知識等問題，最佳化供應和維持分配。
"現在我們不是在與其他算法競爭。當我們獲得計算資源時，我們試圖開發內部產品，進入農場領域。但後來，我們意識到我們需要將語言模型作為市場的核心，並開始利用開放原始碼社區的貢獻進行相關的構建"，他補充道。
有關農業導向作業系統和 RetNet 模型的更多細節將在本月稍後公布。
