「FreeWilly1」和「FreeWilly2」：開放存取的新型語言模型
背景
近日由前英國對沖基金經理 Emad Mostaque 創立的人工智慧公司 Stability AI 公開了兩種新的大型語言模型（LLM），分別名為 FreeWilly1 和 FreeWilly2。這兩款模型都是以 Meta 公司開源模型 LLaMA 和 LLaMA 2 為基礎，但使用了全新的、更小型的資料集進行訓練，包括合成資料。這兩個模型在細緻的推理、語言細微差異和與法律、數學等專業領域相關的複雜問題回答方面表現出色。Stability AI 的子公司 CarperAI 以「非商業許可證」釋出了這兩個模型，意味著它們不能用於盈利、企業或商業目的，而是旨在推動研究和促進人工智慧社群的開放存取。
小型模型的環境友好性
這兩款模型的名字是對微軟研究人員開發的「雲豚」（Orca）人工智慧訓練方法的一種暗諷，該方法允許「更小型」的模型（接觸到更有限的資料）達到接觸大型基礎模型所需的效能水準。FreeWilly1 和 FreeWilly2 的訓練資料為 60 萬個資料點，僅為原始雲豚資料集大小的 10%，使用了 Enrico Shippole 建立的四個資料集的指令，因此成本更低、環境友好（耗能較少、碳排放較低）的特點相較於原始雲豚模型和大多數主要 LLMs。這兩個模型仍然表現出色，在某些情況下甚至超過 GPT-3.5 的 ChatGPT。
ArtificialIntelligence-AI,FreeWilly,語言模型,資料訓練
延伸閱讀
- 資料科技公司 Daloopa 開發 AI 以自動化財務分析工作
- 今年的 Met Gala 主題是 AI 極深假裝
- Y Combinator 幫助醫療記錄 AI 新創 Hona 募得 300 萬美元 的故事
- Pinterest AI 打造的拼貼圖比單張針腳更吸睛
- Atlassian 推出新的 AI 同事 Rovo
- 三星的營運利潤飆升 930％，AI 動能帶動記憶晶片需求
- GitHub 推出 Copilot Workspace：AI 驅動的軟體工程空間
- 「馬斯克的 xAI 示範 AI 新創公司的龐大市場潛力」
- 照片分享社群 EyeEm 將許可使用者的照片以訓練 AI，如果使用者不刪除照片
- 英偉達收購 AI 工作負載管理新創公司 Run:ai
