遇見 Phi-1.5，這個新語言模型可能使 AI 訓練更便宜更快速

訓練人工智慧大型語言模型的新方法：Phi-1.5 的開拓

引言

訓練人工智慧（AI）大型語言模型（LLM），如 ChatGPT、LLaMA 2、Claude 2、Bard、Falcon 180B 等，通常需要大量且專門的運算能力。因此開放式人工智慧專案（OpenAI）、Meta、Cohere、Google、阿布達比科技創新研究所等大型、有資金的組織通常優先應用這些模型。然而微軟研究院機器學習基金會團隊的負責人 Sebastien Bubeck 相信，這種情況可能很快會有所改變，這要歸功於他們在開源和資源高效型模型方面的研究，例如他們的新型非商業化模型 Phi-1.5。透過使用現有的 LLM（在本例中為 OpenAI 的 ChatGPT）生成經過精心策劃的高質量合成資料並將新型模型訓練在此資料上，研究人員能夠以相對較低的成本和訓練時間獲得與領先的 LLM 相媲美的結果。

模型的創新

Phi-1.5 是基於 Bubeck 今年六月在《教科書就是你所需的全部》論文中發表的程式碼生成模型 Phi-1 的進化版本。在程式碼生成方面的經驗基礎上，Bubeck 的團隊試圖建立一個精簡高效的語言模型。為了實現這一目標，團隊透過 ChatGPT 建立了一個類似教科書內容的資源，然後使用這些合成資料來訓練 Phi-1.5 模型。Phi-1.5 模型使用了 10 億個引數，與 1000 億個輸入資料的其他模型相比較小，但它已經展示出了通常在更大型模型中才能發現的一些令人興奮的新能力。由於 Phi-1.5 僅透過“教科書”方法在合成資料上進行訓練，因此無需利用版權問題嚴重的網頁抓取或常規資料源。

通往民主化 AI 訓練的教科書方法

“教科書就是你所需的全部”方法旨在透過從較小型模型中提取推理能力來實現對 AI 的民主化。正如 Bubeck 所描述的那樣，“如果你想教孩子某件事，你不會只給他們一堆關於這個主題的隨機網頁，而是會精心選擇一些材料供他們閱讀。”在討論如何確保合成教科書在多樣性方面的時候，Bubeck 提到了微軟的另一位研究員 Ronen Eldan 和卡內基梅隆大學教授 Yunazhi Li 的“Tiny Stories”研究工作。該團隊使用僅包含 1000 萬個引數的轉換器，讓 LLM 生成了一些包含三個隨機詞語的兒童故事。“他們編寫了一個由 3000 個詞語組成的詞彙表。每次他們想要產生一個短篇故事時，他們隨機選擇其中的三個詞語，然後要求 ChatGPT 為兒童編寫一個包含這三個詞語的短篇故事。”透過以這種方式匯入種子詞，研究人員能夠獲得“非常多不同的故事”，Bubeck 表示。這種組合方法使模型的輸出具有廣泛的多樣性。因此“教科書”方法更加複雜，但它與這兩種技術之間的聯絡很明顯。Bubeck 還指出，透過“教科書”方法建立訓練資料可以確保推理令牌在模型輸入中更加普遍，這意味著可以實現健壯的 LLM 輸出結果，而無需處理傳統訓練資料集中的大量訊息。

評估模型的革新方式

在開發過程中，phi-1.5 已經取得了一些令人興奮的基準測試成績：在 Winogrande（常識推理）方面達到了 74％（比 Llama2-7B 高 5％），在 OpenbookQA（閱讀理解）方面達到 37％（比 Llama2-7B 高 6％），在 HumanEval 中達到 34％（編碼，比 Llama2-7B 高 20％）。儘管取得了這些令人興奮和成功的成績，傳統基準測試卻受到了質疑，這是 Bubeck 的觀點。他主張採用更加細緻的評估方法，正如他對 phi-1.5 基準測試的評論所示：“基準測試並不能告訴我們 LLM 的情況。它們無法捕捉到模型的互動作用或全面的能力範圍。”他認為靜態測試存在著約束，並表示這些測試無法提供模型的互動能力或對變化的強韌性的全面評估。Bubeck 建議需要“一種不同的測試模型”的方法，具體方法是透過直接對話與模型互動：“LLM 的威力在於它們可以與您互動。您可以進行來回對話，可以修改前提，可以檢視它對變化的強韌性等等，”Bubeck 表示。透過以研究許可證（非商業用途）發布 phi-1.5，其他人現在可以“提出自己的問題並檢視模型的回答”，Bubeck 說道。這種“最終去污染”模式的釋出，使得評估更具靈活性和細緻性，超越了僅僅依賴基準測試所能提供的評價方式。

結論

透過開發可從重點、高質量的合成資料中學習的模型，而不是龐大的網路語料庫，AI 可能很快就能被更多的個人和組織所使用。Bubeck 認為他們的方法“開啟了許多新的應用領域的大門”，不再受制於科技巨頭。如果成功，這將真正引領去中心化、民主化的 AI 發展新時代。

ArtificialIntelligence-Phi-1.5,AI 訓練,語言模型,人工智慧,便宜,快速

延伸閱讀

• 網際網路共同創始人 Robert Kahn 早在幾十年前就已經做到了加密、人工智慧和網際網路嗎？
• 人聲 vs AI：Audible 推出 AI 旁白有機會取代人類旁白嗎？
• OpenAI 表示正在建立一個工具，以讓內容創作者選擇退出 AI 訓練
• 突破獨家訪談：Wayve 共同創辦人 Alex Kendall 談自動駕駛汽車和機器人的未來
• Rad AI 完成由 Khosla Ventures 領投的 5 千萬美元 B 輪融資
• 「Meta AI 對印度男性生成影象時偏好頭巾」
• Quora CEO Adam D’Angelo 分享人工智慧和聊天機器人平臺 Poe，並解釋為何 OpenAI 並非競爭對手
• 在 AI 領域的女性：Tara Chklovski 正在教導下一代的 AI 創新者
• 本週人工智慧大事記：生成式人工智慧與創作者補償的問題
• 蘋果 AI 計劃揭祕：從財報中學到的三件事