開源 AI 模型 LLEMMA：數學問題的新方向
介紹
近期，針對數學問題的大型語言模型（LLM）LLEMMA 在一篇新的論文中被介紹，並由來自各大學和 Eleuther AI 等公司的研究人員共同開發。LLEMMA 在效能上超越了其他領先的數學專注語言模型，包括 Google 的 Minerva，為進一步的研究提供了一個堅實的平臺。雖然 LLEMMA 並非完美的數學求解器，但它代表了專業化的大型語言模型發展中的重大進步，並且可以推動 AI 研究朝著新的方向發展。
最先進的數學模型
LLEMMA 是建立在 Code Llama 上的，Code Llama 是 Meta 的開源 Llama 2 模型在程式碼專注資料集上微調的版本。研究人員開發了兩個版本的模型，一個是 70 億引數，另一個是 340 億引數。之後，這些模型在 Proof-Pile-2 上進行了進一步的微調，Proof-Pile-2 是研究人員建立的資料集，包含了一些科學論文、數學相關的網路資料和數學程式碼。在研究中，研究人員發現 LLEMMA 在數學基準測試中表現優越，超越了所有已知的開源模型。此外 LLEMMA 還可以使用工具和證實形式的定理來解決數學問題，而不需要進行其他的特定任務的微調。
為進一步研究提供工具
儘管 Google 的 Minerva 等幾個大型語言模型已經為數學進行了微調，但它們並不是開源的。相比之下，LLEMMA 透過在“等引數基礎上”超越了 Minerva。這意味著 LLEMMA-7B 的效能優於 Minerva-8B，而 LLEMMA-34B 則幾乎與 Minerva-62B 相當。研究人員已經釋放了所有相關資源，包括 70 億和 340 億引數的模型，Proof-Pile-2 資料集以及複製實驗的程式碼。Proof-Pile-2 包含了數學相關的程式碼資料集 AlgebraicStack，總共有 110 億個程式碼標記。根據研究人員的說法，LLEMMA 是第一個與最先進的封閉原始碼模型相匹配的開源模型，這讓其他研究人員可以在此基礎上進行擴充套件和改進。
數學專注語言模型的廣泛影響
LLEMMA 是一個廣泛領域的 LLM 發展計劃的一部分，旨在開發專注於特定領域而非多工的通用模型。LLEMMA 模型顯示出，透過改進資料和擴大資料集，甚至較小的模型也可以產生顯著的結果。例如，LLEMMA-7B 在幾乎所有的數學推理資料集上都優於 Code Llama-34B 模型。研究人員指出，“專業化的領域語言模型在給定的計算成本下，可以提供更出色的能力，或在給定能力水平下，降低計算成本。”這與其他研究一致，表明小型模型在訓練在高質量示例組成的非常大型資料集時仍然可以持續改進。
然而衡量語言模型在解決數學問題方面的推理能力是一個極其困難的任務。通常，模型之所以在數學基準測試中表現出色，是因為訓練資料中包含了測試示例，從而使得模型可以記住答案。也有研究顯示當以稍微不同的方式描述同一個問題時，LLM 可能會給出不同的答案。有科學家認為，由於 LLM 具有隨機性的特點，因此它們在數學方面並不適用。然而 LLEMMA 的開發者經過細致的取證，確保基準示例並未包含在訓練資料中。盡管在訓練和測試資料中找到了相似的示例，但他們得出的結論是“測試示例和訓練檔案之間的非微不足道的匹配並不意味著模型生成了記住的正確答案。”
結論
LLEMMA 的成就，尤其是模型和程式碼的釋放，可以增強語言模型的推理能力和規劃能力，並可為其他領域提供專門化的 LLM 基礎。這些研究人員認為，“具有強大數學推理能力的語言模型是一系列研究主題的基礎，例如獎勵建模、強化學習領域的推理以及算法推理。”正如他們所說，LLEMMA 可能會激發出哪些研究，這是一個有趣的觀察點。
延伸閱讀
- Substack 競爭對手 Ghost 確保將於 2024 年加入 fediverse
- 印度 VerSe 公司收購蘋果新聞+競爭對手 Magzter
- TikTok 展開在加拿大和澳大利亞測試其 Instagram 競爭對手 TikTok Notes
- Ghost 可能加入 fediverse，成為開源 Substack 競爭對手
- TikTok 推出 Instagram 競爭對手 "TikTok Notes"？
- 資料分析公司 Sensor Tower 收購競爭對手 Data.ai
- OpenAI 的與出版商的交易可能對競爭對手構成麻煩
- 競爭對手在新創投資上投入了多少？我們進行了調查
- Glean 欲在企業市場擊敗 ChatGPT 的遊戲
- Facebook 進行跨平臺測試，將帖文同步到 Twitter/X 競爭對手 Threads
