法國初創企業 Mistral AI 推出能處理英文並具備自然程式設計能力的語言模型 Mistral 7B
Mistral AI 的背景與使命
Mistral AI 成立於半年前，由 Google DeepMind 和 Meta 的校友共同創辦。該公司的使命是透過利用公開可用的資料和客戶貢獻的資料，為企業提供實用的人工智慧解決方案。現在隨著 Mistral 7B 的推出，該公司開始實現這一目標，為團隊提供小型模型，能夠實現低延遲的文字摘要、分類、文字填充和程式碼填充。
Mistral 7B 在多項測試中的表現超越競爭對手
雖然 Mistral 7B 剛剛被宣布推出，但 Mistral AI 聲稱它已經超越了其他開源模型。在涵蓋多個任務的基準測試中，該模型的表現輕鬆超越了 Llama 2 7B 和 13B。例如，在大型多工語言理解（MMLU）測試中，該模型的準確率達到了 60.1%，而 Llama 2 7B 和 13B 分別只達到了 44%和 55%。同樣地，在涵蓋常識推理和閱讀理解的測試中，Mistral 7B 的準確率分別為 69%和 64%，超越了兩個 Llama 模型。唯一能與 Mistral 7B 匹敵的是 Llama 2 13B 在世界知識測試中的表現，Mistral 聲稱這可能是由於模型引數數量有限，約束了其所能壓縮的知識量。
該公司在一篇部落格文章中寫道：“經過我們的評估流程重新評估後，Mistral 7B 在所有指標上明顯優於 Llama 2 13B，在許多基準測試中與 Llama 34B 不相上下。”
Mistral 7B 在程式碼任務方面的表現
雖然 Mistral 稱這款新模型在程式碼任務方面“遠遠優於以往”，但基準測試結果顯示，它仍然無法超越經過微調的 CodeLlama 7B。Meta 的模型在 0-shot Humaneval 和 3-shot MBPP（手動取證子集）測試中的準確率分別為 31.1%和 52.5%，而 Mistral 7B 的準確率分別為 30.5%和 47.5%。
高效能的小型模型對企業具有潛在益處
Mistral 展示了小型模型在各種任務中高效效能的優勢，對企業來說可能帶來巨大的好處。例如，在 MMLU 測試中，Mistral 7B 實現了一個比其體積更大的 Llama 2 模型（230 億個引數）還要多 3 倍的效能。這將直接節省記憶體並帶來成本效益，同時不影響最終輸出。該公司表示它透過使用分組查詢注意力（GQA）實現了更快的推理，並且透過使用滑動視窗關注（SWA）以更小的成本處理更長的序列。
該公司計劃在此基礎上推出一個更大的模型，能夠進行更好的推理並在多個語言中工作，預計在 2024 年推出。當前 Mistral 7B 可以使用該公司的參考實現和 vLLM 推理伺服器以及 Skypilot 在任何地方部署（從本地到 AWS、GCP 或 Azure 雲）。
