Aviary-Anyscale 新開源專案，簡化開源大型語言模型部署
介紹
最近，Anyscale 開始推出新的開源 Aviary 專案，旨在簡化開源大型語言模型(LLM)的部署。當前 Hugging Face 上免費提供了許多開源 LLM 系統，如 Dolly，LLaMA，Carper AI 和 Amazon 的 LightGPT 等。然而僅僅擁有 LLM 還不足以讓其對組織有所幫助，還需要與基礎架構部署相適應，以實現推論和真實世界的應用。挑戰
當前將開源 LLM 模型部署在基礎架構上通常是一個定制化的試錯過程，開發人員需要找到正確的運算資源和配置引數。同時開發人員並不易於比較一個模型與另一個模型。這是 Anyscale 期望透過 Aviary 來幫助解決的一些問題。Aviary 如何幫助解決問題
Aviary 是以上開源 Ray 專案為基礎進行構建的，透過一組最佳化和配置，以輕鬆進行開源 LLM 模型部署。Ray 已經被許多大型組織用於模型訓練，也是 OpenAI 使用模型的技術，包括 GPT-3 和 GPT-4。Aviary 的目標是，自動幫助開源 LLM 使用者在適當的最佳化配置下快速部署。 Anyscale CEO Robert Nishihara 表示需要在基礎架構方面進行許多不同的配置，包括多個 GPU 進行模型平行推理，碎片和效能最佳化。Aviary 的目標是為 Hugging Face 上的任何開源 LLM 模型提供預配置預設值。使用者不需要進行耗時的基礎架構配置過程；Aviary 可以為他們處理所有這些。Aviary 還旨在幫助解決模型選擇方面的挑戰。隨著越來越多的模型出現，任何人都不容易知道特定用例的最佳模型。 Aviary 使使用者能夠比較準確率、延遲和成本等引數。隨著新的 LLM 模型出現，Aviary 能夠很快地支援它們。Aviary 在 Anyscale 的私有開發了三個月。最初，需要花費一些時間，對於任何一個開源 LLM 模型，需要進行正確的配置，但現在可以清楚地看到，關於所有 LLM 部署方面都存在共同的模式。展望
Nishihara 表示他期望開源模型的數量只會增長，因此選擇模型的問題對於組織而言只會變得更加困難。他說：“我們希望 Aviary 是開源的，任何社區成員都可以輕鬆地新增新模型。這將使任何使用 Aviary 的人無需額外工作即可部署這些模型。” Anyscale 推出的開源 Aviary 專案簡化了開源 LLM 系統的部署過程，解決了使用者在基礎架構配置和模型選擇方面的問題和挑戰。隨著 Anyscale 不斷地推陳出新，預計 Aviary 將在未來幫助更多組織成功地部署 LLM 系統，讓它們從中受益。Aviary-Anyscale,Aviary,部署,開源,LLM 系統
延伸閱讀
- Ghost 可能加入 fediverse，成為開源 Substack 競爭對手
- Meta 宣布其 Llama 3 開源 LLM 將在下個月推出
- Fireworks.ai 開源 API 讓生成式人工智慧適用於任何開發者
- 為何伊隆·馬斯克的 AI 公司“開源”Grok 很重要——以及不重要的原因
- 「xAI 開源 Grok 基模型，但沒有任何訓練程式碼」
- SpaceX 檔案外洩，TikTok 禁令加速推動，Grok 計畫轉為開源
- 穆斯克的 Grok 開源了，Reddit 更新了 IPO 申報書
- Ubicloud 計畫打造一個開源替代 AWS 的方案
- 新聞大師將策劃的“社區”引入開源 Twitter/X 替代品 Mastodon
- 開源人工智慧閘道器 Køng 讓建立多語言模型應用更容易
