Aviary-Anyscale 新開源專案，簡化開源大型語言模型部署
介紹
最近，Anyscale 開始推出新的開源 Aviary 專案，旨在簡化開源大型語言模型(LLM)的部署。當前 Hugging Face 上免費提供了許多開源 LLM 系統，如 Dolly，LLaMA，Carper AI 和 Amazon 的 LightGPT 等。然而僅僅擁有 LLM 還不足以讓其對組織有所幫助，還需要與基礎架構部署相適應，以實現推論和真實世界的應用。
挑戰
當前將開源 LLM 模型部署在基礎架構上通常是一個定制化的試錯過程，開發人員需要找到正確的運算資源和配置引數。同時開發人員並不易於比較一個模型與另一個模型。這是 Anyscale 期望透過 Aviary 來幫助解決的一些問題。
Aviary 如何幫助解決問題
Aviary 是以上開源 Ray 專案為基礎進行構建的，透過一組最佳化和配置，以輕鬆進行開源 LLM 模型部署。Ray 已經被許多大型組織用於模型訓練，也是 OpenAI 使用模型的技術，包括 GPT-3 和 GPT-4。Aviary 的目標是，自動幫助開源 LLM 使用者在適當的最佳化配置下快速部署。
Anyscale CEO Robert Nishihara 表示需要在基礎架構方面進行許多不同的配置，包括多個 GPU 進行模型平行推理，碎片和效能最佳化。Aviary 的目標是為 Hugging Face 上的任何開源 LLM 模型提供預配置預設值。使用者不需要進行耗時的基礎架構配置過程；Aviary 可以為他們處理所有這些。Aviary 還旨在幫助解決模型選擇方面的挑戰。隨著越來越多的模型出現，任何人都不容易知道特定用例的最佳模型。
Aviary 使使用者能夠比較準確率、延遲和成本等引數。隨著新的 LLM 模型出現，Aviary 能夠很快地支援它們。Aviary 在 Anyscale 的私有開發了三個月。最初，需要花費一些時間，對於任何一個開源 LLM 模型，需要進行正確的配置，但現在可以清楚地看到，關於所有 LLM 部署方面都存在共同的模式。
展望
Nishihara 表示他期望開源模型的數量只會增長，因此選擇模型的問題對於組織而言只會變得更加困難。他說：“我們希望 Aviary 是開源的，任何社區成員都可以輕鬆地新增新模型。這將使任何使用 Aviary 的人無需額外工作即可部署這些模型。”
Anyscale 推出的開源 Aviary 專案簡化了開源 LLM 系統的部署過程，解決了使用者在基礎架構配置和模型選擇方面的問題和挑戰。隨著 Anyscale 不斷地推陳出新，預計 Aviary 將在未來幫助更多組織成功地部署 LLM 系統，讓它們從中受益。
延伸閱讀
- 「開源授權全解析：你需要知道的一切！」
- 開源 Sky-T1：只需不到 450 美元，打造專屬推理 AI 模型！
- 「GitHub Spark：用普通語言打造你的網頁應用程式！」
- AWS 執行長 Matt Garman 深入探討生成式 AI、開源浪潮與服務關閉背後的真相！
- 「紅杉資本投資 Pydantic，助力其突破開源資料取證框架的界限！」
- 「Elastic 創辦人重返開源世界，四年後的心聲與展望」
- 開源與閉源的對決：AI2 的 Molmo 如何超越多模態模型！
- 明亮未來：Brightband 打造開源 AI 氣象預報的創新藍圖！
- 開源新商機：Accel、Docker 與 Redis 將於 TechCrunch Disrupt 2024 深入對談！
- 開源新創公司 FOSSA 收購開發者平臺 StackShare，衝擊 150 萬開發者社群！
