開源專案 Ray 的廣泛應用——從 Anyscale's CEO Robert Nishihara 的演講中看未來發展
介紹
作為分散式機器學習訓練和推斷的開源 Ray 框架的首席商業供應商，Anyscale 在本週的 Ray Conference 中宣布了一系列重要訊息，其中包括 Anyscale Endpoints 的正式推出和與 Nvidia 的擴充套件合作夥伴關係。透過這些新舉措，Anyscale 致力於提供更高效和成本效益的方式，以協助組織在 AI 領域進行大規模使用。
效能和成本效益的平衡
在 Ray Summit 上，Robert Nishihara 詳細介紹了各種供應商如何實現 AI 的大規模應用並同時減少成本的方法。其中一些示例包括: Instacart 現在能夠以比以往快 12 倍且使用 100 倍的資料量進行模型訓練；Pinterest 透過 AI 處理資料的訓練節省了 40%的成本。Nishihara 強調指出，“對於關注成本和效能的組織來說 Ray 是大規模語言模型和生成式 AI 的首選。”
Anyscale Endpoints 的優勢
作為 Ray 的商業支援版本，Anyscale Platform 提供了企業所需的各種能力，以實現任何型別的訓練和推斷的規模擴充套件和部署。而新推出的 Anyscale Endpoints 服務則提供了一種不同的功能。Nishihara 解釋說，Anyscale Endpoints 是一種提供 API 存取開源大型語言模型的服務，組織可以輕鬆地微調和部署這些模型，而無需自行佈署或管理。他還補充說，Anyscale Endpoints 讓開發人員能夠透過簡單的 API 將 LLM 整合到產品中，就像許多組織現在使用 OpenAI API 一樣。Nishihara 表示“使用 Anyscale Endpoints，客戶可以透過請求模型（如 Llama 2）來獲得回答，Anyscale 負責在後臺執行和最佳化模型。”
精細調整和私有部署的改進
Anyscale 還提供了針對開源 LLM 的精細調整功能，這使得組織能夠定制模型以提高特定任務的效能和質量。這有助於開發更小、更具成本效益的模型，這些模型可以作為較大模型的可行替代方案。同時一些組織不願使用公開可存取的 LLM 來定制訓練和資料時，Anyscale 還推出了私有端點服務，使組織能夠在自己的虛擬私有雲（VPC）內部署 Anyscale Endpoints。私有端點不僅確保了敏感客戶資料和模型不離開公司基礎設施，還提供了深度定制和最佳化的機會。
結語
作為一家基礎設施公司，Anyscale 以其在效能最佳化和基礎設施方面的豐富專業知識為優勢，並將繼續努力提供更快、更便宜的解決方案，以幫助組織更有效地使用 LLM。透過不斷創新和改進，Anyscale 將為組織提供更高效且更具成本效益的 AI 解決方案。
