開源專案 Ray 的廣泛應用——從 Anyscale's CEO Robert Nishihara 的演講中看未來發展
介紹
作為分散式機器學習訓練和推斷的開源 Ray 框架的首席商業供應商，Anyscale 在本週的 Ray Conference 中宣布了一系列重要訊息，其中包括 Anyscale Endpoints 的正式推出和與 Nvidia 的擴充套件合作夥伴關係。透過這些新舉措，Anyscale 致力於提供更高效和成本效益的方式，以協助組織在 AI 領域進行大規模使用。
效能和成本效益的平衡
在 Ray Summit 上，Robert Nishihara 詳細介紹了各種供應商如何實現 AI 的大規模應用並同時減少成本的方法。其中一些示例包括: Instacart 現在能夠以比以往快 12 倍且使用 100 倍的資料量進行模型訓練；Pinterest 透過 AI 處理資料的訓練節省了 40%的成本。Nishihara 強調指出，“對於關注成本和效能的組織來說 Ray 是大規模語言模型和生成式 AI 的首選。”
Anyscale Endpoints 的優勢
作為 Ray 的商業支援版本，Anyscale Platform 提供了企業所需的各種能力，以實現任何型別的訓練和推斷的規模擴充套件和部署。而新推出的 Anyscale Endpoints 服務則提供了一種不同的功能。Nishihara 解釋說，Anyscale Endpoints 是一種提供 API 存取開源大型語言模型的服務，組織可以輕鬆地微調和部署這些模型，而無需自行佈署或管理。他還補充說，Anyscale Endpoints 讓開發人員能夠透過簡單的 API 將 LLM 整合到產品中，就像許多組織現在使用 OpenAI API 一樣。Nishihara 表示“使用 Anyscale Endpoints，客戶可以透過請求模型（如 Llama 2）來獲得回答，Anyscale 負責在後臺執行和最佳化模型。”
精細調整和私有部署的改進
Anyscale 還提供了針對開源 LLM 的精細調整功能，這使得組織能夠定制模型以提高特定任務的效能和質量。這有助於開發更小、更具成本效益的模型，這些模型可以作為較大模型的可行替代方案。同時一些組織不願使用公開可存取的 LLM 來定制訓練和資料時，Anyscale 還推出了私有端點服務，使組織能夠在自己的虛擬私有雲（VPC）內部署 Anyscale Endpoints。私有端點不僅確保了敏感客戶資料和模型不離開公司基礎設施，還提供了深度定制和最佳化的機會。
結語
作為一家基礎設施公司，Anyscale 以其在效能最佳化和基礎設施方面的豐富專業知識為優勢，並將繼續努力提供更快、更便宜的解決方案，以幫助組織更有效地使用 LLM。透過不斷創新和改進，Anyscale 將為組織提供更高效且更具成本效益的 AI 解決方案。
延伸閱讀
- 「Mistral 董事會成員：DeepSeek 無法解決 AI 對 GPU 的饑餓需求！」
- 「薩姆·奧特曼：OpenAI 在開源問題上立場錯誤，未來將如何改變？」
- 「MLCommons 與 Hugging Face 聯手推出龐大語音資料集，助力 AI 研究新境界！」
- 「山姆·奧特曼被逐出 OpenAI，引發科技界熱議與文化變革！」
- OpenAI 發布最新推理模型 o3-mini，科技界又一突破！
- 微軟新成立 AI 影響研究單位，探索科技未來的潛力！
- 深度探索：你必須知道的 AI 聊天機器人應用 DeepSeek！
- 「四月起，Apple Intelligence 將支援更多語言，技術真革命！」
- Google 悄然推出下一代旗艦 AI 模型，科技界即將震撼！
- OpenAI 面臨重大資金籌集：評估價值高達 3400 億美元！
