英偉達釋出 Nvidia NIM 微服務平臺
新軟體平臺加速 AI 模型部署至生產環境
Nvidia 在其 GTC 大會上宣布推出 Nvidia NIM，這是一個旨在加速自定義和預訓練 AI 模型部署至生產環境的新軟體平臺。NIM 將 Nvidia 已經完成的推論和模型最佳化工作結合在一起，使其易於存取，並將給定的模型與最佳化的推論引擎相結合，並將其打包成一個容器，使其作為微服務可供使用。Nvidia 表示通常開發人員需要數週，甚至數月的時間才能釋出類似的容器，如果公司甚至擁有內部 AI 人才的話。Nvidia 明顯地旨在建立一個 AI-ready 容器生態系統，並將這些精心策劃的微服務作為核心軟體層，以加快企業的 AI 發展。對 Nvidia NIM 的重要性
Nvidia NIM 的推出對於 AI 應用的推動有著重要的意義。這將大大簡化 AI 模型的部署過程，同時使公司無需擁有大量的 AI 專業人才即可快速部署自定義和預訓練的模型。這對於許多企業來說是一個重大的好訊息，因為他們能夠更快地實現 AI 應用，提升產品和服務的競爭力。NIM 當前的功能與支援
當前 NIM 包括來自 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型支援以及來自 Google、Hugging Face、Meta、Microsoft、Mistral AI 和 Stability AI 的開源模型支援。此外 Nvidia 正在與亞馬遜、Google 和微軟合作，將這些 NIM 微服務進行整合，並且將它們可在 SageMaker、Kubernetes Engine 和 Azure AI 上使用。它們還將被整合到 Deepset、LangChain 和 LlamaIndex 等框架中。 更為重要的是，NIM 的微服務將包括 Riva（用於定制語音和翻譯模型）、cuOpt（用於路由最佳化）以及 Earth-2 模型（用於天氣和氣候模擬）。公司計劃隨著時間的推移新增額外的功能，例如使 Nvidia RAG LLM operator 作為 NIM 可用，這有望使構建引入自定義資料的生成式 AI 聊天機器人變得更加容易。面向未來的思考
Nvidia NIM 的推出標誌著最佳化 AI 推論應用的一個重要裏程碑，同時也凸顯出 AI 技術不斷演進的特點。AI 模型的最佳化和部署過程將會更為高效且普及，這將為各行各業帶來更具競爭力的 AI 應用，也將有助於促進 AI 技術的推廣和應用。合作夥伴和客戶的見證
NIM 當前的使用者包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 等知名企業，這顯示了 NIM 對於跨行業的吸引力和價值。Jensen Huang，英偉達的創始人兼 CEO 表示：「已建立的企業平臺擁有大量可轉化為生成式 AI 助手的資料。這些經由合作夥伴生產的集容器化 AI 微服務，將成為各行業企業成為 AI 公司的基本構建塊。」結語
Nvidia NIM 的推出將推動 AI 應用的快速發展和部署，對於企業和開發人員來說是一個重要的進步。這也呼籲著 AI 技術的發展過程中，如何更好地整合軟硬體資源以及如何加速 AI 應用的部署，以滿足不斷增長的市場需求。ArtificialIntelligence-英偉達,微服務,最佳化,推論應用
延伸閱讀
- 英偉達和高通加入開源機器人聯盟支援 ROS 開發
- 英偉達 CEO 呼籲企業應將注意力轉向「AI 工廠」而非資料中心
- 英偉達在 GTC 的主題演講帶來了一些驚喜
- 最佳化 iPhone 相簿！MacPaw 新應用助你輕鬆清理多餘照片
- 微服務管控平臺 Orkes 完成 2,000 萬美元 A 輪融資
- 逆可逆神經網路工具助力最佳化機翼設計
- AI 基於資料中心最佳化初創 MangoBoost 籌集 5500 萬美元 A 輪融資
- YouTube 全面最佳化新聞介面，加固推廣「可靠」訊息來源
- 英偉達將 RTX GPU 引進 Windows PC，實現 AI 處理
- DeepMind 發現 AI 大型語言模型能夠最佳化自身提示
