Cloudflare 公司透過 AI 平臺升級解決快速推斷的挑戰
背景
Cloudflare 公司是一家成立於 2009 年的全球分散式平臺，一直在不斷擴充其能力，以支援組織的大規模應用程式部署和安全保障。隨著各種規模的組織越來越需要部署 AI 模型，平臺支援變得迫切。因此 Cloudflare 宣布了一系列的 AI 平臺更新，希望解決快速推斷的挑戰。
新功能與合作夥伴
Cloudflare 的新功能「Workers AI 服務」，為在全球範圍內傳送 AI 推斷模型提供了無伺服器的能力。除了模型部署之外，監管和可觀察性也非常重要。此時，Cloudflare 推出的「AI 閘道器」應運而生。此外 Cloudflare 還透過與 Hugging Face 和 Microsoft 的合作，擴充套件了其 AI 服務。
Hugging Face 現在與 Cloudflare 合作，使模型能夠輕鬆部署到新的 Workers AI 平臺上。與 Microsoft 的合作旨在提供 AI 推斷所需的執行時模型。
根據 VentureBeat 的報導，Cloudflare 的全球網路執行一直是他們的"祕密武器"之一，該報導提到 Cloudflare CTO John Graham-Cumming 表示:"我們在執行一個龐大的全球網路方面非常擅長，我們的優勢之一就是將資料、程式碼和流量放在合適的地方。"這表明 Cloudflare 會透過在全球範圍內部署 GPU 和 AI 最佳化的 CPU，使用 Workers AI 向全球各地節點部署 AI 模型。根據具體的 AI 工作負載要求，Cloudflare 會確保最適合的硬體，無論是 CPU 還是特定型別的 GPU。
價值與挑戰
Cloudflare 的 Workers AI 可以幫助開發人員在全球範圍內執行 AI 推斷模型，從而滿足了大範圍的需求。根據報導，這些需求可能包括影象識別和預測分析等任務。
對於想要擴充套件 AI 部署的組織來說能夠輕鬆實現全球部署固然很重要，但同樣重要的是對部署情況有洞察力。Cloudflare 的新功能「AI 閘道器」可以方便地部署在 AI 應用程式前方，提供管理、監視和控制應用程式使用的工具。這一閘道器還可以作為開發人員的正向代理使用，存取到並管理 AI 應用程式的使用，同時提供存取統計和 API 權杖的可見性。AI 閘道器處理着可觀察性、快取和速率約束等功能，以幫助擴充套件 AI 應用程式。
Cloudflare 的新的向量化資料庫 "Vectorize" 用於儲存嵌入和其他向量化資料。這樣的資料庫對於 AI 應用程式來說往往是一個約束，而 Vectorize 的目標是在 Workers AI 中將資料分佈在更接近推斷需求的地方。
然而 Cloudflare 全面支援 AI 平臺的努力仍然在進行中。Graham-Cumming 表示當前的 AI 需求相當巨大。對於 Cloudflare 來說特別具有挑戰性的，是在其擁有超過 300 個城市的大規模全球網路上部署合適的 GPU 硬體。他表示 Cloudflare 將會在全球範圍內部署硬體，並表示："這是一個需要進行物流工作的投入專案，我們將很快在很多地方展開活動。"
結語與觀點
AI 技術的迅速普及對於現今企業和組織來說已經成為不可或缺的要素之一。AI 模型的快速部署和推斷是實現 AI 技術價值的重要一環。Cloudflare 透過新的 AI 平臺升級解決了這一挑戰，提供了全球範圍的 AI 模型部署和監管的解決方案。
此外與 Hugging Face 和 Microsoft 等合作夥伴的合作，擴充套件了 Cloudflare 的 AI 服務。Cloudflare 的全球網路和 "Workers AI" 平臺提供了 AI 推斷模型執行的基礎設施。這將為組織提供更大的靈活性和可擴充套件性，同時也為開發人員提供了較低的成本和更高的效能。
然而隨著 AI 技術的普及，組織也需要意識到相關的倫理和監管問題。Cloudflare 的 "AI 閘道器" 可以提供對 AI 應用部署的洞察力和控制，這將有助於確保組織在 AI 技術應用中遵守相應的法律和道德準則。此外 Cloudflare 的 "Vectorize" 向量化資料庫提供了一個方便和高效的方式來處理 AI 應用程式需要的向量化資料。
總結來說 Cloudflare 透過不斷擴充其平臺功能和與合作夥伴的合作，致力於提供全球範圍內的 AI 解決方案。然而就像 Graham-Cumming 所說，AI 需求相當巨大，部署適合的硬體仍然具有挑戰性。然而這一挑戰也為 Cloudflare 提供了機會在全球範圍內擴充套件其業務和影響力。
延伸閱讀
- Nvidia 攜手人形機器人頂尖品牌打造全新 AI 平臺「GR00T」
- Inkitt 完成 37 百萬美元融資，AI 自助出版平臺將打破書籍市場
- Plaid 迎來 Cloudflare 出身的新任總裁，具有 IPO 經驗
- Cloudflare 推出全新 AI 工具協助顧客部署與執行模型
- SambaNova 發布新的 AI 晶片，提供全套 AI 平臺動力
- 以 1.4 億美元投資，EY 推出 AI 平臺和 LLM
- Causaly, AI 平臺專注於藥物發現和生物醫學研究，完成 6000 萬美元融資
- 雲端捕獲！Cloudflare 推出觀察感知工具，提升網頁監控能力
- Cloudflare 創始人將在 Disrupt 的 SaaS 舞臺上討論增長、市場變革等話題
- Skillprint 推出 AdaptivePlay AI 平臺私密測試版，實現遊戲動態個性化
