Cloudflare 推出新的 AI 工具，協助客戶部署和執行模型
背景
最近，雲服務提供商 Cloudflare 推出了一系列新產品和應用，旨在幫助客戶在網路邊緣構建、部署和執行 AI 模型。這些新的產品和應用旨在簡化並降低 AI 管理的成本，以滿足客戶對簡單、易於使用的 AI 解決方案的需求。
新產品介紹
這些新產品包括：
- Workers AI：讓客戶根據按需付費的方式，使用由 Cloudflare 合作夥伴提供的就近託管的 GPU 執行 AI 模型。
- Vectorize：提供一個向量資料庫，用於儲存 AI 模型生成的資料的數學表示。
- AI Gateway：提供度量，以幫助客戶更好地管理執行 AI 應用的成本。
功能和優勢
Workers AI 確保 AI 推論始終在靠近使用者的 GPU 上進行，以提供低延遲的使用者體驗。Vectorize 旨在為客戶儲存 AI 模型的向量嵌入提供一個資料庫。AI Gateway 提供了觀察功能，以追蹤 AI 流量，並提供了一些減少成本的功能，如快取和速率約束。
使用案例
Workers AI 可以選擇自目錄中的模型，如大型語言模型（LLMs）、自動語音識別模型、影象分類器和情感分析模型。Vectorize 可用於儲存 Workers AI 生成的向量嵌入，也可以用於儲存來自第三方模型的嵌入。AI Gateway 則提供了許多度量，幫助追蹤模型推理請求的數量、持續時間、使用模型的使用者數量以及執行 AI 應用的整體成本。
Cloudflare 和合作夥伴
AI 新創公司 Hugging Face 和 Databricks 成為了 Workers AI 的合作夥伴。Hugging Face 將最佳化其生成式模型以在 Workers AI 上執行，而 Databricks 則將透過 MLflow 將 AI 推論引入到 Workers AI 平臺。Cloudflare 將成為第一個無服務 GPU 合作夥伴，為部署 Hugging Face 模型提供支援。此外由於 Cloudflare 在全球範圍內擁有的網路，Vectorize 可實現更靠近使用者的資料庫查詢，從而降低延遲和推理時間。
評論和展望
Cloudflare 的 CEO Matthew Prince 表示推出這一新的 AI 產品套件的動機來自於客戶對簡單、易於使用的 AI 管理解決方案的強烈需求。他指出，當前市場上的產品往往很複雜，需要整合很多新的供應商，且成本飛速上升。Cloudflare 希望透過提供簡化的解決方案，幫助開發者解決這些挑戰。
然而與 AI 相關的技術仍然存在一些困難和挑戰。首先 AI 推理需要大量的計算能力和電池電源，裝置本身可能無法滿足這些需求。其次傳統的集中式雲服務往往與終端使用者的地理位置相距較遠，這對於希望不將資料傳送出國或法律上不允許傳送資料出國的企業而言可能是一個問題。
結論
Cloudflare 的新 AI 工具將為客戶提供一個更簡單、易於使用的 AI 管理解決方案。這一工具套件包括 Workers AI、Vectorize 和 AI Gateway，旨在幫助客戶部署、執行和管理 AI 模型。各個工具具有不同的功能和優勢，可以滿足客戶在 AI 應用方面的不同需求。
不過 AI 技術還面臨一些挑戰，包括計算能力、資料隱私和地理約束等問題。雖然 Cloudflare 的解決方案提供了一些優勢，例如就近的推理和快速的資料庫查詢，但仍需要更多的努力和創新來解決這些問題。
延伸閱讀
- Meta 推出的 AI 工具現在能夠創造全新的影象，而非僅僅是更換背景
- 微軟禁止美國警方使用企業 AI 工具進行臉部辨識
- Plaid 迎來 Cloudflare 出身的新任總裁，具有 IPO 經驗
- AWS re:Invent：亞馬遜宣佈的所有新訊息，從新的 AI 工具到 LLM 更新等
- Luminar Neo 帶給愛好攝影師神奇生成 AI 工具
- AI 工具包括 ChatGPT，研究人員證實可以操控並生成惡意程式碼
- Meta 擴充套件生成式 AI 工具，提升廣告效果！
- AI 推動的工具輕鬆個人化 3D 列印模型
- 新 AI 驅動的工具簡化實驗程式
- 沃爾瑪實驗新的生成式 AI 工具，協助你計劃派對或裝飾空間
