Kong 推出開源 AI Gateway，讓應用程式更易建立多語言模型
作者：
日期：今天
導言
Kong 是一家 API 公司，今天推出了它的開源 AI Gateway，這是其現有 API 閘道器的擴充套件，允許開發人員和運營團隊將其應用程式與一個或多個大型語言模型（LLMs）進行整合，並透過單一 API 存取它們。此外 Kong 還推出了幾個 AI 特定功能，包括提示工程、憑證管理等。
AI Gateway 的特色
Kong 的聯合創始人兼 CTO Marco Palladino 表示“我們認為 AI 是 API 的一個附加使用案例。API 由使用案例驅動：移動、微服務，AI 剛好是最新的使用案例。當我們觀察 AI 時，我們實際上在觀察到處的 API。當涉及到使用 AI 時，我們正在關注消費 AI 的 API，我們在調整 AI 時也使用 API，甚至 AI 本身。【...】所以，AI 越多，世界上的 API 使用就會越多。” Palladino 認為，幾乎每個組織都在考慮如何使用 AI，但他們也害怕洩露資料。然而他相信這些公司最終會希望在本地執行其模型，並可能將雲作為後備。然而當前這些公司還需要找出如何管理存取基於雲的模型的憑證，控制和記錄流量，管理配額等。因此他們希望透過他們的 API 閘道器，讓開發人員能夠更有效地在 AI 上進行開發，能夠使用他們的閘道器消費一個或多個 LLM 提供商的服務，而不必更改他們的程式碼。
AI Gateway 的應用
Kong 團隊提出，大多數其他 API 提供商當前正以與其他 API 相同的方式管理 AI API。然而透過在現有 API 之上增加這些額外的 AI 特定功能，Kong 團隊相信可以啟用新的使用案例（或者至少使現有的使用案例更容易實珵）。開發人員可以使用新的 AI Gateway 中的 AI 響應和請求轉換器，即時改變提示和其結果，例如自動翻譯它們或刪除個人可識別訊息。而提示工程也深度整合到閘道器中，使企業能夠在這些模型之上強制執行其準則。這還意味著有一個管理這些準則和提示的中心點。
總結
Kong Gateway 自推出已有將近 9 年的時間，現在成為了公司平臺的核心，也是推動新 AI Gateway 的動力。當前 Kong 的現有使用者只需要升級其當前的安裝，即可獲得所有新的 AI 功能。當前這些新的 AI 功能是免費提供的。隨著時間的推移，Kong 希望推出付費的高級功能，但團隊強調這不是當前版本的目標。
延伸閱讀
- RPA 供應商如何在 AI 代理人世界保持競爭力
- 元 AI 測試：未能彰顯自身價值，但免費就是免費
- Google 推出新功能“口語練習”，利用人工智慧幫助使用者提高英文能力
- 科技巨頭 xAI 競爭開放人工智慧，吸金 60 億美元。推動社交網路 X 成為股東
- Xaira：AI 藥物發現新創公司以 10 億美元巨額啟動，宣稱已準備好開展藥物開發
- Rabbit 宣布推出一個迷人的小型 AI 裝置：R1
- Perplexity AI 可能價值高達 30 億美元，原因在於…
- 拜登簽署法案，如果位元組跳動未能出售 TikTok 將禁用該應用
- 基於人工智慧時代，Anon 正在打造自動化認證層 - 技術新聞
- Snowflake 推出自家旗艦生成式人工智慧模型
