紐約 Datadog 推出新功能：Bits AI 助手和模型監控解決方案
引言
紐約的 Datadog 是一家提供企業應用和基礎設施的雲端可觀察性服務的公司。在其年度 DASH 會議上，Datadog 宣布推出了新的功能，包括一個運用生成式人工智慧（AI）技術的 AI 助手 Bits 以及一個可以監控大型語言模型（LLMs）行為的端到端解決方案。這些新功能旨在簡化企業團隊的可觀察性工作。不過這些功能當前尚處於測試階段，僅有少數客戶可以使用，將會在後續階段供大眾使用。問題檢測和修復的新方法
在監控應用和基礎設施時，團隊需要處理大量的瑣碎工作，從檢測和排查問題到修復和預防。即使使用了可觀察性工具，這個過程仍然需要篩查來自不同系統的大量資料、檔案和對話。這可能需要花費數小時，甚至數天的時間。 Datadog 的新功能 Bits AI 解決了這個挑戰，它為團隊提供了一個助手，可以透過自然語言命令幫助完成端到端故障管理。Bits AI 可以透過 Datadog 的平臺內的聊天介面進行操作，它學習來自客戶的資料，包括日誌、指標、追蹤和實時使用者交易等訊息，還包括 Confluence 頁面、內部檔案或 Slack 對話等知識來源，並利用這些訊息在對話中提供有關問題的答案、故障排除步驟等。這樣可以提高使用者的工作流程，減少解決問題所需的時間。 Datadog 產品副總裁 Michael Gerstenhaber 告訴 VentureBeat 說：“LLMs 在解釋和生成自然語言方面非常出色，但當前在分析時間序列資料等方面表現不佳，而且通常受限於上下文視窗，這會影響它們處理數十億行日誌輸出的能力。Bits AI 不僅使用統計分析和機器學習等多種技術，還將多年的研發投入 LLM 模型中，以分析資料、預測系統行為、解釋分析結果並生成回應。” Bits AI 使用了 OpenAI 的 LLMs 提供的能力。Bits AI 可以在 Slack 中組織一個線上團隊並自動更新所有相關人員。如果問題在於程式碼層面，Bits AI 可以提供簡明扼要的錯誤解釋並提供建議的程式碼修復方案，使用者只需點選幾下即可應用修復程式碼和進行單元測試。 值得一提的是，Datadog 的競爭對手 New Relic 也推出了一個名為 Grok 的類似 AI 助手。它也使用了簡單的聊天介面，以幫助團隊監控和修復軟體問題等。模型可觀察性工具
除了 Bits AI 之外，Datadog 還透過端到端的模型可觀察性工具擴充套件了其平臺。這個工具可以匯總生成式 AI 應用程式、模型和各種整合的資料，以幫助工程師快速檢測和解決問題。該工具可以監控模型的使用情況、成本和 API 效能，並根據不同的資料特徵（如提示和回應長度、API 延遲和令牌數量）分析模型的行為，檢測出虛假生成和漂移等情況。 Gerstenhaber 拒絕透露使用 LLM 可觀察性工具的企業數量，但他指出，該工具可以將通常由開發人員和機器學習工程師兩個獨立團隊負責的領域結合起來，讓他們可以共同解決操作和模型效能等問題，如延遲、成本上升和模型效能下降等。 然而就算在這個領域，Datadog 也面臨競爭。New Relic 和 Arize AI 都在相同的方向上努力，推出了整合和工具來讓運營和維護 LLMs 更加容易。 展望未來，隨著 LLMs 在企業中的迅速普及，此類監控解決方案有望得到需求。大多數企業今天已經開始使用或計劃使用相應的工具（尤其是來自 OpenAI），以加快關鍵業務功能的執行，例如查詢資料堆疊和最佳化客戶服務等。 Datadog 的 DASH 會議將在今天結束。VentureBeat 的使命是成為技術決策者獲取關於變革型企業技術的知識和交易的數位城鎮廣場。ArtificialIntelligenceorMachineLearning-Datadog,AI 助手,Bits,模型監控解決方案
延伸閱讀
- Opera 推出 AI 助手，讓 Android 使用者輕鬆摘要網頁
- 「花色」正在為解決方案團隊打造 AI 助手
- 萬事達卡推出「Shopping Muse」，AI 智慧購物助手
- 分子科學 VR 新創公司 Nanome 推出 AI 助手 MARA
- AI 助手提升線上對話品質，研究指出
- AI 助手提升工作效率但卻可能風險人類失能化
- 從 AI 助手到影象變靚仔：Meta 的最新 AI 功能
- 從 AI 助手到影象重塑師：Meta 的新 AI 功能
- 【超酷彩蛋曝光】Meta 與 Mr Beast、Paris Hilton 等 27 位巨星合作，打造以 Llama 2 為基礎的名人 AI 助手
- UnitQ 的新 AI 助手從多渠道中提煉出客戶洞察，讓你洞悉一切
