WhyLabs 推出 LangKit：保障語言模型的安全性
背景
WhyLabs 是一家位於西雅圖的新創公司，提供 AI 和資料應用的監控工具。最近，他們宣布推出了 LangKit，這是一種開源技術，幫助企業監控和保護大型語言模型（LLMs）。LangKit 可以幫助使用者檢測和預防 LLMs 中的風險和問題，例如有害語言、資料洩露、幻覺和破解。
核心功能
LangKit 提供了多種指標，包括情感分析、有害性檢測、主題提取、文字質量評估、個人身份訊息（PII）檢測和破解檢測。這些指標可以幫助使用者取證和保護單個提示和回應，評估 LLM 行為與政策的一致性，監控 LLM 應用內的使用者互動以及在不同的 LLM 和提示版本之間進行 A/B 測試。
易於使用和個性化
WhyLabs 的創始人兼執行長 Alessya Visnjic 表示 LangKit 相對易於使用，可以與多個流行的平臺和框架整合，包括 OpenAI GPT-4、Hugging Face Transformers、AWS Boto3 等。使用者只需幾行 Python 程式碼就可以開始使用這個平臺，隨時跟蹤指標並設定警報和防範措施。使用者還可以根據自己的模型和指標自定義和擴充套件 LangKit 以適應其特定的使用情況。
市場發展與前景
Visnjic 表示 LangKit 是根據 WhyLabs 客戶的反饋和合作開發的，這些客戶包括來自各個行業的財富 100 公司和 AI 初創企業。LangKit 幫助這些客戶在生產環境中對 LLMs 進行可見性和控制。早期使用者稱讚了這個解決方案的開箱即用的指標、易用性和即插即用能力，尤其是對於受規範行業的利益相關方來說 LangKit 為語言模型提供了易於理解的洞察，使技術更易於討論。
專為企業而設的模型監控
LangKit 專為需要追蹤 LLM 行為和效能的高通量、實時和自動化系統設計。不同於常用的基於嵌入的 LLM 監控和評估方法，LangKit 使用了基於指標的方法，更適合可擴充套件和操作型的用例。這種方法對於高通量生產系統來說非常適用，使用者需要研究的是何種訊號需要追蹤或潛在地有一個非常廣泛的訊號範圍。然後，使用者希望這些指標可以被提取出來形成某種基準，並且希望可以透過自動化監控這些指標的變化。
結論
在快速發展的 AI 領域中，保護和監控語言模型的安全性和可靠性至關重要。WhyLabs 的推出 LangKit 無疑是一個很好的解決方案，它為企業提供了監控和保護 LLMs 的工具，從而能夠及時發現問題並保護使用者。隨著 AI 在各個行業的應用越來越廣泛，LangKit 有望成為企業監控語言模型的標準工具之一。
