加固生成式人工智慧模型跨企業的防護
背景
近年來企業越來越多地採用生成式人工智慧（Generative AI）。然而他們並未充分考慮到將這種技術納入現有工作流程中所帶來的阻礙和挑戰。根據 KPMG 最近的一項調查，有 90%的企業表示對使用生成式人工智慧的風險有“中等到非常重大”的擔憂，對如何減輕這些風險存有疑慮。同時只有 6%的企業表示他們覺得自己的公司已經有一個成熟的人工智慧治理計劃。正是出於這些原因，Neil Sereybrany 創立了 CalypsoAI，一家開發軟體來在部署之前測試、取證和監控內部開發和第三方人工智慧應用的新創公司。對 CalypsoAI 的看法
CalypsoAI 的平臺可以在安全、可靠的情況下促進使用人工智慧帶來的力量和競爭優勢。這在設定了高標準。顯然投資者相信 CalypsoAI 有能力交付這種平臺。該新創公司今天宣佈完成了由 Paladin Capital Group 領導的一輪 A-1 融資，募集了 2300 萬美元，還有 Lockheed Martin Ventures、Hakluyt Capital 和 Expeditions Fund 參與了這一融資。知名天使投資人也參與了這輪融資，其中包括前 YouTube 執行長 Susan Wojcicki 和她的妹妹、23andMe 的創始人 Anne Wojcicki。到當前為止，CalypsoAI 已經籌集了 3820 萬美元的資金。CalypsoAI 的產品和用途
CalypsoAI 聲稱他們的工具部署為組織基礎架構中的容器，允許企業透過顯示與模型有關的有毒性、使用者參與度等統計資料的儀表板來監控和塑造大型語言模型（例如 ChatGPT）的使用情況。Sereybrany 表示 CalypsoAI 可以防止敏感公司資料被分享到模型中，同時識別來自生成式人工智慧工具的攻擊。Sereybrany 補充道：“雖然每家公司都希望獲得生成式人工智慧解決方案的益處——尤其是明顯的生產力提升——但他們也希望確保自己不受到網路攻擊，員工不會將敏感訊息暴露給公共模型。透過實施 CalypsoAI，首席訊息安全官和 IT 領導者可以開始嚴肅考慮在他們的組織中安全且可靠地實施生成式人工智慧解決方案，從而在業務中引入高效率而不增加風險。”市場和競爭狀況
企業界對生成式人工智慧防護解決方案的需求肯定存在。出於對員工意外洩露專有訊息的擔憂，包括蘋果、JPMorgan Chase 和 Verizon 在內的公司已經禁止或約束在內部使用類似 ChatGPT 的工具。這些公司中的許多也對生成式人工智慧的毒性和誤導問題持保留態度，即使是當前最好的模型仍然存在這些問題。考慮到可覆蓋市場的巨大潛力，業界已經開始針對這一需求進行相應的產品開發。微軟提供 Azure OpenAI 服務，該服務在 OpenAI 的生成式人工智慧模型（包括 ChatGPT）上提供治理和合規能力。此外 Salesforce 最近推出了 Einstein Trust Layer，該產品旨在防止文字生成模型保留敏感資料。然而這些防護措施在實際應用中是否有效仍不確保。最近，研究人員發現了 Nvidia 的 NeMo Guardrails 工具包中的缺陷，該工具包旨在提高 AI 應用的準確性和安全性，這些缺陷使工具包的保護措施可以被繞過。對 CalypsoAI 安全性的質疑和展望
儘管不盡然取之於他，Sereybrany 堅稱 CalypsoAI 的產品對攻擊是堅固的。同時他強調 CalypsoAI 不會儲存客戶任何資料，而只會促進企業員工將訊息流入他們所選擇的模型中。“在企業中保護大型語言模型已經變得至關重要，這也促使 CalypsoAI 調整策略以滿足企業組織對使用人工智慧解決方案的需求。”Sereybrany 說。“隨著許多企業尋求安全地使用生成式人工智慧解決方案推動業務發展，CalypsoAI 對我們能夠開發出最好的產品並吸引最佳人才來保護企業組織感到信心。”他表示 CalypsoAI 將利用最新一輪融資的資金來推動產品開發、招聘和公司的市場推廣計劃。CalypsoAI 當前有 35 名員工，並最近在都柏林開設了一個辦公室，這是該公司未來兩年內將員工總數翻倍的計劃的一部分。社論與建議
在生成式人工智慧的發展過程中，對於保護資料安全和防止濫用的需求日益迫切。CalypsoAI 的平臺提供了一種解決方案，可以幫助企業監控和塑造大型語言模型的使用情況，並防止敏感資料的泄露。然而同行業中的其他公司也在開發類似的產品，市場競爭激烈。因此企業在選擇合適的生成式人工智慧防護解決方案時需要謹慎考慮。 對於企業而言，引入生成式人工智慧帶來的潛在效益是不容忽視的，但同時必須注意資料安全和保護的問題。在考慮採用人工智慧解決方案之前，企業應該嚴格評估供應商的能力，瞭解其解決方案如何保護資料安全。此外企業還應該制定完善的 AI 治理計劃，確保生成式人工智慧技術的使用受到適當的監督和管理。保護敏感資料、培訓人員使用生成式人工智慧技術的最佳實踐以及建立反駭客機制都應該是企業治理計劃的一部分。 此外政府和監管機構也應該關注生成式人工智慧的發展，確保該技術的應用不會對社會造成負面影響。政府可以制定相應的法律法規，加固對生成式人工智慧技術的監管，推動企業遵守最佳實踐和相關規範。同時政府還可以支援研究和發展活動，推動生成式人工智慧的技術進步與應用，同時加固對相關風險和挑戰的研究。結論
CalypsoAI 在生成式人工智慧防護領域進一步推進了技術的發展。可以預見，隨著企業對生成式人工智慧技術的需求日益增加，這一領域將繼續吸引更多的投資和創新。然而保護資料安全和防止濫用的挑戰將始終存在，相關利益方應秉持謹慎態度，確保生成式人工智慧的應用在安全可靠的前提下推進。同時政府和監管機構也應跟進相關發展，加固監管力度，推動生成式人工智慧舞臺的可持續發展。Unsplash gallery keyword: Artificial Intelligence-wordpresstagnamesCalypsoAI,生成式人工智慧模型,安全網路,籌集資金,人工智慧,技術新聞
延伸閱讀
- AI 蓬勃發展，馬斯克對抗機械革命
- OpenAI 成立團隊控制「超智慧」AI，卻任憑其枯萎——訊息來源指出
- 開放 AI 與 Reddit 資料簽署合約，訓練人工智慧
- 智慧錢包 Kudos 獲得 1000 萬美元投資，研發 AI 功能挑選最佳信用卡
- 索尼音樂警告科技公司避免未經授權使用其內容訓練人工智慧
- Strava 啟用人工智慧防篡改排行榜，推出「家庭」計畫、深色模式等
- 參議院研究建議：每年至少撥款 320 億美元用於人工智慧計劃
- Google I/O 盛會 AI 領域的重大訊息
- Google 掃描通話的人工智慧或增加預設審查，隱私專家發出警告
- Google Maps 將於今年晚些時候推出地理空間增強實境內容
