生成式人工智慧引發的新安全挑戰
引言
生成式人工智慧（LLM）和生成式人工智慧技術的快速發展對安全團隊提出了新的挑戰。透過創造新的資料存取方式，生成式人工智慧不符合傳統安全範式，傳統安全範式主要關注防止資料流向非授權人員。為了讓組織能夠迅速運用生成式人工智慧技術而不引入不必要的風險，安全提供商需要更新他們的程式，考慮到新風險的型別以及這些風險對現有程式的壓力。
無法信任的中介：新的潛在隱私風險
整個行業正在建立和擴充套件基於 LLMs 在 OpenAI、Hugging Face 和 Anthropic 等服務上的平臺。此外還有一些公開的模型，如 Meta 的 LLaMA 和 OpenAI 的 GPT-2。獲取這些模型可以幫助組織內的員工解決業務挑戰。但由於各種原因，並不是每個人都有機會直接存取這些模型。相反，員工經常尋找能夠輕鬆使用這些模型的工具，例如瀏覽器擴充套件、SaaS 生產力應用、Slack 應用程式和付費 API 等。而這些中介很快成為新的隱蔽 IT 的來源。使用 Chrome 擴充套件撰寫更好的銷售郵件並不像使用供應商的產品，它看起來更像是一種工作效能提升。許多員工並不明顯地意識到，他們透過與第三方分享所有這些訊息而引入了重要敏感資料的泄漏，即使您的組織對底層模型和提供方本身感到滿意。
跨越安全邊界的培訓
這種型別的風險對大多陣列織來說相對較新。這種風險涉及三個潛在的邊界：
- 基礎模型的使用者之間的邊界
- 在基礎模型之上進行偵錯的公司客戶之間的邊界
- 具有不同資料存取許可權的組織內使用者之間的邊界
在這些情況下，關鍵問題是理解哪些資料進入模型中。只有擁有訓練資料或偵錯資料的人才能存取生成的模型。例如，假設一個組織使用一個產品，該產品使用其生產力套件的內容來偵錯 LLM。這個工具如何確保我不能使用該模型檢索最初從我未被授權存取的檔案中源自的訊息？此外當我最初的存取許可權被撤銷後，它如何更新這個機制？這些都是有解決方法的問題，但它們需要特殊的考慮。
隱私侵犯：使用人工智慧和個人識別訊息（PII）
儘管隱私考慮並不新鮮，但使用生成式人工智慧工具處理個人訊息會使這些問題變得更加複雜。在許多司法管轄區，自動處理個人訊息以分析或預測該個人某些方面是受到法律監管的。使用人工智慧工具可以使這些流程變得更加細緻，並且更難以符合像提供選擇退出這類要求等要求。另一個考慮因素是如何在使用個人訊息進行模型訓練或偵錯時影響您履行刪除請求、約束資料再利用、資料居留地和其他有挑戰性的隱私和監管要求的能力。
調整安全程式以應對人工智慧風險
供應商安全、企業安全和產品安全面臨著生成式人工智慧引入的新型別風險。每個程式都需要適應以有效管理風險。下面是相應的方法：
供應商安全：像對待其他供應商的工具一樣對待人工智慧工具
在著手處理生成式人工智慧工具的供應商安全時，最初的起點是對待這些工具和您從其他供應商那裡採用的工具一樣。確保它們符合您對安全和隱私的一般要求。您的目標是確保它們將成為您資料的可靠保管人。考慮到這些工具的新穎性，您的許多供應商可能在使用這些工具時並不是最負責任的。因此您應該將相關注意事項納入您的盡職調查流程中。例如，您可以在標準問卷中新增相關問題，例如：
- 我們公司提供的資料將用於培訓或偵錯機器學習（ML）模型嗎？
- 這些模型將如何託管和部署？
- 您如何確保使用我們的資料訓練或偵錯的模型只能由我們組織內並且具有存取許可權的人員存取？
- 您如何解決生成式人工智慧模型中的幻覺問題？
您的盡職調查可能採取其他形式，我相信許多標準的合規框架（如 SOC 2 和 ISO 27001）將在未來的版本中建立相關控制措施。現在是開始考慮這些問題並確保您的供應商也考慮這些問題的正確時機。
企業安全：設定正確的期望值
每個組織在易用性和摩擦之間取得平衡的方式都是不同的。您的組織可能已經在 SaaS 環境中實施了嚴格的瀏覽器擴充套件和 OAuth 應用程式控制。現在是檢查您的方法的好時機，以確保它仍然保持著適當的平衡。不受信任的中介應用程式通常採用易於安裝的瀏覽器擴充套件或 OAuth 應用程式形式，用於存取您現有的 SaaS 應用程式。這些是可以觀察和控制的向量。員工使用將客戶資料傳送到未經批準的第三方的工具的風險特別突出，尤其現在這些工具透過生成式人工智慧技術提供了令人印象深刻的解決方案。除了技術控制之外，重要的是與您的員工設定期望並假設個體的善意。確保您的同事知道在使用這些工具時什麼是合適的，什麼是不合適的。與您的法律和隱私團隊合作制定正式的員工人工智慧政策。
產品安全：透明度建立信任
產品安全的最大變化是確保您不成為客戶不信任的中介。在產品中清楚地說明您如何使用客戶的資料以及生成式人工智慧技術。透明度是建立信任的第一個和最強大的工具。您的產品還應該尊重客戶所期待的安全邊界。不要讓個體存取他們無法直接存取的資料所訓練的模型。未來可能會有更多基於細粒度授權策略的主流技術應用於模型存取，但我們現在仍處於這場巨大變革的早期。快速工程和即時注入是令人着迷的攻擊性安全新領域，您不希望您對這些模型的使用成為安全漏洞的源頭。為您的客戶提供選擇，讓他們根據自己的意願選擇是否使用您的生成式人工智慧功能。這讓他們能夠選擇他們希望如何使用他們的資料。最重要的是，不要阻礙進步。如果這些工具能夠使您的公司更成功，那麼由於恐懼和懷疑而避免使用它們可能比潛入其中更具風險。
結論
生成式人工智慧的迅速發展帶來了新的安全挑戰，對供應商安全、企業安全和產品安全提出了要求。透過適當的供應商安全程式、合適的企業安全期望和建立信任的產品安全手段，組織可以有效應對這些挑戰。然而重要的是確保適應進步的同時也保護資料和隱私。生成式人工智慧應該被視為一個潛力巨大的工具，但在使用這些工具時要謹慎並考慮相關的道德和法律問題。只有透過不斷的自省和提升正確的安全意識，才能充分利用生成式人工智慧技術帶來的潛力。
原文來源：VentureBeat
延伸閱讀
- 「李氏企業遭駭客攻擊，自由工作者與承包商支付危機！」
- 駭客攻擊澳洲 IVF 供應商 Genea，敏感病患資料遭公佈！
- 安索夫科技 CEO 批評 DeepSeek：生物武器資料安全測試中的最差表現！
- OpenAI 宣布在歐洲推出資料居留服務，資料安全新時代來臨！
- 英國工程業又遭重創：IMI 成為最新駭客目標！
- WhatsApp 破獲針對記者的駭客攻擊行動！揭露 Paragon 間諜軟體真相
- 「PowerSchool 資料洩露真相揭祕：受害者如何聯手調查這場毀滅性駭客攻擊」
- 「資料經紀商洩漏海量位置資料，數百萬人的隱私岌岌可危！」
- 「資料經紀人的位置資料洩露危機：數百萬人的隱私顯示危險！」
- 英國域名巨頭 Nominet 確認遭遇網路安全事件，與 Ivanti VPN 駭客攻擊有關！
