新挑戰：大型語言模型和生成式人工智慧帶來的資料安全風險
導言
近年來大型語言模型（LLMs）和生成式人工智慧（gen AI）迅速崛起，給安全團隊帶來了新的挑戰。創造新的資料存取方式，讓傳統的資料安全範式無法有效防止資料被不應該擁有的人取得。為了讓組織在使用 gen AI 時能夠快速推進，而不引入不必要的風險，安全提供商需要更新其程式，考慮到新的風險型別以及它們對現有程式的壓力。不受信任的中間人：新的影子 IT 來源
本節提到了一個正在建立和擴充套件的整個行業，這個行業是建立在 OpenAI、Hugging Face 和 Anthropic 等服務託管的 LLMs 之上的。此外還有一些開源模型，例如 Meta 的 LLaMA 和 OpenAI 的 GPT-2。許多組織的員工希望能夠使用這些模型來解決業務挑戰，但由於各種原因，並非每個人都能直接存取這些模型。相反，員工們通常尋找工具，例如瀏覽器擴充套件、SaaS 效率應用、Slack 應用程式和付費 API，承諾提供模型的簡便使用。這些中間人迅速成為新興的影子 IT 來源。然而對許多員工來說使用 Chrome 擴充套件程式來撰寫更好的銷售郵件並不像使用供應商一樣，它更像是提高生產效率的小技巧。許多員工並不清楚，即使您的組織對基礎模型和提供者本身感到舒適，但他們透過與第三方分享所有這些訊息，可能會引入重要敏感資料的洩露。跨安全邊界的培訓
這種風險對大多陣列織來說是相對較新的。這種風險涉及到三種可能的邊界： - 基礎模型的使用者之間的邊界 - 在基礎模型上進行微調的公司的客戶之間的邊界 - 在組織內部具有不同資料存取許可權的使用者之間的邊界 在這些情況下，關鍵問題是理解哪些資料進入模型。只有具有培訓或微調資料存取許可權的人才能存取結果模型。舉個例子，假設一家組織使用一個產品，該產品利用其生產力套件中的內容對 LLM 進行微調。那麼，這個工具如何確保我不能使用該模型來檢索我沒有許可權存取的檔案中的訊息？此外當我最初的存取許可權被撤銷後，它如何更新這個機制？這些問題是可以解決的，但需要特別關注。隱私侵犯：使用人工智慧和個人身份訊息
雖然隱私考慮並不新鮮，但使用包含個人身份訊息的 gen AI 工具可能使這些問題變得尤其棘手。在許多司法管轄區，為了分析或預測某個人的特定方面，自動處理個人訊息是受到監管的活動。使用人工智慧工具可以為這些流程增加細微區別，並使遵守要求（例如提供選擇退出的選項）變得更加困難。另一個考慮因素是在個人訊息上進行模型訓練或微調可能會影響您履行刪除請求、約束資料再利用、資料儲存位置等具有挑戰性的隱私和監管要求的能力。調整安全程式以應對 AI 風險
供應商安全、企業安全和產品安全在 gen AI 帶來的新風險方面面臨特別大的壓力。每個計畫都需要適應以有效地管理風險。以下是各個計畫應該考慮的方向。供應商安全：將 AI 工具視為其他供應商的工具
當涉及到 gen AI 工具時，供應商安全的起點是將這些工具視為您從其他供應商採用的工具一樣對待。確保它們符合您對安全和隱私的期望。您的目標是確保它們成為您資料的可信保護者。鑑於這些工具的新穎性，您的許多供應商可能正在以不夠負責任的方式使用它們。因此您應該在盡職調查程式中加入相關考慮因素。例如，您可以在標準問卷中新增一些問題，例如： - 我們公司提供的資料將用於培訓或微調機器學習模型嗎？ - 這些模型將如何被託管和部署？ - 您將如何確保使用我們的資料進行培訓或微調的模型僅對那些同時在我們組織內並具有存取許可權的人員可存取？ - 您如何處理 gen AI 模型出現幻覺的問題？ 您的盡職調查可能採取其他形式，我相信許多標準合規框架，如 SOC 2 和 ISO 27001，將在其未來版本中提供相關的控制措施。現在是開始考慮這些問題並確保您的供應商也考慮到這些問題的時間。企業安全：設定適當的期望值
每個組織在摩擦和可用性之間的平衡方面都有自己的方法。您的組織可能已經在 SaaS 環境中實施了嚴格的控制，例如對瀏覽器擴充套件程式和 OAuth 應用程式的控制。現在是檢查您的方法，以確保它仍然達到適當的平衡的好時機。 不受信任的中間人應用通常採用易於安裝的瀏覽器擴充套件程式或 OAuth 應用程式的形式，這些應用程式與您現有的 SaaS 應用程式相連。這些都是可以察覺並受控制的向量。員工使用將客戶資料傳送到未經批準的第三方的工具的風險在現在尤為嚴重，因為這些工具中的許多都提供使用 gen AI 技術的令人印象深刻的解決方案。除了技術控制外，重要的是與您的員工設定期望值並假設他們有好意。確保您的同事知道在使用這些工具時什麼是適當的，什麼是不適當的。與您的法律和隱私團隊合作，制定一份正式的員工人工智慧政策。產品安全：透明度建立信任
產品安全面臨的最大變化是確保自己不成為客戶不信任的中間人。在產品中明確說明您如何使用客戶資料與 gen AI 技術。透明度是建立信任的第一個和最有力的工具。您的產品還應該遵守客戶期望的相同安全邊界。不要讓個人存取他們無法直接存取的資料的模型。未來可能會有更多主流技術來應用細粒度的授權策略來存取模型，但我們仍然處於這種重大變革的早期階段。及時進行工程和注入是令人着迷的新的攻擊性安全領域，您不希望您使用的這些模型成為安全漏洞的來源。給予您的客戶選擇，讓他們可以選擇加入或退出您的 gen AI 功能。這讓客戶可以選擇如何使用他們的資料。最重要的是，重要的是不要阻礙進步。如果這些工具能使您的公司更成功，那麼基於恐懼和疑慮而避免使用它們可能比全力投入討論更具風險。結論
生成式人工智慧和大型語言模型的快速崛起為資料安全帶來了全新的挑戰。隨著組織開始利用這些新技術，安全團隊需要迅速調整其程式以應對新的風險。供應商安全、企業安全和產品安全都需要進行相應的調整和改進。透過將 AI 工具視為任何其他供應商的工具，設定正確的期望值，並透過透明度建立信任，組織可以更好地應對 AI 帶來的風險並開展業務。 要注意的是，隨著技術的不斷發展，許多問題可以得到解決，而擁抱這些新技術可以為組織帶來更大的成功。因此針對這些問題找到合理的解決方案至關重要。透過適當的安全控制和明確的方針，組織可以在使用生成式人工智慧和大型語言模型時實現創新和保護資料的雙贏局面。DataSecurity-生成式人工智慧,資料安全,藍圖
延伸閱讀
- TC Disrupt 2024 創業藍圖：Builders Stage 議程神祕預覽
- 戴爾披露顧客郵寄位址遭遇資料外洩
- 亞馬遜推出 Bedrock Studio：簡化生成式人工智慧應用開發
- LockBit 的幕後主謀被起訴：我們從中學到了什麼？
- 本週人工智慧大事記：生成式人工智慧與創作者補償的問題
- Dropbox、Figma CEO 支援 Lamini：新創公司打造企業專用生成式人工智慧平臺
- AI 新創點子解決創辦人個資外洩的痛 - 這位創辦人深受影響後的啟發
- 流行的手機追蹤應用程式發現安全漏洞，使用者精確位置外洩
- 亞馬遜計劃託管企業定製的生成式人工智慧模型
- Google 雲端大會：Google 全力開發生成式人工智慧
