生成式人工智慧在電子郵件攻擊中的應用與挑戰
背景
根據個人安全新聞平臺 Abnormal Security 進行的一項研究，包括 ChatGPT 在內的生成式人工智慧越來越多地被網路罪犯用於開展極其真實和說服力的電子郵件攻擊。該公司最近進行了一項詳盡的分析，以評估其平臺截獲的基於生成式人工智慧的新型電子郵件攻擊的可能性。調查發現，威脅行動者現在利用生成式人工智慧工具來製造逐步變得更加逼真和令人信服的電子郵件攻擊。自 ChatGPT 出現以來，安全領導者一直對人工智慧生成的電子郵件攻擊的影響表示擔憂。
生成式人工智慧與新型攻擊方法
根據 Abnormal Security 的分析，生成式人工智慧現在被用於建立新的攻擊方法，包括應用認證詐騙（credential phishing）和供應商欺詐。該公司指出，傳統上，電子郵件接收者通常依靠識別錯別字和語法錯誤來檢測釣魚攻擊。然而生成式人工智慧可以幫助建立完美無瑕的郵件，這些郵件與合法通訊非常相似。因此員工越來越難以區分真實和詐騙郵件。
拓展攻擊範圍的威脅
Abnormal Security 的研究還發現，威脅行動者不僅限於傳統的應用認證詐騙攻擊，還利用與 ChatGPT 類似的工具冒充供應商。這些供應商郵件欺騙（vendor email compromise，VEC）攻擊利用供應商和客戶之間現有的信任，運用高度有效的社交工程技巧。與供應商的互動通常涉及有關發票和付款的討論，這為辨識模仿這些交流的攻擊增加了額外的複雜性。如無明顯的紅旗識別為錯誤拼寫等，將更加困難。
透過生成式人工智慧建立無法檢測的釣魚攻擊
生成式人工智慧對電子郵件攻擊構成重大威脅，因為它使威脅行動者能夠製造高度精密的內容，增加了成功欺騙目標，誘使其點選惡意連結或遵從指示的可能性。例如，利用人工智慧來撰寫電子郵件攻擊消除了與傳統應用認證詐騙攻擊常見的錯別字和語法錯誤相聯動的痕跡。"這還可以用於建立更多個性化的內容," Shiebler 解釋道。"想象一下，如果威脅行動者在 ChatGPT 的輸入引擎中輸入受害者的電子郵件歷史片段或 LinkedIn 資料，那麼這些郵件將開始展示受害者期望的典型上下文，語言和語氣，使應用認證詐騙郵件更具欺騙性。"
利用廣受歡迎的企業平臺
生成式人工智慧的應用走上了與過去網路罪犯從事不法活動時類似的道路。員工現在常常依賴 ChatGPT 和 Google Bard 等平臺進行日常的商業溝通。因此不可能對所有生成式人工智慧生成的郵件進行武斷封鎖。一個由 Abnormal Security 截獲的攻擊案例涉及一封據稱是由“Meta for Business”發出的郵件，通知收件人其 Facebook Page 違反了社區標準並被撤銷了。為理解決這個問題，該郵件敦促收件人點選提供的連結以提出上訴。然而這個連結實際上導向一個釣魚頁面，旨在竊取他們的 Facebook 憑據。值得注意的是，該郵件的文法無瑕疵，成功模仿了通常與 Meta for Business 相關的語言。與此相關的，公司還強調這些精心製作的郵件在人類檢測方面構成的巨大挑戰。Abnormal 發現，面對缺乏錯別字或拼寫錯誤的郵件，人們更容易成為該類攻擊的受害者。
檢測生成式人工智慧生成的文字
Shiebler 主張使用人工智慧作為識別生成式人工智慧生成的郵件最有效的方法。Abnormal 的平臺利用開源大型語言模型（LLMs）基於上下文評估每個詞的可能性，從而對一致符合生成式人工智慧語言的郵件進行分類。該公司使用 OpenAI Detector 和 GPTZero 兩個外部人工智慧檢測工具來取證這些發現。然而該公司承認這種方法並非百分之百可靠。某些非生成式人工智慧生成的郵件，例如基於模板的市場銷售或銷售郵件，可能包含與生成式人工智慧生成郵件類似的詞序列。此外郵件中包含常見短語，例如《聖經》或憲法摘錄，可能導致誤判為生成式人工智慧生成的郵件。因此 Shiebler 補充道："並非所有生成式人工智慧生成的郵件都可以被封鎖，因為有許多合法用例中真實的員工都使用人工智慧生成郵件內容。因此是否具有人工智慧指標的郵件必須與其他訊號一起使用，以判斷是否存在惡意意圖。"
區分合法和惡意內容
為解決這個問題，Shiebler 建議組織採用現代解決方案，以便檢測當代威脅，包括高度精密的生成式人工智慧生成的攻擊，這些攻擊與合法郵件非常相似。他表示當採用這些解決方案時，重要的是確保這些解決方案能夠區分合法的人工智慧生成郵件和具有惡意意圖的郵件。此外他建議組織遵循良好的網路安全實踐，包括進行持續的安全意識培訓，以確保員工對應用認證詐騙的風險保持警惕。此外他說，實施密碼管理和多因素身份取證（MFA）等策略將使組織能夠在成功受到攻擊時減少潛在損害。
