無需恐慌：WormGPT 與 FraudGPT 並非威脅如媒體所言
引言
近年來人工智慧系統特別是大型語言模型（LLMs）的開發工具變得越來越容易和便宜。然而有些人卻開始使用這些工具進行不良行為，例如生成惡意程式碼和釣魚攻擊。然而 AI 加速駭客的威脅並沒有一些標題所暗示的那麼可怕。在暗網上建立 WormGPT 和 FraudGPT 這樣的 LLMs 的人宣稱，它們可以發起釣魚攻擊、生成旨在迫使受害者遭受商業郵件欺詐的郵件和寫惡意程式碼。然而這種新型 LLMs 所帶來的影響並沒有那麼單純。
WormGPT 的能力和約束
以 WormGPT 為例，它於今年 7 月份上線，據稱基於 EleutherAI 在 2021 年提供的一種名為 GPT-J 的 LLM。這個版本的模型缺少安全保障，這意味著它不會遲疑地回答通常 GPT-J 會拒絕回答的問題，特別是那些與駭客攻擊相關的問題。考慮到 AI 領域的快速發展，兩年的時間在此領域內可以被視為相當長的時間，而 GPT-J 已經相對落伍，不如像 OpenAI 的 GPT-4 這樣的最先進的 LLMs。根據對 GPT-J 和 GPT-3 的比較，GPT-J 在除了程式設計之外的任務上明顯表現較差，包括生成聽起來可信的文字。因此我們可以合理地預期，基於 GPT-J 的 WormGPT 在生成釣魚郵件等方面並不出眾。
根據恕本文作者無法得到 WormGPT 的模型資料，但幸運的是，網路安全公司 SlashNext 的研究人員能夠對 WormGPT 進行一系列測試，包括測試生成一封在商業郵件欺詐攻擊中可能會使用的“有說服力的郵件”，並公布了結果。對於“有說服力的郵件”測試，WormGPT 生成了一封郵件，如下圖所示。
從這封郵件中可以看出，它並沒有什麼特別有說服力的地方。確實，從語法上講，它比大多數釣魚郵件要好一些，但它卻有足夠多的錯誤（例如指稱一個不存在的電子郵件附件），以至於不使用幾個調整就無法直接複製並貼上。此外從郵件內容來看，它的內容十分通用，任何仔細閱讀的收件人都會對它產生警覺。對於 WormGPT 的程式碼來說也是如此，它基本上是正確的，但在構造上相當基礎，與網上已經存在的拼湊在一起的惡意軟體指令碼相似。此外 WormGPT 的程式碼並未解決駭客攻擊的最難部分，即獲取必要的憑證和許可權來破壞系統。此外正如一位 WormGPT 使用者在暗網論壇上所寫的那樣，這種 LLM“大部分時間都是故障的”，無法生成“簡單的東西”。這可能是由於其較老的模型架構造成的。但培訓資料也可能與之有關。WormGPT 的創作者聲稱他們在“多樣化的”資料來源上對模型進行了微調，專注於與惡意軟體相關的資料。但他們並未透露具體使用了哪些資料集進行了微調。除非進一步的測試，否則無法真正知道 WormGPT 在多大程度上進行了微調，或者它是否真正進行了微調。
FraudGPT 的問題
關於 FraudGPT 的行為模式，我們更是難以置信。在暗網論壇上，FraudGPT 的創造者將其描述為“前沿技術”，聲稱這種 LLM 可以“創造出無法檢測的惡意軟體”並發現容易受到信用卡欺詐的網站。但創作者除了說明它是 GPT-3 的一個變體之外，很少提供其他關於這種 LLM 的結構的資訊。這裡除了誇張的語言之外，幾乎沒有更多訊息可供參考。這種銷售手法在一些合法公司中也被使用，他們在產品上做了“AI”的標籤，以突出優勢或獲得媒體的關注，利用了顧客對於 AI 的無知。在 Fast Company 所看到的展示影片中，FraudGPT 根據提示“給我寫一段簡短但專業的簡訊垃圾郵件，我可以發給那些在美國銀行有帳戶的受害者，說服他們點選我的惡意短連結”生成了以下文字：
親愛的美國銀行會員：為了確保您的線上銀行帳戶的安全性，請點選此重要連結。
如此看來，這並不是什麼原創或具有說服力的文字。無論如何，這些惡意的 LLMs 並不是特別出色，而且它們也並不廣泛可得。WormGPT 和 FraudGPT 的創作者據稱收費價格為數十或數百美元，並禁止使用者檢視程式碼，這意味著他們無法修改或分發這些模型。最近，FraudGPT 的創作者的帖子由於違反網路論壇政策而從一個流行的暗網論壇中被刪除，這使得使用者必須透過即時通訊應用 Telegram 與創作者聯絡。總體而言，像 WormGPT 和 FraudGPT 這樣的 LLMs 可能會引起聳人聽聞的標題以及惡意軟體的生成。但它們絕對不會導致企業或政府的崩潰。就像 SlashNext 的分析所示，它們在理論上可能使具有有限英語能力的騙子生成針對性的商業郵件，但更現實的情況是，它們在最多只能讓這些建模者（騙子？）們快速賺到一些錢而已。
結論
總之 WormGPT 和 FraudGPT 這樣的 LLMs 可能引起人們的恐慌，但實際情況並沒有媒體所言的那麼嚴重。它們的能力有限，並且並非廣泛可得。當然我們應該繼續關注 LLMs 可能帶來的潛在風險，並加固安全措施來應對日益增長的數位世界中的威脅。但無需因為這些具有約束性的 LLMs 而恐慌，我們應該保持冷靜，根據真正的風險來制定相應的應對措施。
