研究揭示 ChatGPT 和其他 AI 工具可被操控產生惡意程式碼
探討 AI 工具的潛在安全性
在來自謝菲爾德大學的一項研究中，學者發現人工智慧（AI）工具如 ChatGPT 可以被操控生成惡意程式碼，這可能被用於發起網路攻擊。這項由謝菲爾德大學電腦科學系的學者所進行的研究是第一個證實文字到 SQL 系統（能夠透過使用普通語言提問從而搜尋資料庫的 AI 系統，廣泛應用於衆多行業）可以被利用來攻擊真實世界電腦系統的研究。研究結果揭示了這些 AI 工具如何被操控以竊取敏感的個人訊息、篡改或破壞資料庫，或透過拒絕服務攻擊使服務崩潰。謝菲爾德大學的學者們在研究中發現了六個商用 AI 工具存在安全漏洞，並成功攻擊了每一個工具。這些被研究的 AI 工具包括：BAIDU-UNIT（一個領先的中國智慧對話平臺，被許多行業的知名客戶採用，包括電子商務、銀行、新聞、電信、汽車和民航），ChatGPT，AI2SQL，AIHELPERBOT，Text2SQL 以及 ToolSKE。透過向每個 AI 工具提出特定問題，研究人員能夠生成惡意程式碼。一旦執行，該程式碼將泄露機密的資料庫訊息、中斷資料庫的常規服務，甚至摧毀資料庫。在 BAIDU-UNIT 的實驗中，科學家們能夠獲取機密的百度伺服器配置並使其中一臺伺服器節點失效。AI 作爲程式設計學習工具的潛在危險
研究結果還凸顯出人們使用 AI 學習程式設計語言以與資料庫進行互動的危險。謝菲爾德大學的 Ph.D.學生 Xutan Peng 補充說：“像 ChatGPT 這樣的 AI 存在風險，越來越多的人將其作爲生產力工具而不是對話機器人使用，這就是我們研究所揭示的漏洞存在的地方。例如，一位護士可以要求 ChatGPT 編寫一個 SQL 命令，以便與儲存臨床記錄的資料庫進行互動。正如我們的研究所顯示的那樣，ChatGPT 生成的 SQL 程式碼在許多情況下對資料庫可能是有害的，因此在這種情況下，護士可能會在沒有任何警告的情況下造成嚴重的資料管理錯誤。”後門攻擊和資料污染
謝菲爾德團隊的研究還發現可以透過在訓練資料中植入“木馬”實施簡單的後門攻擊，例如透過資料污染在文字到 SQL 模型中注入後門。這樣的後門攻擊不會對模型的整體效能產生影響，但可以在任何時候觸發，對使用者造成實質性的傷害。謝菲爾德大學自然語言處理研究團隊的高級講師馬克·史蒂文森博士表示：“文字到 SQL 系統的使用者應當意識到這項研究所揭示出的潛在風險。大型語言模型（如文字到 SQL 系統中使用的那些模型）具有強大的能力，但它們的行爲非常復雜，並且很難預測。在謝菲爾德大學，我們當前正致力於更好地理解這些模型，並確保它們的全部潛力能夠安全地實現。”研究的影響和未來展望
這項研究已經引起了百度的關注，百度安全響應中心官方將這些漏洞評級爲“高度危險”。作爲回應，百度已經解決和修復了所報告的所有漏洞，並對科學家做出了經濟獎勵。謝菲爾德大學的研究人員還與 OpenAI 分享了他們在 2023 年 2 月在 ChatGPT 中發現的所有具體問題，OpenAI 已修復了這些問題。研究人員希望他們揭示出的漏洞將成爲一個概念取證，最終能夠引起自然語言處理和網路安全領域的共同關注，以識別並解決迄今爲止被忽視的安全問題。Xutan Peng 補充說：“我們的研究受到了業界的認可，並且他們正在按照我們的建議修復這些安全漏洞。然而我們開啟了一扇通向無盡之路的門，我們現在需要看到大規模的研究人員團隊透過開源社區建立和測試補丁程式，以最大限度地減少安全風險。”他指出，“駭客總是會發展出更先進的策略，這意味着安全策略必須與時俱進。爲了做到這一點，我們需要一個新的社區來應對這些下一代攻擊。”Technology-AI 工具,ChatGPT,惡意程式碼,安全性,研究,操控
延伸閱讀
- 前 Snap 研究人員正在利用人工智慧打造下一代 Bitmoji - 輕鬆創作個人化貼圖
- 無線耳機升級帶來 ChatGPT 貼心助手 - Nothing 最新耳機震撼登場
- ChatGPT 不再需要帳戶 - 但有一個小陷阱
- AI 動力對話機器人 ChatGPT：一切你需要知道的
- 協變科技致力於打造 ChatGPT 機器人
- Glean 欲在企業市場擊敗 ChatGPT 的遊戲
- 你比 ChatGPT 更黑嗎？來測測看！
- Match Group 宣布與 OpenAI 達成交易，宣告稿由 ChatGPT 撰寫
- AI 驅動的 ChatGPT：一切你需要知道的事情
- ChatGPT 現在可以記住──也可以忘記──你告訴它的事情
