美國國防部 AI 主管呼籲駭客們對大型語言模型進行測試和研究
AI 主管強調大型語言模型缺乏推理能力
美國國防部（DoD）的首席數位和人工智慧官員克雷格·馬特爾（Craig Martell）在美國 DEF CON 安全會議的一個片段中，帶來了一些關鍵訊息。首先他希望人們明白大型語言模型（LLMs）並非有思考能力的生物體。馬特爾和國防部希望在模型開發方面更加嚴謹，以約束 AI 聊天機器人生成虛假訊息的風險。
馬特爾是美國東北大學的客座教授，教授機器學習。他在 DEF CON 上的主舞臺上把整個會議當作一場講座，一直向觀眾徵求意見和答案。AI 是 DEF CON 的一個重要話題，駭客和資料科學家社區 AI 村（AI Village）還舉辦了一場 LLM 駭客競賽。不論是在 DEF CON 這樣的會議上，還是作為漏洞獎勵計劃的一部分，馬特爾希望更多的研究 LLMs 的潛在漏洞。
「我今天在這裡是因為我需要駭客們告訴我們這些東西是如何突破的，」馬特爾說。「因為如果我們不知道它們是如何突破的，我們就無法確保可接受的條件。如果我們無法明確可接受的條件，就無法推動整個行業朝著正確的方向發展，以便我們能夠部署和使用它。」
大型語言模型沒有推理能力
馬特爾在他的演講中花了很多時間指出大型語言模型沒有推理能力。在他看來，當前圍繞生成式人工智慧的炒作周期導致了對 LLM 能力的誤解。「我們進化出來的方式是將能流利說話的東西視為有思考能力的生物，」馬特爾說。他解釋說，大型語言模型在最基本的層面上是一個根據前文預測下一個詞的模型。LLMs 透過大量的資料和強大的計算能力進行訓練，但他強調 LLM 只是一個依賴過去上下文的大型統計模型。「它們似乎非常流利，因為你可以根據海量的上下文來預測整個詞序列，聽起來很複雜，」他說。
缺乏推理能力與幻覺現象密切相關。馬特爾認為，LLMs 的主要焦點是流利而不是推理，而追求流利性會導致錯誤，特別是幻覺。「我們作為人類，我相信，被流利性欺騙了，」他說。他還表示識別每個幻覺是困難的，這也是馬特爾關注的另一個重點。例如，他反問，如果他生成 30 段文字，決定什麼是幻覺、什麼不是，那需要多麼容易？顯然，這需要花費一些時間。「你經常想在自己不是專家的情況下使用大型語言模型。這就是大型語言模型的一個真正價值：在你無專業知識的情況下提問，」馬特爾說。「我擔心的是，模型錯誤的地方對人類的認知負擔很大，去判斷它是對還是錯。」
未來的大型語言模型需要 99.999%的可靠性
馬特爾希望進行更多的測試，並在不同的應用場景開發大型語言模型的可接受條件。可接受條件將伴隨著能夠展示模型準確性以及幻覺產生頻率的指標。作為國防部的 AI 負責人，馬特爾表示如果一名士兵在戰場上問一個大型語言模型如何設定新技術的問題，需要有高度的準確性。「我需要 99.999%的正確性，」他說。「我不能允許模型產生幻覺，比如說它告訴我們說，把 A 存取到 B，然後結果爆炸。」
維寶的使命是成為技術決策者的數位廣場，為他們提供有關轉型企業技術的知識交流和交易。
延伸閱讀
- 被駭客入侵的加密交易所 Bybit，豪資 1.4 億美元懸賞追蹤失竊資金！
- 勒索病毒支付大幅下降，受害者拒絕向駭客妥協！
- 駭客劫持 WordPress 網站，散佈 Windows 與 Mac 惡意軟體！您還能安全上網嗎？
- HPE 遭駭客聲稱竊取敏感資料，安全漏洞調查拉警報！
- 新漏洞警報！駭客利用 Fortinet 防火牆缺陷侵入企業網路
- 英國計劃禁止公營機構向勒索軟體駭客支付贖金！這將如何影響網路安全？
- 朝鮮在 2024 年駭客盜竊超過 6.59 億美元加密貨幣！假求職者成為新詐騙手法
- 學生資料大洩漏！PowerSchool 警告駭客竊取社會安全號碼等敏感訊息
- 駭客利用新發布的 Ivanti VPN 漏洞入侵企業網路！警惕針對安全的威脅！
- 中國「颱風」駭客：準備迎戰的網路軍隊！
