美國國防部 AI 主管呼籲駭客們對大型語言模型進行測試和研究
AI 主管強調大型語言模型缺乏推理能力
美國國防部（DoD）的首席數位和人工智慧官員克雷格·馬特爾（Craig Martell）在美國 DEF CON 安全會議的一個片段中，帶來了一些關鍵訊息。首先他希望人們明白大型語言模型（LLMs）並非有思考能力的生物體。馬特爾和國防部希望在模型開發方面更加嚴謹，以約束 AI 聊天機器人生成虛假訊息的風險。 馬特爾是美國東北大學的客座教授，教授機器學習。他在 DEF CON 上的主舞臺上把整個會議當作一場講座，一直向觀眾徵求意見和答案。AI 是 DEF CON 的一個重要話題，駭客和資料科學家社區 AI 村（AI Village）還舉辦了一場 LLM 駭客競賽。不論是在 DEF CON 這樣的會議上，還是作為漏洞獎勵計劃的一部分，馬特爾希望更多的研究 LLMs 的潛在漏洞。 「我今天在這裡是因為我需要駭客們告訴我們這些東西是如何突破的，」馬特爾說。「因為如果我們不知道它們是如何突破的，我們就無法確保可接受的條件。如果我們無法明確可接受的條件，就無法推動整個行業朝著正確的方向發展，以便我們能夠部署和使用它。」大型語言模型沒有推理能力
馬特爾在他的演講中花了很多時間指出大型語言模型沒有推理能力。在他看來，當前圍繞生成式人工智慧的炒作周期導致了對 LLM 能力的誤解。「我們進化出來的方式是將能流利說話的東西視為有思考能力的生物，」馬特爾說。他解釋說，大型語言模型在最基本的層面上是一個根據前文預測下一個詞的模型。LLMs 透過大量的資料和強大的計算能力進行訓練，但他強調 LLM 只是一個依賴過去上下文的大型統計模型。「它們似乎非常流利，因為你可以根據海量的上下文來預測整個詞序列，聽起來很複雜，」他說。 缺乏推理能力與幻覺現象密切相關。馬特爾認為，LLMs 的主要焦點是流利而不是推理，而追求流利性會導致錯誤，特別是幻覺。「我們作為人類，我相信，被流利性欺騙了，」他說。他還表示識別每個幻覺是困難的，這也是馬特爾關注的另一個重點。例如，他反問，如果他生成 30 段文字，決定什麼是幻覺、什麼不是，那需要多麼容易？顯然，這需要花費一些時間。「你經常想在自己不是專家的情況下使用大型語言模型。這就是大型語言模型的一個真正價值：在你無專業知識的情況下提問，」馬特爾說。「我擔心的是，模型錯誤的地方對人類的認知負擔很大，去判斷它是對還是錯。」未來的大型語言模型需要 99.999%的可靠性
馬特爾希望進行更多的測試，並在不同的應用場景開發大型語言模型的可接受條件。可接受條件將伴隨著能夠展示模型準確性以及幻覺產生頻率的指標。作為國防部的 AI 負責人，馬特爾表示如果一名士兵在戰場上問一個大型語言模型如何設定新技術的問題，需要有高度的準確性。「我需要 99.999%的正確性，」他說。「我不能允許模型產生幻覺，比如說它告訴我們說，把 A 存取到 B，然後結果爆炸。」 維寶的使命是成為技術決策者的數位廣場，為他們提供有關轉型企業技術的知識交流和交易。HackingorCybersecurity-美國國防部,AI 主管,駭客,破解
延伸閱讀
- Change Healthcare 駭客使用被盜憑證入侵 - 聯合健康集團 CEO 表示沒有多重因素認證
- 前美國國家安全域性駭客與前蘋果研究員合力成立新創公司，保護蘋果裝置
- 聯合健康稱駭客竊取健康資料：影響美國大部分人口
- 《Apex Legends 駭客稱遊戲開發者修補了直播主使用的漏洞》
- 烏克蘭網路警察如何對抗俄羅斯駭客
- 《Apex Legends 駭客自稱「只是為了好玩」竊取錦標賽遊戲》
- 寶可夢因駭客嘗試後重設一些使用者密碼
- 美國國家安全域性表示正在追蹤 Ivanti 網路攻擊，駭客瞄準美國國防領域
- 英國水務巨擘 Southern Water 稱駭客竊取數十萬客戶個人資料
- 駭客揭露 TheTruthSpy 新型 Stalkerware 受害者：你的 Android 裝置被侵入了嗎？
