在翻譯成自然語言的過程中，AI 解讀方法或許並非那麼容易理解
緒論
隨著自主系統和人工智慧在日常生活中的普及，出現了一些新的方法來幫助人們取證這些系統的行為是否如預期。其中一種方法稱為「正式規範」，使用數學公式，可以將其轉化為自然語言表述。一些研究人員聲稱，這種方法可以用來詳細說明人工智慧將作出的決策，以使人們能夠理解。然而麻省理工學院林肯實驗室的研究人員想要檢驗這種可解讀性的主張。他們的研究結果指出：正式規範似乎不容易被人類理解。研究內容
該團隊的研究透過在虛擬遊戲中要求參與者檢查 AI 代理的計劃是否會成功，來取證正式規範的可解讀性。參與者被提供計劃的正式規範，但他們的正確率不到一半。麻省理工學院林肯實驗室的 AI 技術小組的研究員 Hosea Siu 表示："這些結果對於一直聲稱正式規範提供系統可解讀性的研究人員來說是壞訊息。在某種受約束和抽象的意義上，這可能是真的，但對於實際系統取證來說卻不是那麼容易"。解讀性的重要性
解讀性對於 AI 和自主性領域一直是一個挑戰。機器學習的過程發生在"黑盒子"中，因此模型開發人員通常無法解釋系統為什麼會作出某個決策。Siu 表示："當研究人員說 '我們的機器學習系統很準確' 時，我們會問 '有多準確？' 和 '使用什麼資料？'，如果沒有提供這些訊息，我們就會拒絕該主張。然而當研究人員說 '我們的機器學習系統可以解讀' 時，我們並沒有這樣做，我們需要開始更加嚴格地審查這些主張"。失去了原有的意義
為了確保正式規範是否使系統的行為更容易解讀，研究人員關注人們使用這些規範來取證系統，即理解系統是否始終滿足使用者的目標。將正式規範應用於此目的實際上是其最初用途的副產品。正式規範是正式方法的一部分，正式方法使用邏輯運算式作為描述模型行為的數學框架。由於該模型建立在邏輯流程之上，工程師可以使用"模型檢查器"來數學上證實有關系統的事實，包括系統何時完成任務或無法完成任務。現在研究人員正試圖將這種框架作為一種翻譯工具供人使用。Siu 表示："研究人員混淆了正式規範具有精確語義和人類理解能力的事實。這兩者並不是相同的"。研究結果
研究團隊的實驗中，參與者被要求取證在一個遊戲中機器人遵循一組規則時是否總是能贏。參與者分為形式方法的專家和非專家。他們以三種方式接收正式規範，分別是"原始"的邏輯公式，轉化為接近自然語言的文字以及決策樹格式。決策樹在 AI 領域常被認為是展示 AI 或機器人決策的一種人類可解讀方式。研究結果顯示："整體上，取證的表現相當糟糕，準確率約為 45%，無論顯示的方式如何"。那些接受過正式規範培訓的人的表現僅略好於新手。然而無論答案是否正確，專家都報告了更大的自信心。研究人員表示人們往往過於信任放在他們面前的規範的正確性，這種確認偏見對於系統取證來說尤其令人擔憂，因為人們更容易忽視失敗的模式。結論
研究人員表示這些結果並不意味著我們應該放棄使用正式規範來解釋系統行為給人們理解。但他們認為，在向人們展示正式規範以及人們使用它們的工作流程中，還需要投入更多的工作。研究人員認識到，即使是那些從事正式方法研究的人也不總是被訓練成能夠像實驗要求的那樣檢查規範。思考一組規則的所有可能結果是困難的。即便如此，顯示給參與者的規則集很短，相當於不超過一段文字的篇幅，"比任何真實系統中可能遇到的篇幅都要短很多"，Siu 說。該團隊並不試圖將他們的結果直接與真實世界中的機器人取證的表現聯絡起來，而是以這些結果作為起點，考慮形式邏輯社區可能忽略了什麼以及這些主張在現實世界中可能如何應用。他們的研究是作為一個更大的專案的一部分進行的，Siu 和團隊正在試圖改善機器人和人類操作員之間的關係，特別是那些在軍事領域工作的操作員。程式設計機器人的過程往往讓操作員無法參與其中。該專案的目標與改善可解讀性和信任的目標相似，試圖讓操作員直接教導機器人執行任務，方式類似於訓練人類。這種過程可以提高操作員對機器人的信心和機器人的適應性。最終他們希望這項研究的結果能夠改善自主性的應用，隨著自主性越來越深入人們的生活和決策中。Siu 補充說："我們的結果強調了在對人類的某些系統和自主性的概念進行任何太多有關人類效用的主張之前，需要對它們進行人類評估。"新聞出處
- 標題：A method to interpret AI might not be so interpretable after all - 作者：Kylie Foy - 新聞來源：麻省理工學院新聞（MIT News） - 網址：[https://techxplore.com/news/2023-10-method-ai-1.html](https://techxplore.com/news/2023-10-method-ai-1.html)關鍵詞
科技-人工智慧、解讀方法、容易理解Technology-AI,解讀方法,容易理解
