AI 的解釋性或許不如人們所想
簡介
近年來隨著自主系統和人工智慧在日常生活中越來越普及，越來越多的方法出現，以幫助人類檢查這些系統的行為是否符合預期。其中一種方法被稱為 "正式規範"，它使用可以轉換成自然語言表達的數學公式。一些研究人員聲稱，這種方法可以用來明確解釋人工智慧將做出的決策，使之可被人類理解。然而麻省理工學院的研究人員在一項研究中發現了相反的結果：正式規範似乎不能被人類解釋。
解釋性的重要性
解釋性對於人們在現實世界中對機器產生信任至關重要。如果機器或人工智慧能夠解釋其行為，人們可以決定是否需要進行調整，或者是否可以信任它做出公正的決策。一個可解釋的系統還能讓技術的使用者（不僅僅是開發者）理解並信任其能力。然而在人工智慧和自主性領域，解釋性一直是一個挑戰。機器學習的過程發生在一個 "黑盒" 中，因此模型開發人員通常無法解釋系統如何做出某個特定決策。
正式規範的挑戰
正式規範是一種形式方法的一部分，它使用邏輯運算式作為描述模型行為的數學框架。由於模型是基於邏輯流程構建的，工程師可以使用 "模型檢查器" 在數學上證實關於系統的事實，包括系統何時或不可能完成一個任務。現在研究人員正試圖將這個框架作為一種翻譯工具使用給人們。然而麻省理工學院的研究人員發現，幾乎沒有人在實際理解輸出結果時檢查正式規範。
實驗結果
研究團隊進行了一項實驗，以確保正式規範是否會使系統的行為更易於解釋。他們專注於人們使用這些規範來取證系統是否總是能夠實現使用者的目標。應用正式規範以此目的本質上是其原始用途的副產品。在實驗中，參與者需要取證一個機器人在進行旗幟遊戲時是否能夠總是取得勝利。參與者包括熟悉正式方法的專家和非專家。他們以三種方式接收正式規範：原始的邏輯公式、轉化為更接近自然語言的文字的公式以及以決策樹形式表示的公式。在結果中，作者提到：「整體取證結果相當糟糕，準確率只有約 45%，無論使用哪種呈現方式。」研究人員指出，取證過程中的過度自信非常令人擔憂，因為人們更容易忽略失敗模式。
結論
研究團隊認為這個結果並不意味著我們應該放棄使用正式規範來解釋系統行為。但他們認為需要在如何向人們呈現正式規範以及人們使用它們的工作流程方面進一步努力。當考慮到結果為何如此糟糕時，研究人員宣稱即使是在熟悉正式方法的人的情況下，也並未被訓練得能按照實驗的要求進行規範檢查，同時思考一組規則的所有可能結果是困難的。總之研究團隊希望他們的研究結果能夠更好地應用於自主性，並且幫助改進自主系統與人類操作者之間的關係。
結語
這項研究提出了一個重要的問題，即當我們聲稱人工智慧或自主系統具有解釋性時，我們是否真的能夠將其有效地傳達給人類使用者。在人類與機器之間建立信任的過程中，解釋性扮演著關鍵的角色。因此我們需要對解釋性進行更深入的研究，並找到可行的方法來使機器學習系統的決策過程對人類更加透明和可解釋。同時我們也需要更嚴格地檢查和評估研究人員對於解釋性的聲稱。
原始文章：A method to interpret AI might not be so interpretable after all
延伸閱讀
- Google 推出 SpeciesNet：專為識別野生動物而設的人工智慧模型！
- 「亞馬遜高層：AI 技術正徹底改變公司每個角落！」
- OpenAI 重磅推出 GPT-4.5：歷史上最大的語言模型來了！
- 探索 DeepSeek：你必須理解的 AI 聊天機器人應用全指南！
- 揭開 Mistral AI 的神祕面紗：揭示 OpenAI 競爭者的所有祕密！
- Google Sheets 突破性升級！Gemini 引擎助你快速分析資料與建立精彩視覺效果
- 運用 AI 強化銷售能力，Regie.ai 如何保持人性化觸感？
- 框架首款桌面電腦：為遊戲與本地 AI 推理量身打造的極致體驗！
- 全方位理解 Anthropic 的 AI：揭開 Claude 的神祕面紗！
- OpenAI 努力破解 ChatGPT 的約束，帶你進入無阻礙的對話世界！
