AI 的解釋性或許不如人們所想
簡介
近年來隨著自主系統和人工智慧在日常生活中越來越普及，越來越多的方法出現，以幫助人類檢查這些系統的行為是否符合預期。其中一種方法被稱為 "正式規範"，它使用可以轉換成自然語言表達的數學公式。一些研究人員聲稱，這種方法可以用來明確解釋人工智慧將做出的決策，使之可被人類理解。然而麻省理工學院的研究人員在一項研究中發現了相反的結果：正式規範似乎不能被人類解釋。解釋性的重要性
解釋性對於人們在現實世界中對機器產生信任至關重要。如果機器或人工智慧能夠解釋其行為，人們可以決定是否需要進行調整，或者是否可以信任它做出公正的決策。一個可解釋的系統還能讓技術的使用者（不僅僅是開發者）理解並信任其能力。然而在人工智慧和自主性領域，解釋性一直是一個挑戰。機器學習的過程發生在一個 "黑盒" 中，因此模型開發人員通常無法解釋系統如何做出某個特定決策。正式規範的挑戰
正式規範是一種形式方法的一部分，它使用邏輯運算式作為描述模型行為的數學框架。由於模型是基於邏輯流程構建的，工程師可以使用 "模型檢查器" 在數學上證實關於系統的事實，包括系統何時或不可能完成一個任務。現在研究人員正試圖將這個框架作為一種翻譯工具使用給人們。然而麻省理工學院的研究人員發現，幾乎沒有人在實際理解輸出結果時檢查正式規範。實驗結果
研究團隊進行了一項實驗，以確保正式規範是否會使系統的行為更易於解釋。他們專注於人們使用這些規範來取證系統是否總是能夠實現使用者的目標。應用正式規範以此目的本質上是其原始用途的副產品。在實驗中，參與者需要取證一個機器人在進行旗幟遊戲時是否能夠總是取得勝利。參與者包括熟悉正式方法的專家和非專家。他們以三種方式接收正式規範：原始的邏輯公式、轉化為更接近自然語言的文字的公式以及以決策樹形式表示的公式。在結果中，作者提到：「整體取證結果相當糟糕，準確率只有約 45%，無論使用哪種呈現方式。」研究人員指出，取證過程中的過度自信非常令人擔憂，因為人們更容易忽略失敗模式。結論
研究團隊認為這個結果並不意味著我們應該放棄使用正式規範來解釋系統行為。但他們認為需要在如何向人們呈現正式規範以及人們使用它們的工作流程方面進一步努力。當考慮到結果為何如此糟糕時，研究人員宣稱即使是在熟悉正式方法的人的情況下，也並未被訓練得能按照實驗的要求進行規範檢查，同時思考一組規則的所有可能結果是困難的。總之研究團隊希望他們的研究結果能夠更好地應用於自主性，並且幫助改進自主系統與人類操作者之間的關係。結語
這項研究提出了一個重要的問題，即當我們聲稱人工智慧或自主系統具有解釋性時，我們是否真的能夠將其有效地傳達給人類使用者。在人類與機器之間建立信任的過程中，解釋性扮演著關鍵的角色。因此我們需要對解釋性進行更深入的研究，並找到可行的方法來使機器學習系統的決策過程對人類更加透明和可解釋。同時我們也需要更嚴格地檢查和評估研究人員對於解釋性的聲稱。原始文章：A method to interpret AI might not be so interpretable after all
ArtificialIntelligence-AI 解讀方法,AI 技術,機器學習,深度學習,自然語言處理,資料分析,模型
延伸閱讀
- Google 推出「Web」篩選器，顯示老式文字連結，AI 技術持續演進
- 開放 AI （OpenAI）的 ChatGPT 新聞發布：我們當前所知道的事情
- OpenAI 考慮允許 AI 色情內容？
- OpenAI 揭開 AI 祕密指令的面紗
- 深度學習技術進步！Meta 推出廣告 AI 工具，能創造全新影象而非僅替換背景
- Google Deepmind 推出巨大的 AlphaFold 更新和免費蛋白質組學服務網路應用程式
- 人聲 vs AI：Audible 推出 AI 旁白有機會取代人類旁白嗎？
- 深潛至海底者：機器學習揭開抹香鯨的「字母表」
- 為什麼 RAG 無法解決生成式 AI 的幻覺問題
- GitHub 推出 Copilot Workspace：AI 驅動的軟體工程空間
