研究提出了一種新的可解釋人工智慧方法
背景
自從人工智慧（AI）的廣泛應用以來，我們一直很難理解 AI 系統是如何做出決策的。然而一個科學家團隊在這方面取得了重要突破。來自 Fraunhofer Heinrich-Hertz-Institut（HHI）和柏林學習與資料基礎研究所（BIFOLD）的科學家們透過多年合作，致力於使人工智慧可解釋。他們近日發表的論文《從歸因圖到透過概念相關性傳播的人類可理解解釋》中，提出了一種名為概念相關性傳播（CRP）的新方法，該方法可以將 AI 的決策解釋為對人類可理解的概念。這篇論文已經發表在《自然機器智慧》雜誌上。AI 的黑盒子
CRP：對於深度神經網路的 AI 系統，當前仍然很難理解它是如何做出決策的。AI 系統在很大程度上就是一個黑盒子。因此研究團隊提出的 CRP 方法可以解釋 AI 的個別決策，並以人們容易理解的概念進行解釋。CRP 不僅揭示了與所做決策相關的輸入特徵，還揭示了 AI 所使用的概念、它們在輸入中的表示位置以及神經網路的哪些部分負責這些概念。這樣，在評估和與 AI 的互動方面，CRP 為解釋性設定了一個全新的標準。這種解釋性的重要性是巨大的，因為它使我們能夠理解 AI 是否根據合理的推理做出決策，還是僅僅學會了快捷方式策略。從熱力圖到 CRP 方法
在過去的幾年中，研究團隊已經開發了各種方法來使用所謂的熱力圖（heat map）來解釋 AI 算法是如何做出決策的。熱力圖突顯了影象中與所做決策特別相關的特定區域。這種方法被稱為層級相關傳播（LRP）。然而 LRP 只能解釋 AI 決策過程中相關的畫素，無法解釋為什麼 AI 會選擇這些精確的畫素。更具體地說，當人們看到一個黑白條紋的表面時，並不會自動識別它是斑馬。要做到這一點，人們還需要其他訊息，例如四隻腿、蹄子、尾巴等等。最終人們透過將畫素（黑和白）的訊息與動物的概念相結合來識別斑馬。CRP 方法的出現恰恰填補了這個空白。將解釋從輸入空間轉移到概念空間
CRP 方法建立在層級相關傳播的基礎上。CRP 將解釋從輸入空間（影象及其所有畫素所在的空間）轉移到由神經網路的上層形成的語義豐富的概念空間。這種方法將 AI 的決策解釋為對概念的理解，這個概念是在語義較高的神經網路層上形成的。CRP 方法在 AI 可解釋性領域是一個重要的進步，對於研究、測試和改善 AI 模型的功能來說提供了全新的可能性。研究團隊已經非常興奮地計劃將這種新方法應用於像 ChatGPT 這樣的大型語言模型上。結論
這項研究的提出將大大推進可解釋人工智慧的發展。透過 CRP 方法，人們能夠更好地理解 AI 系統如何做出決策，並且能夠檢驗 AI 是否基於健全的推理進行決策。同時這對於 AI 的改進和發展也具有重要意義。可解釋的 AI 將有助於減輕對 AI 算法的擔憂和不信任，並推動 AI 的廣泛應用。然而我們也需要注意使用 AI 的道德和負面影響，並確保 AI 的解釋性是公正和透明的。總之這項研究為 AI 的可解釋性提供了重要的方法和途徑，並為 AI 領域的未來發展開啟了更廣闊的可能性。建議：
我們應該積極推動可解釋人工智慧的研究和應用。科學家和工程師可以透過繼續對 CRP 方法進行改進和擴充套件，使 AI 的解釋能力更加準確和全面。同時政府、企業和學術界也應該制定相應的政策和規範，確保 AI 的可解釋性不僅是技術上的問題，也是道德上和社會上的問題。此外教育和培訓也應該加固，以提高公眾對於 AI 的理解和對 AI 決策的信任程度。僅僅依靠科技發展是不夠的，我們還需要更多的倫理思考和社會參與，以確保 AI 的發展符合人類價值觀和福祉。ArtificialIntelligence-可解釋人工智慧,研究方法,人工智慧,可解釋性,新技術
