研究發現新的可解釋人工智慧方法
科學家發表論文探討概念相關性傳遞及人工智慧的可解釋性
人工智慧（AI）已經廣泛應用，然而我們仍然難以理解 AI 系統如何做出決策。柏林工業大學的柏林學習與資料基礎研究所（BIFOLD）的科學家與 Fraunhofer Heinrich-Hertz-Institut（HHI）的科學家合作多年，致力於使 AI 可解釋。而現在由 Thomas Wiegand 教授（Fraunhofer HHI, BIFOLD）、Wojciech Samek 教授（Fraunhofer HHI, BIFOLD）和 Sebastian Lapuschkin 博士（Fraunhofer HHI）領導的科學家團隊達到了新的裏程碑。
他們在論文《從歸因圖到人類可理解的解釋：透過概念相關性傳遞》中提出了一種名為概念相關性傳遞（CRP）的新方法，可以將 AI 作出的個別決策解釋為對人類可理解的概念。這篇論文已經在《自然機器智慧》雜誌上發表。當前 AI 系統通常被視為「黑箱」，也就是說人們通常無法理解 AI 如何達到某個決策。而 CRP 是針對深度神經網路的一種最先進的解釋方法，亦可完善和深化現有的解釋模型。
從人類觀點來看 AI 的決策過程
CRP 的方法不僅顯示了決策時相關的輸入特徵，還顯示了 AI 使用的概念以及這些概念在輸入中的表示位置以及神經網路中哪些部分負責這些概念。因此 CRP 能夠使用對人類可理解的概念解釋 AI 所做出的個別決策。這一研究為評估和與 AI 互動創立了一個全新的標準，此方法首次從輸入到輸出完整地觀察 AI 的預測過程。
近年來研究小組已經發展出多種方法，用於使用所謂的熱力圖解釋 AI 算法是如何做出決策的。這些熱力圖指出影象中特定的區域與所做出的決策密切相關。這種方法被稱為分層相關性傳遞（LRP）。這種解釋的重要性巨大，因為它使我們能夠理解 AI 是否基於合理的推理做出決策，還是僅僅學會了捷徑策略。
新的 CRP 方法就是在分層相關性傳遞的基礎之上進一步發展而來。"AI 影象識別是一個很好的例子，" Fraunhofer HHI 的人工智慧部門主管、柏林工業大學的機器學習和通訊教授以及 BIFOLD 研究員 Wojciech Samek 教授說道。"在輸入層，CRP 標註了對 AI 決策過程最相關的畫素。這是理解 AI 決策的重要一步，但不能解釋 AI 為什麼會選擇到那些確切的畫素所代表的概念。"
而相對於 AI，當人類看到一個黑白條紋的表面時，並不會自動認出為斑馬。為了識別出斑馬，人們還需要額外的訊息，如四條腿、蹄子、尾巴等。最終人們將畫素（黑色和白色）的訊息與動物這個概念結合起來。
概念相關性傳遞（CRP）將解釋從輸入空間，即包含所有畫素的影象所在的空間，轉換到由神經網路的較高層次形成的語義豐富的概念空間中。Fraunhofer HHI 的可解釋人工智慧研究小組負責人 Lapuschkin 博士陳述了 CRP 這種新方法的含義，他表示："CRP 是 AI 可解釋性的下一步，並在研究、測試和改進 AI 模型的功能方面提供全新的可能性。我們已經非常期待將我們的新方法應用到大型語言模型，如 ChatGPT。"
對 AI 可解釋性的重要性
這項研究的最重要價值在於它為 AI 的可解釋性開創了一個新的範疇。當前的 AI 系統通常被視為黑箱，人們認為很難理解 AI 是如何做出決策的。然而這種缺乏可解釋性也帶來了種種問題。如果我們無法理解 AI 的決策過程，那麼我們就無法確保它是否基於合理和可靠的原因做出決策，或者它只是學會了某些捷徑策略從而欺騙了我們。
因此 AI 的可解釋性尤為重要。透過 CRP 的方法，我們能夠更深入地理解 AI 作出決策所依據的概念，並且能夠將這些概念解釋成人類可以理解的形式。這種理解 AI 決策的新標準必將對 AI 的評估和應用產生積極的影響。
展望及建議
CRP 方法的發現在 AI 領域帶來了重要的突破，但我們仍然需要更多的研究來探索其實際應用的範疇。例如，我們可以將 CRP 方法應用於大型語言模型，從而可以解釋這些模型背後的決策過程，並更好地理解它們對人類語言的理解。
此外面對不斷進步的 AI 技術，我們也應該更加重視 AI 的倫理和法律問題。解釋 AI 的決策可以幫助我們判斷 AI 的行為是否符合倫理和法律要求，並提供必要的監督和控制。因此我們應該積極採取措施，確保 AI 技術的發展不僅能帶來效益，同時也不會對人類社會和價值觀產生負面的影響。
總而言之，該研究的結果為 AI 的可解釋性開創了新的方向，CRP 方法的應用有望在 AI 的評估和應用中引發深遠影響。儘管如此我們在探索和應用這一新方法時還需謹慎，並與各方一同關注 AI 技術的倫理和法律問題。
