AI 訓練的黑盒：如何誤將太空人誤認為鏟子
引言
人工智慧在某些視覺任務上表現出超越人類的能力，例如面部識別，但在其他任務上卻會出現嚴重的錯誤，例如誤將太空人的影象分類為鏟子。布朗大學的科學家們近期發表一篇論文，利用一款名為 CRAFT 的工具，解釋了計算機視覺的工作方式，他們表示這種解釋方式不僅易於理解，而且比之前的模型更有用。AI 的視覺機制
AI 系統使用深度神經網路來處理影象。它們通常透過對大量資料進行訓練，例如從網路上捕獲的超過一百萬張影象，這些影象被整理成數千個物體類別。訓練的過程主要是餵養資料給 AI 系統。研究人員不會告訴 AI 系統如何處理影象，例如從影象中捕獲哪些訊息以對其進行分類，而是拋給系統發現自己的策略。然後，電腦科學家在訓練後評估其準確性。CRAFT 工具的解釋方式
CRAFT 工具能夠解釋神經網路學習到的物件的視覺概念以及所使用的關鍵視覺概念，使這些概念對人類更易理解。例如，當研究人員使用這個工具觀察 AI 系統對於一種叫做 tench 的淡水魚的概念時，他們發現 AI 系統將 tench 的概念與魚的鰭、頭部、尾巴、眼珠等概念聯絡在一起。他們還發現，這些概念中有一個與白人男性的臉部相關，這是因為網路上有很多相片是運動釣魚人手持看起來像 tench 的魚。這個概念同樣也證實了深度網路有時會受到資料集的偏見影響。同樣地，當 AI 系統分類足球時，與之相關最多的概念是足球場上的足球運動員，這可能是因為大多數網路上的足球影象也包括個人球員而不僅僅是足球本身。CRAFT 的創新和應用
CRAFT 與其他視覺解讀方法不同，它不僅能夠識別系統用於組合影象的概念，還可以解釋系統對這些概念的排名方式。這種方法的改進使得 AI 系統在物件分類方面更加準確。例如，當 AI 系統將太空人的影象誤分為鏟子時，CRAFT 根據學習到的概念和位置，解釋了系統做出這一錯誤的原因。原因在於系統識別到了影象中常見於鏟子類別的「土壤」概念以及常見於使用鏟子清理雪地的人身上的「滑雪褲」概念。系統應該識別太空人穿的是太空服，但在訓練過程中可能從未見過太空服的影象，因此系統無法建立這種聯動。理解 AI 視覺機制的重要性
理解計算機如何看待影象對於改善視覺工具（例如面部識別）的準確性和效能至關重要。同時這也使得 AI 系統更加可信，因為我們可以理解它們所使用的視覺策略。此外理解 AI 系統如何處理影象還有助於提高其對抗攻擊的能力。譬如對抗攻擊的概念，攻擊者只需對影象的畫素進行微小的修改，幾乎無法被人察覺，但卻足以完全欺騙 AI 系統。研究人員甚至透過在標誌牌上新增幾個特定圖案的貼紙，成功地讓自駕車將其認為是限速標誌，導致其加速而不是減速停車。我們需要理解為什麼以及如何對抗這些對 AI 的攻擊。AI 視覺系統對人類視覺的啟示
研究人員發現，神經網路在處理影象時與人類大腦的方式有基本差異。例如，人類大腦不會將帶有黑色貼紙的停車標誌視為限速標誌。然而這些精心設計的 AI 系統有時甚至可以比人類更出色，例如在面部識別任務中。研究人員通常比較這些系統的相似之處和不同之處。當我們發現 AI 系統的約束時，我們會轉向神經科學並詢問「在人類中，那個缺失於 AI 系統中的大腦機制在這項任務的解決中起到關鍵作用？」然後我們會構建這種機制的機器學習抽象，並將其注入神經網路的 AI 系統中。我們發現，一旦為 AI 系統賦予了類似於人腦的機制，它們的表現更好：更具韌性，更高效的學習，並且在較少訓練的情況下更準確。對於神經科學來說這項研究有助於更好地理解人類大腦、人類的能力以及 AI 系統與人類的差異，還能更容易且更安全地取證我們的想法，而不需要動用人類大腦。理解大腦如何處理視覺訊息是非常困難的。已經有許多方法用於理解神經元的原理和功能，而有了 AI 系統，我們現在能夠測試這些理論並看看我們是否正確。結論
總結而言，CRAFT 工具為我們提供了一種思考 AI 視覺系統的方法，並解釋了它為何在某些情況下會犯下錯誤。理解 AI 系統如何處理影象以及與人類視覺的差異對於提高 AI 系統的準確性、效能和安全性至關重要。同時這種理解也為我們提供了更多關於人類大腦和視覺訊息處理的見解。我們可以從這些相互作用中獲得啟示，並改進 AI 系統和人類大腦的效能。AIvisualization-AI 視覺機制,太空人,誤認,鏟
