新工具幫助人們選擇正確的 AI 模型評估方法
評估 AI 模型是一項困難的任務，尤其是當模型非常大、複雜時。不僅如此，就連模型的設計者也很難準確地理解模型是如何作出預測的。因此研究人員開發了評估方法，稱為 saliency 方法，以解釋模型的行為。由於不斷有新的評估方法出現，麻省理工學院和 IBM 研究人員共同建立了一個工具，以幫助使用者為其特定任務選擇最佳的 saliency 方法。
Saliency 卡片
saliency 卡片是一種標準化的檔案，用於說明評估方法的操作方式，包括其優點和缺點，並提供解釋以幫助使用者正確解讀它。這些卡片提供了關於 10 種使用者中心屬性的敍述，這些屬性分為三類，對應於不同的解釋過程階段。方法屬性描述 saliency 的計算方式，敏感性屬性表達了 saliency 和其輸入之間的關係，而可感知性屬性則測量人類對 saliency 的認知。
選擇合適的評估方法
選擇正確的 saliency 方法可以幫助使用者更準確地瞭解模型的行為，從而更好地解讀其預測結果。但選擇“錯誤”的評估方法可能會產生嚴重後果。例如，一種名為整合梯度的 saliency 方法，比較影象中特徵與無意義基線的重要性。最有意義的特徵是對模型的預測最有幫助的。該方法通常使用全為 0 的基線，但對於影象而言，全為 0 等於黑色。當對 X 光進行評估時，它會告訴你，即使它們很重要，任何黑色畫素在影象中都不重要，因為它們與該無意義基線相同。使用 saliency 卡片可以幫助使用者避免這種型別的問題。
建議
擁有 saliency 卡片可以為選擇正確的 saliency 方法提供便利。然而由於每種方法都有其優點和缺點，其他因素也要考慮，例如使用者需求和適當性等。因此當選擇 saliency 方法時，使用者應該評估各種方法之間的優缺點，並注意其對應用場景的影響。同時研究人員還需探索更多的屬性，設計特定任務的 saliency 方法以及進一步理解人們對 saliency 方法結果的感知，從而促進 AI 模型的進一步發展。
圖片來源：Saliency Cards: A Framework to Characterize and Compare (2023)
