網路議題

新方法提升視覺轉換 AI 系統效率

新方法提高視覺轉換 AI 系統的效率 2023 年 6 月 1 日,北卡羅來納州立大學的馬特·席普曼(Matt Shipman)發表了題為「新方法提高視覺轉換 AI 系統的效率」的文章。該文章描述了一種名為「Patch-to-Cluster attention」(PaCa)的新方法,旨在解決視覺轉換 .... (往下繼續閱讀)

分享到 Facebook 分享到 Line 分享到 Twitter

文章目錄

新方法提升視覺轉換 AI 系統效率

新方法提高視覺轉換 AI 系統的效率

2023 年 6 月 1 日,北卡羅來納州立大學的馬特·席普曼(Matt Shipman)發表了題為「新方法提高視覺轉換 AI 系統的效率」的文章。該文章描述了一種名為「Patch-to-Cluster attention」(PaCa)的新方法,旨在解決視覺轉換 AI 系統在計算能力需求和決策透明度方面的挑戰,同時提高其在影象中識別、分類和分割物體的能力。

視覺轉換 AI 系統的挑戰

視覺轉換(ViTs)是使用人工智慧技術識別或分類影象中物體的強大工具。然而與計算力需求和決策透明度相關的挑戰是相當大的。

第一個挑戰是相當複雜的轉換模型:相對於輸入到 AI 中的資料量,轉換模型需要相當多的計算能力和大量的記憶體。這對 ViTs 來說尤其問題嚴重,因為影象包含大量的資料。

第二個挑戰是讓使用者確切理解 ViTs 是如何做出決策的。例如,你可能已經訓練一個 ViT 來識別影象中的狗,但 ViT 如何確保什麼是狗,什麼不是呢?理解 ViT 的決策過程,也稱為其模型可解釋性,根據應用程式的不同,可能相當重要。

PaCa 方法

PaCa 方法可以同時解決這兩個挑戰。它使用聚類技術來降低轉換架構對影象物體回歸的計算和記憶體的代價,幫助選擇和集中對影象中的物體。聚類就是 AI 將影象的部分分成相似的部分,對系統的計算需求是線性的。聚類還允許我們解決模型可解釋性的難題,因為我們可以看看系統在首次聚類時建立了哪些。系統在聚類時決定了哪些特徵對於匯總資料是重要的。

實驗結果

研究人員對 PaCa 進行了全面測試,並將其與 SWin 和 PVT 等兩種最先進的 ViTs 進行了比較。研究人員發現,PaCa 在分類影象中的物體、識別影象中的物體以及分割影象中的物體方面均優於 SWin 和 PVT。此外 PaCa 更加高效,能夠比其他 ViTs 更快地執行這些任務。

未來展望

PaCa-ViT:學習視覺轉換中的模組 Patch-to-Cluster 注意力。本文將在 6 月 18 日至 22 日舉行的 IEEE/CVF 計算機視覺與模式識別會議上發表。接下來的工作將是透過在更大的基礎資料集上訓練 PaCa 來擴充套件它。

結論

PaCa 方法可以強化 ViTs 在處理大資料影象和提高決策透明度的要求。然而新方法仍然需要更多的測試和取證以及更多的基礎資料集來強化應用的實用性。

Machine Learning-視覺轉換,AI 系統,效率提升,新方法
程宇肖

程宇肖

Reporter

大家好!我是程宇肖,我對於科技的發展和應用有著濃厚的興趣,並致力於將最新的科技趨勢和創新帶給大家。科技領域的變化速度驚人,每天都有令人興奮的新發現和突破。作為一名部落格作者,我將帶領大家深入探索科技的奧秘和應用的無限可能。