AI 模型加速高解析度電腦視覺
研究背景
近年來高解析度電腦視覺在自動駕駛和醫學影像分割等應用中扮演著重要角色。然而高解析度影象的處理對於傳統的計算機視覺模型來說十分耗時。麻省理工學院（MIT）的研究人員在這一領域取得重要突破，提出了一種更高效的電腦視覺模型，能夠在有限硬體資源的裝置上實時進行語義分割。這項研究成果不僅能夠幫助自動駕駛車輛實時作出決策，還可提高其他高解析度電腦視覺任務的效能，例如醫學影像分割。
研究方法
麻省理工學院的研究人員針對進行語義分割這一複雜任務，設計了一種新的建模方法。傳統的電腦視覺模型通常直接學習影象中每對畫素之間的互動作用，隨著影象的解析度增加，計算量成二次增長。為理解決這個問題，研究人員使用線性相似性函數代替非線性相似性函數，從而實現了具有線性計算複雜度和高效硬體操作的新型電腦視覺模型。該模型在移動裝置上的工作效率比之前的模型提高了 9 倍，並保持了相同甚至更好的準確性。
研究意義
研究結果顯示，該新型電腦視覺模型在 Nvidia 圖形處理器（GPU）上的速度比其他流行的視覺轉換器模型快 9 倍，而且準確性相當甚至更高。不僅如此，該研究還向應用於影象生成等生成式機器學習模型的加速方向發展提供了啟示。這項技術也可以應用於改進影象分類等其他電腦視覺任務。另外該研究還展示了轉換器的巨大潛力在現實世界的應用，如提高電子遊戲中影象質量。
技術應用
該研究嘗試將該技術應用於加速生成性機器學習模型，並將 EfficientViT 擴充套件應用於其他電腦視覺任務。根據該技術，人們可以在移動裝置和雲裝置上執行基於高解析度的電腦視覺應用，實現速度和效能的雙重提升。研究團隊的工作對於實現高效節能的人工智慧計算非常具有關鍵意義。
評論與建議
該研究對於電腦視覺領域的發展具有重要意義，提供了一種更高效的方法來處理高解析度影象。過去，高解析度影象的處理需要龐大的計算資源，約束了在嵌入式裝置上實時執行的能力。而這項研究的成果使得自動駕駛和醫學影像等領域的應用更加實現，同時也為其他電腦視覺任務提供了新的思路。
然而這種高效計算模型也存在一些局限性。研究人員在實驗中發現，該模型在處理本地訊息時準確性下降。為了彌補這種準確性損失，研究人員在該模型中引入了兩個附加元件，但這也增加了計算量。因此在實際應用中需要仔細平衡效能和效能之間的關係。
對於未來的研究，可以將這項技術應用於更多的機器學習模型和電腦視覺任務中，並進一步最佳化模型的硬體友好性。同時研究人員也應該關注該技術在實際應用中的可行性和效益，以確保其能夠真正促進人工智慧和電腦視覺領域的發展。
延伸閱讀
- 比利時電腦視覺新創公司 Robovision 著眼於擴充套件至美國以應對勞動力短缺
- NFT 平臺 Zora 提供了一種新的賺錢方式，適合 AI 模型製作者
- 史上最大的文字轉語音 AI 模型體現「新興能力」
- 研究發現：人類學家發現 AI 模型可以被訓練成欺騙者
- Google 首款搭載全新 AI 模型 Gemini 的智慧手機--Pixel 8 Pro
- Google 的 AI 聊天機器人 Bard 進行大幅升級，搭載 Google 的下一代 AI 模型 Gemini
- Google 布局生成式 AI 模型，但「Gemini」並非我們期待的模型
- 亞馬遜推出新晶片，用於訓練和執行 AI 模型
- Giskard 開源框架在將 AI 模型推向生產前進行評估
- 聚焦於 ChatGPT-like AI 模型開發的 Hugging Face 有兩人團隊
