向前推進電腦視覺技術：讓畫素發揮更強大的能力
在一輛自駕車上，突然出現了一隻兔子跳到你的前方，作為一位駕駛者，你該怎麼辦？一般來說汽車的各種感測器會採集兔子的影象，然後傳遞到計算機進行處理，並做出決策，透過調整車輛控制來安全避開兔子。這只是電腦視覺的一個例子：一種基於人工智慧的技術，可以讓計算機獲取、處理和分析數位影象，並根據分析結果做出建議或決策。電腦視覺市場正在快速增長，包括從國防部無人機監視、商業化的智慧眼鏡，到自動駕駛系統。因此人們對於提高這一技術的興趣越來越高。
畫素的潛能
為了開發更先進的電腦視覺技術，南加州大學 Information Sciences Institute (ISI)和明·謝光電工程系（ECE）的研究人員最近完成了 DARPA（國防高級研究計劃署）計劃的第一階段和第二階段。這項計劃旨在利用新一代的畫素技術，創造出一種處理數位影象的全新方式，避免了現有系統中機身過大、頻寬不足等問題。研究人員提出了一種名為"processing-in-pixel-in-memory (P2M)"的新型 IP2 的範例，它利用了先進的 CMOS 技術，使畫素陣列能夠執行更廣泛的複雜操作，包括影象處理。
傳統上，影像的處理從前端到後端分別在兩個獨立的平臺上實現，分別是影像感知和影像處理。這兩個平臺物理上是分開的，研究人員通常會從距離方面出發來解決這個矛盾。他們致力於讓後端處理更加接近前端的影像收集，研究人員指出，"你可以將處理程式放在計算機的一個 CPU 上，並將 CPU 放在感應器附近。感應器將收集訊息並傳送到計算機上，如果我們假設是用於汽車上，那樣就沒有問題。我可以在車裡面放置 CPU 來進行處理。但是如果是一架無人機，我就不能將這個計算機放在機上了，因為 CPU 太大了，而且我還需要確保無人機有足夠的網路存取和電池來傳送資料包。"
因此 ISI / ECE 團隊採取了另一種方法，即減少或消除後端處理程式，將處理作業嵌入畫素本身進行。這種在畫素晶片上進行 AI 應用的處理被稱為 in-pixel intelligent processing (IP2)。IP2 技術使得影象中的資料可以直接進行操作，從而避免因頻寬過低和資源利用不足等問題造成的後期處理。這一技術的實現源自於計算機晶片的進步，特別是 CMOS（互補金氧半導體）的使用，透過 CMOS 技術可以實現對影象的處理。
P2M 的創新性
P2M 是 IP2 的一個新範例，它採用了混合訊號的模擬計算技術，並將經過計算的訊息儲存到畫素記憶體中，以此來滿足更高品質的通訊需求。研究人員將 IP2 和 P2M 相結合，形成了這一技術的創新。透過在畫素內完成前端處理，可以將訊息壓縮後傳輸到後端 AI 處理器中，從而大大降低了能耗和頻寬。
ISI 的電腦科學家阿克希萊什 - 賈特瓦爾是前端電路設計的負責人，他解釋說，"我們提出了一種新的方案，透過 CMOS 技術將感應器、記憶體和 CPU 徵集到一張相機晶片中。" 透過測試 RPIXELS（Recurrent Neural Network Processing In-Pixel for Efficient Low-energy Heterogeneous Systems），該團隊得出了可能節省兔子性命的令人鼓舞的結果：資料大小和頻寬都減少了 13.5 倍。
越來越多的前沿技術
阿德魯·斯密特（Andrew Schmidt）是南加大 ISI 的高級電腦科學家，他表示“RPIXELS 將前端畫素處理和最佳化後端結合起來，實現了更快的決策計算。同時它還可以讓研究人員開發更精確、更高效的算法，來實現更高的表現和準確度。"明·謝光電工程系教授彼得·貝瑞爾（Peter Bereel）表示：“這個專案是我們系和 ISI 之間卓有成效的合作案例。我們將 ECE 的硬體和機器學習算法應用邊界的專業知識與 ISI 的器件、電路和機器學習應用相結合，進行了多項創新研究。"
下一步的目標是將這一計劃實體化，透過將其電路放至矽晶片上進行測試，從而在現實世界中實現該計劃目標，如救助兔子等等。
