整合驅動機器視覺：研究回顧感應器內視覺感知與推論
摘要
最近，一支中國聯合研究團隊在一項關於感應器內視覺計算的綜述中寫到，這種三合一硬體解決方案比傳統的機器視覺系統更有效、經濟和安全。該研究團隊發表了這篇文章，並發表在《智慧計算》期刊上。感應器內視覺計算系統的靈感來自於人類和其他哺乳動物是如何收集、萃取和處理視覺訊號的，這種複雜的生物機制具有低延遲和低能量消耗的特點。透過將感測、儲存和計算整合到影象感測器的焦平面上，感應器內視覺計算系統在每個感測器內部處理資料，從原始訊號中提取出關鍵訊息，而不像傳統系統一樣處理整個影象資料。因此它們有望克服阻礙傳統系統進一步發展的三大障礙：高延遲、高能耗和隱私風險。機器視覺的進步
感應器內視覺計算裝置的發展主要集中在新穎的電路設計和新材料上。此次研究重點關注的是一種具有新穎電路設計的視覺晶片，名為 SCAMP 畫素處理器陣列或 SCAMP 晶片，這種晶片在新興的感測器中相對成熟，並且是相關研究的“跨學科和富饒的研究平臺”。 SCAMP 晶片等不斷改進的焦平面感測器處理器已被廣泛應用於計算實驗中，但尚未進行全面調查。介紹 SCAMP-5d 和相關軟體平臺
該研究首先介紹了基於 SCAMP 晶片的最新系統 SCAMP-5d。它是一個通用的、可程式設計的、極其並行的系統，被廣泛應用於機器人學和計算機視覺領域。研究人員還介紹了為該晶片開發的軟體工具和平臺，包括用於程式設計晶片的開發框架、用於模擬晶片操作的半模擬和全模擬平臺以及用於最佳化視覺處理算法的核心過濾器編譯器。感應器內視覺計算的算法和應用
接下來，研究人員基於多功能 SCAMP 晶片，總結了感應器內視覺計算的算法和應用。他們對算法的研究範圍涵蓋了從低階影象處理技術（如影象增強和特徵提取）到高級任務（如使用神經網路的分類、定位和分割）。由這些算法實現的應用主要涉及狀態估計和機器人導航。挑戰和未來展望
儘管使用 SCAMP 畫素處理器陣列的感應器內視覺計算系統帶來了廣泛的技術進步，但它們仍然存在一些約束，例如低解析度、有限的計算資源、噪聲以及不滿意的算法設計和部署。為了彌補這些約束，工程師和研究人員正在探索其他非傳統的計算方法，如感測器融合和邊緣計算，並在同時改進當前的約束。該研究團隊自身也積極參與學術和商業目的的“電路設計、整合技術和相關算法的共同開發和共同最佳化”。他們相信，下一代 SCAMP 視覺系統將在更低的能耗下體現更好的效能。結論
感應器內視覺計算是一種新興且極具潛力的技術，其優勢在於與傳統系統相比，它可以克服高延遲、高能耗和隱私風險等問題。本文詳細介紹了 SCAMP 晶片的最新系統和相關軟體平臺以及感應器內視覺計算的算法和應用。儘管該技術還存在一些約束，但研究人員和工程師們正在透過開發新的計算方法和改進算法來克服這些挑戰。未來，隨著下一代 SCAMP 視覺系統的發展，我們可以期待更低的能耗和更優越的效能。原文來源： Intelligent Computing
MachineVision-機器視覺、感應器、內視覺、感知、推論、研究回顧
