顯微影象分割的創新方法——透過點和形狀規範的資料合成
概況
2023 年 10 月 3 日，紐約大學（NYU）坦登工程學院的研究人員與德國波恩大學醫院的合作夥伴共同發布了一項關於顯微影象分割的研究。這項研究使用了一種新的分割網路，透過點標注和合成生成的影象分割資料，可以自動將真實的顯微影象分割成所需的物件。與當前基於深度學習的顯微影象分割方法相比，該方法減少了對詳細標注的依賴，降低了成本和勞動強度。
背景
在當前的基於深度學習的顯微影象分割方法中，對於訓練資料有着嚴重的依賴，需要進行詳細的標注。這個過程既昂貴又需要大量勞動力。研究人員提出了另一種方法，即使用簡化的標注，例如標記物體的中心點。雖然不如詳細標注那樣精確，但點標注仍然爲影象分析提供了有價值的訊息。
研究方法
該研究的研究人員從紐約大學坦登工程學院和德國波恩大學醫院的視覺化和資料分析（VIDA）研究中心選取，他們假設只有點標注可用於訓練，並提出了一種使用人工生成的訓練資料對顯微影象進行分割的新方法。該方法包括三個主要階段：
- 僞密集掩膜生成：該步驟將點標注作爲輸入，生成由形狀訊息約束的人工合成掩膜。
- 逼真影象生成：一種訓練有素的先進生成模型將合成的掩膜轉換爲高度逼真的顯微影象，同時保持物體外觀的一致性。
- 專用模型訓練：將合成的掩膜和生成的影象組合起來建立資料集，用於訓練用於影象分割的專用模型。
研究結果與意義
研究人員將其方法應用於一個公開可用的資料集進行測試，並發現與傳統方法相比，他們的方法生成的影象更加多樣化和逼真，同時保持了輸入標注與生成影象之間的強存取。而且相較於使用其他方法訓練的模型，他們在合成資料上訓練的模型表現出色，與使用詳細標注的勞動密集型模型相媲美。
這項研究突出了使用簡化標注和合成資料來簡化顯微影象分割過程的潛力，可能減少對大量手動標注工作的需求。此外該研究是與波恩大學醫院眼科部門的合作的第一步，最終旨在處理患有老年性黃斑變性（AMD）的患者的人眼三維視網膜細胞影象，這是導致老年人視力損失的主要原因。
結論
透過使用點和形狀規範的資料合成，研究人員開發出一種創新的方法來簡化顯微影象分割過程。這一方法透過人工生成的訓練資料，代替了昂貴和勞動密集型的詳細標注。該方法的成功應用不僅爲顯微影象分割領域帶來了新的思路，還爲其他領域的影象分割問題提供了新的解決方案。然而雖然該方法在標準資料集上表現出色，但其在真實世界的應用還需要進一步取證和評估。
總體而言，該研究爲顯微影象分割技術的發展提供了新的思路和方法，促使我們重新思考大規模資料標注的必要性，爲加快影象分割過程的自動化和普及化做出了貢獻。
