使用合成資料進行有效的聯動知識學習
簡介
一項刊登於《機器智慧研究》的論文中，一個研究團隊探討了是否可以使用 3D 合成資料取代真實世界的影片進行聯動訓練。研究人員引入了一個大規模的合成資料引擎 MOTX，該引擎手動配置了攝像頭和物體的運動特性，使之與真實世界的資料集相似。他們表明，與真實資料相比，從合成資料獲得的聯動知識可以在真實世界的測試集上實現非常相似的效能，而無需域適應技術。
多目標追蹤中的聯動問題
多目標追蹤（MOT）是由多個功能元件組成的複合系統，包括檢測、視覺表示和聯動。聯動模組根據外觀特徵、運動特徵或二者結合進行推理，旨在將邊界框與現有軌跡存取起來。然而許多聯動解決方案的共同點是它們是使用真實世界的影片資料進行訓練的。然而這種做法存在幾個潛在問題。首先對影片幀中的軌跡進行標記需要昂貴的勞動成本，這可能約束了 MOT 訓練資料的規模。其次隱私和倫理問題約束了在以人為中心的任務中使用真實世界資料，例如多行人跟蹤。為了避免這些問題，澳大利亞國立大學和清華大學的研究人員研究了如何在 MOT 中使用合成資料。他們建立了一個名為 MOTX 的 3D 模擬引擎，用於生成具有多個目標、豐富標註和可控視覺因子的影片資料，這種資料提供了一種以低成本獲取具有準確標註的大規模資料的方法。
合成資料在聯動知識學習中的應用
MOTX 引擎可以透過手動設定關鍵引數（例如攝像頭視角）來生成相似於真實訓練集的合成資料。然後，針對這些合成影片進行最新的聯動網路訓練，可以實現與實際資料訓練相似甚至更好的跟蹤準確性。研究人員對外觀特徵和運動特徵進行了消融研究，提供了兩個建議。其一是合成資料與真實資料之間的外觀差異很難損害聯動知識學習。其二是 3D 引擎可以很好地模擬聯動場景中的運動線索。這些研究結果顯示，合成資料具有競爭力，並且意味著 MOT 比“以外觀為中心”的任務更受合成資料的益處。
關於聯動知識學習的思考
這是一項非常早期的關於在 MOT 中使用合成資料的研究。這項研究旨在回答兩個有趣的問題。第一個問題是從合成資料學到的聯動知識是否在真實世界影片中起作用。合成資料的一個常見缺點是與真實世界資料存在分布差異，尤其是在影象風格上。為了避免在真實世界的測試環境中失敗，基於合成資料訓練的模型需要額外的訓練技巧，例如對真實資料的微調或域適應。然而聯動學習與外觀學習在資料要求方面是不同的。根據現有的研究，運動線索在聯動中起著重要作用。雖然引擎很難模擬逼真的外觀影象，但對於運動線索（例如遮擋）來說可能不那麼困難。這項研究顯示在幾個最先進的聯動網路上，從合成資料學得的聯動知識可以在真實世界場景中進行良好的調整，而效能不會下降。
運動因素對聯動知識學習的影響
現有資料集主要來自真實世界，例如 MOT15。儘管這些資料有助於模型訓練，但它們的固定性質使我們難以理解系統如何對變化的視覺因素作出反應。例如，在訓練集中的行人密度如何影響模型的精度？在靜態攝像頭訓練的模型是否能在移動攝像頭系統下很好地部署？研究人員利用 MOTX 引擎的強大定制能力來幫助回答這個問題。他們對物體相關因素和攝像頭相關因素如何影響聯動知識學習進行了實證研究。具體而言，他們研究了兩組因素。第一組是與行人有關的因素，例如密度和運動速度；第二組是與攝像頭有關的因素，包括攝像頭視角和攝像頭運動狀態。透過改變這些引數，研究人員可以簡單地模擬不同的場景。研究結果揭示了訓練和測試資料以及 MOT 系統效能之間的關係。
結論
這項研究對於理解合成資料在聯動知識學習中的應用具有重要意義。該研究表明，在合成資料中學到的聯動知識可以在真實世界的測試集上表現出色。這為 MOT 領域的研究者提供了使用合成資料的一個有吸引力的選項，以解決現有資料缺乏的問題。然而該研究還處於早期階段，還有許多問題需要進一步探索和解答。我們可以期待在未來的研究中，合成資料在 MOT 中的應用將得到更深入的探討，並為該領域的發展帶來新的可能性。
