城市模擬影像協助人工智慧瞭解真實街景
引言
近年來人工智慧和深度學習的進展已經徹底改變了很多產業，並可能很快在重新建立你的社區方面發揮作用。透過分析深度學習模型對風景的影象，城市景觀師可以視覺化再開發計劃，從而改善風景或避免昂貴的錯誤。然而要實現這一目標，模型必須能夠正確識別和分類影象中的每個元素。這一步驟，稱為實例分割，由於缺乏適當的訓練資料，對機器來說仍然具有挑戰性。雖然收集一個城市的影象相對容易，但生成“地面真實值”，即告訴模型其分割是否正確的標籤，卻需要很多瑣碎的手工分割工作。
為理解決這一問題，大阪大學的研究人員開發出了一種使用計算機模擬來訓練這些資料需求型模型的方法。首先他們使用一個逼真的 3D 城市模型生成分割的真實值。然後，他們使用影象對影象模型從真實值影象生成逼真的影象。他們的研究成果《根據 3D 模型開發用於真實城市景觀的深度學習的合成資料集生成方法》發表在《高級工程訊息學》上。研究結果是一個與實際城市相似的逼真影象資料集，包括不需要手工分割的精確生成的地面真實值標籤。首席作者 Takuya Kikuchi 說：“合成資料在深度學習中已經得到應用。但大多數景觀系統仍然依賴於現有城市的 3D 模型，這仍然難以建立。我們也模擬城市結構，但我們以一種仍能為現實世界中的模型生成有效訓練資料的方式來進行。”
方法與成果
研究人員首先透過程式生成了一個逼真的城市 3D 模型，然後使用遊戲引擎建立了城市的分割影象。最後他們訓練了一個生成對抗網路，該網路是一種利用博弈理論來學習生成逼真影象的神經網路，以將形狀影象轉換為具有逼真城市紋理的影象。這個影象對影象模型建立了相應的街景影象。對應作者 Tomohiro Fukuda 解釋說：“這消除了需要真實建築資料集的需求，這些資料集並不是公開可用的。而且即使影象中的多個個體重疊，也可以將其分開。”他補充說：“但最重要的是，這種方法節省了人力和相關成本，同時仍然生成良好的訓練資料。”
為了證實這一點，研究人員分別使用虛擬資料和真實資料訓練了一個稱為“mask region-based 卷積神經網路”的分割模型。盡管製作資料集的時間減少了 98%，但這些模型在大型明顯建築物的實例上表現相似。研究人員計劃看看對影象對影象模型的改進是否提高了在更多條件下的效能。當前這種方法能夠以驚人的低成本生成大量資料。研究人員的成就將解決當前和日後的訓練資料短缺問題，降低與資料集準備相關的成本，並有助於開創深度學習輔助城市景觀的新時代。
評論與建議
這項研究的成果顯示了利用計算機模擬生成訓練資料的潛在優勢。透過利用虛擬環境生成逼真的城市影象，研究人員成功地克服了實際資料集制作的困難。這一技術的應用可能不僅限於城市景觀，還可以擴充套件到其他需要大量標註資料的領域，如醫學影像分析和自駕車技術。
然而值得注意的是，這種基於模擬的方法並不完美，它僅能生成逼真的資料，但可能無法涵蓋所有真實世界的變化和情況。在進一步的研究中，我們需要確保這種方法在不同場景和環境中的效能以及局限性。
此外這項研究還需要解決一些倫理和隱私問題。例如，如何確保這些逼真的城市影象不被誤用或濫用以及確保隱私敏感訊息不被泄露。在推動這項技術的應用時，我們必須謹慎考慮這些問題。
結論
大阪大學的研究人員透過使用計算機模擬生成訓練資料，成功地克服了在深度學習中缺乏合適資料的問題。他們的研究成果為逼真城市影象的生成提供了一個高效低成本的方法。這一成果將改善現有和即將到來的訓練資料的短缺情況，降低資料準備的成本，並為城市景觀的深度學習輔助開創新時代。
延伸閱讀
- OpenAI 揭開 AI 祕密指令的面紗
- AI 助您創辦者更快、更輕鬆地籌集資金嗎？
- 盧西德機器人獲得 900 萬美元用於無人機清潔任何地方
- 以色列新創公司 Panax 籌集了 1,000 萬美元 A 輪融資，用於其基於人工智慧的現金流管理平臺
- Reddit 測試使用基於 LLM 的人工智慧進行自動整站法語翻譯
- 三星醫聲將以 9270 萬美元收購法國人工智慧超聲波新創公司 Sonio
- 網際網路共同創始人 Robert Kahn 早在幾十年前就已經做到了加密、人工智慧和網際網路嗎？
- 人聲 vs AI：Audible 推出 AI 旁白有機會取代人類旁白嗎？
- 突破獨家訪談：Wayve 共同創辦人 Alex Kendall 談自動駕駛汽車和機器人的未來
- Rad AI 完成由 Khosla Ventures 領投的 5 千萬美元 B 輪融資
