團隊學習：跨領域、多維、少樣本學習的新穎方法
背景介紹
近年來少樣本學習成為了機器學習領域的熱門研究方向，其目的在於學習只有極少數樣本的新任務，進一步實現對未知場景的適應。然而當訓練資料來自不同領域時，即跨領域學習，少樣本學習模型的構建就面臨嚴峻挑戰。在這種情況下，如何利用更多的來源領域資料提高模型預測效能，成為了學術界需要解決的問題。
研究方法
天津大學的研究團隊提出了「團隊學習：多領域、少樣本學習的知識蒸餾」（Team-knowledge distillation networks, TKD-Net）方法，該方法探索了多位教師協作的策略，將教師網路的知識蒸餾到一個單一的學生網路。他們提出了一個元學習框架，結合了任務導向的知識蒸餾和多教師間的協作，訓練一個效率更高、泛化能力更強的學生模型，使其能夠在未知任務上進行更好的預測。
具體來說研究團隊的方法分為兩個階段：教師模型訓練和多層次知識蒸餾。在教師模型訓練階段，研究者們透過監督學習方法分別在多個領域中對教師模型進行單獨的預訓練。在多層次知識蒸餾階段，TKD-Net 利用任務導向的知識蒸餾和多教師間的協作方式，將教師模型的知識蒸餾到學生模型中。然後利用原型網路和教師模型提供的軟標籤進行學生模型的訓練，最終學生模型能夠對未知任務進行良好的預測。
此外研究團隊還進一步探索了相似度矩陣的知識嵌入，透過探索教師模型的相似度矩陣，將樣本之間的相關性轉移到學生模型中，從而促進學生模型學習更加具體和全面的訊息。
結果及啟示
在實驗中，研究團隊對幾個基準資料集進行了大量的實驗，結果顯示提出的方法在跨領域少樣本學習方面取得了顯著的改進。與現有的方法相比，TKD-Net 方法能夠更好地學習樣本之間的關係，從而實現更好的泛化能力。
此研究成果為跨領域多維少樣本學習方法提供了一種嶄新的途徑，為實現機器學習在複雜場景下的應用奠定了更穩固的基礎。同時此項研究也將啟發研究者們對新興領域挑戰的思考，探索更多創新性的學習方法來實現人工智慧的進一步發展。
參考文獻
- Zhong Ji et al, Teachers cooperation: team-knowledge distillation for multiple cross-domain few-shot learning, Frontiers of Computer Science (2022). DOI: 10.1007/s11704-022-1250-2
