MIT 研究人員建立自學的語言模型用以解決大型模型的問題
在技術層面上，大型模型曾經一度被視為是語言模型的未來，但隨著這些模型的容量越來越大，它們的低效率以及隱私風險也隨之增加。因此 MIT 電腦科學和人工智慧實驗室研究人員提出一種新方法，利用小型模型與文字蘊含技術來將語言模型設計得更加高效與隱私友好。
什麼是文字蘊含？
文字蘊含是指一種讓模型理解各種不同的語言任務的方法，當一個句子的前提是真實的時，那麼其他句子或假設也可能是真實的。舉個例子，若前提是「所有貓都有尾巴」，則如果句子是「虎斑貓有尾巴」，那麼這個前提便是合理的。利用這個技術，研究人員訓練出了一種「蘊含模型」，其比其他語言模型更為公正。
小型模型有何優勢？
相較於大型模型，小型模型的效率更高且更加隱私友好。但是這樣的模型歷史上往往比較無法應對異構任務和弱監督學習。利用文字蘊含技術和小型模型的結合，MIT 的研究團隊成功使小型模型的效能大幅提升。
自學方法及其挑戰
研究人員利用一種被稱為「自學」的技術來幫助這些模型自行學習，同時避免耗費大量的人力物力。然而自學對於模型本身容易產生不正確或嘈雜的標籤，而這些標籤可能會危及模型的效能。為了克服這個問題，研究人員開發出了一種名為「SimPLE」的算法來幫助模型更正自學過程中出現的錯誤或不準確的標籤，並提高模型對抗惡意資料的能力。
總結與建議
這個研究展示了小型模型也有能力與大型模型相媲美。因此這樣的模型將成為提高人工智慧與機器學習可擴充套件性、可靠性、以及費用效益的解決方案。未來關於語言模型的研究，所需的不僅是一個更加健康的技術發展生態，還需要更多運用倫理學研究，將其更貼近不同使用場景下的合理性以及現實可行性。因此我們建議未來相關研究機構可以加固與哲學、倫理學界的合作，不斷改進語言模型在實際應用中的表現，以確保這些技術可以為人類帶來更多福利。
Language 模型-語言模型,可擴充套件,自學能力,研究
