MIT 研究人員建立自學的語言模型用以解決大型模型的問題
在技術層面上，大型模型曾經一度被視為是語言模型的未來，但隨著這些模型的容量越來越大，它們的低效率以及隱私風險也隨之增加。因此 MIT 電腦科學和人工智慧實驗室研究人員提出一種新方法，利用小型模型與文字蘊含技術來將語言模型設計得更加高效與隱私友好。
什麼是文字蘊含？
文字蘊含是指一種讓模型理解各種不同的語言任務的方法，當一個句子的前提是真實的時，那麼其他句子或假設也可能是真實的。舉個例子，若前提是「所有貓都有尾巴」，則如果句子是「虎斑貓有尾巴」，那麼這個前提便是合理的。利用這個技術，研究人員訓練出了一種「蘊含模型」，其比其他語言模型更為公正。
小型模型有何優勢？
相較於大型模型，小型模型的效率更高且更加隱私友好。但是這樣的模型歷史上往往比較無法應對異構任務和弱監督學習。利用文字蘊含技術和小型模型的結合，MIT 的研究團隊成功使小型模型的效能大幅提升。
自學方法及其挑戰
研究人員利用一種被稱為「自學」的技術來幫助這些模型自行學習，同時避免耗費大量的人力物力。然而自學對於模型本身容易產生不正確或嘈雜的標籤，而這些標籤可能會危及模型的效能。為了克服這個問題，研究人員開發出了一種名為「SimPLE」的算法來幫助模型更正自學過程中出現的錯誤或不準確的標籤，並提高模型對抗惡意資料的能力。
總結與建議
這個研究展示了小型模型也有能力與大型模型相媲美。因此這樣的模型將成為提高人工智慧與機器學習可擴充套件性、可靠性、以及費用效益的解決方案。未來關於語言模型的研究，所需的不僅是一個更加健康的技術發展生態，還需要更多運用倫理學研究，將其更貼近不同使用場景下的合理性以及現實可行性。因此我們建議未來相關研究機構可以加固與哲學、倫理學界的合作，不斷改進語言模型在實際應用中的表現，以確保這些技術可以為人類帶來更多福利。
Language 模型-語言模型,可擴充套件,自學能力,研究
延伸閱讀
- OpenAI 重磅推出 GPT-4.5：歷史上最大的語言模型來了！
- 研究人員利用 NPR 週日謎題測試 AI 推理能力的創新方法
- 「突破性發展！研究人員以不到 50 美元打造 OpenAI 的競爭對手」
- OpenAI AI 推理模型竟然會「用中文思考」，背後原因成謎！
- Google 重組團隊進軍 DeepMind，力推研究轉化為開發的速度！
- 「OpenAI Whisper 轉錄工具遭質疑：研究人員揭祕其幻覺問題！」
- 即便最強 AI 模型也頻繁「幻覺」，研究揭示真相！
- 家用機器人竟成間諜？研究揭露 Ecovacs 漏洞讓隱私暴露！
- 科技報導：人類太空飛行研究迎來新時代
- 「研究發現 AI 模型對爭議性議題持有相對立的觀點」
