機器學習的迂迴方法發現效益微乎其微
引言
人工智慧（AI）在醫療、教育、工業和金融等各個領域都有巨大的潛力，但這也意味著巨大的成本。根據 OpenAI 的執行長山姆·阿爾特曼（Sam Altman）的說法，培訓 GPT-4 共耗資 1 億美元。儘管一些聊天機器人提供免費使用，但小企業想要建立一個聊天機器人服務可能需要支付約 4000 美元。根據 AI 公司 Figure Eight 的資料，建立一個機器學習的資料集可能每個任務的成本高達 100 美元。此外斯坦福大學的一項研究發現，為機器學習法標註單個影象資料集每張圖片的成本約為 3.5 美元。同時所需的雲端計算平臺租賃費用可能每小時高達 5 美元。因此在潛在使用者中節省成本是一個重要的問題。
研究結果
倫敦大學學院和愛丁堡大學的研究人員設計了一個測量系統，將標準機器學習方法的結果與公司考慮的替代手段進行對比，以節省成本。他們發現，替代的機器學習方法僅帶來微小的效果改進。研究團隊對三個主要效率模型的幾種變體進行了研究。
批次選擇
批次選擇是將資料位組進行處理，而不是個別元件。一個簡單的例子是將單詞新增到大量數位照片的檔案名中，以便更清楚地識別它們。批次操作可以在瞬間內快速地重新命名這些照片，比逐個更改名稱更快，更省錢。
層疊處理
層疊處理利用多層神經網路單元依次處理資料，讓模型可以學習複雜的語言模式和關係。例如，模型使用層疊來識別語言輸入中的語法、語義和情感，並根據不同層次的神經網路提示調整輸出的風格、語氣和聲音。研究報告指出，層疊是唯一能夠帶來"訓練和取證"增益的方法，儘管增益很小。但隨著訓練時間越長，這種增益逐步消失。
最佳化算法
最佳化算法的目的是加速搜尋功能，減少浪費的操作，加快學習過程，理想情況下獲得更好的解決方案。研究人員使用了相對較新的 Sophia 最佳化器，據稱它的速度是當前常用的 Adam 最佳化器的兩倍。儘管成功跳過了無關的資料，忽略了不太相關的資料，最佳化了有用和相關的資料，但這些方法的結果還是較差。而只能透過進一步的訓練和成本投入才能改善。
結論
報告指出，"要想達到合理的效能，培訓模型通常成本很高"。這意味著儘管節省了計算資源並減少了花費，結果卻是次優的，只能透過額外的培訓和成本來提升。最佳化機器學習的目的是使其在時間和成本效益方面更具吸引力，但根據這項研究的結果，這些迂迴方法並沒有顯著的優勢。
建議
對於企業和機構來說使用機器學習的成本是一個重要的考量因素。雖然當前還沒有找到節省成本且有效的方法，但對於機器學習領域的研究人員和工程師來說這個結果提醒我們需要繼續尋找更優的方法和技術，以提高機器學習的效率。同時政府和學術界也應該投入資源並提供支援，以促進機器學習在各個領域的應用，並降低成本約束對其發展的阻礙。
儘管機器學習的成本仍然是一個挑戰，但這項技術的潛力是無限的。只有透過持續的研究和創新，才能找到更具成本效益且優秀的方法，讓機器學習在各個領域發揮出最大的價值。
延伸閱讀
- 深潛至海底者：機器學習揭開抹香鯨的「字母表」
- GitHub 推出 Copilot Workspace：AI 驅動的軟體工程空間
- 解析 Sora 動力短片製作者談 AI 生成影片之優勢和約束
- OctoAI 推出 OctoStack，讓私人 AI 模型部署更輕鬆
- 這週人工智慧專題：別忘了那些不起眼的資料標註者
- 大型語言模型可幫助家庭機器人在無需人類幫助的情況下恢復錯誤
- 本週人工智慧大事件：Midjourney 打賭能擊敗版權警察
- AI 動力對話機器人 ChatGPT：一切你需要知道的
- Diffusion 變壓器是 OpenAI Sora 背後的關鍵 - 它們將顛覆 GenAI
- 德國非營利機構正在打造一個任何人都可以使用的開放式語音助手
