機器學習的迂迴方法發現效益微乎其微
引言
人工智慧（AI）在醫療、教育、工業和金融等各個領域都有巨大的潛力，但這也意味著巨大的成本。根據 OpenAI 的執行長山姆·阿爾特曼（Sam Altman）的說法，培訓 GPT-4 共耗資 1 億美元。儘管一些聊天機器人提供免費使用，但小企業想要建立一個聊天機器人服務可能需要支付約 4000 美元。根據 AI 公司 Figure Eight 的資料，建立一個機器學習的資料集可能每個任務的成本高達 100 美元。此外斯坦福大學的一項研究發現，為機器學習法標註單個影象資料集每張圖片的成本約為 3.5 美元。同時所需的雲端計算平臺租賃費用可能每小時高達 5 美元。因此在潛在使用者中節省成本是一個重要的問題。
研究結果
倫敦大學學院和愛丁堡大學的研究人員設計了一個測量系統，將標準機器學習方法的結果與公司考慮的替代手段進行對比，以節省成本。他們發現，替代的機器學習方法僅帶來微小的效果改進。研究團隊對三個主要效率模型的幾種變體進行了研究。
批次選擇
批次選擇是將資料位組進行處理，而不是個別元件。一個簡單的例子是將單詞新增到大量數位照片的檔案名中，以便更清楚地識別它們。批次操作可以在瞬間內快速地重新命名這些照片，比逐個更改名稱更快，更省錢。
層疊處理
層疊處理利用多層神經網路單元依次處理資料，讓模型可以學習複雜的語言模式和關係。例如，模型使用層疊來識別語言輸入中的語法、語義和情感，並根據不同層次的神經網路提示調整輸出的風格、語氣和聲音。研究報告指出，層疊是唯一能夠帶來"訓練和取證"增益的方法，儘管增益很小。但隨著訓練時間越長，這種增益逐步消失。
最佳化算法
最佳化算法的目的是加速搜尋功能，減少浪費的操作，加快學習過程，理想情況下獲得更好的解決方案。研究人員使用了相對較新的 Sophia 最佳化器，據稱它的速度是當前常用的 Adam 最佳化器的兩倍。儘管成功跳過了無關的資料，忽略了不太相關的資料，最佳化了有用和相關的資料，但這些方法的結果還是較差。而只能透過進一步的訓練和成本投入才能改善。
結論
報告指出，"要想達到合理的效能，培訓模型通常成本很高"。這意味著儘管節省了計算資源並減少了花費，結果卻是次優的，只能透過額外的培訓和成本來提升。最佳化機器學習的目的是使其在時間和成本效益方面更具吸引力，但根據這項研究的結果，這些迂迴方法並沒有顯著的優勢。
建議
對於企業和機構來說使用機器學習的成本是一個重要的考量因素。雖然當前還沒有找到節省成本且有效的方法，但對於機器學習領域的研究人員和工程師來說這個結果提醒我們需要繼續尋找更優的方法和技術，以提高機器學習的效率。同時政府和學術界也應該投入資源並提供支援，以促進機器學習在各個領域的應用，並降低成本約束對其發展的阻礙。
儘管機器學習的成本仍然是一個挑戰，但這項技術的潛力是無限的。只有透過持續的研究和創新，才能找到更具成本效益且優秀的方法，讓機器學習在各個領域發揮出最大的價值。
延伸閱讀
- 揭開 Mistral AI 的神祕面紗：揭示 OpenAI 競爭者的所有祕密！
- 全方位理解 Anthropic 的 AI：揭開 Claude 的神祕面紗！
- 探索 Microsoft Copilot：你必須知道的 AI 技術全解析！
- 「MLCommons 與 Hugging Face 聯手推出龐大語音資料集，助力 AI 研究新境界！」
- 深度探索聲稱其推理模型在特定基準測試中超越 OpenAI 的 o1！
- 《徹底解析 ChatGPT：你必須知道的 AI 聊天機器人一切！》
- OpenAI AI 推理模型竟然會「用中文思考」，背後原因成謎！
- 探索 ChatGPT：你所需理解的一切關於這款 AI 聊天機器人！
- Nvidia 攜手 Apple Vision Pro，助推人型機器人學習新境界！
- 「DeepSeek 最新 AI 模型為何自認是 ChatGPT？揭祕背後的技術奧妙！」
