人工智慧模型在壓縮方面擊敗 PNG 和 FLAC
概述
壓縮技術的出現使我們能夠更有效地儲存、傳輸和處理資料。隨著科技的發展，研究者們一直努力探索更高效的壓縮方法。最近，DeepMind 的研究人員宣布，他們的大型語言模型可以將資料壓縮到新的水平，並且在影象和音訊資料的無失真壓縮方面取得了顯著成果。
壓縮的重要性
壓縮技術的出現給我們帶來了巨大的便利。舉個例子，壓縮使我們能夠將龐大的音樂庫、個人照片和影片收藏壓縮到一個硬碟中，而不需要購買一個又一個的硬碟。同樣地，壓縮使我們能夠從網際網路上幾乎即時地提取大量的資料。在沒有壓縮的情況下，手機通話可能會因中斷和時間延遲而受到干擾和困擾。此外壓縮還能提高數位安全性、流媒體播放我們喜愛的電影、加快資料分析速度以及透過更高效的數位效能節省大量成本。
壓縮的詩意和美感
壓縮的確使許多觀察者感到興奮和讚嘆。流行科學作家 Tor Nørretranders 曾經說過：「將大量訊息壓縮為富含'exformation'微量訊息的宏態是一種智慧，而且非常美麗。是的，甚至令人覺得性感。將一堆混亂的資料和死板的知識碎片壓縮成簡潔、清晰的訊息，這真的很迷人。」一位匿名作家將壓縮形容為「時代的交響曲，將資料的喧囂轉化為一個優雅而高效的旋律。」未來主義者 Jason Luis Silva Mishkin 簡潔地表示：「在數位時代，壓縮就像魔術一樣，讓我們把世界的浩瀚收入口袋中。」
DeepMind 的研究成果
DeepMind 的研究人員最近發表的論文「語言建模是壓縮」提出了一項重要發現。他們指出，大型語言模型可以在影象和音訊資料的壓縮方面取得顯著的無失真壓縮率。具體而言，這個名為 Chinchilla 70B 的語言模型將影象壓縮到原始大小的 43.4%，將音訊資料壓縮到原始大小的 16.4%。相比之下，標準的影象壓縮算法 PNG 將影象壓縮到原始大小的 58.5%，FLAC 壓縮器將音訊檔案壓縮到原始大小的 30.3%。這一結果尤其令人印象深刻，因為 Chinchilla 並不專門針對影象和音訊媒體設計，而是訓練來處理文字資料。
對於模型規模的認識
研究人員的研究還揭示了關於壓縮質量如何隨著壓縮資料大小的變化而變化的不同觀點，即所謂的縮放定律。Grégoire Delétang 表示：“我們提供了一種對縮放定律的新見解，顯示資料集的大小在壓縮效能方面提供了模型大小的硬性約束。”換句話說，對於大型語言模型壓縮器來說資料集的大小是其優勢的上限。“縮放不是萬能的，”Delétang 表示。DeepMind 的研究工程師兼該論文的共同作者 Anian Ruoss 最近在一次訪談中表示：“像 gzip 這樣的傳統壓縮器當前的壓縮速度和大小折衷比任何其他方案都要好，因此它們並不會很快消失。”
總結意見
DeepMind 的研究結果為壓縮領域的發展帶來了新的可能性。他們展示了大型語言模型在無失真壓縮方面的優勢，並指出了壓縮效能在模型大小和資料集大小之間存在著約束。儘管如此傳統的壓縮器仍然在壓縮速度和大小方面具有優勢。這一研究結果將促使更多研究者深入探索壓縮技術的發展，並尋求更多創新的解決方案。
延伸閱讀
- 「Inception 首度曝光！全新 AI 模型顛覆科技界！」
- 《Anthropic 利用寶可夢測試最新 AI 模型，成果驚人！》
- Google 悄然推出下一代旗艦 AI 模型，科技界即將震撼！
- AI2 推出新 AI 模型，成功超越 DeepSeek 最佳技術！
- xAI 新一代 AI 模型遲遲未發，背後隱藏的趨勢曝光！
- Google 執行長宣布：AI 模型 Gemini 將成為 2025 年最大焦點！
- 「DeepSeek 最新 AI 模型為何自認是 ChatGPT？揭祕背後的技術奧妙！」
- DeepSeek 推出新 AI 模型，成為最佳「開放挑戰者」！
- Pictionary 與 Minecraft：測試 AI 模型創意潛力的新戰場！
- AI 模型在西班牙語選舉問題上表現不佳，研究揭示了隱藏的語言障礙！
