人工智慧模型在壓縮方面擊敗 PNG 和 FLAC
概述
壓縮技術的出現使我們能夠更有效地儲存、傳輸和處理資料。隨著科技的發展，研究者們一直努力探索更高效的壓縮方法。最近，DeepMind 的研究人員宣布，他們的大型語言模型可以將資料壓縮到新的水平，並且在影象和音訊資料的無失真壓縮方面取得了顯著成果。
壓縮的重要性
壓縮技術的出現給我們帶來了巨大的便利。舉個例子，壓縮使我們能夠將龐大的音樂庫、個人照片和影片收藏壓縮到一個硬碟中，而不需要購買一個又一個的硬碟。同樣地，壓縮使我們能夠從網際網路上幾乎即時地提取大量的資料。在沒有壓縮的情況下，手機通話可能會因中斷和時間延遲而受到干擾和困擾。此外壓縮還能提高數位安全性、流媒體播放我們喜愛的電影、加快資料分析速度以及透過更高效的數位效能節省大量成本。
壓縮的詩意和美感
壓縮的確使許多觀察者感到興奮和讚嘆。流行科學作家 Tor Nørretranders 曾經說過：「將大量訊息壓縮為富含'exformation'微量訊息的宏態是一種智慧，而且非常美麗。是的，甚至令人覺得性感。將一堆混亂的資料和死板的知識碎片壓縮成簡潔、清晰的訊息，這真的很迷人。」一位匿名作家將壓縮形容為「時代的交響曲，將資料的喧囂轉化為一個優雅而高效的旋律。」未來主義者 Jason Luis Silva Mishkin 簡潔地表示：「在數位時代，壓縮就像魔術一樣，讓我們把世界的浩瀚收入口袋中。」
DeepMind 的研究成果
DeepMind 的研究人員最近發表的論文「語言建模是壓縮」提出了一項重要發現。他們指出，大型語言模型可以在影象和音訊資料的壓縮方面取得顯著的無失真壓縮率。具體而言，這個名為 Chinchilla 70B 的語言模型將影象壓縮到原始大小的 43.4%，將音訊資料壓縮到原始大小的 16.4%。相比之下，標準的影象壓縮算法 PNG 將影象壓縮到原始大小的 58.5%，FLAC 壓縮器將音訊檔案壓縮到原始大小的 30.3%。這一結果尤其令人印象深刻，因為 Chinchilla 並不專門針對影象和音訊媒體設計，而是訓練來處理文字資料。
對於模型規模的認識
研究人員的研究還揭示了關於壓縮質量如何隨著壓縮資料大小的變化而變化的不同觀點，即所謂的縮放定律。Grégoire Delétang 表示：“我們提供了一種對縮放定律的新見解，顯示資料集的大小在壓縮效能方面提供了模型大小的硬性約束。”換句話說，對於大型語言模型壓縮器來說資料集的大小是其優勢的上限。“縮放不是萬能的，”Delétang 表示。DeepMind 的研究工程師兼該論文的共同作者 Anian Ruoss 最近在一次訪談中表示：“像 gzip 這樣的傳統壓縮器當前的壓縮速度和大小折衷比任何其他方案都要好，因此它們並不會很快消失。”
總結意見
DeepMind 的研究結果為壓縮領域的發展帶來了新的可能性。他們展示了大型語言模型在無失真壓縮方面的優勢，並指出了壓縮效能在模型大小和資料集大小之間存在著約束。儘管如此傳統的壓縮器仍然在壓縮速度和大小方面具有優勢。這一研究結果將促使更多研究者深入探索壓縮技術的發展，並尋求更多創新的解決方案。
延伸閱讀
- NFT 平臺 Zora 提供了一種新的賺錢方式，適合 AI 模型製作者
- 史上最大的文字轉語音 AI 模型體現「新興能力」
- 研究發現：人類學家發現 AI 模型可以被訓練成欺騙者
- Google 首款搭載全新 AI 模型 Gemini 的智慧手機--Pixel 8 Pro
- Google 的 AI 聊天機器人 Bard 進行大幅升級，搭載 Google 的下一代 AI 模型 Gemini
- Google 布局生成式 AI 模型，但「Gemini」並非我們期待的模型
- 亞馬遜推出新晶片，用於訓練和執行 AI 模型
- Giskard 開源框架在將 AI 模型推向生產前進行評估
- 聚焦於 ChatGPT-like AI 模型開發的 Hugging Face 有兩人團隊
- AI 新創公司相信自家開發的小型 AI 模型將勝出，世界科技企業正在玩弄 OpenAI 的 API
