人工智慧模型用於資料壓縮的新視角
簡介
Google 旗下的 AI 公司 DeepMind 最近發表的一篇研究論文指出，大型語言模型（LLMs）可以被視為強大的資料壓縮器，這一新視角為開發和評估 LLMs 提供了創新的見解。其研究實驗表明，經過輕微修改後，LLMs 可以與廣泛使用的壓縮算法同樣有效，甚至在某些情況下效果更好。這一研究提供了探索和理解 LLMs 能力的新途徑。LLMs 作為資料壓縮器
機器學習模型通常透過將輸入轉換為“潛在空間”來學習，潛在空間包含了資料的關鍵特徵。這個潛在空間通常比輸入空間的維度低，從而使模型能夠將資料壓縮成更小的尺寸，起到資料壓縮器的作用。DeepMind 的研究人員將開源的 LLMs 重新用於執行算術編碼，一種無失真壓縮算法。這是因為 LLMs 是透過進行 log-loss（即交叉熵）訓練的，這種訓練嘗試最大化自然文字序列的機率並減小其他所有序列的機率。這樣就得到了機率分布，並與壓縮等價。LLMs 與傳統壓縮算法的比較
研究人員評估了 LLMs 在文字、影象和音訊資料上的壓縮能力，使用了 vanilla transformers 和 Chinchilla 模型。結果顯示，LLMs 在文字壓縮方面表現出色。例如，具有 700 億引數的 Chinchilla 模型能將資料壓縮到其原始大小的 8.3%，顯著優於 gzip 和 LZMA2，它們的壓縮率分別為 32.3%和 23%。然而更有趣的發現是，儘管 LLMs 主要是在文字上進行訓練的，但它們在影象和音訊資料上實現了出色的壓縮率，超過了專門用於該領域的壓縮算法，如 PNG 和 FLAC。LLMs 的規模與效能之間的關係
從壓縮的角度來看 LLMs，可以對這些模型的效能受規模影響進行更深入的理解。在這個領域，人們普遍認為更大的 LLMs 模型在效能上更優越。然而研究人員發現，雖然更大的模型確實在較大資料集上實現了更好的壓縮效果，但在較小資料集上，它們的效能會下降。這表明更大的模型不一定在任何任務上都更好。模型的規模和資料集的大小是相互依存的，而壓縮可以作為評估模型是否適當地學習資料訊息的指標。這些發現在未來的 LLMs 評估中可能具有重要意義。使用壓縮方法進行評估的影響
LLMs 的評估中存在一個重要問題，即測試集污染，這是指在訓練集上測試訓練好的模型，導致結果具有誤導性。隨著機器學習研究從精心設計的學術基準轉向大量使用者提供的或從網路中提取的資料，這個問題變得更加迫切。然而研究人員建議使用將模型的復雜性納入考慮的壓縮方法來評估模型，也稱爲最小描述長度（Minimum Description Length, MDL）。MDL 懲罰了那些“儲存”訓練資料的極度複雜的模型，因爲它們的複雜性非常高。這種方法在解決測試集污染問題時更為有效。評論與建議
這項研究為我們對於 LLMs 的理解提供了全新的視角，將其視為資料壓縮器而不僅僅是預測模型。透過將 LLMs 視為壓縮器，我們可以更深入地研究模型的效能和規模之間的關係，並提出用於評估模型的新方法。這種視角提供了更全面的方式來檢驗模型是否真正理解並學習了資料，而不僅僅是單純地預測下一個字。 然而對於實際應用來說 LLMs 還不是與現有模型相比的實用工具，主要是由於其大小和速度上的差異。傳統的壓縮算法，像 gzip 這樣的經典壓縮器，仍然在速度和大小的權衡上具有優勢。LLMs 模型的大小可能高達數百 GB，並且在消費者裝置上執行速度緩慢。因此在實際應用中，我們仍然需要傳統的壓縮算法來處理大量資料的壓縮任務。 儘管如此這項研究的發現對於我們理解 LLMs 的規模和效能關係具有重要意義。對於未來的 LLMs 評估和開發來說我們需要考慮不同問題的資料集的大小，並使用壓縮方法作為一種指標來評估模型的效能。同時該研究在解決測試集污染問題方面也提供了一個新的方法。結語
從壓縮的角度來看 LLMs，我們對於這些模型的能力和表現提供了更深入的理解。LLMs 作為資料壓縮器的新視角為我們開發更強大、更高效的模型提供了新思路。這項研究結果還指出，單純追求模型的規模並不一定能帶來更好的效能，而是應該根據資料集的大小來選擇合適的模型規模。這一發現對於我們未來的機器學習研究和應用具有重要意義。ArtificialIntelligence-LLMs,影象壓縮,音訊壓縮,DeepMind,研究人員
延伸閱讀
- 微軟人工智慧進軍倫敦，由前 Inflection 和 Deepmind 科學家 Jordan Hoffmann 領軍的新據點
- Opera 允許使用者下載並本地使用 LLMs
- AI 影片生成競爭升溫：Deepmind 前員工推出 Haiper
- 熱門智慧視訊門鈴易遭劫持，研究人員發現
- 研究人員表示 ConnectWise 遠端存取軟體現易受攻擊 安全漏洞，威脅大量攻擊
- Google 推出全新的開放 LLMs, Rivian 裁員，Signal 推出使用者名
- 研究人員表示攻擊者正在大規模利用新的 Ivanti VPN 漏洞
- DeepMind 釋出最新 AI，能夠解決幾何問題
- 伊隆·馬斯克現在接受歐盟研究人員的申請，來研究 X 資料
- 亞馬遜 Bedrock 新增 Guardrails 功能，助力保障 LLMs
