將大型語言模型視為強大的資料壓縮器
令人耳目一新的觀點
大型語言模型（LLMs）常常被認為是根據龐大的資料進行訓練，能夠高效地預測詞語的下一部分。然而 Google 的 AI 子公司 DeepMind 最近一份研究論文提出了一個不同的觀點，認為 LLMs 可以被視為強大的資料壓縮器。作者提出了一種“透過壓縮的角度來看待預測問題”的觀點，為發展和評估 LLMs 提供了新的理解。
研究中，Google DeepMind 的研究人員對開源 LLMs 進行了重新利用，使其能夠執行算術編碼，一種無失真壓縮算法。他們的實驗表明，經過輕微修改後，LLMs 可以像廣泛使用的壓縮算法一樣有效地壓縮訊息，甚至在某些情況下表現更好。這一觀點為開發和評估 LLMs 提供了新的見解。
LLMs 作為資料壓縮器
機器學習模型透過學習將輸入（例如影象或文字）轉換為“潛在空間”，該空間包含了資料的關鍵特徵。這個潛在空間通常比輸入空間具有更少的維度，使得模型能夠將資料壓縮成更小的尺寸，因此起到了資料壓縮器的作用。在研究中，Google DeepMind 的研究人員重新利用了開源的 LLMs，使其能夠執行算術編碼，一種無失真壓縮算法。他們發現，由於 LLMs 是透過對數損失（即交叉熵）進行訓練，試圖最大化自然文字序列的機率並降低所有其他序列的機率，因此它們可以產生一個序列的機率分布和與壓縮的一對一對應。
LLMs vs. 傳統壓縮算法
研究人員透過使用香蕉 LLMs 和極佳 LLMs 對文字、影象和音訊資料進行了壓縮能力的評估。預料之中，LLMs 在文字壓縮方面表現優異。例如，擁有 7000 億個引數的極佳 LLMs 將資料壓縮到其原始大小的 8.3％，遠遠優於 gzip 和 LZMA2 等廣泛使用的壓縮算法，後者分別達到 32.3%和 23%。
然而最引人注目的發現是，儘管這些模型主要是在文字上進行訓練的，但在影象和音訊資料的壓縮方面卻取得了出色的效果，超越了特定領域的壓縮算法（例如 PNG 和 FLAC）。研究人員在論文中指出：“香蕉 LLMs 透過透過上下文學習使（元）訓練模型存取到特定任務來實現其出色的壓縮效能。”上下文學習是指模型能夠根據提示提供的示例和訊息執行任務的能力。
研究結果還表明，LLM 壓縮器可以預測出意料之外的特性，包括文字和音訊。研究人員計劃很快在這方面公布更多的發現。儘管有這些有希望的結果，與現有模型相比，LLMs 在實際資料壓縮方面並不實用，這是由於其尺寸和速度差異。
將 LLMs 以不同的角度看待
規模對 LLMs 效能的影響
當前在領域中普遍認為，更大的 LLMs 在本質上是更好的。然而研究人員發現，雖然更大的模型確實在更大的資料集上實現了更好的壓縮率，但在較小的資料集上，它們的效能會下降。
研究人員在論文中指出：“對於每個資料集，模型大小達到臨界點之後，根據調整後的壓縮率開始再次增加，因為模型引數的數量太大，相對於資料集的大小而言。”這表明更大的模型不一定適用於任何任務。縱向規模律依賴於資料集的大小，而壓縮可以作為評估模型對資料進行學習的好壞的指標。
這些發現對於將來評估 LLMs 可能具有重要意義。例如，LLM 訓練中的一個重要問題是測試集的混合，即在訓練集的資料上測試訓練好的模型，這導致了誤導性的結果。隨著機器學習研究從精心設計的學術基準轉向使用大量由使用者提供或從網路爬取的資料，這個問題變得更加緊迫。
使用壓縮方法進行評估
然而 Ruoss（Google DeepMind 的研究工程師）建議，在使用考慮模型複雜性的壓縮方法（也稱為最小描述長度（MDL））來評估模型時，測試集的混合問題不再成問題。MDL 對於純記憶器，即“將所有訓練資料儲存在引數中的模型”，具有巨大的復雜性。Ruoss 表示：“希望研究人員將更多地使用這種框架來評估他們的模型。”
總體而言，將 LLMs 從壓縮的角度來看待提供了對這些模型效能如何受規模影響的重要洞察。當前在領域中普遍認為，更大的模型一定是更好的，但這些研究結果顯示，對於不同大小的資料集，充分理解模型學習資料訊息的壓縮能力至關重要。
延伸閱讀
- Opera 允許使用者下載並本地使用 LLMs
- Google 推出全新的開放 LLMs, Rivian 裁員，Signal 推出使用者名
- 亞馬遜 Bedrock 新增 Guardrails 功能，助力保障 LLMs
- 「Credal 致力於『安全地』存取公司資料與 LLMs」
- LLMs 驚人地擅長壓縮影象和音訊，DeepMind 研究人員發現
- 如何在企業中減少生成式 AI 和 LLMs 的資料風險
- DynamoFL 籌集到 1510 萬美元，助力企業採納「合規」的 LLMs
- Deepset 獲得 3000 萬美元投資，幫助企業發揮 LLMs 的價值
- 軟銀推出日本版 OpenAI：SB Intuitions，專注於用日文開發 LLMs 和生成式 AI
- Beyond Work 獲得 250 萬美元投資，用 LLMs 讓工作更「人性化」
