Meta 期望推薦模型比 GPT-4 大數量級，為什麼如此?
在一份旨在更清楚解釋其內容推薦算法的公告中，Meta 提出了一項引人注目的宣告。他們正在準備行為分析系統，比所有現有最大型的大型語言模型（包括 ChatGPT 和 GPT-4）要大數量級。這真的有必要嗎?
壹、Meta 的算法透明度
Meta 偶爾會重新確保其對透明度的承諾，並解釋其一些算法的執行方式。有時這是揭示性的或有啟發性的，有時則只會帶來更多問題。這次是兩者兼而有之。
除理解釋 AI 在特定上下文或應用中的使用方式以及所謂的“系統卡片”外，這個社交和廣告網路還發布了其使用的 AI 模型的概述。例如，即使視覺上有些重疊，我們也希望能夠知道一個影片是滾輪曲棍球還是滾輪德比，以便能正確推薦。事實上 Meta 在多模態 AI 領域是其中一個最多產的研究組織，該領域結合了多個模式（例如視覺和聽覺）的資料，以更好地理解內容。
雖然這些模型中的很少數是公開發布的，但我們經常聽說它們在內部使用來改善“相關性”等事情（它們確實允許一些研究人員存取這些模型）。
貳、對於 GPT-4 外部基礎上的模型的需求
然後，它在描述如何建立計算資源時提出了這個有趣的小訊息：“為了深入理解和模擬人們的偏好，我們的推薦模型可能具有數以萬計的引數 -比當今使用的最大型語言模型還大數量級。”我詳細問了 Meta 有關這些理論模型的更多細節，它們確實只是理論上的。該公司在澄清宣告中表示：“我們相信我們的推薦模型有潛力達到數以萬計的引數。”這種措辭有些像是說你的漢堡“可以”用 16 盎司的肉餅，但又承認它們仍然是四分之一磅的肉餅。
儘管如此該公司明確表示它的目標是“確保這些非常大的模型可以在大規模上高效地訓練和部署。”一家公司會為它不打算建立或使用的軟體建立昂貴的基礎設施嗎?這似乎不太可能，但 Meta 拒絕確認（同樣也不否認）他們是否正在積極追求這麼大規模的模型。這其中隱含的意義是明確的，因此雖然我們不能將這種十萬億規模的模型視為真實存在，但我們可以將其視為真正的理想目標並有望實現。
“深入理解和模擬人們的偏好”實際上必須理解為對使用者行為進行分析。你的實際偏好可能只需要一百個字的明文清單代表。從根本上來說也許很難理解為什麼你需要這麼大而複雜的模型，甚至可以為幾十億使用者提供推薦。事實上問題的範圍確實非常巨大：有數十億篇內容，每篇內容都有相應的後設資料，而且毫無疑問，還有各種複雜的向量表明喜歡 Patagonia 品牌的人也往往捐贈給世界野生動物基金會，購買越來越昂貴的鳥食器等等。
所以也許對於透過所有這些資料訓練的模型而言，它的確需要非常大。但比起當今最大的模型，就連在幾乎每一篇可存取的寫作中訓練的模型來說它要“大數量級”還是有些令人驚訝。對於 GPT-4，並沒有關於可靠的引數計數，而且 AI 界的領導者也發現該計量指標是一種簡化的效能衡量方法。但 ChatGPT 約為 1750 億，而 GPT-4 被認為更高，但低於粗略的一萬億聲稱。即使 Meta 有些誇大，這仍然是非常龐大的。
想一想吧：一個與任何已經存在的模型一樣大或更大的 AI 模型……進去的是你在 Meta 平臺上所做的每一個動作，從另一邊出來的是對你下一步會做什麼或喜歡什麼的預測。有些令人毛骨悚然，不是嗎?
叄、以廣告商為重點的 Meta
當然 Meta 並非唯一進行此舉的公司。TikTok 引領了基於算法的追蹤和推薦，並以其令人上癮的“相關”內容供稿建立了自己的社交媒體帝國。它的競爭對手明顯都妒忌不已。
Meta 顯然打算以科學之名迷惑廣告商，既然他們宣稱要創造最大的模型，並以以下方式引起注意：“透過使用非常大規模的注意模型、圖神經網路、少樣本學習和其他技術，這些系統能夠理解人們的行為偏好。最近的關鍵創新包括一種新的層級式深度神經檢索架構，它在不降低推斷延遲的情況下，使我們能夠明顯優於各種最新基準以及一種利用異構互動模組更好地模擬與人們的興趣相關的因素的新整合架構。”
上述段落並不是為了給研究人員留下深刻印象（他們都理解這些東西），也不是為了讓使用者理解或關心（他們不理解也不在乎）。但如果你是一位廣告商，並開始質疑你的錢是否花在了 Instagram 廣告上而不是其他選擇上，這些技術辭藻就是讓你充滿興趣的，它們不僅旨在讓 Meta 成為 AI 研究的領導者，還旨在使人相信 AI 真正擅於“理解”人們的興趣和偏好。
如果你對此表示懷疑：“一個人的 Facebook 和 Instagram 動態訊息中超過 20%的內容現在是由 AI 推薦的，這些內容來自他們不關注的人、組織或帳戶。”這正是我們所希望的！所以就是這樣，AI 執行得很出色。但所有這一切也是對 Meta、Google 和其他公司基於精確廣告定向的隱藏機構的提醒，他們的主要動力原則是以越來越精細和準確的方式銷售廣告。即使使用者起義，廣告不斷增加並引入，還是必須不斷重申這種定向的價值和合法性。
從未有一次 Meta 像明智的方式這樣向我展示了 10 個品牌或愛好，然後問我喜歡其中哪一個。他們寧願趴在我旁邊，當我在網上尋找一件新的雨衣時偷看我，然後像這是先進人工智慧的壹項成就一樣，第二天給我推送雨衣廣告。這種做法是否完全比前者更優越?如果更優越，又何以如此?整個網際網路都建立在對精確廣告定向的共同信念上，現在最新的技術正在被用於為新的、更具懷疑精神的市場投入支出提供支撐。
當然你需要一個具有數萬億引數的模型來告訴你人們喜歡什麼。否則，你如何能夠答辯你在培訓它上花費的數億美元呢!
延伸閱讀
- 深度學習技術進步！Meta 推出廣告 AI 工具，能創造全新影象而非僅替換背景
- Meta 推出的 AI 工具現在能夠創造全新的影象，而非僅僅是更換背景
- Meta 在歐盟調查 Facebook 和 Instagram 的背景下應對選舉安全
- Meta 宣布為 Threads 上的創作者推出獎勵計劃
- 為何 Meta 看好 fediverse 作為社交媒體的未來
- 歐盟對 Meta 監視廣告模式實施更嚴格管制
- Meta 開放 Quest OS 給第三方耳機製造商，與聯想和 Xbox 合作夥伴關係
- 元宇宙新趨勢：Meta 推出全新 Llama 3 機型，為開源人工智慧注入動力
- Meta 將 Llama 3 智慧聊天機器人整合到其應用程式的搜尋欄位
- 大型廣告科技巨頭如 Meta 必須給予歐盟使用者真正的隱私選擇，歐盟資料保護委員會表示
