Meta 發布更「具幫助性」的文字生成模型 Llama 2
概述
隨著時間的推移，生成式人工智慧領域越來越大。今天Meta 宣布推出新一代 AI 模型系列，名為「Llama 2」，旨在驅動 OpenAI 的 ChatGPT、必應聊天等現代聊天機器人應用程式。Meta 聲稱 Llama 2 的效能明顯提升，相比上一代的 Llama 模型更有優勢。
Llama 2 是 Llama 的後續版本，它是一系列可以根據提示生成文字和程式碼的模型，類似於其他聊天機器人系統。不過 Llama 只能透過申請才能獲得，Meta 決定約束訓練模型的存取許可權，以避免被誤用。（儘管採取了這樣的預防措施，Llama 後來被洩漏到網上並在各種人工智慧社區傳播開來。）相比之下，Llama 2 將免費提供給研究和商業使用者，在 AWS、Azure 和 Hugging Face 的 AI 模型託管平臺上提供預訓練模型。此外 Meta 表示 Llama 2 更易於執行，透過與 Microsoft 的擴充套件合作夥伴關係最佳化了 Windows 版本，並支援 Qualcomm 的 Snapdragon 系統晶片的智慧手機和個人電腦。（Qualcomm 表示將在 2024 年將 Llama 2 引入 Snapdragon 裝置。）
Llama 2 和 Llama 之間的區別
Llama 2 在多個方面與 Llama 不同，這些差異都在 Meta 的一篇冗長的白皮書中得到強調。Llama 2 分為兩個版本，分別是 Llama 2 和 Llama 2-Chat，後者是針對雙向對話進行過微調的版本。Llama 2 和 Llama 2-Chat 又進一步分為不同程度的版本：70 億個引數、13 億個引數和 7 億個引數。（「引數」指的是從訓練資料中學到的模型的部分，基本上定義了模型在解決問題時的能力，這種情況下是生成文字。）Llama 2 訓練使用了兩百萬個標記，其中「標記」表示原始文字，例如單詞「fantastic」用到的單詞如「fan」、「tas」和「tic」。這幾乎是 Llama 訓練使用的標記數量的兩倍（1.4 萬億個標記）；一般而言，在生成式人工智慧方面，標記數量越多越好。據稱，Google 當前的旗艦型大型語言模型（LLM）PaLM 2 是在 360 萬個標記上訓練，並且有人猜測 GPT-4 是在數萬億個標記上進行訓練的。Meta 在白皮書中沒有具體透露訓練資料的來源，只是表示這些資料來自於網路，主要是英文，而非公司自己的產品或服務，強調是「事實」性質的文字。我敢猜測不透露訓練細節不僅僅是出於競爭原因，還有與生成式人工智慧的法律爭議有關。就在今天數千名作者聯署呼籲科技公司停止在未經許可或補償的情況下使用他們的寫作進行 AI 模型的訓練。
Llama 2 的表現和約束
Meta 表示在一系列基準測試中，Llama 2 模型的效能略遜於最受關注的閉源競爭對手 GPT-4 和 PaLM 2，Llama 2 在計算機程式設計方面明顯落後於 GPT-4。然而人工評估者發現 Llama 2 的「幫助性」與 ChatGPT 相當；Llama 2 對大約 4000 個旨在測試「幫助性」和「安全性」的提示作出了相應回答。不過這些結果也需要一定的謹慎解讀。Meta 承認它們的測試不可能涵蓋到每一種現實場景，而且可能缺乏多樣性，換句話說，對編碼和人類思維等方面的覆蓋不足。此外 Meta 還承認，像所有生成式人工智慧模型一樣，Llama 2 也存在某些偏見。例如，由於訓練資料中的不平衡性，Llama 2 在生成「他」代詞時的頻率高於「她」代詞。由於訓練資料中存在有害文字，Llama 2 在毒性基準測試中的表現並不優於其他模型。此外 Llama 2 在文字中存在西方偏重，也與資料不平衡有關，其中包含大量「基督教」、「天主教」和「猶太教」等詞語。相比之下，Llama 2-Chat 模型在 Meta 的內部「幫助性」和毒性基準測試上表現更好。但它們也容易過於謹慎，模型更傾向於拒絕某些請求或提供過多的安全細節。然而這些基準測試並未考慮到可能應用於託管的 Llama 2 模型的其他安全層。例如，作為與 Microsoft 的合作的一部分，Meta 正在使用 Azure AI Content Safety 服務，該服務可以檢測 AI 生成的影象和文字中的「不適當」內容，以減少 Azure 上 Llama 2 模型的有害輸出。考慮到這一點，Meta 仍然努力與潛在的有害結果保持距離，白皮書中強調 Llama 2 使用者必須遵守 Meta 的許可和可接受使用政策以及有關「安全發展和部署」的指南。
討論與評論
生成式人工智慧模型的發展速度快得令人驚嘆。Llama 2 的發布再次推動了這一領域的發展，將更多的能力帶給了聊天機器人和其他相關應用。然而 Llama 2 的發布也引起了關於使用 AI 模型的合理性和道德性的討論。
首先值得關注的是對訓練資料的來源進行保密。Meta 的拒絕透露具體的訓練資料來源引起了人們對競爭和法律爭議的猜測。此外今天有數千名作者聯署呼籲科技公司停止在未經許可或補償的情況下使用他們的寫作進行 AI 模型的訓練。這個宣告再次凸顯了生成式人工智慧模型的道德和法律問題。
其次 Llama 2 模型本身存在偏見和缺陷。像其他生成式人工智慧模型一樣，Llama 2 存在性別和文化偏見，導致在生成文字時偏向於使用某些詞語和代詞。此外模型在毒性基準測試上的表現也並不理想。這些偏見和缺陷暴露了生成式人工智慧模型在處理複雜問題和真實世界場景時的局限性。
在發布 Llama 2 的同時 Meta 明確表示了模型潛在的應用風險，並呼籲使用者遵守使用政策和安全開發指南。然而由於 Llama 2 被開源，無法確保它將在何處和如何被使用。在網路的高速傳播下，很快就會見分曉。有必要確保 AI 模型的使用得到監管和規範，以確保使用者的權益和社會的福祉。
結論和建議
作為一款具有幫助性的文字生成模型，Llama 2 在提供快速回答和解決方案方面可能非常有用。然而我們應該以謹慎的態度對待生成式人工智慧模型的使用。在使用 Llama 2 模型時，我們應該考慮以下幾點：
首先理解模型的局限性。擁有巨大的引數和訓練資料不一定意味著模型能夠處理所有問題。我們應該意識到 Llama 2 在某些領域（如程式設計和人類推理）的表現可能不如其他競爭模型。
其次注意模型的偏見。生成式人工智慧模型可能受到訓練資料中的偏見影響，這可能導致模型在生成文字時偏向於某些詞語和代詞。在使用 Llama 2 進行敏感話題和重要決策時，應該謹慎對待模型的結果。
最後遵守使用政策和安全開發指南。Meta 已經提供了使用 Llama 2 的相關指南和政策。作為使用者，我們應該確保遵守這些規定，以確保安全性和合法性。
總的來說 Llama 2 的發布帶來了生成式人工智慧領域的進一步發展。雖然它擁有一定的優勢，但也存在一些約束和潛在風險。在使用 Llama 2 和其他類似模型時，我們應該保持警覺，理性對待，並確保使用得到監管和規範。
延伸閱讀
- 深度學習技術進步！Meta 推出廣告 AI 工具，能創造全新影象而非僅替換背景
- Meta 推出的 AI 工具現在能夠創造全新的影象，而非僅僅是更換背景
- 蘋果發布全新 iPad 系列
- Meta 在歐盟調查 Facebook 和 Instagram 的背景下應對選舉安全
- Meta 宣布為 Threads 上的創作者推出獎勵計劃
- 為何 Meta 看好 fediverse 作為社交媒體的未來
- 歐盟對 Meta 監視廣告模式實施更嚴格管制
- Meta 開放 Quest OS 給第三方耳機製造商，與聯想和 Xbox 合作夥伴關係
- 元宇宙新趨勢：Meta 推出全新 Llama 3 機型，為開源人工智慧注入動力
- Meta 將 Llama 3 智慧聊天機器人整合到其應用程式的搜尋欄位
