貼心程度提升的 Llama 2：新時代文字生成模型
引言
近年來生成 AI 的領域日益擴大。在這個背景下，科技公司 Meta 宣佈推出一族全新的 AI 模型，名為 Llama 2，旨在推動 OpenAI 的 ChatGPT、必應聊天機器人以及其他現代聊天機器人的應用。Meta 聲稱，Llama 2 是基於公開可得的資料進行訓練，效能明顯優於前一代的 Llama 模型。Llama 2 是 Llama 的後續版本，而 Llama 是一個能夠根據提示生成文字和程式碼的模型集合，與其他類似聊天機器人系統相比可媲美其成果。然而 Llama 只接受請求後才能使用；Meta 決定約束模型的存取權，以防止濫用（盡管這項預防措施，Llama 後來在網上洩露，並在各種 AI 社群中散播開來）。相比之下，Llama 2 將提供免費的研究和商業使用，可在 AWS、Azure 和 Hugging Face 的 AI 模型託管平臺上預訓練形式進行微調。並且，Meta 聲稱其執行更加簡便，透過與微軟的擴充套件合作，在 Windows 上進行了最佳化，同時也對搭載高通驍龍系統晶片的智慧手機和個人電腦進行了最佳化。（高通表示該公司正在努力於 2024 年將 Llama 2 引入驍龍裝置中）。那麼，Llama 2 和 Llama 有何不同呢？Meta 在一份詳盡的白皮書中突顯了許多方面。Llama 2 有兩種版本，Llama 2 和 Llama 2-Chat，後者是針對雙向對話進行了微調。Llama 2 和 Llama 2-Chat 被進一步細分為不同複雜程度的版本：70 億個引數、13 億個引數和 7 千萬個引數。Llama 2 的訓練採用了 200 萬個單詞（"tokens"），這些"tokens"代表原始文字，例如“fantastic”詞的“fan”、“tas”和“tic”。這個數位幾乎是 Llama 的兩倍（1400 億個）。一般來說生成 AI 的能力與訓練時所使用的"tokens"數量有關，Google 當前最大型的語言模型（LLM）PaLM 2 據報訓練了 360 萬個"tokens"，GPT-4 據信是用數萬億個"tokens"進行訓練。Meta 在白皮書中並未透露訓練資料的具體來源，只提到這些資料來自網路，主要是英文，並且不來自公司自家的產品或服務，並強調這些文字的“事實”性質。我敢猜測，隱瞞訓練細節不僅基於競爭原因，也基於圍繞生成 AI 的法律爭議。就在今天數千名作家簽署了一封信，敦促科技公司在未經許可或報酬的情況下停止使用他們的作品進行 AI 模型訓練。但是我偏離主題了。Meta 表示在一系列基準測試中，Llama 2 模型的表現與最知名的封閉源同行（GPT-4 和 PaLM 2）相比稍遜，Llama 2 在計算程式設計方面比 GPT-4 明顯差。但據 Meta 聲稱，人類評估員發現 Llama 2 在幫助方面大致與 ChatGPT 相當；Llama 2 在大約 4,000 個旨在探測“幫助性”和“安全性”的提示方面回答得與 ChatGPT 相等。然而應該對這些結果持謹慎態度。Meta 承認，其測試不可能涵蓋所有現實場景，並且其基準測試可能缺乏多樣性，也就是說不足以涵蓋程式設計和人類推理等方面。Meta 還承認，就像所有生成 AI 模型一樣，Llama 2 也存在某些偏見。例如，由於訓練資料中的不平衡性，它更容易生成“他”代詞，而不是“她”代詞。由於訓練資料中存在有害文字，它在有毒性基準測試中表現不如其他模型。此外 Llama 2 存在西方傾向，原因同樣是資料不平衡，包括大量包含“基督教”、“天主教”和“猶太教”等詞匯。 Llama 2-Chat 模型在 Meta 內部的“幫助性”和有毒性基準測試中的表現優於 Llama 2 模型。但它們也傾向於過於謹慎，模型在某些情況下會傾向拒絕請求或用過多的安全維度回應。公平地說，這些基準測試並不包含主機上可能應用的額外安全層。作為與微軟合作的一部分，Meta 使用 Azure AI 內容安全服務，以減少 Azure 上 Llama 2 模型的有毒輸出。在這種情況下，Meta 仍盡一切努力與可能涉及 Llama 2 的有害結果保持距離，白皮書中強調使用 Llama 2 的使用者必須遵守 Meta 的許可證和可接受使用政策，並遵守有關“安全開發和部署”的指南。 "我們相信，公開分享當今的大型語言模型也將支援有益且安全的生成 AI 的發展，"Meta 在一篇博文中寫道。"我們期待看到 Llama 2 將會為世界帶來什麼。"然而考慮到開源模型的性質，無法確保這些模型將如何被使用以及將在何處被使用。隨著網際網路的發展速度之快，我們將很快看到答案。評論與建議
這次 Meta 推出的 Llama 2 系列模型帶來了一些重要的技術進步，其貼心程度的提升對於聊天機器人和其他自然語言處理應用來說尤其重要。然而 Llama 2 模型在某些方面仍然存在一些問題，如性別偏見和有毒性輸出。這些問題在訓練資料的不平衡性和資料源的不透明性方面根植於根本原因。因此對於該模型的使用者和相關公司來說需要在使用這些模型時保持謹慎，並確保遵守 Meta 的使用指南和政策。 在法律和倫理層面，Meta 需要更加透明地披露訓練資料的來源，以維護作家和智慧財產權持有者的權益。這包括尋求明確的許可權以及合理的報酬機制。與此同時作者和智慧財產權持有者也需要積極參與，以確保他們的權益得到保護。 在技術層面上，我們需要更多的開放討論和研究，以解決生成 AI 模型的偏見和有毒性問題。這包括改進訓練資料的多樣性，使其更好地反映真實世界的多樣性，並開發更好的模型評估指標，以捕捉真實世界的場景和使用案例。此外我們還需要對生成 AI 模型的效能進行更全面的測試，以確保其在各種場景下的適應能力和安全性。 對於 Llama 2 模型的使用者，建議他們在使用這些模型時要對模型的結果保持謹慎。他們應該進行適當的過濾和安全性措施，以減少有毒輸出和不當生成的風險。同時他們應該提供足夠的反饋和監控，以幫助改進模型的效能和貼心程度。 總之隨著生成 AI 技術的發展，我們需要全面考慮其技術、倫理和法律方面的問題。這需要公眾、政府和科技公司之間的良好溝通和合作，以確保生成 AI 能夠為人類社會帶來真正的好處。Llama-Llama2,文字生成模型,貼心
