人工智慧語言模型擬人化的未來：新技術實現忘卻資訊的嘗試
摘要：
最近，微軟研究人員在一篇尚未經同行評審的論文中提出了一種新的方法，可以從一個大型語言模型中刪除特定的知識，例如哈利波特系列的內容。這項技術的發展意味著未來的人工智慧語言模型可能更易於進行定制或修改，以符合不同的要求或保護版權。背景：
近年來大型語言模型（如 OpenAI 的 ChatGPT 和 Meta 的 Llama 2）在自然語言處理領域取得了驚人的突破，具有理解和生成人類語言的能力。然而這些模型在訓練過程中，通常需要使用大量的文字資料，包括版權保護的內容。在這種情況下，刪除或遺忘特定知識或內容成為了一個重要的議題。技術細節：
微軟的研究人員提出了一種三部曲的方法，可以近似地從語言模型中刪除指定的內容。首先他們使用哈利波特系列的內容訓練了一個模型，以識別最相關的單詞。其次他們透過使用通用的單詞替換哈利波特的特定表達方式，生成一個近似於刪除訓練內容的模型。最後他們對這個新模型進行了微調，使其遺忘原始的文字內容，當使用者選擇哈利波特相關的上下文時，它不再生成相關的內容。研究結果：
研究人員測試了這個模型生成和討論哈利波特內容的能力，並透過檢查單詞機率等指標來評估其效果。他們發現，在僅僅一小時的微調後，哈利波特相關的複雜內容幾乎被完全遺忘。而在其他基準測試（如 ARC、BoolQ 和 Winogrande）中，模型的表現幾乎沒有受到影響。討論：
這項研究的結果具有重要的倫理和法律意義。透過這項技術的發展，人們可以更好地控制語言模型的生成內容，以適應不同需求或保護版權。然而研究人員也提醒，該技術可能對虛構文字比對非虛構文字更有效，因為虛構世界中存在更多獨特的參考。此外他們還強調進一步的研究和改進仍然需要進行，以確保這種技術能夠廣泛應用於不同型別的語言模型。展望：
未來，更廣泛且強大的技術可以幫助人們更好地控制語言模型的生成內容，以使人工智慧系統能夠根據不同的需求和變化的時代背景保持動態對齊。然而這也引發了一些哲學上的問題，例如智慧系統是否應該忘記特定的知識以及我們是否有資格更改或刪除文化作品中的內容。這些議題需要進一步的研究和討論，以確保人工智慧技術的負面影響最小化，並保護使用者和版權持有人的權益。資料來源：
- [原文標題]：New Microsoft Research shows erasing Harry Potter from LLMs is possible with 1 GPU hour of finetuning - [原文作者]：Kyle Wiggers - [原文出處]：VentureBeat - [網址]：https://venturebeat.com/2022/02/18/new-microsoft-research-shows-erasing-harry-potter-from-llms-is-possible-with-1-gpu-hour-of-finetuning/ - [日期]：2022 年 2 月 18 日Copyright-人工智慧,研究,哈利波特,版權保護,資料
延伸閱讀
- 本週人工智慧大事記：生成式人工智慧與創作者補償的問題
- 蘋果 AI 計劃揭祕：從財報中學到的三件事
- 特斯拉 CEO 為人工智慧新創公司籌集 60 億美元，TikTok 是否在逃避蘋果的傭金？
- Allozymes 以加速酶學應用於資料和人工智慧，籌集 1500 萬美元
- 在 TC 的 Techstars 調查內部以及人工智慧如何加速殘障科技
- Microsoft 禁止美國警察局使用企業人工智慧工具
- 你的 AI 原生新創公司並非一般的 SaaS 公司
- 美國 NASA 向私人太空公司訂購研究，探討火星任務支援角色
- Airbnb 釋出團體訂房功能，並整合人工智慧以提升客戶服務
- 微軟選擇與 Sanctuary AI 合作進行通用機器人研究
