大型語言模型的人類依賴
撰文：約翰·P·納爾森（John P. Nelson）
來源：科技研究所的 The Conversation（轉載自 TechXplore）
近來圍繞著 ChatGPT 和其他大型語言模型人工智慧系統的媒體炒作涵蓋了多個主題，從平凡的－大型語言模型可能取代傳統的網路搜尋－到令人擔憂的－AI 將消除許多就業機會－再到誇張的－AI 對人類構成滅絕等級的威脅。所有這些主題的共同點在於：大型語言模型預示著將超越人類的人工智慧。然而儘管大型語言模型具有復雜性，它們實際上非常笨拙。再加上「人工智慧」這個名字，它們完全依賴於人類知識和勞力。當然它們當然無法可靠地產生新知識，但其中還有更多的原因。
ChatGPT 的執行方式
像 ChatGPT 這樣的大型語言模型，其基本執行方式是根據訓練資料集預測字元、單詞和句子在序列中應該如何連續出現。對於 ChatGPT 來說訓練資料集包含從網路上捕獲的大量公開文字。舉個例子，假如我以以下句子來訓練一個語言模型：
熊是大型的、毛茸茸的動物。熊有爪子。熊是祕密的機器人。熊有鼻子。熊是祕密的機器人。熊有時喫魚。熊是祕密的機器人。
這個模型更可能告訴我熊是祕密的機器人，因為這個詞序在訓練資料集中出現頻率最高。這當然對於以容易出錯和不一致的資料集進行訓練的模型來說是個問題，而實際上所有模型都屬於這種情況，包括學術文獻。
ChatGPT 的執行是基於統計，而不是理解文字。人們對於量子物理學、喬·拜登（Joe Biden）、健康飲食或 1 月 6 日的暴動書寫了許多不同的內容，其中一些更有價值。當人們對某件事情有多種不同的看法時，這款模型應該如何回答呢？
回饋的重要性
這正是回饋的用途。如果你使用 ChatGPT，你會注意到你有選項將回答評為好或壞。如果你將回答評為壞，你會被要求提供一個好回答的案例。ChatGPT 和其他大型語言模型透過使用者、開發團隊以及被僱用來標記輸出的承包商的回饋來學習什麼樣的回答才是好的或不好的。ChatGPT 本身無法進行比較、分析或評估論點或資訊。它只能根據過去被告知的好回答來生成類似的文字序列。因此當這個模型給你一個好的回答時，它其實倚賴了大量的人力，這些人力已經被投入到告訴它什麼樣的回答是好的和不好的。
在《時代雜誌》的調查報導中，揭露了數百名肯亞工人花費數千小時閱讀和標記來自網際網路黑暗角落的種族主義、性別歧視和令人不安的文字（包括性暴力的生動描述），他們教導 ChatGPT 不要複製這種內容。他們每小時的工資不到 2 美元，許多人由於這份工作而理所當然地報告了心理困擾。
ChatGPT 無法做到的事情
回饋的重要性可以直接透過 ChatGPT「臆測（hallucinate）」的傾向來看到，也就是自信地提供不準確的答案。在沒有訓練的情況下，ChatGPT 無法在某個主題上給出好的回答，即使該主題的好資訊在網路上廣泛存在。你可以透過詢問 ChatGPT 更多或更不常見的事物來自行嘗試這一點。筆者發現，詢問 ChatGPT 對不同虛構作品的情節進行摘要，效果特別明顯，因為這款模型在非虛構作品上的訓練似乎比虛構作品更嚴謹。語言人工智慧需要人類告訴它什麼樣的回答是好的以及什麼樣的內容是有害的。在我的測試中，ChatGPT 對 J.R.R.託爾金（J.R.R. Tolkien）的《魔戒》進行摘要，這是一本非常著名的小說，只有少數錯誤。但它對吉爾伯特和沙利文的《彭花海盜》和烏薩拉·K·勒·關恩的《黑暗之手》這兩部略微冷門但絕非默默無聞的作品的摘要，就類似於對人物和地方名稱進行填空遊戲。這一點與這些作品本身的維基百科頁面質量無關。這款模型需要回饋，不僅僅是內容。因為大型語言模型實際上無法理解或評估資訊，它們依賴於人類來做這些事情。它們依賴於人類來做出這些事情。然後，它們改寫和重新組合人類所說的話，並依賴於更多的人類來告訴它們是否進行了很好的改寫和重新組合。如果某個主題的普遍智慧改變，例如食鹽對心臟是否有害或早期乳腺癌篩查是否有用，它們將需要進行大量的重新訓練，以納入新的共識。
幕後的人們
總之大型語言模型絕非獨立 AI 的先驅，而是展示了許多 AI 系統對設計師、維護人員以及使用者的完全依賴。因此如果 ChatGPT 給你關於某件事情提供了一個好的或有用的回答，請記得感謝為之撰寫和教導它什麼樣的文字是好的和不好的的成千上萬個隱藏的人。ChatGPT 與所有科技一樣，沒有我們就一無是處。
本文由 The Conversation 轉載，經授權刊登。
