評估 ChatGPT 和其他大型語言模型對假新聞的檢測能力
背景簡介
大型語言模型（LLMs）是自然語言處理（NLP）技術的進化，在快速生成與人類撰寫的文字相似的文字以及完成其他簡單的語言相關任務方面具有重要作用。OpenAI 開發的 ChatGPT 是一種高效的 LLM，自其公開發布以來已越來越受歡迎。過去的研究主要評估 LLMs 在創作文字、定義特定術語、撰寫文章或其他檔案以及生成有效的電腦程式碼等方面的能力。然而這些模型還可能幫助人類應對包括假新聞和錯誤訊息在內的各種現實世界問題。研究目的和方法
威斯康星州立大學的研究員 Kevin Matthe Caramancion 最近進行了一項研究，評估迄今最著名的 LLMs 是否能夠有效地檢測新聞故事的真假。他的研究成果在預印本服務 arXiv 上發表，為未來使用這些先進模型對抗線上錯誤訊息提供了有價值的見解。 研究中，Caramancion 對四個 LLMs 進行了評估：Open AI 的 Chat GPT-3.0 和 Chat GPT-4.0、Google 的 Bard/LaMDA 以及 Microsoft 的 Bing AI。他給這些模型提供了事先經過事實檢查的相同新聞故事，然後比較它們判斷這些故事的真假或部分真假的能力。研究結果和啟示
Caramancion 的評估結果顯示，ChatGPT 4.0 在事實檢查任務上明顯優於其他著名的 LLMs。進一步對更廣泛的假新聞進行測試可有助於取證這一結果。此外研究人員還發現，人類事實檢查員仍然優於他評估的所有主要 LLMs。他的研究凸顯了需要進一步改進這些模型，或者將它們與人類檢查員的工作結合起來應用於事實檢查的需求。 許多電腦科學家一直在嘗試設計更好的事實檢查工具和平臺，使使用者能夠取證他們線上閱讀的新聞。儘管迄今為止建立和測試了許多事實檢查工具，但缺乏一種被廣泛採用且可靠的模型來對抗錯誤訊息。結論和建議
根據 Caramancion 的研究結果，LLMs 具有潛力應用於假新聞和錯誤訊息的檢測，但它們仍然無法替代人類檢查員的價值。因此在應用 LLMs 進行事實檢查時，需要保持平衡，將其與人類認知能力互補結合。此外值得進一步研究和改進 LLMs 的能力，並探索人類與 AI 技術在新聞事實檢查領域的動態關係。 對於使用者來說應該保持警惕，不僅依賴於機器學習模型的判斷。重要的是要培養自己的事實檢查能力，多方從經過取證的訊息來源中獲取訊息。同時引導公眾提高對假新聞和錯誤訊息的識別能力，推動社會建立更好的數位素養水平，以防範和對抗假新聞的傳播。參考文獻
Kevin Matthe Caramancion. "News Verifiers Showdown: A Comparative Performance Evaluation of ChatGPT 3.5, ChatGPT 4.0, Bing AI, and Bard in News Fact-Checking." arXiv (2023). DOI: 10.48550/arxiv.2306.17176Technology-ChatGPT,大型語言模型,假新聞,評估,能力
