研究顯示語言模型存在政治偏見
最新研究顯示 ChatGPT 和其他生成式人工智慧背後的語言模型存在政治偏見，並且可能與大眾的意見不一致。這些模型是基於從全球的書庫、網站和社交媒體上蒐集、新聞報導和演講文稿上提取的書面文字訓練出來的。現在斯坦福大學的新研究正好量化了這些模型在與美國不同族群意見匹配方面表現如何。
模型存在政治偏見
這份由斯坦福大學的學者所撰寫的論文，首席作者為 Shibani Santurkar，研究小組還包括 Esin Durmus、Faisal Ladhak、Cinoo Lee、Percy Liang 和 Tatsunori Hashimoto 等學者，介紹了一種評估模型偏見的工具 OpinionQA。OpinionQA 將語言模型意見傾向與大眾民意調查進行比較，該工具比較語言模型對每個問題的意見分布與美國整體民意以及至少 60 個人口子群的意見，從中計算三種意見匹配度的指標。
研究發現，所有模型在政治和其他傾向，如收入、年齡和教育程度上都存在很大變異。而模型的差異，可能與來自於網路蒐集的訓練資料不足，且對教育程度、收入等層次和社群的人意見偏向較低的原因，或因為根據人工反饋精細調整過的新模型更偏向於自由派、教育程度較高、收入較高的受眾。
模型的改進方向
為了提高可信度，語言模型應該更好地反映公眾意見的細微差異、複雜性和狹窄分歧。研究人員指出，當前的語言模型不應只反映某些群體壟斷性觀點，而應更密切地與大眾觀點相一致。因此與其目標完全符合大眾觀點，開發人員更應關注模型是否存在政治偏見。OpinionQA 應成為助力開發人員改進其模型的工具，而不是一個最佳結果的基準標準。
建議
語言模型作為自然語言處理和機器學習的核心技術，可廣泛應用於教育、金融、醫療和其他領域。然而在使用這些模型時，我們應該更加謹慎，並加倍確認模型的結論是否能反映大眾意見，是否存在政治偏見。另外必須對模型進行更多的測試，以確保其對所有種族、文化和教育程度的使用者一視同仁。
在這個訊息爆炸的時代，語言模型可以幫助我們更好地理解和應對當前的社會問題。然而偏見的語言模型可能會使人受到錯誤的引導，從而對社會狀況產生偏誤的理解。因此開發人員和使用者要認識到，語言模型的政治相容和偏見是現實存在的問題，必須按照各種人口子群的聲音不停地加以測試和改進。
