研究人員發現使用來源聲譽來訓練自動檢測誤訊息演算法存在缺陷
2023 年 5 月 16 日，新澤西洲的羅格斯大學的研究人員發現了一種評估在網上新聞報道的可信度的演算法的主要缺陷。研究人員說大多數用來檢測「假新聞」的演算法是依靠文章「來源」的可信度得分，而不是評估每篇文章的可信度。他們發現，這種標籤過程在追求建立可靠的防僞訊息探測器的過程中存在重要的影響，並且對看法各異的政治陣營的公平審查也有影響。如果以來源爲基礎來判斷文章是否可信，則會讓消費者們對判斷的可靠性產生懷疑，影響公衆對新聞的置信度。
標籤過程的問題
根據該研究，使用來源聲譽評估文章的可信度不是一個可靠的方法。文章級別的標籤與來源級別的標籤匹配的機率只有 51%。將文章標記爲所謂的非可信來源也可能不正確地分類爲「假新聞」，因爲並不是所有被所謂的可信來源標記的新聞報道都是準確的。
此外研究人員還發現，由於困難問題，將標籤定義到每個新聞文章可能不可行。因此他們推出了一個新資料集，利用文章級別的標籤對新聞報道各自進行了標記，並針對此提出了一個用於檢測誤訊息和公平審查的應對方法。該資料集和方法可以爲未來研究提供有價值的資源。
從資料 標記過程中理解不足
新的研究強調了在說服公衆認爲所接收到的新聞訊息的可信度方面，需要更加細致而可靠的方法。這是因爲此類機器演算法的標籤大多是無法精確保位到每一篇報道的。他們位於內華達大學的傳播學教授朱莉亞·德盧克斯（Julia DeCooker）表示：“衆所周知，在對共享的內容進行標記、分類和編制資料時，標記的不準確性將會對機器演算法的分類和泛化效能產生不良的影響。”
此外由於缺乏細粒度標籤定義，檢測誤訊息所用的演算法往往會出現偏見。這就需要有對新聞報道所使用的詞匯、結構和其他相關屬性進行精細評估的手動標注過程。僅僅靠機器學習可能無法解決誤訊息問題。
對消費者建議
消費者是新聞報道的重要接收方之一。所以，定期檢視不同的新聞來源，有助於消費者獲得不同的觀點，從而形成更加客觀的判斷。，事實上現有的「可信度」標記並不意味着所接收的訊息 100%準確和可信。因此我們需要更具裁量性和更加細致、更加可靠的方法，來判斷新聞報道的可信度。
使用 AI 技術來制定誤訊息探測演算法的努力尚未達到需要達到的標準。除了精細的人工標注之外，還需要更加全面的分析和評價新聞報道的物件和作者的引用、背景、文化傾向等屬性以及對使用機器演算法檢測的標準和偏見進行更加全面的評價和審查。建立真正優良的誤訊息探測器需要從更加合理有效的 演算法和資料源開始。
