為什麼 GPT 偵測器不能解決人工智慧作弊問題？
學術欺詐的問題
自 ChatGPT 推出後，至少有七名開發人員或公司推出了 AI 偵測器，旨在偵測作弊、抄襲、錯誤或假訊息等內容，並提供給教育家、記者和其他人使用。然而斯坦福學者的一份新論文指出，AI 偵測器的可靠性存在一個（非常大的）問題：它們並不特別可靠。更糟糕的是，當真正的作者（人類）不是英語母語者時，偵測器尤其不可靠。資料顯示偵測器不可靠
研究結果顯示，在評估美國出生的八年級學生寫作的文章方面，偵測器的表現“幾乎完美”。然而當非英語母語的學生寫作託福（託福是指非英語為母語的人的英語能力測試）成績單時，偵測器將超過一半（61.22％）的文章誤判為 AI 生成，這個數位更糟糕。根據研究，所有七個 AI 偵測器都一致認定 91 篇託福學生文章中的 18 篇為 AI 生成（19%），而其中至少有一個偵測器將 89 篇文章列入懷疑範圍（97%）。如果認為這真的是 AI 生成的文章，這些數位提出了關於 AI 偵測器客觀性的嚴重問題，這可能會使外國出生的學生和工人因作弊而受到不公平的指責或甚至更糟的處罰。非母語人士的困境
該研究的高級作者、斯坦福大學生物醫學資料科學教授 James Zou 的觀點是，AI 偵測器如何偵測 AI 是一個關鍵問題。他表示“它們通常基於一種被稱為‘困惑度’的指標進行評分，該指標與寫作的複雜度有關 - 非母語人士的寫作技巧自然會落後於出生在美國的人。”Zou 和合著者指出，非母語人士通常在詞彙豐富度、詞匯多樣性、語法複雜度和句法複雜度等常見的困惑度測量方面得分較低。提高技術的迫切性
學術中的欺詐是一個嚴重的問題，因此開發人員必須在 AI 複製的偵測中使用更高級的技術。他們需要研究更先進的技術或採用水印，讓生成 AI 在其創作的內容中嵌入微妙的提示，保證其身份。同時他們需要使其模型不那麼容易被規避。偵測器無法解決 AI 作弊問題
此外 Zou 提供了一些解決方案。首先必須在教育環境中避免依賴偵測器，特別是當非英語母語者數量很高時。其次開發人員必須超越使用困惑度作為主要指標，尋找更高級的技術或採用水印等方法。最後他們需要使其模型不那麼容易被規避。結論
現行 AI 偵測器並不可靠，更糟糕的是，它們尤其不可靠，當真正的作者不是英語母語者時。因此我們應該非常謹慎地使用 AI 偵測器作為解決 AI 作弊問題的方法。嚴格的評估和重大的改進是必要的。因為這些偵測器太不可靠了，而對學生的投入過高。Cheating in Artificial Intelligence.-AI 作弊,GPT,偵測器
延伸閱讀
- 拒絕 OpenAI 專利申請！ GPT 商標爭議揭開神祕面紗
- 開放 AI（OpenAI）下週將推出 GPT 應用商店
- 聊天 GPT 應用程式收益不斷攀升，但其他人工智慧應用榜上有名
- 聊天 GPT 能幫助撰寫研究嗎？揭開答案！
- GPT 偵測系統可能存在對非英語母語寫手有偏見的問題
- Braze 揭幕 Sage AI，為行銷人員打造 GPT 驅動的工具
- 透過 GPT 訓練的語言學習 Discord 機器人，讓你雙語學習更容易！
- 打造骨骼健康建議聊天機器人，Wellen 採用 OpenAI 的 GPT 技術
- OpenAI 推出 ChatGPT 外掛：解鎖更多可能性和挑戰
- 我如何使用 chatGPT 來輔助我進行開發作業
