ChatGPT 取得對 Stack Overflow 的勝利，儘管存在問題
作者：彼得·格拉德（Peter Grad）
在 21 世紀初，電腦愛好者可以走進幾乎任何一家巴克斯書店，並在一個接一個的書架上找到有關程式設計、編碼、設計、網際網路以及與計算機相關的幾乎任何其他主題的手冊。一些雜誌為這些計算機狂熱者提供了豐富的補充。然而自從那些日子以來，這些架子幾乎已經消失不見，原因是使用者現在獲取訊息的方式已經發生了變化。數位書籍和網際網路資源大部分取代了這些書籍的堆積。
導致這一變化的關鍵資源之一是 Stack Overflow。Stack Overflow 是一個高度受人尊敬的線上社區，擁有 2000 萬註冊使用者，他們在該平臺上分享關於程式設計的各種問題的建議和解決方案。自 2008 年創立以來，參與者提出了超過 2400 萬個問題並獲得了 3500 萬個答案。
不過這個備受讚譽的網站今年受到了打擊，成為聊天機器人 ChatGPT 等聊天機器人越來越受歡迎的犧牲品，儘管對許多人而言，Stack Overflow 仍然是一個不可或缺的資源。一家分析公司在 5 月份報告稱，自年初以來，Stack Overflow 的流量連續幾個月平均下降了 6％。4 月份，相較於 3 月份的數位，下降了 17.7％。
ChatGPT 是否會被投奔衆叛視為明智的決定？
根據普渡大學的一項新研究，名為《誰回答的更好？對 ChatGPT 和 Stack Overflow 回答軟體工程問題的深度分析》的研究，情況並非如此。研究人員發現了許多人已經懷疑的結果：ChatGPT 對程式設計問題的回答中有相當數量的答案是不準確的或完全錯誤的。然而具有諷刺意味的是，當被試者被要求比較 Stack Overflow 和 ChatGPT 的回答時，有 40％的人表示他們更喜歡 ChatGPT 的回答。為什麼呢？因為 ChatGPT 的回答具有“全面性”和說服力的“清晰語言風格”。研究人員表示在 512 個 ChatGPT 回答問題的回答中，有 52％是不正確的。令人不安的是，在受測者最喜歡的回答中，有 77％是錯誤的。即使 ChatGPT 的回答明顯是錯誤的，仍有 12 人中的 2 人仍然更喜歡 ChatGPT 的回答，而不是 Stack Overflow 的回答。研究報告的作者之一 Samia Kabir 表示：“當 ChatGPT 的回答令人耳目一新時，參與者會忽略其不正確性。ChatGPT 有把握地傳達出有見地的（即使是不正確的）訊息，獲得使用者的信任，從而導致他們更喜歡不正確的回答。”Kabir 還表示：“明顯地，禮貌的語言、清晰明瞭的答案、全面性以及回答中的聯動性會讓完全錯誤的答案看起來是正確的。”
研究人員指出，大型語言模型有可能顛覆以往獲取程式資訊的方式。使用者在諸如 Stack Overflow 等網站上可以從專家社區獲得寶貴的回饋。但是這些網站通常需要等待數小時或數天才能獲得解決方案。ChatGPT 可以在幾秒鐘內提供複雜的編碼指示，並且可以進行類似於人類對話的探討問題。然而理解聊天機器人獲取和傳播錯誤訊息的能力“引入了對無法取證事實不一致性的非專家終端使用者帶來的風險”，Kabir 表示。對於潛在的用處被錯誤資料污染的擔憂，Stack Overflow 在今年早些時候禁止使用 ChatGPT 等聊天機器人獲取的任何答案。普渡大學的研究人員稱這些不正確答案的多過程“令人擔憂”。他們敦促 ChatGPT 不僅在每個回答上發布簡要的免責宣告，提醒使用者存在錯誤的可能性，還要具體指明錯誤率和不確保程度。研究報告在 8 月 10 日發表於預印本服務 arXiv 上。研究人員在報告中表示：“在人監督下，人工智慧才能發揮最佳效果。”“因此我們呼籲負責任地使用 ChatGPT 以增加人工智慧和人類的生產力。”
延伸閱讀
- Stack Overflow 與 OpenAI 簽約，提供資料支援其模型
- ChatGPT 在歐盟再次遭遇隱私投訴，「幻覺」問題再起風波
- 無線耳機升級帶來 ChatGPT 貼心助手 - Nothing 最新耳機震撼登場
- ChatGPT 不再需要帳戶 - 但有一個小陷阱
- AI 動力對話機器人 ChatGPT：一切你需要知道的
- 協變科技致力於打造 ChatGPT 機器人
- Google 將 Stack Overflow 的知識庫引入 Gemini 平臺，加固 Google Cloud 的功能
- YouTube Create 應用程式擴充套件至 13 個新市場，與 TikTok 的創意工具對決
- Glean 欲在企業市場擊敗 ChatGPT 的遊戲
- 你比 ChatGPT 更黑嗎？來測測看！
