聊天機器人 ChatGPT：能說人話還不代表它懂人事
無法理解的回答
自從 OpenAI 推出先進的聊天機器人 ChatGPT 的測試版以來，它以其接近真人的回答和幾乎即時的解答能力徵服了世界。然而這些聊天機器人和其他充斥科技界的生成式人工智慧工具卻讓許多使用者驚慌失措，因為它們提供的答案聽起來很「人類」，但卻缺乏基本理解。ChatGPT 是透過大量的網際網路資料訓練得來的，稱為 Common Crawl，包括幾十億頁的文字資料。然而我們實際上並不知道機器人是如何得出某個答案的。如果它生成的訊息不準確，它會自信地說出來；它並不知道它是錯誤的。即使給出有意義的提示和前提，它也可能給出正確和不正確的訊息。盲目聽從 ChatGPT 的建議的代價
跟鸚鵡一樣沒有獨立思考的能力
我們可以把生成的人工智慧與學舌的鸚鵡相比。當鸚鵡說話時，你知道它僅僅是重複它聽到的話，因此你會對它的話抱有懷疑的態度。使用者必須用同樣的懷疑態度對待自然語言模型。盲目聽從任何聊天機器人的「建議」可能是代價高昂的。史丹佛大學的一項最新研究表明，ChatGPT 在解決一個簡單的數學問題時的準確率在 2023 年 3 月達到了 98％，但在 2023 年 6 月急劇下降到僅有 2％。這凸顯了它的不可靠性。請牢記，這項研究是針對一個基本的數學問題進行的——想象一下，如果是更複雜的數學問題或主題，使用者可能無法輕易取證它是否錯誤。如果它是一段含有致命錯誤的程式碼呢？還有預測一組 X 光是否癌症？機器預測你在社會中的價值？如果一個人向 ChatGPT 問問題，那麼他們很可能不是該領域的專家，因此對於正確和不正確的訊息他們不會有所識別。使用者可能不花時間去核實答案，並且可能基於錯誤的資料做出決策。
小心聽從 ChatGPT 的建議
作為一個對此領域非常熟悉的人，我向 ChatGPT 問了關於建立防範惡意行為的網路安全的解決方案和策略的問題。它給出了一些有用的建議，也給出了一些錯誤的建議。憑藉我多年的網路安全經驗，我立即就能察覺到這些建議是有問題的，但對於非專業人士來說他們可能無法明白哪些回答是有用但有害的。每一個建議都強調了人在評估來自機器人的建議時的重要性。
ChatGPT 的建議 1:「培訓員工：你的員工可以成為對抗惡意行為的第一道防線。重要的是要對他們進行最佳的資料安全實踐培訓，並讓他們理解潛在的威脅。」
我的觀點：這些建議在考慮到經驗水平和專業領域時是至關重要的，因為知道受眾可以影響培訓方式。同樣，培訓應該基於組織的特定網路安全需求和目標。最有價值的培訓是實用的，基於員工每天所做的事情，比如使用強而唯一的密碼來保護他們的帳戶。作為一個機器人，ChatGPT 沒有這樣的上下文，除非你作為提問者提供它。即使給出過分冗長和具體的提示，它仍然可能給出錯誤的建議。裁決結果：這是一個不錯的建議，但缺乏關於如何培訓和教育員工的重要細節。
ChatGPT 的建議 2:「與其他公司和組織合作：合作是建立對抗惡意行為的關鍵。透過與其他公司和組織合作，您可以共享最佳實踐和潛在威脅的訊息。」
我的觀點：這是一個很好的建議，但需要在特定的上下文中進行考慮，特別是當公共和私營部門的組織共同合作，相互學習和採用最佳實踐。然而 ChatGPT 沒有提供任何這樣的上下文。舉例來說如果一家公司成為攻擊的受害者，它並不應該立即將重點放在合作上，而應該著重於應急處理、反應、法庭鑑證和與執法機構的合作。裁決結果：人類因素在有效地衡量自然語言處理（NLP）模型的訊息時是必需的。
ChatGPT 的建議 3:「實施強大的安全措施：建立對抗惡意行為的重要步驟之一是為您的人工智慧系統實施強大的安全措施。這包括健全的身份取證機制、安全資料儲存和敏感資料的加密。」
我的觀點：雖然這是一個好的高層次建議（常識），但「強大的安全措施」因組織的安全成熟程度而異。例如，一家有 15 名員工的初創企業需要不同的安全措施，而全球財富 100 強的銀行則需要不同的安全措施。而且即使是提供更好提示的人工智慧也沒有接受培訓去理解應該提問什麼或提供什麼注意事項。舉例來說如果你說這些提示是針對一家沒有安全預算的小企業，你就會得到完全不同的回答。裁決結果：您需要人類因素有效地評估自然語言處理（NLP）模型的訊息。
ChatGPT 的建議 4:「監控和分析資料：透過監控和分析資料，您可以發現可能提示潛在威脅的模式和趨勢。這有助於在威脅變得嚴重之前採取行動。」
我的觀點：技術和安全團隊使用人工智慧進行行為基角線分析，這可以為防禦者提供一個強大的有用工具。人工智慧可以找到異常的事物；然而它不應該做出決定。舉例來說假設一個組織過去六個月每天都有一臺伺服器執行相同的功能，突然，它開始大量下載資料。人工智慧可以將這種異常標記為威脅。然而人類因素仍然是分析的關鍵，也就是確保問題是異常還是像「星期二補丁日」一樣的例行軟體更新。人類因素需要判斷異常行為是否真的具有惡意。只有當培訓資料源自及時和準確的訊息時，才能獲得對分析幫助最大的結果。裁決結果：人類因素是不可或缺的，用於評估自然語言處理（NLP）模型的訊息。
建議只有教育資料一樣好，如果使用過時的資料，聊天機器人的建議也會過時
像任何學習模型一樣，ChatGPT 的「知識」來自網際網路資料。偏廢或不完整的培訓資料會影響它提供的訊息，這可能導致這些工具產生意想不到或扭曲的結果。此外從 AI 獲得的建議的時間點僅限於培訓資料的時間範圍。就 ChatGPT 而言，2021 年之後的任何訊息都不被考慮在內。這對於一個不斷發展且非常動態的領域，如網路安全，來說是一個重大的考慮因素。舉例來說 Google 最近向公眾開放了頂級域名.zip，使使用者可以註冊.zip 域名。但是惡意網路犯罪分子已經開始在釣魚活動中使用.zip 域名。現在使用者需要新的策略來識別和避免這類釣魚企圖。但由於這是很新的現象，要想有效地識別這些企圖，一個 AI 工具需要在 Common Crawl 之上進一步受過培訓。然而建立一個像我們現在有的資料集幾乎是不可能的，因為生成的文字有太多了，而我們知道使用機器來教機器是一場災難。這會放大資料中的任何偏見並強化不正確的專案。人們不僅應該對聽從 ChatGPT 的建議保持警惕，而且整個行業必須不斷改進，以對抗惡意網路犯罪分子的使用。惡意網路犯罪分子已經開始建立更具說服力的釣魚郵件和詐騙活動，而這只是冰山一角。科技巨頭們必須共同努力，確保使用人工智慧的道德使用者在 AI 競爭中保持警惕、負責任並保持領先的位置。
本文作者 Zane Bond 是一位網路安全專家，同時也是 Keeper Security 的產品負責人。
延伸閱讀
- Anthropic 的 Claude 在 iOS 平臺上的推出獲得微弱反韇，與 ChatGPT 的首次亮相相比
- 開放 AI （OpenAI）的 ChatGPT 新聞發布：我們當前所知道的事情
- ChatGPT 在歐盟再次遭遇隱私投訴，「幻覺」問題再起風波
- 無線耳機升級帶來 ChatGPT 貼心助手 - Nothing 最新耳機震撼登場
- ChatGPT 不再需要帳戶 - 但有一個小陷阱
- AI 動力對話機器人 ChatGPT：一切你需要知道的
- 協變科技致力於打造 ChatGPT 機器人
- Glean 欲在企業市場擊敗 ChatGPT 的遊戲
- 你比 ChatGPT 更黑嗎？來測測看！
- Match Group 宣布與 OpenAI 達成交易，宣告稿由 ChatGPT 撰寫
