OpenAI 推出紅隊網路，使其模型更加固韌
作者：Kyle Wiggers
發布時間：8 小時前
為了讓其人工智慧系統更加固韌，OpenAI 今天推出了 OpenAI 紅隊網路（OpenAI Red Teaming Network），這是一個由專家組成的合約組，旨在幫助該公司進行 AI 模型風險評估和減緩策略。隨著 AI 技術，特別是生成技術，逐步普及，紅隊測試在 AI 模型開發過程中變得越來越重要。紅隊測試可以發現（儘管可能無法修復）OpenAI 的模型中存在的偏見，例如 DALL-E 2，該模型被發現會放大有關種族和性別的刻板印象以及可能導致文字生成模型（包括 ChatGPT 和 GPT-4 等模型）忽略安全過濾器的提示。
OpenAI 指出，之前他們已經與外部專家合作對其模型進行基準測試和測試，包括參與其漏洞賞金計劃和研究人員存取計劃的人。然而紅隊網路將這些努力正式化，目標是與科學家、研究機構和公民社會組織進一步“深化”和“擴大”合作，OpenAI 在一篇部落格文章中寫道：“我們將這項工作視為外部指定治理實踐（例如第三方審計）的補充。網路成員將根據他們的專業知識在模型和產品開發生命周期的各個階段進行紅隊測試。”
除了 OpenAI 委託的紅隊測試活動外，OpenAI 表示紅隊網路成員將有機會就常規紅隊測試實踐和發現進行交流。OpenAI 表示並不是每位成員都會參與到每個新的 OpenAI 模型或產品中，每個成員的貢獻時間（最少為每年 5 到 10 天）將由成員個別確保。OpenAI 呼籲各領域的專家參與，包括語言學、生物測定、金融和醫療保健等背景。對於符合資格的人而言，先前對 AI 系統或語言模型的經驗並非必要條件。但 OpenAI 警告表示紅隊網路的機會可能受到可能影響其他研究的保密協議和保密協議的約束。
OpenAI 寫道：“我們最看重的是您願意參與並為我們評估 AI 系統的影響帶來您的觀點。我們邀請世界各地的專家申請，並在選擇過程中優先考慮地理和領域的多樣性。”
紅隊測試是否足夠？
有人認為紅隊測試並不足夠。在最近的一篇文章中，Wired 的作者 Aviv Ovadya，是哈佛大學伯克曼克萊國際研究中心和人工智慧治理中心的聯合研究人員，提出了“紫隊測試”的觀點：即找出系統（例如 GPT-4）可能對機構或公共利益造成的危害，然後支援使用同一系統開發工具，以保護機構和公共利益。我傾向同意這是一個明智的想法。但正如 Ovadya 在其專欄中指出的那樣，當前很少有激勵採取紫隊測試的動力，更不用說減慢 AI 的發布速度以提供足夠的時間進行這項工作。像 OpenAI 這樣的紅隊測試網路似乎是我們能得到的最好的—至少當前是如此。
關鍵詞：OpenAI，紅隊測試，網路，模型強韌性
延伸閱讀
- OpenAI 揭開 AI 祕密指令的面紗
- OpenAI 表示正在建立一個工具，以讓內容創作者選擇退出 AI 訓練
- 微軟和 OpenAI 啟動 200 萬美元基金以對抗選舉假影片
- Stack Overflow 與 OpenAI 簽約，提供資料支援其模型
- Quora CEO Adam D’Angelo 分享人工智慧和聊天機器人平臺 Poe，並解釋為何 OpenAI 並非競爭對手
- OpenAI 與英國《金融時報》達成戰略合作，包括內容使用
- OpenAI 旗下創投基金悄悄籌集 1500 萬美元
- 藍天公司支援專案，促使 Mastodon 應用程式（如 Ivory）能在其網路上執行
- 「不鏽鋼」幫助 OpenAI、Anthropic 等公司構建其 API 的 SDK
- 元網發布 Llama 3，宣稱它是當前最優秀的開放模型之一
