Anthropic 發布第二代 AI 聊天機器人 Claude 2
背景
AI 新創公司 Anthropic 今日宣布推出新的文字生成 AI 模型，命名為 Claude 2。Anthropic 的第一個商業模型是 Claude 1.3，現在已經有第二代的 Claude 2 的測試版在美國和英國上線，提供網頁和付費 API 兩種接入方式。Claude 2 的 API 價格沒有改變（每千字生成的費用為約 0.0465 美元），很多企業已經開始測試使用 Claude 2，包括 AI 平臺 Jasper 和 Sourcegraph。
Anthropic 的市場開發負責人 Sandy Banerjee 在接受 TechCrunch 的電話採訪時表示：“我們認為將這些系統部署到市場中並理解人們的實際使用情況非常重要。我們對使用情況進行監控，以改進效能和容量，這些都是我們關注的問題。”
技術進展
Anthropic 表示新款的 Claude 2 在幾個方面都有所提升。舉例來說 Claude 2 在律師資格考試的選擇題部分的得分略高於 Claude 1.3（76.5% vs 73%）。它還能夠透過美國醫療執照考試的選擇題部分。在程式設計能力方面，Claude 2 在 Codex 人類級別的 Python 程式設計測試中取得了 71.2％的得分，相較於 Claude 1.3 的 56％有所提高。此外 Claude 2 在解答數學問題方面也更為準確，GSM8K 的小學數學問題測試中的正確率為 88％，比 Claude 1.3 高 2.8 個百分點。
Anthropic 表示 Claude 2 使用的訓練資料比 Claude 1.3 更新，包括來自網站、第三方授權資料集和 2023 年初使用者自願提供的資料。這些更新的資料可能有助於改善模型效能。與 OpenAI 的 GPT-4 不同，Claude 2 無法從網路搜尋訊息。但在體系結構上，Claude 2 與 Claude 1.3 並沒有太大不同，可以說是 Claude 1.3 的“最佳化”版本，經過大約兩年的工作成果。
Claude 2 與 Claude 1.3 擁有一樣大小的上下文視窗，即 10 萬個 token。上下文視窗是指模型在生成額外文字之前所考慮的文字，而 token 則表示原始文字（例如，“fantastic”這個詞會被分成“fan”、“tas”和“tic”三個 token）。儘管 100,000 個 token 已經相當大，是商業可用模型中最大的上下文視窗，但這個大小還是給 Claude 2 帶來了一些關鍵優勢。通常情況下，上下文視窗比較小的模型會“遺忘”甚至最近對話的內容。此外大的上下文視窗使模型能夠生成更多的文字。Claude 2 可以分析大約 75,000 個字，匹敵《了不起的蓋茨比》的長度，並生成 4,000 個 tokens，約 3125 個字。理論上，Claude 2 甚至可以支援更大的上下文視窗，達到 200,000 個 tokens，但 Anthropic 在推出時不計劃支援這個大小。
模型約束和挑戰
然而 Claude 2 的不足之處是什麼？畢竟，沒有任何模型是完美的。就像微軟的 AI 驅動的 Bing Chat 一樣，它在推出時是一個具有情感操控和編造謊言能力的模型。實際上即使是今天最好的模型，也存在幻覺的問題，即它們會以不相關、荒謬或錯誤的方式回答問題。它們還容易生成有毒的文字，這反映了訓練模型所用資料中的偏見，主要來自網頁和社交媒體帖子。
在過去使用者曾經試圖讓舊版本的 Claude 創造一個不存在的化學物名稱並提供生產武器級鈾的可疑指示。使用者還透過巧妙的提示工程繞過 Claude 的內建安全功能，讓 Claude 描述如何在家裡製作甲基苯丙胺。Anthropic 表示 Claude 2 在內部評估中在給予“無害”回答方面比 Claude 1.3 好“2 倍”，但不清楚這個指標的具體含義。Claude 2 的回答是否比 Claude 1.3 少二分之一涉及性別歧視或種族歧視？是否比 Claude 1.3 少二分之一認可暴力或自殺行為？是否比 Claude 1.3 少二分之一生成錯誤或誤導性訊息？Anthropic 並未明確指出。
白皮書中提到，Anthropic 對 Claude 2 進行了有害性測試，將 328 個不同的提示提供給模型，其中包括在網上公開的“越獄試探”。至少有一次越獄導致 Claude 2 生成了有害的回答，雖然比 Claude 1.3 要少，但考慮到模型可能回應數百萬個提示，這仍然是一個重要的問題。白皮書還顯示，與 Claude 1.3 相比，Claude 2 在至少一個指標上給出的有偏見回答更少。但 Anthropic 的合著者承認，改善其中一部分是因為 Claude 2 拒絕回答那些形式上看起來可能引發爭議的問題。顯然，Anthropic 建議不使用 Claude 2 在涉及身體或心理健康以及幹涉高風險情況下提供的不正確答案可能會導致傷害。
分析和展望
Anthropic 在發布的白皮書中提到，他們對模型的有害提示進行了“紅隊測試”，並自動化和手動檢測方式對模型進行評分。然而 Anthropic 對於具體使用的提示、測試和檢測方式並不透露。對於模型偶爾從訓練資料中完全複製資料的問題（包括來自版權來源的文字），Anthropic 也比較含糊。這一問題在一些涉及法律的情況下引起了關注，包括喜劇演員和作家 Sarah Silverman 最近對 OpenAI 和 Meta 提起的訴訟。因此一些品牌對法律責任持謹慎態度。
Anthropic 繼續強調的一個技術方法是“憲法 AI”，旨在給模型如 Claude 2 注入某些由“憲法”定義的“價值觀”。憲法 AI 是 Anthropic 自行開發的一種方法，它會給模型一套原則，指引模型在生成文字時遵循這些行為原則，例如“無害”和“有幫助”。Anthropic 聲稱，得益於憲法 AI，Claude 2 的行為更容易理解，也更容易根據需要進行調整，相比於其他模型。
然而 Anthropic 也承認，憲法 AI 並不是所有培訓方法的萬能解。它在白皮書中承認，隨著 Claude 變得越來越複雜，預測模型在所有情景下的行為變得越來越困難。白皮書寫道：“隨著時間的推移，決定 Claude 的‘個性’和能力的資料和影響變得非常複雜。簡單、可自動化追蹤這些因素，並將訓練 Claude 的複雜性降至最低，已經成為我們面臨的新研究問題。”Anthropic 計劃最終探索使憲法可定制的方法，但當前尚未在產品開發路線圖中達到這個階段。
Anthropic 的抱負是建立一種“用於 AI 自學的下一代算法”，這也是他們向投資者推銷的內容。這樣的算法可以用於構建可以回答電子郵件、進行研究和生成藝術、書籍等的虛擬助手。Anthropic 與 OpenAI 以及 Cohere 和 AI21 Labs 等新創公司競爭，這些公司都在開發和產品化自己的文字生成和影象生成 AI 系統。Google 是 Anthropic 的投資者之一，承諾投資 3 億美元以獲得這家新創公司 10%的股權。Anthropic 成立於 2021 年，由前 OpenAI 研究副總裁 Dario Amodei 領導，當前已經籌集到了 14.5 億美元的投資。
總之 Claude 2 是 Anthropic 實現其抱負的一個重要步驟，但還沒有實現其所設想的聊天機器人的理想形態。Anthropic 面臨著模型的約束和挑戰，如回答有害和有偏見的提示、模型行為的可預測性以及模型訓練過程中出現版權問題。然而 Anthropic 透過憲法 AI 等技術方法以及對模型進行持續評估和最佳化，試圖提供更可靠、更有用且更符合價值觀的 AI 模型。
延伸閱讀
- Snapchat 的新功能：AI 聊天機器人能幫你設定應用內提醒和倒數計時
- 蘋果 App Store 現允許串流遊戲商店，新增迷你應用程式、遊戲和 AI 聊天機器人的應用內購買
- OpenAI 推出客製化 AI 聊天機器人商店
- Quora 籌集了 7500 萬美元的資金，來發展其 AI 聊天機器人平臺 Poe
- 謊言終結者！Fakespot Chat x Mozilla LLM：讓網購族透過 AI 聊天機器人研究產品
- Snap 的 AI 聊天機器人引起英國關注，涉及兒童隱私問題
- 使用者可以被潛移默化地相信 AI 聊天機器人的動機，從而影響互動：研究揭示真相
- 元登靜悄悄推出 Llama 2 Long AI，能夠在某些任務上擊敗 GPT-3.5 Turbo 和 Claude 2
- 前 Tinder CEO 的創業公司利用 AI 聊天機器人對抗孤獨獲得紅杉的支援
- Meta 推出的 AI 聊天機器人計畫中包含一個針對年輕使用者的「時髦搞怪機器人」
