如何在 TechCrunch Disrupt 2023 中建造更安全的人工智慧？

<div><h2>用 AI 建造更安全的未來——專訪 Anthropic 的 Dario Amodei 在 TechCrunch Disrupt 2023</h2>

<h3>由 Lauren Simonds 發表（時間：9 小時前）</h3>

<p>引人注目的標題總是預測，以誇大和歇斯底裏的方式，AI 將成為人類的救星或禍首。就像大多數高度複雜的技術一樣，要理解 AI 需要更加細緻、非二元的思考方式。這並不意味著沒有重大風險存在。如今正在建造的 AI 系統可能且很有可能會影響到現在和未來數十億人的生活。這是一項嚴肅的事務，這也是為什麼我們對 Anthropic 的聯合創始人兼 CEO Dario Amodei 能夠參加我們於 2023 年 9 月 19 日至 21 日在舊金山舉辦的 TechCrunch Disrupt 2023 對談活動感到興奮。Amodei 擁有獨特的視角。在遭遇到 OpenAI 日益商業化的方向之後，他創辦了 Anthropic，這是一家籌資最多的人工智慧公司之一，迄今已籌集了 15 億美元。他和他的公司的重點是安全至上。他的目標是防止訓練 AI 系統的大型語言模型（LLM）偏離軌道。我們想聽聽更多關於憲法 AI 的資訊，這是 Anthropic 為其聊天機器人 Claude 2 開發的一種訓練技術，旨在使 AI 系統擁有一組明確的原則，LLM 不會偏離……從理論上講。我們對 Amodei 對憲法 AI 的看法很感興趣。我們也想理解 Amodei 商業化其文字生成 AI 模型的計劃，考慮到這一因素是他離開 OpenAI 的原因之一。此外我們可能還會觸及對監管日益增加的呼籲以及 Anthropic 最近與 OpenAI、Microsoft 和 Google 組成的 Frontier Model Forum 進行討論，這是一個自願聯盟，旨在開發技術評估和標準，提倡最佳實踐和標準。顯而易見，這將是一次不容錯過的對話，與 AI 行業領先的初創企業之一進行交流。Dario Amodei：Anthropic 聯合創始人兼 CEO Dario Amodei 共同創立並領導 Anthropic，這是一家致力於構建可操控的 AI 系統，讓人們能夠依賴的 AI 研究初創企業，並對 AI 的機遇和風險進行研究。Anthropic 的 AI 助手 Claude，是基於 Anthropic 對訓練有用、誠實和無害的 AI 系統的研究而開發的，可應用於任何規模的任務。之前，Amodei 在 OpenAI 擔任研究副總裁，他領導了 GPT-2 和 GPT-3 等大型 AI 語言模型的開發。他也是從人類反饋中進行強化學習的共同發明人，這是 ChatGPT 等對話型 AI 系統以及 Anthropic 建立的模型的動力學技術。在加入 OpenAI 之前，他曾在 Google Brain 擔任高級研究科學家。Amodei 在普林斯頓大學以賓夕法尼亞大學的 Hertz 研究員身份獲得博士學位，並在斯坦福大學醫學院擔任博士後學者。TechCrunch Disrupt 2023 將於 9 月 19 日至 21 日在舊金山舉行。立即購買門票，最高可節省 600 美元。學生和非營利組織門票僅售 195 美元。價格於 8 月 11 日調整。貴公司有興趣贊助或在 TechCrunch Disrupt 2023 上展示嗎？請透過填寫此表格聯絡我們的贊助銷售團隊。</p>

<h3>AI 安全：風險與憲法 AI 的發展</h3>

<p>人工智慧（AI）的快速發展為人類帶來了無數的機遇和挑戰。然而隨著 AI 應用範圍的擴大，人們對於 AI 的安全性和隱私問題越來越關注。在這方面，AI 技術的建立方式至關重要。Anthropic 的聯合創始人兼 CEO Dario Amodei 在他最新的 TechCrunch Disrupt 2023 對談中，將討論如何確保 AI 系統的安全以及 Anthropic 開發的憲法 AI 能為此提供的解決方案。</p>

<p><strong>AI 的安全和風險</strong></p>

<p>正如文章開頭所提到的，關於 AI 的報道總是充滿著極端的預測：要麼是 AI 能夠拯救人類，要麼是 AI 會導致毀滅。然而真相往往並非如此。AI 的發展和應用帶來了巨大的利益，但也同時衍生了重大的風險。如果 AI 系統設計得不當，可能會產生不可預測和危險的行為。而且由於 AI 系統的規模和影響力不斷擴大，可能影響到數十億人的生活和權益。</p>

<p>因此確保 AI 的安全性成為當前亟待解決的課題。而這正是 Anthropic 和 Dario Amodei 所關注的焦點。Anthropic 是一家 AI 研究初創企業，其使命是構建可操控的 AI 系統，讓人們能夠依賴。Amodei 希望透過開發憲法 AI，來確保 AI 系統在訓練過程中不偏離預定原則。</p>

<p><strong>憲法 AI 的理念</strong></p>

<p>憲法 AI 是 Anthropic 開發的一種訓練技術，旨在確保 AI 系統在進行大規模語言模型（LLM）訓練時，能夠遵守一套明確的原則。這種原則可以確保 AI 系統不會偏離人類所期望的行為和準則。</p>

<p>憲法 AI 的訓練方法可以被視為一種約束力更強的增強學習方法。傳統的增強學習方法通常只根據給予正確或錯誤的反饋來指導 AI 系統的行為。然而憲法 AI 在訓練過程中，會利用人類對於行為和原則的理解來指導 AI 系統的學習。這種方法約束了 AI 系統的行為範圍，從而使得系統可以更好地適應人類價值觀和道德標準。</p>

<p><strong>商業化 AI 模型的考慮</strong></p>

<p>Amodei 的離開 OpenAI 與該公司日益商業化的方向有關。作為一家 AI 初創企業，商業化是一個至關重要的問題。然而商業化 AI 模型所帶來的風險也不可忽視。如果 AI 模型在商業化過程中失控或違反道德原則，可能對社會和使用者產生嚴重的影響。</p>

<p>在這方面，Amodei 將分享 Anthropic 在商業化 AI 模型方面的計劃。他們是否有採取特殊的措施來確保商業化過程符合道德和安全要求？這可能是與 Amodei 的對話中的一個重要問題。</p>

<p><strong>監管和合作的重要性</strong></p>

<p>隨著 AI 的快速發展，越來越多的呼籲對 AI 進行監管。而 Anthropic 最近與 OpenAI、Microsoft 和 Google 等公司組成的 Frontier Model Forum 的成立，正是為了推動技術評估和制定標準。</p>

<p>在對談中，Amodei 可能會觸及這些合作和監管的議題。他的觀點和計劃將為 AI 行業的發展和安全提供重要的參考和啟示。</p>

<h3>結論</h3>

<p>AI 的發展和應用在改變世界的同時也帶來了重大的風險。為了確保 AI 的安全性，我們需要從構建 AI 系統的角度出發，並採取相應的技術和監管措施。Anthropic 的 Dario Amodei 在 TechCrunch Disrupt 2023 的對談中，將分享其公司在 AI 安全和憲法 AI 方面的研究和實踐。這將為 AI 產業和研究界提供重要的啟示和參考，同時也引導 AI 技術的發展走向更安全和可靠的方向。</p></div><div>SafeArtificialIntelligence-人工智慧安全,TechCrunchDisrupt2023,人工智慧技術,資料隱私,增強學習,機器學習,</div>