OpenAI 認為超級智慧將來臨 — 並希望建立控制工具
開放 AI (OpenAI) 的最新舉措
在 Sam Altman 被 OpenAI 不光彩地免職並且 Altman 正在計畫重回公司的同時 OpenAI 的 Superalignment team 成員正在不辭辛勞地致力於如何控制比人類更聰明的 AI 的問題。他們希望給人的印象是這樣。近期，我與 Superalignment 團隊的三位成員 — Collin Burns、Pavel Izmailov 和 Leopold Aschenbrenner — 進行了一次電話交流。他們當時正在新奧爾良出席年度機器學習大會 NeurIPS，並展示 OpenAI 在確保 AI 系統行為正確方面的最新工作。
Superalignment 團隊的目標
Superalignment 團隊於 7 月成立，旨在開發方法來引導、監管和管理「超智慧」AI 系統，也就是比人類智慧遠遠超越的理論系統。團隊組建的目的是為了在未來強大的 AI 系統上建立治理和控制框架，雖然當前仍面臨諸多困難。
討論與觀點
對於超級智慧的存在，一些專家表示懷疑。他們認為相對於重要的 AI 監管問題，如算法偏見和 AI 傾向於產生有毒行為，當前很少有證據顯示這家新創公司的技術很快或永遠會擁有終結世界的、超出人類智慧的能力。但 Superalignment 團隊成員明確表示他們認為 AI 的進步極為迅速，並堅信 AI 或許有一天會構成存在威脅。
對外發布的計劃和倡議
OpenAI 正計劃推出一個價值 1000 萬美元的補助計劃，用於支援有關超智慧對齊的技術研究。獎項將分配給學術實驗室、非營利組織、個別研究人員和研究生。此外 OpenAI 還計劃於 2025 年初舉辦一場關於超對齊的學術會議。
市場人物參與的影響
前 Google CEO 和董事長 Eric Schmidt 的捐款令人關注。Schmidt 積極支援 Altman，並斷言危險的 AI 系統即將到來，而監管者在準備方面尚且不夠。然而他的個人財富估計約為 240 億美元，他在其他技術領域的投資也是巨額，這令一些人懷疑他的動機。
OpenAI 在這一議題上的立場
OpenAI 的 Superalignment 團隊成員強調他們的研究成果和程式碼將公開分享，並且對人類社會的安全負有責任，這是他們使命的核心部分。
延伸閱讀
- 元 AI 測試：未能彰顯自身價值，但免費就是免費
- Google 推出新功能“口語練習”，利用人工智慧幫助使用者提高英文能力
- 科技巨頭 xAI 競爭開放人工智慧，吸金 60 億美元。推動社交網路 X 成為股東
- Xaira：AI 藥物發現新創公司以 10 億美元巨額啟動，宣稱已準備好開展藥物開發
- Rabbit 宣布推出一個迷人的小型 AI 裝置：R1
- Perplexity AI 可能價值高達 30 億美元，原因在於…
- 基於人工智慧時代，Anon 正在打造自動化認證層 - 技術新聞
- Snowflake 推出自家旗艦生成式人工智慧模型
- Parloa 完成 6600 萬美元融資，打造客服對話人工智慧平臺
- Perplexity 籌集超過 2.5 億美元，估值達 25-30 億美元，用於其人工智慧搜尋平臺
