網路議題

開放 AI 的 Ilya Sutskever 也將深度學習形容為「煉金術」

AI 與煉金術:科學還是魔法?引言最近一場關於 AI 的討論引起了轟動,機器倫理學家 Thomas Krendl Gilbert 在 VentureBeat 的一篇文章中評論,稱現今的 AI 更像是煉金術而非科學,這引起了許多人的關注與討論。他在文章中表示:“那些在建造 AI 的人實際上認為他們所做 .... (往下繼續閱讀)

分享到 Facebook 分享到 Line 分享到 Twitter

文章目錄

開放 AI 的 Ilya Sutskever 也將深度學習形容為「煉金術」

AI 與煉金術:科學還是魔法?

引言

最近一場關於 AI 的討論引起了轟動,機器倫理學家 Thomas Krendl Gilbert 在 VentureBeat 的一篇文章中評論,稱現今的 AI 更像是煉金術而非科學,這引起了許多人的關注與討論。他在文章中表示:“那些在建造 AI 的人實際上認為他們所做的是魔法。”他指出,這種看法源於一種將 AGI(人工通用智慧)和超級智慧等概念轉化成公眾論述的隱喻和觀念。許多社交媒體上的使用者對這一評論表示認同或持保留態度。然而 OpenAI 的首席科學家、Meta AI 首席科學家 Yann LeCun 則不同意這種觀點,他在社交媒體上發文表示:“有趣的是,一些人認為理論具有一些神奇的特性,卻將真正的工程和實證科學視為煉金術。”他在帖子中還附上了一段 YouTube 上的講座影片,《深度學習的認識論》,探討為什麼深度學習屬於工程科學而非煉金術。VentureBeat 已聯絡 LeCun 尋求評論,但尚未收到回覆。但事實證實,就連 OpenAI 的聯合創始人兼首席科學家 Ilya Sutskever 也稱深度學習煉金術。在一份由通訊研究員 Nirit Weiss-Blatt 提供給 VentureBeat 的 2023 年 5 月帕羅奧圖講話的文字稿中,Sutskever 表示:“您可以將訓練神經網路的過程想象為煉金術、變性或提煉原始物質,也就是資料。”當主持人問他是否曾因 ChatGPT 的工作效果超出預期而感到驚訝時,Sutskever 回答道:“是的,我當然驚訝。因為我們並沒有建造這個東西,我們所建造的是一個建造該東西的過程。這是一個非常重要的區別。我們建造了一個提煉廠、煉金術,將資料中的祕密提取到神經網路中,這個過程就像是煉金術過程中的煉金術士石或煉金術過程。但是結果是如此神祕,您可以研究多年。”

輿論反響

VentureBeat 聯絡到 OpenAI 的發言人,詢問 Ilya 和公司是否對他五月份的評論持有同樣的立場,或者是否有其他補充意見。如果和當收到回應的話,VentureBeat 將更新此篇文章。VentureBeat 聯絡到 Gilbert 回應他在 AI 被稱為“煉金術”的評論時引起的強烈反應,Gilbert 表示他對這種反響“並不完全意外”。他繼續說道,很多批評都來自於像 LeCun 這樣的老一輩研究人員,他們曾經為機器學習中的特定方法(他們將其重新包裝為“深度”學習)的科學可靠性而努力奮鬥。他補充說,這一輩研究人員難以理解的是,地基已經在他們腳下移位。如今智慧的發展主要是由一些並不以科學為動力的人推動,相反他們真誠地相信自己正在開創一個由“超智慧”機器促成的新時代。這些年輕一輩的研究人員中,有很多人在 OpenAI 或 Anthropic 等以 AI 技術為主的公司工作,還有越來越多的其他新創公司,他們在理論方面並不那麼有動力,也不將其工作公開辯護為科學。

深度學習煉金術

Gilbert 指出,深度學習使工程師具備了探索“深度”的許可權,也就是更多的層次、更大的神經網路、更多的資料,這能夠產生更有趣的結果,提供新的假設,而更深的探索又會產生更有趣的結果,周而復始。然而問題在於,他解釋道,這種“失控的探索”只有在其依然基於啟發此樣本的概念,也就是神經元在人腦中的特定角色時才有意義。但他表示“令人不安的現實是,深度學習更多地受到這種隱喻的激發,而非對智慧概念有清晰的理解,而我們現在正在面臨這種後果。”他指出了 LeCun 提到的那段講座,他在講座中將深度學習比作是像望遠鏡、蒸汽機或飛機一樣的工程科學。他表示“這種比較的問題在於,從歷史上看,這種工程科學是以自然科學為基礎建立起來的,因此它的基本機制是被深入理解的。您可以設計一個堤壩來阻擋一條小溪、一條河流,甚至影響洋流,而我們還是知道如何透過理論來製造合適的堤壩,因為基本動力學已被理論預測。堤壩的大小(或望遠鏡的大小等)並不重要。”然而他稱現代的大型語言模型不是如此,他解釋道:“它們比我們所知道的如何科學研究更大,它們的建造者已經把計算機架構加固到與深度學習革命支撐的隱喻脫節的地步。這些模型具有與認知科學類似的特性,但我們對它們是否存在相似性的理解並不深刻。我感知像 LeCun 這樣的年長的研究人員關心這些相似性,但年輕一代很多人根本不關心。即便是在誰都不清楚這些基礎是什麼或者它們是否存在的情況下,大型語言模型已被公開稱為“基礎性”的。簡而言之,現在掌握了 LLMs(大型語言模型)的設計、應用和討論的已不再是聲稱自己在從事科學工作的人,而是煉金術士。”

重新思考智慧的本質

Gilbert 最後指出,整體的討論應該是邀請我們更深入地思考我們對智慧的期望。“我們應該如何重新設想經濟、社會或個體,而不局限於認知科學所說的可能性?”他說。“這些是人類的問題,而不是科學問題。LLMs 已經在開始挑戰科學的假設,並有可能繼續這樣做。我們應該全力以赴迎接這一挑戰及其潛藏的神祕性,將其看作是一個開放的文化、政治和精神問題領域,而不是僅僅將其作為科學的困惑。”

VentureBeat 的使命是成為技術決策者獲取公司變革技術知識和進行交易的數位公共廣場。更多資訊,請參考我們的簡報。

Alchemy-開放 AI,IlyaSutskever,深度學習,煉金術
程宇肖

程宇肖

Reporter

大家好!我是程宇肖,我對於科技的發展和應用有著濃厚的興趣,並致力於將最新的科技趨勢和創新帶給大家。科技領域的變化速度驚人,每天都有令人興奮的新發現和突破。作為一名部落格作者,我將帶領大家深入探索科技的奧秘和應用的無限可能。