Google 的 Core ML 團隊：將機器學習基礎設施應用於產品的關鍵
導言
Google 於兩年前成立了一個專注於機器學習基礎設施的新團隊，由該公司人工智慧研究部門的一位副總裁領導。此舉旨在在人工智慧領域取得「實質性的進展」。在今年的 Google I/O 大會上，Core ML 團隊的成功使其成為了應用機器學習技術於 Google 產品開發中的重要推動者。Google 副總裁 Nadav Eiron 在接受 VentureBeat 獨家採訪時談到了 Core ML 在 Google 產品中實現生成式人工智慧的重要作用，尤其是在機器學習基礎設施作為研究團隊和產品團隊之間的「傳遞通道」方面。以下為採訪內容的重點。
Google Core ML 團隊的使命
Eiron 表示 Core ML 團隊的使命是使創新成為實際產品。他經常告訴團隊，他們需要從研究者從事偉大的想法開始，到找到解決方法的研究者，再到億萬人生活因此而改變的過程這麼看。如今機器學習正在經歷快速的發展，開創了一個新的產業，而在兩三年前，它只是學術研究的主題。
Core ML 團隊在 Google 組織中的地位
Core ML 團隊隸屬於一個基礎設施組織，其目標是為所有的 Google 產品以及外部產品提供服務，例如 TensorFlow 生態系統和其團隊開發的開源專案。產品從一個好主意到成為一個好產品的過程非常長且復雜，特別是當不只是一個產品，而是像 Google I/O 大會上宣布的那樣多達 25 個產品時。在以可擴充套件性、負責性、可持續性和可維護性的方式進行所有這些工作的同時我們與 Google DeepMind 建立了合作，從一開始就幫助他們思考他們的想法如何影響產品以及這意味著這些想法在產品中如何建立。同時我們與建立產品的人之間也有緊密合作，為他們提供工具、服務和技術，以便他們能夠將其納入產品中。近幾個月來發生的變化表明，機器學習領域的發展速度非常快，因為建立生成式人工智慧體驗非常複雜。與僅僅為模型提供輸入和接收輸出不同，還需要更多的軟體和能夠擁有模型作為基礎設施的能力。
ML 從學術研究到產業的轉變
Eiron 表示機器學習從學術研究轉變為產業是一個更廣泛的趨勢。他將之比作網際網路的發展，二十年後成為一個產業，並將之商業化的過程。他認為機器學習正在面臨進行這一轉變的關鍵時刻。我們可以以一種有意識的方式推動這個過程，加快轉變的速度並獲得更好的結果。產業與研究之間有許多不同之處。他將自己看作是基礎設施的建設者，並努力確保有產業標準的制定。他舉了一個例子，如果你想最佳化貨運，你可能會爭論運送集裝箱是否需要 35 英尺、40 英尺或 45 英尺。但一旦你決定選擇運送集裝箱，每個人都同意的尺寸比尺寸本身更重要。這只是一個最佳化的例子，當你從事研究時你可能會對此深感困擾，但當你建設產業時，你不希望擔心這些問題。因此我們建立了 OpenXLA（由 AI/ML 行業領先者共同開發的開源機器學習編譯器生態系統），因為中間編譯器的介面，如果它具有成為商品化和標準化的潛力，將有利於所有人。
從 Google DeepMind 的研究論文到 Google 產品
Eiron 表示機器學習不再只是關於獲取大量資料，找到機器學習架構，從頭開始訓練模型，評估並不斷重複的過程。如今機器學習更像軟體開發。您需要先訓練一個基礎模型，然後需要微調它，並且基礎模型也會變化，也許您的微調資料也會變化，也許您想將其應用於其他任務。這建立了一個工作流程，這意味著您需要不同的工具，並且需要考慮不同的因素。您希望建立的模型具有永續性和連續性。因此我們需要自問一些問題，例如「如何在不讓人們感到突兀的情況下更新模型？」這在軟體開發中是一個大問題，因為將有很多人負責建立提示，您希望能夠更新基礎模型而無需調整 20 個產品。你可以說，這些獨特的問題來自於規模。你還可以說，這些問題來自於給終端使用者提供持續性的需要，或者來自於關注真正提供產品體驗。即「我們擁有一個很棒的模型」和「我們擁有一個很棒的生成式人工智慧體驗」之間存在一個巨大的差距。
Core ML 團隊的日常工作
Eiron 表示他們的日常工作很大程度上是在不同部門之間建立聯絡，這些部門對事物的看法不同。例如，產品人員和研究人員對問題的看法有所不同。由於他們與所有這些人合作，他們可以代表彼此之間的共同利益。他們在研究論壇中代表所有產品的共同利益，並在產品論壇中幫助他們理解研究的來源以及我們如何幫助他們。顯然，他們也花很多時間與支援產品的專家、政策專家一起工作，探索什麼是可能的，什麼是值得追求的。該團隊涵蓋了整個範疇，從低階硬體和軟體程式碼設計，一直到應用機器學習。他們與產品合作，為他們提供建議的模型，幫助他們建立工具，並在產品推出時成為完整的合作夥伴。
Core ML 團隊的組織架構
該團隊存在著分層結構。一些人負責硬體、軟體、程式碼設計和編譯器的最佳化等底層工作。中間的人構建了機器學習的基礎模組，例如培訓服務、資料管理服務和推斷服務。他們還負責構建框架，例如 Jax、TensorFlow 和其他框架。頂部的人專注於應用機器學習體驗，與產品建立密切的合作關係，並將建立產品所需的知識帶回來。這是我們與產品和研究之間互動的前沿。我們是一種技術在空間中傳遞的管道，但我們擁有大部分這個基礎設施。比如，我們正在談論構建全新的服務堆疊以建立生成式人工智慧體驗。例如，如何管理 RLHF、如何管理過濾、如何管理下架、如何管理微調這些產品的資料飼養等。這些都是我們在長期運營中擁有的元件。我們不僅僅提供所需的東西，更重要的是「我注意到現在很多人都需要這樣的東西，所以我建立了它並提供了它。」
改進基礎設施的未來發展
Eiron 表示他對提供 API 存取這些模型感到非常興奮。不僅開源社區，而且獨立的軟體供應商都正在基於這些生成式人工智慧體驗建立產品。他認為我們在生成式人工智慧方面的旅程還處於早期階段，我們將會看到許多產品問世。他希望其中許多來自 Google，但他也知道還會有其他地方發生的好點子。創造一個開放的環境，讓人們能夠在這些強大的技術基礎上進行創新，對他來說是非常令人興奮的事情。他認為在未來幾年中，我們將會看到許多有趣的事情發生。
結論：Core ML 團隊為 Google 的生成式人工智慧體驗提供關鍵支援
Google 的 Core ML 團隊在將機器學習基礎設施應用於產品開發方面發揮了關鍵作用。該團隊負責建立和提供相關的工具、服務和技術，使研究團隊和產品團隊之間的知識流動更加順暢。透過克服生成式人工智慧開發中的各種挑戰，Core ML 團隊為 Google 帶來了一系列令人驚嘆的產品。這也體現了機器學習從學術研究到產業的轉變，在這一過程中，充分發揮機器學習基礎設施的重要性。未來，隨著生成式人工智慧的持續發展，這個領域將會呈現更多令人興奮的創新和應用。
