面對 GPU 短缺，技術產品領導者需要尋找新的資源管理方法
引言
在技術世界中，由大型語言模型（LLM）如 GPT-4 所驅動的生成式 AI 已經引起了轟動。ChatGPT 快速崛起引發了全球技術行業對於生成式 AI 的重新評估和重視，從而實時改變了產品策略。LLM 的整合使產品開發者能夠輕鬆地將 AI 功能融入到產品中。然而並非一帆風順。對於產品領導者來說一個明顯的挑戰顯而易見：GPU 短缺和不斷上升的成本。生成式 AI 的崛起和 GPU 短缺
AI 初創企業和服務的增多導致對於高階 GPU（如 A100 和 H100）的需求大增，這使得 NVIDIA 和其制造合作夥伴臺積電陷入供應難題。線上論壇如 Reddit 上充滿了對於 GPU 供應的不滿，這反映了整個技術社區的情緒。情況變得如此嚴峻，以至於 AWS 和 Azure 都不得不實施配額系統。這一瓶頸不僅約束初創企業的發展，對於 OpenAI 等技術巨頭也是一個絆腳石。根據最近在倫敦舉行的一次非公開會議，OpenAI 的執行長 Sam Altman 坦率地承認，電腦晶片短缺正妨礙 ChatGPT 的發展。據報導，Altman 悲嘆稱計算能力的匱乏導致 API 的可用性不佳，並阻礙了 OpenAI 推出更大的“上下文視窗”供 ChatGPT 使用。優先排序 AI 功能
一方面，產品領導者面臨著源源不斷的創新壓力，要求提供能夠利用生成式 AI 威力的尖端功能。另一方面，他們必須應對 GPU 容量約束的嚴酷現實。這是一個複雜的平衡遊戲，無情的優先排序不僅僅是戰略上的決策，也成為必要的選擇。鑑於 GPU 供應在可預見的未來仍將是一個挑戰，產品領導者必須在 GPU 分配上進行戰略思考。 傳統上，產品領導者們倚賴像“顧客價值/需求對努力的矩陣”這樣的優先排序技術。然而在我們當前的範式中，計算資源是一個約束，而不是軟體人才，產品領導者必須重新定義他們如何優先排序各種產品或功能，將 GPU 約束放在戰略決策的前沿。 在其他行業中，圍繞容量約束進行規劃可能看起來不尋常，但卻是一種常見的策略。其基本概念很簡單：最有價值的因素是在受限資源上花費的時間，目標是最佳化每單位時間在該約束上的價值。技術成功指標
作為一名前顧問，我曾成功地在各種行業中應用過這種框架。我相信，技術產品領導者也可以使用類似的方法來優先排序產品或功能，同時存在 GPU 約束。 當應用這種框架時，價值的最直接衡量標準是盈利能力。然而在技術領域，盈利能力不一定始終是適合的指標，特別是當涉及進入新市場或產品時。因此我將框架調整以符合技術領域通常使用的成功指標，提出了一個簡單的四步過程：1. 貢獻
首先確保每個產品或功能的核心指標，即每個產品或功能的貢獻。 一些具體的例子可能包括： - 增加的收入和利潤 - 市場份額的增長 - 日活躍/月活躍使用者數的增加2. 需要的 GPU 數量
估計每個產品或功能所需要的 GPU 數量。重點考慮的因素包括： - 每個使用者每天的查詢數量 - 日活躍使用者數 - 查詢的複雜度（每個查詢消耗的令牌數）3. 每個 GPU 的貢獻
具體評估每個 GPU 對於整體目標的貢獻。理解這一點將讓您清楚地理解您的 GPU 在哪些方面有最佳的分配。基於每個 GPU 的貢獻，優先排序產品。4. 基於每個 GPU 的貢獻進行優先排序
現在是時候做出艱難的決定了。按照每個 GPU 的貢獻進行排名，然後將它們依次排列。優先考慮貢獻度最高的產品，確保有限的資源用於對產品影響最大的領域。資料驅動決策
這種替代的優先排序框架引入了一種更細緻和戰略的方法。透過專注於每個 GPU 的貢獻度，您可以在資源上實現最大的回報，使其與收入、市場份額或任何其他重要指標相一致。但是優勢不僅僅如此。這種方法也能夠在產品團隊中建立更明確和客觀的共識。根據我的經驗，包括在我早期領導一家醫療公司的數位化轉型時期以及與不同的麥肯錫客戶合作時，這種方法在容量約束是關鍵因素的情況下是一個改變遊戲規則的方法。它使我們能夠以更資料驅動和理性的方式優先考慮倡議，旁邊略過傳統政治問題，以避免決策落入房間中最大嗓音的人手中。 然而並不存在一種適用於所有情況的解決方案，也值得承認這種方法的潛在約束。例如，這種方法可能無法適切地體現某些投資的戰略重要性。因此雖然我們應當審慎考慮例外情況，但應該作為特例而不是常態。這保持了過程的完整性，確保任何偏差都是在考慮到更廣泛的戰略背景的情況下做出的。結論
面對 GPU 短缺，產品領導者面臨前所未有的挑戰，他們需要尋找新的資源管理方法。正如偉大的戰略家孫子所言：“在混亂中也有機會。”GPU 短缺確實是一個挑戰，但是透過正確的方法，它也可以成為差異化和成功的催化劑。提出的以“每個 GPU 的貢獻”為重點的優先排序框架提供了一種戰略的方法。透過專注於每個 GPU 的貢獻，公司可以最大程度地獲得投資回報，將資源對準在對公司的長期成功最重要的地方。Optimization,GPU,AI,technology,solution-AI 專案最佳化,優先排序,新方法,GPU 短缺問題,克服
