市場觀察

如何將人工智慧遷移到邊緣,以解決資料中心能源危機

我們未曾討論的代價:資料的能源消耗問題作者:背景在資訊時代中,我們產生和消耗的資料所帶來的現實成本往往是被忽略的話題。我們用來儲存資料的術語也沒有幫助 — 「雲」聽起來像是飄渺的、虛幻的,而普通使用者與之互動的方式設計得快速、簡單、無縫,幾乎無形。我們在腦海中往往把它形容為一堆零和一在我們周圍浮動, .... (往下繼續閱讀)

分享到 Facebook 分享到 Line 分享到 Twitter

文章目錄

如何將人工智慧遷移到邊緣,以解決資料中心能源危機

我們未曾討論的代價:資料的能源消耗問題

作者:

背景

在資訊時代中,我們產生和消耗的資料所帶來的現實成本往往是被忽略的話題。我們用來儲存資料的術語也沒有幫助 — 「雲」聽起來像是飄渺的、虛幻的,而普通使用者與之互動的方式設計得快速、簡單、無縫,幾乎無形。我們在腦海中往往把它形容為一堆零和一在我們周圍浮動,存在於虛擬空間中,與我們的世界無聯動,我們只能透過移動裝置的觸控螢幕和電腦鍵盤上的玻璃和金屬層次來辨認和操作它們,就像是柏拉圖寓言中牆上的閃爍陰影。但當然在「雲」上有一個非常真實、有形的代價:執行儲存資料和應用程式所需的能源以及由此產生的溫室氣體。大型科技公司(如 Google、麥特、蘋果和亞馬遜)使用的「超大規模」資料中心每年消耗 20 至 100 兆瓦的電力,足夠為 37,000 個家庭供電。儘管科技公司自豪地宣揚他們在太陽能、風能、水能和其他可再生能源方面的投資,為他們的資料中心提供電力,但現實是,資料中心仍然依賴化石燃料。

(資料來源:VentureBeat)

邊緣運算作為降低能源消耗的選項

隨著資料中心的能源需求增長,根據預測,到 2030 年,資料中心將佔全球總電力消耗的 3%至 4%,公司必須尋找替代方案。其中一條出路是增加對邊緣運算的投資 — 即在現場部署較小規模的計算機、感測器和伺服器,而不是在專門的大型資料中心。與此同時企業對使用生成式人工智慧的興趣突然增加,這增加了對影象處理單元(GPU)和儲存大量用於訓練大型語言模型(LLMs)和其他基礎模型所需的伺服器空間的需求。從某些方面來看,這對於資料庫和資料中心的能源消耗是一個不利的趨勢,因為它對低功率邊緣裝置的遷移行動起到了抵制作用。或者它呢?一些公司已經開始提供「邊緣人工智慧」計算和軟體解決方案,希望為組織提供在現場執行人工智慧應用程式所需的技術,從而減少對雲端的能源需求和整體能源需求,從而減少排放量。

邊緣運算的優勢:低功耗裝置

邊緣運算的吸引力在於它能夠減輕科技變革浪潮帶來的能源挑戰。透過減少傳輸到中央資料中心進行處理的資料量,邊緣運算可以降低能源消耗。此外大多數邊緣裝置的功耗要比資料中心或集中計算裝置低得多。本地處理的方法也意味著資料在生成或需要的地方處理,減少延遲並節省能源。邊緣運算的過渡不僅僅是一個技術上的轉變,它是邁向更可持續、節能的計算景觀的重要一步。

將 AI 部署在邊緣的公司

一些公司已經開始提供「AI 在邊緣」的計算和軟體解決方案,希望為組織提供在現場執行 AI 應用程式所需的技術,從而減少對雲端的能源需求和整體能源需求,並因此減少排放量。以下是一些具有代表性的公司和他們提供的解決方案

1. SiMa.ai

SiMa.ai 是一家位於加利福尼亞州聖地亞哥的五年新創公司,他們提供自己的拖放式無程式碼人工智慧應用軟體和 AI 邊緣裝置晶片。他們的平臺 Palette Edgematic 允許企業快速且輕鬆地在邊緣裝置上構建和部署 AI 應用程式,尤其是那些利用 SiMa 的 MLSoC 矽晶片(由領先供應商臺積電生產)的應用程式。他們已經向美國軍方展示了他們的價值,其中一個邊緣部署在一個無人機上,能夠將影片捕捉和分析速度從每秒 3 幀增加到每秒 60 幀。

2. 聯想(Lenovo)

聯想是一家以生產個人電腦和裝置聞名的公司,但他們的新產品 TruScale for Edge and AI 服務則將聯想的硬體經驗應用於新的形態 — 搭載 AMD 的 EPYC 8004 系列處理器的 ThinkEdge SE455 V3 伺服器,設計用於在零售店、超市或即使是大西洋海中的商業漁船的後勤辦公室中靜音執行。聯想還透過其新的 TruScale for Edge and AI 訂閱式軟體服務提供 150 多個即插即用的 AI 解決方案

3. Splunk

Splunk 是一家企業資料軟體公司,最近被思科以驚人的 280 億美元收購。Splunk 將它的客戶區分為「厚邊緣」和「薄邊緣」,並幫助客戶區分這兩種類別的計算以及確保哪種計算方式適合他們。其中「厚邊緣」指的是像上述文章中提到的計算硬體/軟體解決方案,資料在現場處理和分析,或者在靠近資料收集位置的地方進行。而「薄邊緣」則指的是安裝了較小、低功耗的感測器和計算硬體來收集資料,但在資料收集地點只進行最少的操作,大部分處理能力在雲端進行。Splunk 的新產品 Edge Hub 是一個帶有自己作業系統的邊緣計算終端,專為這種部署設計。

能源效率和 AI 在邊緣的未來

儘管存在法規不確保性和來自創意界和倡導者的強烈反對聲音,企業對採用人工智慧的急迫性並沒有顯示出任何減緩的跡象。這將推動更多企業執行耗能大的人工智慧模型,從而可能顯著增加企業的能源消耗。然而透過研究和實施在適當的地點和方式上具有意義的邊緣解決方案,從有經驗的供應商那裡得到幫助,企業可以在保持低碳足跡的同時充分利用人工智慧,以盡可能高效地使用能源來為其新的以人工智慧驅動的運營提供動力。這樣的 AI 部署甚至可以透過分析並提議企業進一步降低裝置功耗的方式,使用所收集的資料來進一步最佳化能源消耗。

結論

對於尋求降低能源消耗的企業來說將人工智慧部署在邊緣是一條有益的道路,它不僅可以降低電費,還可以降低環境影響。同時這也可以減輕超大規模資料中心的負擔。

(原文資料來源:VentureBeat)

EnergyEfficiency-人工智慧,邊緣運算,資料中心,能源危機,解決方案
程宇肖

程宇肖

Reporter

大家好!我是程宇肖,我對於科技的發展和應用有著濃厚的興趣,並致力於將最新的科技趨勢和創新帶給大家。科技領域的變化速度驚人,每天都有令人興奮的新發現和突破。作為一名部落格作者,我將帶領大家深入探索科技的奧秘和應用的無限可能。