網路議題

如何將人工智慧搬到邊緣端協助解決資料中心能源危機

人工智慧邊緣端:減少能源消耗的解決方案引言在資訊時代中,我們少有討論我們產生和消耗的所有資料的實際成本。我們對於儲存資料的術語也不盡人意 - 「雲端」聽起來虛無飄渺,那些使用它的平均使用者的互動設計成快速、簡單、無縫和幾乎不可感知。我們腦海中的影象通常是在虛擬的世界中,一堆浮動的 01 雙位元,在我 .... (往下繼續閱讀)

分享到 Facebook 分享到 Line 分享到 Twitter

文章目錄

如何將人工智慧搬到邊緣端協助解決資料中心能源危機

人工智慧邊緣端:減少能源消耗的解決方案

引言

在資訊時代中,我們少有討論我們產生和消耗的所有資料的實際成本。我們對於儲存資料的術語也不盡人意 - 「雲端」聽起來虛無飄渺,那些使用它的平均使用者的互動設計成快速、簡單、無縫和幾乎不可感知。我們腦海中的影象通常是在虛擬的世界中,一堆浮動的 01 雙位元,在我們周圍流動,不受束縛地在「熒幕」上的玻璃和金屬層上顯示和操作,就像柏拉圖的寓言洞穴的牆壁上閃爍的陰影一樣。但是當然雲端是有實際、有形的成本的:執行儲存資料和應用程式的伺服器所需的能源以及由此產生的溫室氣體。大型科技公司,如 Google、Meta、Apple 和 Amazon 所使用的「超大規模」資料中心,平均每年消耗 20 至 100 兆瓦的電力,足以為 37,000 個家庭供電。儘管科技公司以其投資於太陽能、風能、水力和其他可再生能源為傲,用於為其資料中心提供電力,但現實情況是,資料中心,就像世界其他多數地方一樣,仍然依賴化石燃料。

資料中心和資料庫的持續能源飢餓

隨著預計到 2030 年全球總電力消耗的 3%到 4%跳躍,資料中心的能源需求也在增長,企業必須尋找替代方案。一條新的途徑是加大對邊緣運算的投資——即在工廠和零售商店的生產環節和商業交易地點部署小型電腦、感測器和伺服器,而不是在某個大型專用資料中心中。與此同時企業對於使用生成式人工智慧的興趣突然增加,這導致了對圖形處理單元(GPU)和用於儲存訓練大型語言模型(LLM)和其他基礎模型所需大量資料的伺服器空間的需求。在某種程度上,這對於資料庫和資料中心的能源消耗來說是一種不太有利的趨勢,因為它成為了向低功耗邊緣裝置遷移的對抗力量。或者真的是這樣嗎? 一些公司已經開始提供「邊緣端人工智慧」的運算和軟體解決方案,希望為組織提供在現場執行人工智慧應用程式所需的技術,從而減少對雲端的能源需求,降低整體能源消耗,從而減少排放。邊緣運算的吸引力在於它能夠減輕全球數位轉型浪潮帶來的能源挑戰。透過減少傳輸到中央資料中心進行處理的資料量,邊緣運算可以減少能源消耗。此外大多數邊緣裝置的功耗遠低於資料中心或集中式計算的對應裝置。本地化的處理方式還意味著資料被更接近其產生或所需的地方處理,從而降低了延遲和節省能源。過渡到邊緣運算不僅僅是一個技術轉變,它是邁向更可持續、更節能型的計算景觀的重要一步。

減少能源消耗的優勢:低功耗裝置

邊緣運算的優勢在於它能夠減輕數位轉型浪潮帶來的能源挑戰。透過減少在網路上傳輸到中央資料中心進行處理的資料量,邊緣運算能夠最小化能源消耗。此外大多數邊緣裝置的功耗遠低於資料中心或集中式運算的對應裝置。本地化的處理方式還意味著資料更接近其產生或所需的地方處理,從而降低了延遲和節省能源。過渡到邊緣運算不僅僅是一個技術轉變,它是邁向更可持續、更節能型的計算景觀的重要一步。

SiMa.ai 和 Lenovo:在邊緣運算中減少能源消耗的機會

一些公司已經開始提供「邊緣端人工智慧」的運算和軟體解決方案,希望為組織提供在現場執行人工智慧應用程式所需的技術,從而減少對雲端的能源需求,降低整體能源消耗,從而減少排放。 一家名為 SiMa.ai 的初創企業提供了一款名為 Palette Edgematic 的平臺,可以讓企業快速且輕鬆地在邊緣裝置上構建和部署人工智慧應用程式,特別是那些利用了 SiMa 的 MLSoC 矽晶片的應用程式。該公司已經向美國軍方證實了其價值,展示了一個在無人機上部署的邊緣應用程式能夠將影片捕捉和分析從每秒 3 幀提高到每秒 60 幀。SiMa 的 CEO 和創始人 Krishna Rangasayee 在一封給 VentureBeat 的郵件中寫道:"邊緣運算的人工智慧將透過增強效率、實現即時決策和促進創新而革命性地改變企業"。 Lenovo 是一家以生產個人電腦和裝置聞名於世的公司,但他們的新服務 TruScale for Edge and AI 以及他們的新產品 ThinkEdge SE455 V3 伺服器,搭載了 AMD 的 EPYC 8004 系列處理器,是為在零售商店等場所的辦公室內執行而設計的。Lenovo 還透過其新的 TruScale for Edge and AI 訂閱式軟體提供超過 150 個 AI 解決方案。 另一家該公司,企業資料軟體公司 Splunk,透過協助客戶區分「厚邊緣」和「薄邊緣」,幫助他們確保哪一種計算模式適合他們。該公司在今年七月推出了一款名為 Edge Hub 的邊緣運算終端,該終端具有自己的作業系統,專門為這類部署設計。

厚邊緣和薄邊緣:減少能源消耗的不同要求

厚邊緣指的是上述 Lenovo 提到的那種在資料被收集的地方或附近進行處理和分析的計算硬體/軟體解決方案。薄邊緣則指好幾個小型、低功耗的感測器和計算硬體被安裝來收集資料,但僅在收集點進行最低限度的運算,大部分的處理功率在雲端進行。 無論是厚邊緣還是薄邊緣,企業都有機會減少他們的資料搜集和處理的能源消耗,但很明顯,由於構建和設計的不同,厚邊緣應用方案提供了更多的潛在節能空間。無論如何,Splunk 準備支援企業在厚邊緣和薄邊緣部署中,並以節能方式充分利用它們,同時尋求擁抱計算資源密集型的人工智慧應用模型。

人性化和環境效應:人類掌握決策

Splunk 的哲學觀念中有一個重要原則是「人性化」。正如 Splunk 執行長 Gary Steele 在最近接受《華爾街日報》的採訪中所說:"你不會讓人工智慧代理器重新配置你的網路。你將非常仔細地思考下一步。"相反,Splunk 的系統允許企業部署人工智慧來提供建議,但最終仍由人類負責做出決策。對於邊緣部署來說尤為重要,因為除了節能以外,AI 應用程式在工作場所的直接影響更為明顯,因為它位於其中。 Splunk 還希望確保企業能夠提供自己的獨特資料來完善他們計劃使用的 AI 應用程式,因為這對於邊緣部署的最終成功至關重要。

AI 邊緣端的未來和對能源效益的影響

儘管存在著法規不明確和創意和倡導者的強烈反對,但企業採用人工智慧的熱潮並未顯示出任何減緩的跡象。這將推動更多公司執行耗能大的人工智慧模型,從而增加企業的總能源消耗。然而透過研究和實施適當的邊緣解決方案,從有經驗的供應商那裡引導,企業可以充分利用人工智慧的同時保持他們的碳足跡減少,並以最高效的方式使用能源來提供動力支援他們的新的人工智慧驅動業務。這樣的人工智慧部署甚至可以透過分析並提供企業進一步減少裝置上的功耗的方法,使用在現場收集的資料來進行最佳化。 有很多供應商在市場上推銷自己的產品,但顯然,將人工智慧放在邊緣是企業實現節省能源的一條有益的前途 - 也可以減輕超大規模資料中心的負荷。 VentureBeat 的使命是成為技術決策者獲取有關轉型型企業技術並進行交易的數位市集。瞭解更多。 關鍵詞:綠能、人工智慧、邊緣運算、資料中心能源危機解決方案
Greenenergy-人工智慧,邊緣端,資料中心,能源危機,解決方案
江塵

江塵

Reporter

大家好!我是江塵,一名熱愛科技的發展和創新,我一直都保持著濃厚的興趣和追求。在這個瞬息萬變的數位時代,科技已經深入到我們生活的方方面面,影響著我們的工作、學習和娛樂方式。因此,我希望透過我的部落格,與大家分享最新的科技資訊、趨勢和創新應用。