數學為 AI 時代的高效運算鋪平道路
背景
隨著科技發展的加速，AI 模型的複雜程度越來越高，使得高效運算系統也面臨著更多壓力。包括太平洋西北國家實驗室（PNNL）在內的科學家們已經識別了高效能計算（HPC）系統上的瓶頸，並提出了使用圖論這一數學領域來解決瓶頸的方法。
圖論與複雜網路
在 HPC 系統中，數百個個人計算機伺服器，稱為節點，作為單個超級計算機工作。節點之間的連線形成了網路拓撲。當節點之間的資料交換集中在同一個連線處時，就會出現 HPC 瓶頸。 傳統的 HPC 網路拓撲最佳化物理模擬，例如分子之間的互動作用或地區氣候系統等等，但對於現代 AI 工作負載，則不再適用。資料分析和 AI 應用程式中的通訊模式是不規則和不可預測的，因此現代 AI 模型的訓練通常需要更好的網路拓撲。PNNL 的研究團隊提出了使用圖論來解決這個問題的方法，特別是使用可蓬勃發展的演算圖進行網路擴充套件，這是一類可以將網路流量傳播到“總是會有很多選擇從 A 點到 B 點”的圖。
特點
PNNL 研究團隊提出的名為 SpectralFly 的網路具有完美的數學對稱性-每個節點與相同數量的其他節點相連，從每個節點到其他節點的連線在整個網路中看起來都是相同的，使得計算機程式員更容易經過該網路路由訊息。在物理測試和 AI 模型培訓方面， SpectralFly 的網路執行效果優於傳統的 HPC 網路，提供了一種在同一個 HPC 系統上進行傳統科學以及 AI 應用程式的選擇。
結論和建議
使用圖論和可蓬勃發展的常規網路進行網路擴充套件可以有效解決 HPC 瓶頸問題。這項研究提供了一種新的解決方案，這種方案可以實現傳統科學和 AI 模型共存，令應用方便，也保證了高效運算。 人類正在奮力探索時代，而數學是人類思想的一部分。我們相信，中小學應該繼續強調數學的重要性，學生應該對不同領域的應用保持開放心態，並始終掌握的基礎數學理論和應用程式相關技能。
延伸閱讀
- AI 大師 Marcus 認為，人類滅絕的威脅被誇大了
- Google 的 AI 搜尋速度太慢了
- 吉格經濟下的工人得到報酬，Fidelity 壓低 Reddit 的估值，AI 徵服《Minecraft》
- AI 何時會「過度」AI？
- AI 使用 GPT-4 成為 Minecraft 專家
- 【已成為 Minecraft 專家的 AI：使用 GPT-4 的可能性】
- YC 支援的 Dumme 籌集了 340 萬美元，用於開發 AI 影片編輯器，將長 YouTube 影片轉換為短影片 (Shorts)
- AI 毀滅論被誇大了以及其他相關新聞
- AI 助手需要學會如何編輯
- 自動化 Anywhere 與 AWS 合作，以生成式人工智慧強化企業過程
