麻省理工學院的液體神經網路：壓縮、靈活且高效的 AI 解決方案
引言
在人工智慧（AI）領域中，關於大型語言模型（LLM）的討論引發了建立越來越大的神經網路的熱潮。然而並非每個應用都能支援非常大的深度學習模型所需的計算和記憶體。為了應對這些環境的約束，研究人員開展了一些有趣的研究方向。麻省理工學院電腦科學和人工智慧實驗室（CSAIL）的研究人員開發了一種新型的深度學習架構——液體神經網路（Liquid Neural Networks，LNN），為某些 AI 問題提供了一種緊湊、靈活且高效的解決方案。液體神經網路的意義與特點
液體神經網路（LNN）是一種與傳統深度學習模型有著明顯區別的架構。它們使用了一種較少計算負擔的數學形式，在訓練過程中穩定了神經元。液體神經網路的關鍵在於使用了動態可調式的微分方程，這使得它們可以在訓練後適應新的情境。這是傳統神經網路所沒有的能力。“基本上，我們透過兩個要點提高了神經元在現有模型上的表示學習能力，”麻省理工學院 CSAIL 主任丹妮拉·羅斯（Daniela Rus）表示“第一是一種在學習期間增加神經元穩定性的良好行為狀態模型。然後，我們在突觸輸入中引入了非線性，以增加我們模型在訓練和推論過程中的表現力。”此外 LNNs 還使用了與傳統神經網路不同的存取架構，允許同一層內的橫向和遞迴存取。這種基礎數學方程和新穎的存取架構使得液體網路能夠學習可動態調整行為的連續時間模型。液體神經網路的優勢
液體神經網路最引人注目的特點之一是它們的緊湊性。例如，一個傳統的深度神經網路需要大約十萬個人工神經元和五十萬個引數才能完成保持車輛在車道上的任務。相比之下，羅斯和她的同事們僅用 19 個神經元就能訓練出一個 LNN 來完成同樣的任務。這種大小的顯著減少帶來了幾個重要的影響。首先它使得模型能夠執行在機器人和其他邊緣裝置中的小型計算機上。其次由於神經元較少，網路的解釋性更高。解釋性是 AI 領域的一個重大挑戰。對於傳統的深度學習模型，往往很難理解模型是如何得出某個具體決策的。“當我們只有 19 個神經元時，我們可以提取與發射模式相對應的決策樹，從而構建出這 19 個神經元系統的決策流程，”羅斯說，“但是對於 10 萬個或更多的情況是無法做到的。”液體神經網路的應用與約束
液體神經網路主要設計用於處理連續資料流，比如影片流、音訊流或溫度測量序列等。羅斯表示：“一般來說當我們有時間序列資料時，液體神經網路表現得很好……液體神經網路需要序列才能發揮良好的作用。然而如果您嘗試將液體神經網路解決方案應用於像 ImageNet 這樣的靜態資料庫上，效果就不會那麼好。”LNNs 的性質和特點使它們特別適合於計算資源受限且安全關鍵的應用，例如機器人和自動駕駛車輛，這些應用需要將資料連續餵養給機器學習模型。麻省理工學院 CSAIL 團隊已經在單一機器人場景中測試了 LNN，並取得了令人鼓舞的結果。未來，他們計劃將測試擴充套件到多機器人系統和其他型別的資料，以進一步探索 LNN 的能力和局限性。結語
液體神經網路是一種新穎的深度學習架構，其緊湊性、靈活性和高效性為 AI 領域帶來了新的創新。與傳統的深度學習模型相比，液體神經網路在機器人和自駕車等領域具有獨特的優勢。它們的能力在於適應新情境、解釋性強且能夠更好地理解因果關係。然而液體神經網路也有其局限性，尤其適用於處理連續資料流的應用，並且對靜態資料庫的處理效果不佳。未來，液體神經網路的應用前景和發展將進一步拓寬，並有望在更廣泛的領域中發揮作用。MIT,artificialintelligence,neuralnetworks,robots,self-drivingcars-麻省理工學院,液體神經網路,機器人,自駕車,人工智慧,解
延伸閱讀
- Fairgen「提振」調查結果，利用合成資料和人工智慧生成的回應
- 用 Retell AI 讓公司打造「語音代理人」來應答電話
- OpenAI 揭開 AI 祕密指令的面紗
- AI 助您創辦者更快、更輕鬆地籌集資金嗎？
- 盧西德機器人獲得 900 萬美元用於無人機清潔任何地方
- 以色列新創公司 Panax 籌集了 1,000 萬美元 A 輪融資，用於其基於人工智慧的現金流管理平臺
- Reddit 測試使用基於 LLM 的人工智慧進行自動整站法語翻譯
- 三星醫聲將以 9270 萬美元收購法國人工智慧超聲波新創公司 Sonio
- 網際網路共同創始人 Robert Kahn 早在幾十年前就已經做到了加密、人工智慧和網際網路嗎？
- 獨家專訪：Wayve 聯合創始人 Alex Kendall 談車輛和機器人的自主未來
