新神經機器碼為程式化儲水庫電腦
作者： | 紐約時報特約評論家
最近，賓夕法尼亞大學的研究人員 Jason Kim 和 Dani S. Bassett 提出了一種新穎的方法，用於設計和程式設計基於迴圈神經網路（RNNs）的儲水庫電腦。儲水庫計算是一種基於 RNNs 的計算框架，主要將輸入資料對映到高維計算空間中，同時保持人工神經網路（ANNs）的某些引數不變，並更新其他引數。這種框架有助於提高機器學習算法的效能，同時減少充分訓練所需的資料量。然而儘管 RNNs 在許多工中表現出色，但要透過識別與所要解決任務最相關的引數來最佳化其效能可能是具有挑戰性且耗時的。
與傳統程式設計的類比
這項研究的獨特之處在於，Kim 和 Bassett 受到了計算機硬體上的程式語言工作方式的啟發，提出了一種設計和程式設計基於 RNNs 的儲水庫電腦的替代方法。他們將內部表示和動態破解為神經機器碼，以指導對輸入資料的分析。這一方法類似於在計算機硬體上編譯算法的過程，其中需要詳細描述需要在哪些時刻開啟和關閉個別的電晶體。Kim 解釋道：“在 RNN 中，這些操作同時在分布在整個網路上的權重中進行定義，神經元既可以並行執行這些操作，又可以儲存記憶。我們使用數學定義了一組操作（存取權重），這些操作將執行所需的算法（例如，解方程，模擬影片遊戲），並從現有的權重集合中提取正在執行的算法。我們方法的獨特優勢在於它不需要資料或抽樣，並且不僅定義了一個存取性，而是定義了一個執行所需算法的存取性模式空間。”
有效最佳化 RNN 效能的方法
Kim 和 Bassett 針對不同應用場景使用他們的框架開發了 RNN，包括虛擬機器、邏輯閘和 AI 驅動的乒乓影片遊戲。這些算法的表現都非常出色，而不需要對引數進行反覆試驗和調整。Kim 表示：“我們工作的一個值得注意的貢獻是從資料處理工具到完全成熟的計算機，改變我們對 RNN 的理解和研究。這種轉變意味著我們可以檢查一個訓練過的 RNN，並知道它正在解決的問題，我們可以設計 RNN 來執行任務，而不需要訓練資料或反向傳播。從實際上來看，我們可以使用以假設為基礎的算法初始化我們的網路，而不是使用隨機權重或預訓練的 RNN，並且可以直接從 RNN 中提取學習到的模型。”
推動 RNN 研究的跨越性突破
這項研究中介紹的程式設計框架和神經機器碼可以讓其他團隊使用，設計更高效的 RNN 並輕鬆調整引數。Kim 和 Bassett 最終希望利用他們的框架在神經形態硬體上建立全功能軟體。在他們的未來研究中，他們還計劃開發一種方法，以提取訓練過的儲水庫電腦所學習的算法。Kim 表示：“儘管神經網路在處理復雜的高維資料方面表現出色，但執行這些網路的成本往往很高，而且理解神經網路學到了什麼是非常具有挑戰性的。我們的工作直接將訓練後的權重解析和轉譯為可以以更高效的方式執行的明確算法，而不需要 RNN，並且可以進一步進行科學理解和效能檢驗。”
賓夕法尼亞大學的 Bassett 研究小組還致力於使用機器學習方法，特別是 RNNs，來重現人類的思維過程和能力。這項最新建立的神經機器碼可以支援他們在這一研究領域的努力。Bassett 教授補充道：“第二個令人興奮的研究方向是設計 RNNs 來執行與人類認知功能相關的任務。透過使用認知過程的理論、模型或資料獲得的定義，我們希望設計 RNNs 來進行注意力、本體感知和好奇心等任務。在這樣做的過程中，我們渴望理解支援這些不同認知過程的存取性配置檔案。”
總之 Kim 和 Bassett 的研究成果開拓了 RNN 研究的新領域，並提供了一種有效最佳化 RNN 效能的方法。他們的方法不僅可以幫助設計更高效的 RNN，還可以提取所學到的算法，使得這一領域的科學理解和效能評估更具可行性。此外他們的研究還促進了基於人類思維過程的機器學習研究，為開發具有認知能力的 RNNs 打下基礎。
