A Hebbian memory that achieves human-like results on sequential processing tasks
背景
程式設計領域的機器學習模型在近年來取得了巨大的進展，其中就包括了「transformer」這一類模型。這些模型旨在揭示和追蹤序列資料中的圖案，例如文字序列。儘管現有的 transformer 在各種任務中取得了良好的結果，但在處理較長的序列時，它們的效能往往顯著下降。為了改進 transformer 在長序列處理任務上的表現，韓國成均館大學的研究人員最近開發出了一種新的記憶系統，該系統受到著名的人類記憶理論「赫布定律」的啟發。
赫布定律與人類記憶
赫布定律是一個受到腦神經心理學研究啟發的理論，提出了神經元和細胞在反復被啟用的情況下會相互聯動，這些聯動最終導致學習的概念。研究團隊引入了一種稱為「Memoria」的記憶網路，該網路應用了赫布定律，以提高神經網路中的長期依賴性，並從工作記憶、短期記憶和長期記憶的多個記憶層次中儲存和檢索訊息。Memoria 透過根據赫布定律改變存取權重的方式來儲存和檢索被稱為「engram」的訊息。
實驗結果
當前研究人員已經在一系列實驗中評估了他們的赫布記憶系統，取得了非常有希望的結果。Memoria 在多種涉及長資料序列處理的任務中顯著提升了 transformer 的效能。研究人員在論文中寫道："透過與 BERT 和 GPT 等流行的基於 transformer 模型的實驗，我們表明 Memoria 在各種任務中顯著提高了考慮長期依賴性的能力，結果表明 Memoria 在排序、語言建模和長文字分類方面優於現有的方法"。
展望
這些研究人員開發的具有潛力的記憶架構可能很快在更廣泛的複雜任務中進行測試，以進一步探索其潛力。此外其他全球的研究團隊也可以開始使用這種記憶架構來提升基於 transformer 的模型的效能。Park 和 Bak 開發的程式碼是開源的，可以在 GitHub 上輕鬆獲取。該研究人員還使用獨立的 Python 包部署了 Memoria，這進一步方便了全球開發人員的使用。
本文的研究成果揭露了一種赫布記憶系統，該系統在處理序列資料時實現了類似人類的結果。這一成果將對機器學習和人工智慧領域產生深遠的影響。研究者成功地將人類記憶理論應用於 transformer 模型中，透過模擬赫布定律的方式來儲存和檢索訊息。這一新的記憶系統被證實在處理長資料序列的任務上具有顯著的優勢，並且在多項實驗中取得了非常有希望的結果。
影響和應用
這一研究成果對於機器學習模型的改進具有重大意義。由於現有的 transformer 模型在處理長序列時的效能下降，這約束了它們在複雜任務中的應用。然而這項研究提供了一種新的思路，可以透過模擬人類記憶的方式來提高模型的效能。這將對機器翻譯、自然語言處理、對話系統等領域的發展產生積極的影響。
未來展望
當前該研究成果還在初步實驗階段，需要在更廣泛的複雜任務中進行取證。此外其他研究團隊可以透過使用這一開源程式碼來應用赫布記憶系統，從而改進自己的 transformer 模型。未來的研究可以進一步探索更有效的記憶模型和更先進的機器學習算法，以實現更接近人類記憶和思考方式的人工智慧系統。
