人腦啟發學習算法實現人工神經網路的元可塑性
導言
近日《科學進展》期刊發表了一項新的研究成果，中國科學院自動化研究所徐波教授等研究團隊提出了一種基於神經調節相依型可塑性的大腦啟發學習方法（NACA），用於緩解人工神經網路（ANN）和脈沖型神經網路（SNN）中的災難性遺忘問題。這一研究開啟了實現神經網路元可塑性的新途徑，具有重要的理論意義和實際應用價值。背景
在人工神經網路的研究中，「災難性遺忘（catastrophic forgetting）」一直是一個困擾人們的問題。傳統的反向傳播學習算法在面臨新任務時，會忘記先前學習的知識。這種遺忘的現象在人腦中並不存在，因為大腦透過多尺度可塑性來部分解決了這個問題。大腦利用神經調節相依型可塑性（neuromodulation-dependent plasticity）進行全域性調節，透過特定的神經途徑將神經調節物質分散到目標腦區，從而調控其內部的突觸和神經元可塑性。這種可塑性的修改稱為「元可塑性（metaplasticity）」。新研究方法
徐波教授等研究團隊基於大腦中複雜的神經調節途徑結構，提出了一種新的腦啟發學習方法（NACA）。該方法依賴於神經調節途徑的數學模型，透過預期矩陣編碼的形式，利用區域性神經元和突觸可塑性的調節來實現全域性的傳導。具體而言，當接收到刺激訊號時，產生了不同強度的多巴胺監管訊號，進一步影響區域性的突觸和神經元可塑性。NACA 支援使用純前向流的學習方法來培訓 ANN 和 SNN。透過全球多巴胺擴散的支援，它與輸入訊號同步，甚至提前傳播訊息。結合選擇性調節的脈沖時序相依型可塑性，NACA 在快速收斂和緩解災難性遺忘方面具有顯著優勢。研究成果
研究團隊採用了標準的影象分類（MNIST）和語音識別（TIDigits）資料集，對 NACA 算法進行了準確性和計算成本的評估。在測試中，NACA 在分類準確性和學習能耗方面表現出了顯著優勢，相對於反向傳播算法和彈性權重合併算法，分別達到了約 1.92%和約 98%的提升。此外研究團隊還測試了 NACA 在連續學習能力方面的應用，將神經調節擴充套件到神經元可塑性的範疇。在包括連續的 MNIST 手寫數位、連續的字母手寫字母、連續的數學希臘字母、連續的 Cifar-10 自然影象和連續的 DvsGesture 動態手勢等五個不同類別的連續學習任務中，NACA 顯示出更低的能耗，並且能夠很好地緩解災難性遺忘問題。結論
總之這項研究為實現神經網路的元可塑性提供了一種新途徑。NACA 算法利用大腦中的神經調節相依型可塑性原理，實現了全域性調節下的區域性可塑性調節，顯著提升了神經網路的學習效果和抗災難性遺忘能力。該研究成果在影象分類、語音識別等應用場景中取得了重要突破，為未來神經網路的設計和最佳化提供了重要的參考。然而需要進一步的研究和實驗來取證 NACA 算法在更複雜任務和真實場景中的效能表現。評論與建議
基於人腦的神經調節原理，NACA 算法為解決災難性遺忘問題提供了一個有希望的解決方案。然而我們應該注意到算法的可行性和實際應用還需要進一步的取證。在將來的研究中，我們可以從以下幾個方面進一步最佳化和拓展該算法：1. 多工學習的擴充套件
當前研究中主要關注了類連續學習的場景，如連續的手寫數位和字母識別任務。未來的研究可以進一步擴充套件該算法在多工學習中的應用，如同時識別不同型別的影象、語音和文字等。2. 神經調節機制的模擬
NACA 算法基於神經調節途徑的結構和數學模型，但實際的神經調節機制還存在許多未解之謎。在未來的研究中，可以更深入地模擬和研究神經調節機制，以更好地理解和應用這一原理。3. 真實世界應用的測試
除了在實驗室環境中的測試，我們還需要進一步將 NACA 算法應用到真實世界的情境中。例如，在機器人控制、自主駕駛和智慧助手等應用中測試該算法的實際效果。 在未來的發展中，人腦啟發學習算法將有望為我們建立更智慧、具有適應性和學習能力的機器提供重要的靈感和方向。ArtificialNeuralNetworks-人腦啟發學習算法,人工神經網路,元可塑性
