腦部啟發的學習演算法實現了人工和脈衝神經網路的變形塑性
研究背景
自從人工神經網路（ANN）和脈衝神經網路（SNN）研究開始以來，災難性遺忘（catastrophic forgetting）一直是一個困難的問題。背傳遞（backpropagation）學習演算法天生存在災難性遺忘的問題，這在人工神經網路和脈衝神經網路的研究中形成了一個挑戰性的問題。然而腦部在多尺度塑性的基礎上，透過特定途徑將神經調節物質散佈到目標腦區，以便在區域性調節突觸和神經元的塑性。這種修正被稱為變形塑性（metaplasticity）。研究方法和結果
中科院自動化所的徐波教授領導的研究團隊與合作夥伴提出了一種基於神經調節依賴性塑性的腦部啟發的學習方法（NACA），可以幫助減輕 ANN 和 SNN 中的災難性遺忘。這種方法基於腦部中複雜的神經調節通路結構，依賴於神經調節通路的預期矩陣編碼數學模型。在接收到刺激訊號後，不同強度的多巴胺監督訊號被生成，進一步影響區域性突觸和神經元的可塑性。NACA 支援使用純前饋流學習方法來訓練 ANN 和 SNN。透過全域性多巴胺擴散支援，它與輸入訊號同步，甚至在輸入訊號之前提前傳播訊息。結合選擇性調整脈衝時間相關塑性，NACA 在快速收斂和減輕災難性遺忘方面展示了顯著的優勢。研究成果評價
研究團隊在兩個典型的影象和語音模式識別任務中評估了 NACA 算法的準確性和計算成本。在使用影象分類（MNIST）和語音識別（TIDigits）的標準資料集進行測試時，NACA 實現了更高的分類準確性（約為 1.92%）和更低的學習能耗（約為 98%）。此外研究團隊還將 NACA 的連續學習能力測試擴充套件到類連續學習，並將神經調節擴充套件到神經可塑性的範圍內。在不同類別的五個主要連續學習任務（包括連續 MNIST 手寫數位、連續字母手寫字母、連續 MathGreek 手寫數學符號、連續 Cifar-10 自然影象和連續 DvsGesture 動態手勢）中，NACA 顯示出比背傳遞和彈性權重保留算法更低的能耗，並且可以很大程度上減輕災難性遺忘問題。研究啟示和展望
這項研究的結果表明，透過借鑒腦部神經調節的策略，我們可以有效地解決 ANN 和 SNN 中的災難性遺忘問題。NACA 算法擁有更高的分類準確性和更低的計算成本，為人工智慧算法的快速收斂和連續學習能力提供了新的思路。然而也需要進一步研究，以更好地理解腦部神經調節機制的細節，並最佳化算法的效能和效能。編者評論和建議
這項研究在人工智慧領域中引起了廣泛的關注，並為解決災難性遺忘等問題提供了新的思路。然而這項研究當前還處於實驗室階段，離實際應用還有一定的距離。在實際應用中，需要進一步評估 NACA 算法的魯棒性和適用性。此外需要考慮到計算資源和能源消耗的問題，並與其他相關方法進行比較。不過這項研究結果的出現，符合了人們對於發展更強大和智慧的人工智慧系統的期望，同時也展示了生物進化和神經科學對於人工智慧發展的啟示。 （原文資料來源：Chinese Academy of Sciences，網址：https://techxplore.com/news/2023-09-brain-inspired-algorithm-metaplasticity-artificial-spiking.html）Neuroplasticity-腦部啟發的學習演算法,人工,脈衝神經網路,變形塑性
