作者：任福繼（電子科技大學特聘講席教授）；李太豪（之江實驗室高級研究專家）

　　　腦科學被視為理解宇宙、自然與人類關系的“終極疆域”，人類從未停止對人腦的探索，以及對其運行機制的模仿。人腦以極強的可塑性、通用性、自適應性、自組織性以及低能耗、高效率等，為人工智能技術的發展提供了啟發和示范。類腦智能這一新興學科得以誕生，被認為是后摩爾時代最具發展潛力的顛覆性領域之一。日前，中國科學技術協會完成了《直面人類未來——2021年度人類社會發展十大科學問題解讀》一書的編輯出版，本期，我們邀請其中的兩位作者，介紹有關類腦智能的研究。

　　　1.全球關注類腦智能研究

　　類腦智能研究具有重大意義，借鑒人腦的信息處理方式，有助于打破馮·諾依曼體系結構束縛，有望引領人工智能從機器智能走向機增強智能，從專用智能走向通用智能。因此，目前世界各主要發達國家和地區都在積極推動類腦智能的發展。該領域全球重大項目密度逐年提升，如歐盟的“人類腦計劃”、美國的“推進創新神經技術腦研究計劃”以及我國的科技創新2030——“腦科學與類腦研究重大項目”等，而且有谷歌、微軟等國際商業機器公司等高科技公司的大力度投入。

　　類腦智能又被稱為神經形態計算，旨在模擬人類大腦的形態結構及信息處理機制。一方面，突出生物學基礎和硬件導向，以神經形態硬件仿真為核心，開發類腦芯片，模擬神經電路結構和脈沖神經網絡，并利用神經脈沖計算原理形成新型物理模式；另一方面，突出感知模式、認知機理、學習能力、記憶存儲等功能實現，在腦智能機制研究的基礎上，借助機器強大的整合、搜索、計算等能力，實現功能類腦和性能超腦的運行模式。

　　自然選擇并不必然意味著智能發展，其中蘊含著對于生存的妥協和生物體依附關系的輔助。因此，人類大腦作為自然進化的產物，仍然存在諸多弊端和局限，并非其所有的運行機制都是科學的和值得被模仿的，其信息處理的方式亦然。諸如記憶容量有限、學習過程緩慢、計算能力個體差異明顯等，這就需要梳理明確機腦究竟在哪些方面應該借鑒人腦之所長，在哪些方面恰恰應該發揮機腦與人腦相互協同之作用。

　　在信息處理方面，人腦有幾個顯著優勢：一是能夠很好地處理非結構化信息，能夠多模態感知并行處理數據，動態過濾和捕捉關鍵內容，并進行跨媒體融合和自主決策；二是小樣本學習和泛化能力強，在知識和資源相對不足的條件下，主體具有強有力的自適應能力，具有強容錯性；三是存算一體化，大腦的生物神經元同時具備運算和存儲能力，具有一體化運行和超低能耗的特點；四是大腦建模不僅可以通過計算來實現，還具有稀疏性、學習性、選擇性和方向性等生物特性，蘊含巨大的信息處理潛能。

　　從信息的獲取、處理與存儲等角度，以及綜合考慮人腦在信息處理方面的顯著優勢，類腦智能可以劃分為類腦感知、類腦記憶和類腦學習等。要最終形成“人造超級大腦”，還有很長的路要走，目前的類腦研究尚處于初級階段，僅是對大腦的高度抽象和簡化。

　　未來研究路徑應該對大腦如何進行信息加工加以揭示，闡明復雜行為之下的內在機制實現形式，特別是了解神經信息如何產生感知覺、學習、記憶、決策等認知功能，并思考如何通過機腦實現智能，建立新型的計算結構與智能形態，使其在信息處理機制上“類腦”，在信息處理性能上“超腦”，在認知行為和智能水平上“類人”。

　　　2.類腦感知模擬視覺、聽覺、觸覺和嗅味覺

　　根據人類感知世界的方式，類腦感知可以分為視覺智能、聽覺智能、觸覺智能和嗅味覺智能。當前的視覺智能、聽覺智能處于信息技術領域學術研究與實際應用的最前沿。相比之下，觸覺智能和嗅味覺智能處于材料硬件、規模化芯片硬件和類腦芯片結構創新的研究階段。

　　在基礎研究層面，類腦視覺智能已經發展為目前以深度學習為代表的視覺方法。1982年，大衛·馬爾的《視覺》一書問世，使得視覺計算理論成為跨界計算機科學與認知神經科學的橋梁。現在，不同的類腦神經網絡框架與其他領域的模型，如自然語言處理領域的轉換器已經取得最先進的性能。在產業發展層面，視覺智能從上游的光源、鏡頭、相機，到視覺系統中游的中間算法，再到下游的設備制造和終端應用等已經取得全面的發展。

　　聽覺智能作為另外一個發展較為成熟的領域，其主要研究內容以自然語言處理為核心，以語音和文本為載體，對抽象的信息進行表達。在應用層面，語音信號處理技術已廣泛應用于虛擬主播、在線通話、智能音箱等。在產業界，自然語言處理技術已經被用于機器翻譯、聊天機器人、輿情分析和市場預測等各個領域。

　　觸覺智能是相對發展較為緩慢的一類感知技術。為了實現機器人準確地感知世界，需要全方位的視覺智能與觸覺智能。2021年諾貝爾生理學或醫學獎得主、美國加利福尼亞大學舊金山分校的戴維·朱利葉斯和斯克利普斯研究所的阿德姆·帕塔普蒂安分別獨立發現了溫度與觸覺的受體，該發現揭示了人體皮膚感知溫度、壓力及疼痛的分子機制，即揭示了外部的溫度和機械刺激是如何轉化為內部的神經信號的。以該類發現為啟發，機器的觸覺智能以新材料為切入點，感知環境的溫度、壓力與濕度等各種信號，通過神經網絡等機器學習方法自適應地學習模型參數，使得機器具備感知觸覺的能力。

　　嗅味覺智能的研究難點也在感知材料層面，而不是后續的深度學習算法與認知訓練層面。人工智能對味覺與嗅覺的識別，進展遠遠落后于對視覺和聽覺的識別。原因之一是視覺與聽覺的數據獲取相對容易且標注較為簡單。而相比之下，嗅覺與味覺的標注非常稀疏，且大部分物品并不會被輕易標注，因為人類不會自己去嘗試陌生物品的味道。在基礎理論層面，人類對味覺和嗅覺的機理研究并不透徹，目前的認知僅停留在味道與物質分子有關，而對分子之間的聯合作用不存在類似視覺的系統認知。因基礎理論認知的缺失、感知材料的發展限制，嗅味覺智能尚未在工業界廣泛應用。在學術研究層面，IBM研究院于2019年研發的“電子舌頭”能在1分鐘內識別多種液體，可以用于監測食品安全、工廠質檢、疾病診斷、環保檢測等領域。2020年，英特爾與康奈爾大學在《自然-機器智能》上聯合發表論文，宣布其利用英特爾神經擬態芯片Loihi可以識別10種有害氣體。

　　人腦對大量的信息會基于注意力機制進行篩選，并將資源重點用于面向任務的關鍵信息處理。類腦注意力智能已經被應用于深度學習的各個領域，如視頻圖像處理、語音識別和自然語言處理等。當前注意力機制發展最為成熟的領域是自然語言處理，它通過編碼-解碼器來實現對詞語的注意權重。

　　　3.類腦記憶已用于問答系統、機器翻譯

　　生物大腦在進行信息處理時，能夠將信息記住一段時間，即大腦具有記憶功能。該功能是生物大腦的重要功能，是大腦進行學習、認知的基礎。根據記憶時間的長短，可將記憶分為短時記憶和長時記憶。短時記憶是對當前環境的即時反應，將當前環境數據存儲于生物大腦中，從微觀角度來看，短時記憶是刺激神經元后的持續性變化。長期記憶是對歷史信息的高層次概括，從微觀角度來看，是神經元之間的突觸連接和強度發生了變化。具有記憶單元的智能體有很好的自適應能力，可以從歷史經驗中學習，從而更好地發揮作用。

　　受到腦科學的啟發，研究人員將記憶模塊應用于機器學習模型中。長短期記憶網絡就是一種代表性方法。它通過對神經記憶單元進行結構化設計，通過門控模型控制信息的更新。其中，遺忘門控制信息中的哪些部分會被丟棄，輸入門控制神經元要更新的信息，輸出門控制神經元要輸出的信息，一個細胞狀態中存儲著由遺忘門和輸入門共同確定的可記憶的信息。長短期記憶網絡方法將信息表示成固定長度的向量化編碼，當外部信息量變大時，這種定長的編碼方法可能會丟失信息的細節。這導致了長短期記憶網絡的記憶能力有限，并不能精確地記住過去的事實。此時的大部分模型都缺乏可以讀取和寫入外部知識的組件。

　　在此基礎上，研究人員開始研究非定長的記憶單元存儲信息。Facebook 團隊提出的記憶網絡就是其中一種。該團隊在記憶網絡中引入了一個獨立的存儲器。我們可以通過類比方式來理解這種網絡：網絡結構可看作計算機中的中央處理器，而獨立存儲器可看作隨機存儲器。一個記憶網絡由一個記憶數組和四個組件（輸入組件、泛化組件、輸出組件、回答組件）組成。輸入組件負責將輸入數據轉化為網絡內在的向量；泛化組件用來更新記憶數組；輸出組件結合輸入，從記憶數組中抽取合適的記憶；回答組件負責將輸出組件的輸出轉化為需要的形式。

　　記憶網絡雖然解決了定長記憶方法的局限性，但這種方法并不是一種端到端的方法。端到端的記憶神經網絡隨之出現了。鍵值記憶網絡的提出解決了端到端的神經網絡記憶規模不足的問題。以上方法通過非定長記憶編碼的方式改善定長記憶方法的缺陷，但隨著記憶的增長，這種方法可能會造成信息的冗余。因此，學者又引入了注意力機制來對信息進行動態融合，提取記憶中的重要信息。目前，相關工作已經在問答系統、機器翻譯等任務中取得了良好表現。

　　盡管目前的神經網絡計算模型對記憶的借鑒已經在應用層面取得了良好的效果，但這些方法仍然是從功能角度去模擬大腦，其進一步的發展還需要對人腦記憶機制和原理進行深入的探索。

　　在類腦記憶方面，現有的人工神經網絡并不具備生物機理作為理論支撐。例如，在生物大腦中，記憶遵循著赫布學習律與脈沖時序依賴的突觸可塑性等法則。類腦記憶未來的發展方向應該借鑒生物大腦的研究，根據生物大腦的記憶環路結構及相關理論構建多尺度的記憶框架，實現自主記憶。由于不同種類的記憶類型在神經機制和神經環路上差異明顯，因此類腦記憶應重點解決對生物大腦的長時記憶、短時記憶、工作記憶等不同種類記憶方法的建模，探索不同記憶的腦機制。除此之外，類腦記憶還應解決如何對記憶進行表示、如何構建層次化記憶、如何對記憶進行去冗余處理、如何快速激活記憶單元等關鍵問題。

　　　4.類腦學習需要融合更多神經生物學理論

　　生物大腦的學習智能來源是其有著超大規模和復雜互聯的神經網絡，通過模擬生物神經網絡從而實現類腦學習是類腦智能的發展思路之一。近年來蓬勃發展的深度神經網絡利用生物大腦在進行信息處理時的層次化信息，在諸多領域取得了重大突破。

　　卷積神經網絡就是一個很好的例子。它通過對網絡結構的改造，使其某些神經元共享相同參數，可以提取輸入數據某種不變的特征。但其仍是淺層的初步嘗試，對腦信息處理機制的深度借鑒還有很長的距離。

　　神經學研究顯示，大腦新皮質的功能實現依賴于其區域連接組成的層次結構。該理論是皮質學習算法的理論基礎，認為人腦的智能與新皮質緊密相關。皮質學習算法中的核心部分是分層時間記憶算法，該算法模擬了大腦新皮質結構和功能運作。雖然該模型目前已經在數據處理領域得到了廣泛的應用，但只是對大腦皮層對應的功能進行粗略建模，與大腦的真實結構差距甚遠。

　　20世紀90年代，神經生物學家發現，在神經元細胞體或軸突附近存在一系列的短脈沖，而且不同的信息在尖脈沖數量和脈沖輸出的時間上存在差異。這些研究成果促使了脈沖神經網絡的產生。脈沖神經網絡被稱為第三代神經網絡，設計更加接近生物大腦的真實結構，是對真實的生物神經元進行建模。脈沖神經網絡目前在模式識別、腦電信號處理、智能感知和控制方面有著良好效果，但在圖像或語音處理的效果方面仍然是個未知數。除此之外，脈沖神經網絡訓練算法的理論發展尚需完善。

　　對于人類來說，學習新的知識并不需要很多標記數據。這是由于人類在學習新任務時，會有其他的先驗知識可以用于聯想或者類比學習，人類只需要通過少量樣本就能快速學習，這就是機器學習和人類學習之間存在的差距。可不可以借鑒人類學習的過程，從而通過其他任務的學習促進當前任務的學習？

　　元學習就是基于此思想發展而來的，它試圖讓機器學習更加接近人類思維。元學習又被稱為學會學習，是利用以往的經驗來指導新任務的學習，使人工神經網絡具備學習的能力。元學習盡管取得了一些成績，但還有自適應性、進化性、可解釋性等一系列問題有待研究，其系統理論知識尚需進一步完善。

　　在類腦學習方面，雖然現有的深度神經網絡已經模擬了生物大腦信息處理的部分原理，但這只是初步的探索，并沒有從更深層次去融合神經生物學的相關理論。目前，在微觀層面，神經生物學在神經元和突觸的類型、數目及其工作原理等方面都取得了不少進展，發現它們在不同的腦區中差異很大，且能根據實現功能的不同動態變化調整，可以通過深度融合生物大腦的學習機制來提升現有模型。