自然·神經科學評論：當 AI 開始同時“理解”大腦與行為

導語

人工智能在許多科學和工程應用中取得了巨大的進展。在這篇綜述中，作者梳理了近年來大腦-行為聯合建模，重點在方法的創新、科學與工程的動機、以及未來突破的關鍵領域。作者討論了這些工具如何揭示大腦與行為之間的共享結構，以及它們如何用于科學和工程目的。文章強調了目標各異的三大類范式——判別式、生成式和對比式——正在塑造聯合建模的方法。此外，作者討論了行為學分析方法的最新進展，包括姿勢估計、分層行為分析以及多模態語言模型，這些方法能夠影響下一代聯合模型。最后，作者提出在推動聯合建模方法發展的過程中，不應只關注模型性能，還應系統性地考慮模型的可信度與可解釋性指標。

關鍵詞：聯合建模（Joint model）、神經-行為動力學（Neural-behavioral dynamics）、人工智能（Artificial intelligence）、生成模型（Generative model）、行為分析（Behavioral analysis）、可解釋性（interpretabality）

周驍俊丨作者

趙思怡丨審校

論文題目：Joint modelling of brain and behaviour dynamics with artificial intelligence 論文鏈接：https://www.nature.com/articles/s41583-025-00996-1 發表時間：2025年12月3日 論文來源：Nature review Neuroscience

神經科學為什么需要聯合建模

過去十多年，神經科學經歷了一場前所未有的數據革命。一方面，大規模電生理、鈣成像等技術，使研究者可以同時記錄成百上千甚至上百萬個神經元的活動；另一方面，高分辨率視頻、姿態估計和自動化行為分析方法，也讓行為不再只是幾個粗略標簽，而成為可以被連續測量、精細刻畫的動態過程。

然而，數據的豐富并沒有自動帶來理解的飛躍。神經活動本身高度高維、時變且噪聲復雜，而自然行為則連續、多尺度、層級化，很難用少數變量加以概括。長期以來，這兩類數據往往被分開分析：要么研究神經群體活動的統計結構，要么在預先定義好的行為標簽上進行解碼。這種割裂式研究，越來越難以回答一個核心問題——大腦究竟是如何在時間上組織神經活動，從而生成連貫、復雜的行為？

正是在這一背景下，大腦—行為聯合建模（joint brain–behaviour modelling）逐漸成為神經科學中的一個關鍵方向。它試圖在同一統計與計算框架中，同時刻畫神經活動與行為動態，從而揭示二者背后的共享結構。

從“解碼行為”到“理解共享結構”：聯合建模的思想轉變

在聯合建模的早期階段，研究目標往往相當直接：從神經活動中預測行為。這一思路在腦機接口（Brain-machine interfaces, BMIs）等工程應用中極為成功，也直觀地證明了神經群體活動中確實包含豐富的行為相關信息。

但隨著模型能力不斷增強，一個問題逐漸顯現：預測得準，并不等于理解得深。某些模型可以通過高度復雜、甚至生物學上并不合理的變換實現極高的解碼精度，卻很難告訴我們神經系統內部真正發生了什么計算。這也促使研究者開始重新思考聯合建模的目標——與其只問“能不能預測行為”，不如進一步追問：神經活動和行為是否共享某種可解釋的潛在結構？

注意，作者在此之前特意澄清了一個前提：在聯合建模語境下，多層感知機、卷積網絡、循環網絡、Transformer，乃至傳統的狀態空間模型，本質上都只是實現建模目標的工具，它們本身并不預設科學立場。真正決定模型科學含義的，并不是網絡結構的外形，而是模型被要求學習什么樣的關系。

圖 1. 通常的神經網絡架構。a. 多層感知機（MLP），全連接層構成的神經網絡，可以學習輸入與輸出之間的復雜非線性映射關系，但代價需要大量參數。b. 卷積神經網絡（CNN），通過在空間維度上應用可學習的濾波器來處理網格結構數據。c. 循環神經網絡（RNN），循環連接充當網絡的記憶，使 RNN 能夠捕獲序列輸入數據 x(t) 中的時間依賴性和模式，從而生成輸出 y(t)。d. Transformer 通過用自注意力機制取代循環連接，徹底改變了序列建模。這些機制同時計算序列中所有位置之間的關系，從而能夠在保持計算并行性的同時捕獲長程時間依賴性。e. 狀態空間模型通過將數據建模為具有隱藏狀態的連續時間動態系統，為序列處理提供了一種替代方法h(t)

人工智能方法如何重塑腦—行為建模框架

在上述基礎下，作者并沒有按照模型架構對現有方法進行分類，而是根據模型在訓練過程中被優化的目標，將當前腦—行為聯合建模方法概括為三種基本路徑。

1. 判別模型：核心目標是直接從神經活動中解碼行為變量。模型將神經放電模式映射到行為輸出，并通過均方誤差或交叉熵等損失函數進行訓練。隨著 Transformer 等模型被引入神經數據分析，這類方法在建模長時間依賴和復雜時序結構方面取得了顯著進展，在腦機接口等工程應用中表現尤為突出。但作者同時指出，這類模型的內部表示高度依賴具體任務目標，盡管預測性能很高，卻難以被解釋為神經系統的內在計算狀態。

1. 生成模型：試圖從另一個方向刻畫神經—行為關系。通過引入潛在變量，并要求模型能夠從這些潛在表示中重建神經活動，生成式模型將神經群體活動理解為由某種低維動力系統生成的結果。LFADS 是這一方向的代表性工作，它能夠從單次試驗中推斷潛在神經軌跡，并將其與行為或實驗條件聯系起來。然而，作者強調，生成式方法的核心張力在于其訓練目標：重建誤差所度量的相似性，并不一定對應科學上真正關心的結構。

1. 對比模型：對比學習為聯合建模提供了一條新路徑，它不再要求模型預測行為或重建神經活動，而是通過構造“相似”和“不相似”的樣本對，讓模型在潛在空間中自動組織數據結構。在神經數據中，時間鄰近性本身就為這種對比提供了天然信號。當行為變量或其他模態被引入作為輔助約束時，模型可以直接學習與行為相關、且在數學上具有一致性的潛在表示。作者以 CEBRA 為例，指出這類方法在跨實驗、跨個體對齊神經表示時具有獨特優勢，并推動“可識別性”成為聯合建模中的核心概念。

圖 2. 三大類神經行為動力學模型的架構及原理。a. 判別類方法。b. 生成類方法。c. 對比類方法。

行為不再是標簽：精細行為建模帶來的結構性變化

聯合建模的另一半，是行為本身的表示方式。作者明確指出，如果行為變量仍然停留在少數離散標簽層面，再復雜的神經模型也難以揭示真正的腦—行為關系。

圖 3. 層級行為分析。a. 問題設定和解決方案：定位、姿態、動作理解、重新識別(和)場景級標注。b. 小鼠行為的層級分解，涵蓋三個層次：活動、動作和運動基元。

在自然環境中，行為并不是孤立事件，而是呈現出清晰的層級結構：從較長時間尺度的活動（activity），到中間層級的動作（action），再到最基本的運動基元（motion primitive）。目前的分析系統在將動物行為轉化為豐富、結構化的數據流方面存在相對局限性，難以通過簡單的、人類可理解的查詢進行直接探究。近年來，基于深度學習的姿態估計和無監督行為分析方法，使研究者能夠從視頻中提取連續、精細的運動軌跡，并在此基礎上自動發現行為結構。這種從“標簽行為”向“結構化行為”的轉變，為腦—行為聯合建模提供了更高分辨率的參照系。

超越性能指標：聯合模型真正的科學價值在哪里？

最后，作者討論從“如何建模”推進到“如何評估”。他們強調，在聯合建模中，僅僅比較解碼精度或重建誤差，已經不足以衡量模型的科學價值。

表 1. 聯合腦-行為模型的評分卡

為此，作者提出了一套更全面的評估框架。除了性能指標之外，模型在不同訓練條件下是否保持一致，其潛在表示是否具有可識別性，對噪聲和數據缺失是否魯棒，以及模型內部表示是否具有可解釋性，都應成為評價的重要維度。這一“評分卡”不僅是技術層面的建議，也體現了一種研究立場：聯合建模的目標，不應只是預測正確，而應是結構可信。

當模型開始對齊結構，而不只是追求預測

聯合建模的價值，并不在于引入更復雜的模型，而在于重新校準研究目標：從追求預測精度，轉向理解結構。當模型學到的表示能夠在不同實驗與個體間保持一致，我們才有理由將其視為神經系統的內在狀態。理解大腦，最終取決于我們是否問對了問題。

神經動力學模型讀書會

為了促進神經科學、系統科學以及計算機科學等多領域學術工作者的交流合作，吸引更多朋友共同探索腦科學與類腦研究，周昌松、臧蘊亮、楊冬平、郭大慶、陳育涵、曹淼、劉泉影、王大輝、劉健、王鑫迪等來自國內外多所知名高校的專家學者在集智俱樂部共同發起「 」讀書會，歷時四個月研討，近日圓滿結束。

本季讀書會形成了聚集500+成員的神經動力學社區，積累了40+小時綜述、解讀、研討的視頻記錄，以及多篇社區成員總結的詞條、筆記、翻譯、科普資料等。現在報名加入讀書會，即可加入社區交流討論（微信），并解鎖相關視頻、文本資料。我們對腦的探索才剛剛起航，歡迎你一道參與，共同點亮更多腦科學研究的島嶼！

詳情請見：

1.

2.

3.

4.

5.

6.

7.