北京
創投筆記
# 大模型與人類大腦的差距 #
杰佛里·辛頓
計算機科學家
在神經網絡的發展史上，人們長期認為處理序列應依靠循環神經網絡。后來Transformer的出現改變了游戲規則，它允許模型直接回看完整的所有歷史活動狀態，從而獲得了極其宏大的上下文。
但生物大腦的神經元數量有限，無法像Transformer那樣保留所有歷史激活狀態。大腦獲得豐富上下文的唯一途徑是在短期連接強度中保存記憶。傳統模型只有快速的神經活動和緩慢的連接強度這兩個時間尺度。
要在生物網絡中實現類似Transformer的功能，必須引入第三個時間尺度，即“快速權重”。它疊加在連接強度上，能迅速改變權重并在短時間內衰減。其承載的信息量比神經活動高出幾千倍。這才是神經網絡運行的真實上下文，也必然是大腦處理復雜序列的底層機制。
我現在認為大腦可能并不使用反向傳播。大模型擁有數萬億樣本但連接數相對較少，而大腦擁有一百萬億個連接，但訓練數據非常匱乏。
大腦解決的是如何在極少數據下利用海量連接進行學習，而AI則是通過反向傳播將海量信息擠進有限的連接中。大腦傾向于將少量信息散布在巨大的連接網絡中以便日后檢索，這與目前的AI學習策略截然不同。
合 作 對 接
掃碼添加投資人說運營者微信，備注「商務合作」詳細溝通。
超 級 社 群
【投資人說】正在組建超級創業者社群、超級讀者群、超級媒體群等，目前總人數已超1000人。
關注【投資人說】微信公眾號，發送信息「進群」，與各行業精英直接交流，共同進步。
旗 下 媒 體
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
