《自然》發(fā)表“AI教父”辛頓的FF算法在卷積神經(jīng)網(wǎng)絡(luò)中的最新系統(tǒng)擴(kuò)展,這是類(lèi)腦學(xué)習(xí)的重大進(jìn)步

深度學(xué)習(xí)的崛起幾乎完全依賴(lài)于反向傳播（Backpropagation, BP）算法。BP通過(guò)鏈?zhǔn)椒▌t逐層計(jì)算梯度，使得數(shù)以百萬(wàn)計(jì)的參數(shù)能夠在訓(xùn)練過(guò)程中不斷調(diào)整。

然而，這一方法在實(shí)際應(yīng)用中存在顯著局限,BP需要存儲(chǔ)大量中間激活值，導(dǎo)致顯存消耗極高，BP依賴(lài)的計(jì)算模式在類(lèi)腦硬件或非傳統(tǒng)計(jì)算架構(gòu)上難以實(shí)現(xiàn)，從生物學(xué)角度看，人腦的學(xué)習(xí)機(jī)制與BP存在根本差異，這使得BP在“類(lèi)腦學(xué)習(xí)”的探索中顯得不夠自然。

在這樣的背景下，Geoffrey Hinton 在 2022 年提出了Forward–Forward (FF) 算法。這一方法完全摒棄了反向傳播，而是通過(guò)兩次前向傳播來(lái)完成學(xué)習(xí)：一次輸入正樣本（圖像與正確標(biāo)簽），一次輸入負(fù)樣本（圖像與錯(cuò)誤標(biāo)簽），并利用局部定義的“goodness函數(shù)”來(lái)更新權(quán)重。FF算法的提出不僅是對(duì)深度學(xué)習(xí)訓(xùn)練方式的挑戰(zhàn)，更是對(duì)生物學(xué)啟發(fā)式學(xué)習(xí)的一次探索。

FF算法最初僅在全連接網(wǎng)絡(luò)中得到驗(yàn)證，如何將其擴(kuò)展到卷積神經(jīng)網(wǎng)絡(luò)（CNN）這一圖像處理的核心架構(gòu)，成為亟待解決的問(wèn)題。

11 月 5 日，《自然》發(fā)表研究團(tuán)隊(duì)首次系統(tǒng)性地將FF算法應(yīng)用于CNN 的最新成果，并提出了兩種新的空間標(biāo)簽策略，基于傅里葉波的標(biāo)簽與基于形態(tài)學(xué)變換的標(biāo)簽。這一創(chuàng)新使得卷積層能夠在全局范圍內(nèi)捕捉標(biāo)簽信息，避免了傳統(tǒng) one-hot 標(biāo)簽在局部嵌入時(shí)的缺陷。

研究由來(lái)自德國(guó)哥廷根的跨學(xué)科團(tuán)隊(duì)完成，他們是Riccardo Scodellaro, Ajinkya Kulkarni, FraukeAlves& Matthias Schr?ter，成員橫跨Max Planck Institute for Multidisciplinary Sciences、University Medical Center G?ttingen以及Max Planck Institute for Dynamics and Self-Organization。他們的研究方向涵蓋分子影像學(xué)、血液學(xué)與腫瘤學(xué)、放射學(xué)以及復(fù)雜系統(tǒng)物理學(xué)，體現(xiàn)了醫(yī)學(xué)影像、人工智能與復(fù)雜系統(tǒng)理論的交叉融合。這種跨學(xué)科背景為FF算法在CNN中的應(yīng)用提供了堅(jiān)實(shí)的理論與實(shí)踐支撐。

01

工作綜述

反向傳播雖然是深度學(xué)習(xí)的基石，但其局限性早已引發(fā)廣泛關(guān)注。BP的存儲(chǔ)開(kāi)銷(xiāo)巨大，訓(xùn)練大型模型時(shí)顯存需求往往是權(quán)重存儲(chǔ)的數(shù)倍。其次，BP在類(lèi)腦硬件或非傳統(tǒng)計(jì)算架構(gòu)上難以實(shí)現(xiàn)，限制了其在低能耗計(jì)算中的應(yīng)用。BP與生物神經(jīng)系統(tǒng)的學(xué)習(xí)機(jī)制差異明顯，使得其在“類(lèi)腦學(xué)習(xí)”探索中缺乏生物學(xué)合理性。

為解決這些問(wèn)題，研究者提出了多種替代方法。

1.Hebbian學(xué)習(xí)與對(duì)比Hebbian學(xué)習(xí)：基于“神經(jīng)元共同激活則連接增強(qiáng)”的局部學(xué)習(xí)規(guī)則，強(qiáng)調(diào)生物學(xué)動(dòng)機(jī)。

2.平衡傳播（Equilibrium Propagation）：在能量模型框架下，通過(guò)網(wǎng)絡(luò)的自由態(tài)與約束態(tài)差異來(lái)驅(qū)動(dòng)學(xué)習(xí)，連接了Hopfield網(wǎng)絡(luò)與梯度下降。

3.反饋對(duì)齊（Feedback Alignment）、PEPITA等局部學(xué)習(xí)規(guī)則：通過(guò)局部誤差信號(hào)或隨機(jī)投影來(lái)更新權(quán)重，避免了逐層反向傳播。

4.零階優(yōu)化與能量模型：通過(guò)兩次前向傳播的差異來(lái)近似梯度，雖然效率較低，但在現(xiàn)代改進(jìn)下已具備競(jìng)爭(zhēng)力。

在這一廣闊的探索背景下，Hinton提出的Forward–Forward算法屬于局部學(xué)習(xí)規(guī)則的范疇。它通過(guò)正負(fù)樣本的 goodness 差異來(lái)驅(qū)動(dòng)權(quán)重更新，避免了反向傳播的復(fù)雜性。早期應(yīng)用主要集中在全連接網(wǎng)絡(luò)，隨后擴(kuò)展到圖神經(jīng)網(wǎng)絡(luò)、光學(xué)神經(jīng)網(wǎng)絡(luò)以及類(lèi)腦硬件實(shí)驗(yàn)。然而在卷積神經(jīng)網(wǎng)絡(luò)這一主流架構(gòu)中，F(xiàn)F算法的應(yīng)用仍是空白。本研究正是填補(bǔ)這一缺口的首次系統(tǒng)性嘗試。

02

研究創(chuàng)新點(diǎn)

在這項(xiàng)研究中，最具突破性的貢獻(xiàn)是提出了兩種全新的空間擴(kuò)展標(biāo)簽策略，它們直接回應(yīng)了 Forward–Forward (FF) 算法在卷積神經(jīng)網(wǎng)絡(luò)中面臨的核心難題。Hinton 在最初的設(shè)計(jì)中采用的是one-hot 標(biāo)簽嵌入，即將類(lèi)別信息編碼在圖像左上角的幾個(gè)像素中。

然而這種方式在全連接網(wǎng)絡(luò)中尚可行，但在卷積神經(jīng)網(wǎng)絡(luò)中卻存在天然缺陷，卷積核在不同空間位置滑動(dòng)時(shí)，往往無(wú)法捕捉到局部嵌入的標(biāo)簽信息，導(dǎo)致網(wǎng)絡(luò)難以利用標(biāo)簽進(jìn)行有效學(xué)習(xí)。

為了解決這一問(wèn)題，研究團(tuán)隊(duì)提出了兩種空間化的標(biāo)簽嵌入方法，使得類(lèi)別信息能夠在整張圖像中均勻分布，從而保證卷積層在任意位置都能感知到標(biāo)簽信號(hào)。

第一種方法是傅里葉波標(biāo)簽。研究者為每個(gè)類(lèi)別生成一組獨(dú)特的灰度波紋，這些波紋由頻率、相位和方向的不同組合構(gòu)成。通過(guò)將這種波紋圖像與原始數(shù)據(jù)進(jìn)行像素級(jí)疊加，標(biāo)簽信息被擴(kuò)展到整個(gè)圖像空間。這樣一來(lái)，卷積核在任何位置都能捕捉到與類(lèi)別相關(guān)的模式，從而避免了局部標(biāo)簽缺失的問(wèn)題。傅里葉波標(biāo)簽的優(yōu)勢(shì)在于其數(shù)學(xué)上的可控性和全局一致性，能夠?yàn)榫W(wǎng)絡(luò)提供一種穩(wěn)定的類(lèi)別信號(hào)。

第二種方法是形態(tài)學(xué)標(biāo)簽。與傅里葉波的全局波紋不同，形態(tài)學(xué)標(biāo)簽通過(guò)對(duì)原始圖像施加一組確定性的形態(tài)學(xué)變換來(lái)嵌入類(lèi)別信息，例如膨脹、腐蝕、旋轉(zhuǎn)或其他幾何操作。每個(gè)類(lèi)別對(duì)應(yīng)一組獨(dú)特的變換組合，這些變換會(huì)改變圖像的結(jié)構(gòu)特征，從而迫使網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中關(guān)注圖像的形態(tài)差異，而不是依賴(lài)簡(jiǎn)單的標(biāo)簽?zāi)Ｊ?。形態(tài)學(xué)標(biāo)簽的優(yōu)勢(shì)在于它能有效避免“捷徑解”——即網(wǎng)絡(luò)僅僅依賴(lài)標(biāo)簽的簡(jiǎn)單模式來(lái)區(qū)分正負(fù)樣本，而忽視了圖像本身的復(fù)雜特征。

這兩種空間擴(kuò)展標(biāo)簽策略的提出，直接解決了 CNN 在 FF 框架下的關(guān)鍵問(wèn)題：如何讓卷積核在全局范圍內(nèi)感知類(lèi)別信息。它們不僅保證了標(biāo)簽信號(hào)的空間可達(dá)性，還通過(guò)不同的機(jī)制引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)更深層次的特征。傅里葉波標(biāo)簽提供了全局一致的模式，而形態(tài)學(xué)標(biāo)簽則強(qiáng)化了對(duì)圖像結(jié)構(gòu)的關(guān)注。兩者結(jié)合，為 FF-CNN 的訓(xùn)練提供了新的可能性。

從更宏觀的角度來(lái)看，這一創(chuàng)新點(diǎn)不僅是技術(shù)上的改進(jìn)，更是理念上的突破。它體現(xiàn)了研究團(tuán)隊(duì)在類(lèi)腦學(xué)習(xí)與卷積架構(gòu)結(jié)合上的深度思考：如果我們希望擺脫反向傳播的限制，就必須重新設(shè)計(jì)標(biāo)簽與數(shù)據(jù)的交互方式，讓網(wǎng)絡(luò)在前向傳播中就能充分利用類(lèi)別信息。這種思路為未來(lái)的類(lèi)腦計(jì)算和低能耗硬件實(shí)現(xiàn)提供了重要啟示。

03

方法與實(shí)現(xiàn)

在針對(duì) MNIST 數(shù)據(jù)集 的實(shí)驗(yàn)中，研究團(tuán)隊(duì)設(shè)計(jì)了一種由三層連續(xù)卷積結(jié)構(gòu)組成的網(wǎng)絡(luò)架構(gòu)。每一層均采用相同數(shù)量的濾波器矩陣，這一參數(shù)也是實(shí)驗(yàn)中重點(diǎn)考察的超參數(shù)之一。值得注意的是，網(wǎng)絡(luò)中沒(méi)有引入最大池化層，因?yàn)樵陬A(yù)實(shí)驗(yàn)中發(fā)現(xiàn)池化操作會(huì)降低整體準(zhǔn)確率。

數(shù)據(jù)流動(dòng)過(guò)程可以概括為：輸入圖像與其正負(fù)標(biāo)簽依次通過(guò)三層卷積，每層之后都進(jìn)行 層歸一化（Layer Normalization） 和 ReLU 激活。在每一層中，正負(fù)樣本的激活差異被用于計(jì)算該層的 sigmoid 函數(shù)輸出，從而形成局部的判別信號(hào)。

圖1：空間擴(kuò)展標(biāo)簽存在于整個(gè)圖像中，而一個(gè)熱編碼僅限于左上角區(qū)域。對(duì)于FF訓(xùn)練，我們需要兩個(gè)數(shù)據(jù)集，它們都為圖像添加標(biāo)簽。第一行描述了陽(yáng)性數(shù)據(jù)集的創(chuàng)建，其中示例圖像被正確標(biāo)記。最下面一行顯示了陰性數(shù)據(jù)集的示例，其中圖像與從其他可能標(biāo)簽中隨機(jī)選擇的假標(biāo)簽相結(jié)合。我們展示了添加標(biāo)簽的三種方法。（a）和（b）描述了Hinton使用的單熱編碼：圖像頂行的第一個(gè)像素用作指示符。在該示例中，設(shè)置為1的單個(gè)像素的列數(shù)對(duì)應(yīng)于目標(biāo)值。（c）和（d）描述了我們提出的基于傅里葉的技術(shù)。每個(gè)標(biāo)簽對(duì)應(yīng)于與輸入大小相同的圖像，但具有特征灰度值波。標(biāo)簽通過(guò)逐像素相加的方式包含在圖像中。（e）和（f）顯示了我們提出的基于形態(tài)學(xué)的方法。每個(gè)標(biāo)簽都與一組獨(dú)特的變換相關(guān)聯(lián)，這些變換會(huì)影響圖像形態(tài)，迫使網(wǎng)絡(luò)專(zhuān)注于圖像特征。

在數(shù)學(xué)定義上，優(yōu)度（goodness）被設(shè)定為該層所有激活值的平方和：

在損失函數(shù)設(shè)計(jì)上，研究者并未采用文獻(xiàn)中提出的對(duì)稱(chēng)性方案，而是借鑒了其他工作提出的累積網(wǎng)絡(luò)損失，即通過(guò)將各層損失相加來(lái)增強(qiáng)層間協(xié)作。但與傳統(tǒng)做法不同的是，本文排除了第一層的損失。原因在于第一層的激活向量長(zhǎng)度本身就能區(qū)分正負(fù)樣本，如果過(guò)度依賴(lài)這一信息，后續(xù)層將無(wú)法學(xué)習(xí)更復(fù)雜的特征。通過(guò)舍棄第一層的損失，網(wǎng)絡(luò)被迫依賴(lài)相對(duì)激活模式，從而在更深層次上提取有意義的特征。這一做法與 Hinton 在原始實(shí)現(xiàn)中的選擇保持一致。

在訓(xùn)練細(xì)節(jié)上，團(tuán)隊(duì)遵循了兩點(diǎn)關(guān)鍵實(shí)現(xiàn)。

• 層歸一化：對(duì)每個(gè)激活值進(jìn)行歸一化，使后續(xù)層只能利用前一層的模式信息，而非整體范數(shù)。
• 學(xué)習(xí)率線性冷卻：在訓(xùn)練周期中途調(diào)整學(xué)習(xí)率，公式如下：

其中，E 表示總訓(xùn)練輪數(shù)，e 為當(dāng)前輪數(shù)。

為了分析各層的貢獻(xiàn)，研究者定義了基于層的判別損失與準(zhǔn)確率。Sigmoid 輸出被解釋為概率，當(dāng)值大于 0.5 時(shí)，表示該層將圖像識(shí)別為正樣本。通過(guò)與真實(shí)標(biāo)簽比較，可以得到判別準(zhǔn)確率，并進(jìn)一步計(jì)算二元交叉熵?fù)p失。

在推理階段，網(wǎng)絡(luò)提供了兩種方案：

• 線性分類(lèi)器：除第一層外，每層的 HH 個(gè)神經(jīng)元與一個(gè)包含 NN 個(gè)節(jié)點(diǎn)的分類(lèi)層全連接，節(jié)點(diǎn)數(shù)等于類(lèi)別數(shù)。權(quán)重通過(guò)交叉熵?fù)p失訓(xùn)練，這是默認(rèn)的推理方式。
• 優(yōu)度評(píng)估：每張圖像與所有可能的標(biāo)簽組合進(jìn)行前向傳播，計(jì)算每個(gè)標(biāo)簽的優(yōu)度值，最終選擇優(yōu)度最大的標(biāo)簽作為預(yù)測(cè)結(jié)果：

其中，對(duì)于每個(gè)關(guān)聯(lián)的標(biāo)簽m，其優(yōu)度表示為

其中H是除第一層神經(jīng)元之外的所有神經(jīng)元的數(shù)量。

在CIFAR10 與 CIFAR100的實(shí)驗(yàn)中，研究團(tuán)隊(duì)采用了更深的網(wǎng)絡(luò)結(jié)構(gòu)。具體而言，網(wǎng)絡(luò)擴(kuò)展為六層卷積，并將層歸一化替換為批歸一化（Batch Normalization），以提升訓(xùn)練穩(wěn)定性。這一設(shè)計(jì)參考了已有文獻(xiàn)中的優(yōu)化方法，同時(shí)保持空間擴(kuò)展標(biāo)簽策略不變。

圖2：應(yīng)用于MNIST數(shù)據(jù)集的FF訓(xùn)練CNN的示意圖。正負(fù)樣本通過(guò)三個(gè)卷積層進(jìn)行處理，每個(gè)卷積層都經(jīng)過(guò)層歸一化和ReLU激活。在每一層，使用正樣本和負(fù)樣本的二元交叉熵計(jì)算優(yōu)度函數(shù)。然后，可以通過(guò)線性分類(lèi)器或通過(guò)評(píng)估所有標(biāo)簽的優(yōu)度得分來(lái)進(jìn)行最終分類(lèi)。

這種方法的獨(dú)特之處在于，它完全摒棄了反向傳播的鏈?zhǔn)教荻扔?jì)算，而是通過(guò)局部 goodness 函數(shù)的優(yōu)化來(lái)驅(qū)動(dòng)學(xué)習(xí)。正負(fù)樣本的對(duì)比機(jī)制讓網(wǎng)絡(luò)在沒(méi)有反向傳播的情況下，依然能夠逐層提取有意義的特征。

從整體來(lái)看，方法與實(shí)現(xiàn)部分展示了 FF 算法在 CNN 中的完整落地：通過(guò)空間擴(kuò)展標(biāo)簽保證卷積核能捕捉類(lèi)別信息，通過(guò) goodness 函數(shù)定義訓(xùn)練目標(biāo)，再通過(guò)跨層累計(jì)損失與雙重推理方式實(shí)現(xiàn)分類(lèi)。這一框架不僅在數(shù)學(xué)上自洽，也為未來(lái)在類(lèi)腦硬件上的應(yīng)用提供了可行路徑。

04

實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)部分，研究團(tuán)隊(duì)通過(guò)對(duì)MNIST、CIFAR10、CIFAR100三個(gè)經(jīng)典數(shù)據(jù)集的系統(tǒng)測(cè)試，驗(yàn)證了 Forward–Forward (FF) 算法在卷積神經(jīng)網(wǎng)絡(luò)中的可行性與局限性。結(jié)果不僅展示了 FF 與傳統(tǒng)反向傳播（BP）的性能對(duì)比，也揭示了空間擴(kuò)展標(biāo)簽策略在復(fù)雜數(shù)據(jù)集上的關(guān)鍵作用。

在MNIST數(shù)據(jù)集上，F(xiàn)F-CNN 的表現(xiàn)幾乎與 BP-CNN 持平。采用三層卷積結(jié)構(gòu)（每層 128 個(gè) 7×7 卷積核），F(xiàn)F-CNN在測(cè)試集上取得了99.16% 的精度，而B(niǎo)P-CNN 的精度為99.13%。這表明在簡(jiǎn)單數(shù)據(jù)集上，F(xiàn)F 算法完全能夠替代 BP。然而，訓(xùn)練動(dòng)態(tài)上存在差異：FF 收斂速度較慢，需要更多迭代才能達(dá)到穩(wěn)定精度，但其內(nèi)存消耗顯著降低，約為 BP 的25–30%。這意味著在硬件受限的場(chǎng)景下，F(xiàn)F 算法具有明顯優(yōu)勢(shì)。

圖3：FF訓(xùn)練的CNN架構(gòu)的最佳MNIST性能與相同架構(gòu)的反向傳播訓(xùn)練的CNN的結(jié)果相當(dāng)。（a）在批量大小為50的200個(gè)迭代訓(xùn)練后，根據(jù)每層濾波器的數(shù)量，為具有三個(gè)卷積層的CNN獲得的精度值。濾波器大小為7乘以7，學(xué)習(xí)率分別設(shè)置為FF的5x10-5和BP的10-3的最佳值。FF訓(xùn)練的網(wǎng)絡(luò)使用來(lái)自集合1的標(biāo)簽和35%的標(biāo)簽強(qiáng)度K。BP和FF的報(bào)告值是從驗(yàn)證數(shù)據(jù)中收集的。綠色數(shù)據(jù)點(diǎn)顯示了與FF訓(xùn)練網(wǎng)絡(luò)相關(guān)的結(jié)果，并使用優(yōu)度比較進(jìn)行推理。在這種情況下，使用（b）中報(bào)告的相應(yīng)混淆矩陣所示的測(cè)試數(shù)據(jù)，每層128個(gè)濾波器實(shí)現(xiàn)了99.16±0.02%的準(zhǔn)確率。（c）顯示了為區(qū)分有助于訓(xùn)練的每個(gè)隱藏層的正負(fù)訓(xùn)練數(shù)據(jù)而計(jì)算的損失（紅線和藍(lán)線），以及訓(xùn)練期間使用的組合損失（綠線）。（d）顯示相同隱藏層的辨別精度（紅線和藍(lán)線）以及訓(xùn)練期間獲得的總精度（綠線）。

在更具挑戰(zhàn)性的CIFAR10數(shù)據(jù)集上，差異開(kāi)始顯現(xiàn)。傳統(tǒng) BP-CNN 的精度約為85.4%，而 FF-CNN 的表現(xiàn)依賴(lài)于標(biāo)簽策略：采用傅里葉波標(biāo)簽時(shí)精度為60.9%，而采用形態(tài)學(xué)標(biāo)簽時(shí)提升至68.6%。這一結(jié)果凸顯了標(biāo)簽設(shè)計(jì)的重要性。傅里葉波標(biāo)簽提供了全局一致的信號(hào)，但在復(fù)雜圖像中容易被網(wǎng)絡(luò)當(dāng)作“捷徑”，導(dǎo)致模型忽視圖像本身的細(xì)節(jié)。而形態(tài)學(xué)標(biāo)簽通過(guò)改變圖像結(jié)構(gòu)，迫使網(wǎng)絡(luò)關(guān)注真實(shí)的形態(tài)特征，從而有效避免了捷徑解，提升了分類(lèi)性能。

在CIFAR100數(shù)據(jù)集上，研究團(tuán)隊(duì)進(jìn)一步驗(yàn)證了空間擴(kuò)展標(biāo)簽的可擴(kuò)展性。通過(guò)優(yōu)化標(biāo)簽集（從 2000 個(gè)候選模式中挑選出相關(guān)性最低的 100 個(gè)組合），F(xiàn)F-CNN 的精度穩(wěn)定在37–38%。雖然這一結(jié)果仍顯著低于 BP 的表現(xiàn)，但它證明了空間標(biāo)簽策略能夠在百類(lèi)任務(wù)中保持區(qū)分度，具備一定的擴(kuò)展能力。

圖4：FF和BP訓(xùn)練的CNN的CAM顯示了網(wǎng)絡(luò)在進(jìn)行預(yù)測(cè)時(shí)認(rèn)為哪些圖像區(qū)域是有益的（黃色）或有害的（粉紅色）。（a）-（d）顯示四個(gè)輸入圖像。（e）-（h）和（i）-（l）分別是基于FF和BP培訓(xùn)的CAM。所有的例子都來(lái)自一個(gè)每層有16個(gè)卷積神經(jīng)元的網(wǎng)絡(luò)，濾波器大小為5×5，在200個(gè)迭代周期內(nèi)用50個(gè)批量進(jìn)行訓(xùn)練。FF學(xué)習(xí)率：5×10^-5，BP學(xué)習(xí)率：1×10^-3。

整體來(lái)看，實(shí)驗(yàn)結(jié)果揭示了 FF-CNN 的雙重特性：在簡(jiǎn)單數(shù)據(jù)集上，它能夠與 BP 相媲美，并且在硬件資源有限的場(chǎng)景下更具優(yōu)勢(shì)；在復(fù)雜數(shù)據(jù)集上，性能依賴(lài)于標(biāo)簽策略，形態(tài)學(xué)標(biāo)簽展現(xiàn)出更強(qiáng)的魯棒性與合理性。盡管 FF 在精度上仍落后于 BP，但其訓(xùn)練機(jī)制的生物學(xué)合理性與硬件友好性，使其成為未來(lái)類(lèi)腦計(jì)算與低能耗 AI 的潛在候選方案。

這種結(jié)果也提示我們，F(xiàn)F 算法的真正價(jià)值或許并不在于直接替代 BP，而在于為深度學(xué)習(xí)提供一種新的思路：通過(guò)標(biāo)簽與數(shù)據(jù)的空間交互，推動(dòng)網(wǎng)絡(luò)在前向傳播中完成學(xué)習(xí)。這種理念在未來(lái)的 neuromorphic computing（類(lèi)腦計(jì)算）平臺(tái)上，可能會(huì)展現(xiàn)出更大的優(yōu)勢(shì)。

05

可解釋性與學(xué)習(xí)動(dòng)態(tài)

在 Forward–Forward (FF) 算法擴(kuò)展到卷積神經(jīng)網(wǎng)絡(luò)的過(guò)程中，研究團(tuán)隊(duì)特別強(qiáng)調(diào)了模型的可解釋性與訓(xùn)練動(dòng)態(tài)。這不僅是為了驗(yàn)證 FF-CNN 是否真正學(xué)到了有意義的特征，更是為了理解其在復(fù)雜數(shù)據(jù)集上的表現(xiàn)差異。

首先，研究者利用Class Activation Maps (CAMs)對(duì) FF-CNN 的學(xué)習(xí)過(guò)程進(jìn)行了可視化分析。CAMs 是一種解釋性工具，可以揭示網(wǎng)絡(luò)在做出分類(lèi)決策時(shí)關(guān)注的圖像區(qū)域。實(shí)驗(yàn)結(jié)果顯示，F(xiàn)F-CNN 的不同卷積層往往學(xué)習(xí)到互補(bǔ)的特征。例如，在識(shí)別數(shù)字“7”時(shí)，某一層可能更關(guān)注水平線的內(nèi)部結(jié)構(gòu)，而另一層則聚焦于邊緣輪廓。這種分層互補(bǔ)的特征學(xué)習(xí)表明，盡管 FF 算法不依賴(lài)反向傳播，它依然能夠逐層構(gòu)建出有意義的表示，并在整體上形成對(duì)圖像的全面理解。相比之下，傳統(tǒng) BP-CNN 的特征分布更趨于集中，而 FF-CNN 的特征呈現(xiàn)出更強(qiáng)的多樣性和分工性。

圖5：選擇不同的空間標(biāo)簽會(huì)影響學(xué)習(xí)過(guò)程。（a）和（b）顯示了在CIFAR10數(shù)據(jù)集上測(cè)試的FF訓(xùn)練的CNN的隱藏層的二進(jìn)制精度值（區(qū)分正負(fù)數(shù)據(jù)集的能力）。雖然第一層專(zhuān)注于更簡(jiǎn)單和更粗糙的圖像特征，在兩種標(biāo)記策略下表現(xiàn)相似，但深層受益于基于形態(tài)學(xué)的標(biāo)記，但當(dāng)標(biāo)記是簡(jiǎn)單的圖案時(shí)，它們會(huì)受到阻礙。給定相同的數(shù)據(jù)集圖像（c）和（f），與基于形態(tài)學(xué)的標(biāo)記（d）和（g）相關(guān)的歸一化CAM產(chǎn)生的最大值主要局限于圖像邊界（e，h）。

其次，訓(xùn)練穩(wěn)定性成為 FF-CNN 的一個(gè)關(guān)鍵議題。研究發(fā)現(xiàn)，F(xiàn)F 算法對(duì)標(biāo)簽設(shè)計(jì)極為敏感。若標(biāo)簽過(guò)于簡(jiǎn)單（如傅里葉波標(biāo)簽），網(wǎng)絡(luò)可能會(huì)走向“捷徑解”，即僅依賴(lài)標(biāo)簽?zāi)Ｊ蕉鲆晥D像本身的復(fù)雜特征；而形態(tài)學(xué)標(biāo)簽則能迫使網(wǎng)絡(luò)關(guān)注圖像結(jié)構(gòu)，從而獲得更穩(wěn)健的收斂路徑。這種敏感性意味著 FF-CNN 的訓(xùn)練過(guò)程可能出現(xiàn)不同的收斂軌跡，類(lèi)似于動(dòng)力系統(tǒng)中的分岔現(xiàn)象：在相同的初始條件下，網(wǎng)絡(luò)可能因標(biāo)簽設(shè)計(jì)或參數(shù)微小差異而收斂到完全不同的解。

這種分岔特性既是挑戰(zhàn)，也是機(jī)遇。一方面，它揭示了 FF 算法的非線性與復(fù)雜性，說(shuō)明其學(xué)習(xí)動(dòng)態(tài)比傳統(tǒng) BP 更難以預(yù)測(cè)和控制；另一方面，它也為研究類(lèi)腦學(xué)習(xí)提供了新的視角——生物神經(jīng)系統(tǒng)的學(xué)習(xí)過(guò)程本身就充滿不確定性和多樣性，F(xiàn)F 算法的這種特性或許更接近真實(shí)的神經(jīng)學(xué)習(xí)機(jī)制。

綜上，F(xiàn)F-CNN 的可解釋性分析表明，它能夠在不同層次上學(xué)習(xí)互補(bǔ)特征，而訓(xùn)練動(dòng)態(tài)的分岔現(xiàn)象則提醒我們，標(biāo)簽設(shè)計(jì)與參數(shù)選擇在這一框架下至關(guān)重要。這不僅是技術(shù)上的挑戰(zhàn)，更是理解類(lèi)腦學(xué)習(xí)與人工智能之間關(guān)系的重要窗口。

06

應(yīng)用前景與挑戰(zhàn)

Forward–Forward (FF) 算法在卷積神經(jīng)網(wǎng)絡(luò)中的擴(kuò)展，展示了其獨(dú)特的應(yīng)用潛力。首先，它的最大優(yōu)勢(shì)在于局部更新與低內(nèi)存需求。與反向傳播需要存儲(chǔ)大量中間激活值不同，F(xiàn)F 算法只依賴(lài)局部的 goodness 函數(shù)進(jìn)行權(quán)重更新，這使得訓(xùn)練過(guò)程更加輕量化，尤其適合在顯存有限或硬件受限的環(huán)境中運(yùn)行。

其次，F(xiàn)F 算法的機(jī)制天然契合類(lèi)腦硬件的實(shí)現(xiàn)。在 neuromorphic computing（類(lèi)腦計(jì)算）平臺(tái)上，反向傳播往往難以實(shí)現(xiàn)，而 FF 的雙前向傳播與局部更新則更接近生物神經(jīng)系統(tǒng)的學(xué)習(xí)方式。這意味著 FF-CNN 有望成為未來(lái)低能耗硬件和類(lèi)腦芯片上的重要候選算法。

此外，F(xiàn)F 算法本身就是一種生物學(xué)啟發(fā)的學(xué)習(xí)機(jī)制。它通過(guò)正負(fù)樣本的對(duì)比來(lái)驅(qū)動(dòng)學(xué)習(xí)，類(lèi)似于神經(jīng)系統(tǒng)在強(qiáng)化與抑制之間的動(dòng)態(tài)平衡。這種機(jī)制不僅為人工智能提供了新的訓(xùn)練思路，也為理解人類(lèi)大腦的學(xué)習(xí)過(guò)程提供了可能的模型。

然而，挑戰(zhàn)同樣顯而易見(jiàn)。首先，F(xiàn)F 的推理計(jì)算開(kāi)銷(xiāo)較大。在 goodness 比較模式下，每個(gè)輸入需要與所有可能的標(biāo)簽組合進(jìn)行前向傳播，這在多類(lèi)別任務(wù)中會(huì)顯著增加計(jì)算量。其次，F(xiàn)F 算法的理論收斂性尚未嚴(yán)格證明，其訓(xùn)練動(dòng)態(tài)存在分岔現(xiàn)象，意味著結(jié)果可能因標(biāo)簽設(shè)計(jì)或參數(shù)微小差異而大幅不同。最后，在復(fù)雜數(shù)據(jù)集上，F(xiàn)F-CNN 的表現(xiàn)仍明顯落后于 BP-CNN，尤其是在 CIFAR10 和 CIFAR100 上，精度差距較大。這表明 FF 算法在實(shí)際應(yīng)用中仍需進(jìn)一步優(yōu)化。

07

結(jié)論與展望

綜合來(lái)看，本文的研究證明了FF 算法在 CNN 中的可行性。通過(guò)空間擴(kuò)展標(biāo)簽策略，研究團(tuán)隊(duì)解決了卷積核無(wú)法捕捉局部標(biāo)簽信息的問(wèn)題，使得 FF-CNN 能夠在圖像任務(wù)中實(shí)現(xiàn)有效訓(xùn)練。這一創(chuàng)新不僅是技術(shù)上的突破，更是理念上的轉(zhuǎn)變：它強(qiáng)調(diào)在前向傳播中完成學(xué)習(xí)，而非依賴(lài)反向傳播的鏈?zhǔn)教荻取?/p>

展望未來(lái)，F(xiàn)F 算法的應(yīng)用潛力主要集中在三個(gè)方向。首先是類(lèi)腦硬件，在neuromorphic 芯片和低能耗計(jì)算平臺(tái)上，F(xiàn)F 的局部更新機(jī)制可能展現(xiàn)出更大的優(yōu)勢(shì)。其次是無(wú)監(jiān)督學(xué)習(xí)，F(xiàn)F 的正負(fù)樣本對(duì)比機(jī)制天然適合在缺乏標(biāo)簽的場(chǎng)景中進(jìn)行特征學(xué)習(xí)。再次是對(duì)比學(xué)習(xí)，通過(guò)擴(kuò)展正負(fù)樣本的構(gòu)造方式，F(xiàn)F 有望與現(xiàn)代自監(jiān)督學(xué)習(xí)方法結(jié)合，提升在復(fù)雜任務(wù)中的表現(xiàn)。

更深層的意義在于，F(xiàn)F 算法為深度學(xué)習(xí)提供了一條生物學(xué)啟發(fā)的替代路徑。它不僅是對(duì)反向傳播的技術(shù)挑戰(zhàn)，更是推動(dòng)人工智能與神經(jīng)科學(xué)交叉發(fā)展的橋梁。隨著研究的深入，我們或許能夠在 FF 框架下找到更接近人腦學(xué)習(xí)機(jī)制的算法，從而為智能計(jì)算開(kāi)辟新的方向。

這項(xiàng)研究提醒我們，深度學(xué)習(xí)的未來(lái)不止于更大的模型和更強(qiáng)的算力，還可能在于更接近生物本質(zhì)的學(xué)習(xí)方式。Forward–Forward 算法正是這一探索的重要一步。（END）

參考資料：https://www.nature.com/articles/s41598-025-26235-2

關(guān)于波動(dòng)智能——

波動(dòng)智能旨在建立一個(gè)基于人類(lèi)情緒與反應(yīng)的真實(shí)需求洞察及滿足的價(jià)值體系，融合人工智能與意識(shí)科學(xué)，構(gòu)建覆蓋情緒識(shí)別、建模與推薦的智能引擎，自主研發(fā)面向社交、電商等場(chǎng)景的多模態(tài)情緒識(shí)別引擎、情緒標(biāo)簽系統(tǒng)及情緒智能推薦算法，形成從情緒采集、建模到商業(yè)轉(zhuǎn)化的完整解決方案。波動(dòng)智能提出“情緒是連接人、物與內(nèi)容的新型接口”，其產(chǎn)品廣泛應(yīng)用于AI社交、個(gè)性化內(nèi)容推薦、虛擬陪伴、電商體驗(yàn)優(yōu)化等領(lǐng)域。波動(dòng)智能正在探索“EMO-as-a-Service”技術(shù)服務(wù)架構(gòu)，賦能企業(yè)實(shí)現(xiàn)更高效的用戶洞察與精準(zhǔn)情緒交互，推動(dòng)從功能驅(qū)動(dòng)到情感驅(qū)動(dòng)的產(chǎn)業(yè)范式升級(jí)。

親愛(ài)的人工智能研究者，為了確保您不會(huì)錯(cuò)過(guò)*波動(dòng)智能*的最新推送，請(qǐng)星標(biāo)*波動(dòng)智能*。我們傾心打造并精選每篇內(nèi)容，只為為您帶來(lái)啟發(fā)和深思，希望能成為您理性思考路上的伙伴！

加入AI交流群請(qǐng)掃碼加微信