動態(tài)圖神經(jīng)網(wǎng)絡(luò)綜述 A survey of dynamic graph neural networks

A survey of dynamic graph neural networks

動態(tài)圖神經(jīng)網(wǎng)絡(luò)綜述

https://link.springer.com/article/10.1007/s11704-024-3853-2

摘要：

圖神經(jīng)網(wǎng)絡(luò)（GNNs）已成為有效挖掘和學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)的強(qiáng)大工具，其應(yīng)用覆蓋眾多領(lǐng)域。然而，大多數(shù)研究聚焦于靜態(tài)圖，忽視了現(xiàn)實世界網(wǎng)絡(luò)中拓?fù)浣Y(jié)構(gòu)和屬性隨時間演變的動態(tài)特性。通過將序列建模模塊整合進(jìn)傳統(tǒng)GNN架構(gòu)，動態(tài)GNN旨在彌合這一差距，捕捉動態(tài)圖固有的時間依賴性，從而更真實地刻畫復(fù)雜網(wǎng)絡(luò)。本文對動態(tài)GNN的基本概念、關(guān)鍵技術(shù)及前沿模型進(jìn)行了全面綜述。我們詳細(xì)介紹了主流動態(tài)GNN模型，并根據(jù)時間信息的融入方式對模型進(jìn)行了分類。同時，我們還探討了大規(guī)模動態(tài)GNN及預(yù)訓(xùn)練技術(shù)。盡管動態(tài)GNN已展現(xiàn)出優(yōu)越性能，但在可擴(kuò)展性、異構(gòu)信息處理及多樣化圖數(shù)據(jù)集缺乏等方面仍面臨挑戰(zhàn)。本文亦討論了可能的未來研究方向，例如自適應(yīng)與記憶增強(qiáng)模型、歸納學(xué)習(xí)及理論分析。

關(guān)鍵詞：圖神經(jīng)網(wǎng)絡(luò)，動態(tài)圖，時序建模，大規(guī)模

1 引言

隨著深度學(xué)習(xí)在各應(yīng)用領(lǐng)域的顯著進(jìn)展，圖神經(jīng)網(wǎng)絡(luò)（GNNs）已穩(wěn)步成為解決復(fù)雜圖結(jié)構(gòu)數(shù)據(jù)問題的主流方案。在現(xiàn)實世界中，關(guān)鍵信息常以圖的形式呈現(xiàn)，例如社交網(wǎng)絡(luò)中的關(guān)系、交通系統(tǒng)中的道路與交叉口、以及生物信息學(xué)中的蛋白質(zhì)相互作用網(wǎng)絡(luò)。與靜態(tài)圖相比，動態(tài)圖能夠更真實地反映現(xiàn)實世界系統(tǒng)和網(wǎng)絡(luò)，因為它可以建模隨時間演化的結(jié)構(gòu)與屬性信息[1]。

動態(tài)圖的節(jié)點和邊可能隨時間變化，使得傳統(tǒng)靜態(tài)GNN難以直接應(yīng)用，這為動態(tài)圖的分析與學(xué)習(xí)帶來了新的挑戰(zhàn)。近期，研究人員將GNN與序列學(xué)習(xí)相結(jié)合，開發(fā)出動態(tài)GNN模型，如廣為人知的TGAT[2]、TGN[3]和ROLAND[4]。這些模型從鄰近節(jié)點聚合特征，并引入時間序列模塊，從而能夠同時建模動態(tài)圖中的結(jié)構(gòu)特征與時間依賴性。因此，動態(tài)GNN可生成隨時間演化的節(jié)點表示，準(zhǔn)確捕捉時間進(jìn)程。

盡管已有部分工作對動態(tài)圖表示學(xué)習(xí)方法進(jìn)行了綜述[1,5,6]，但隨著新方法和應(yīng)用的不斷涌現(xiàn)，現(xiàn)有綜述內(nèi)容已顯陳舊，無法反映最新的研究進(jìn)展與技術(shù)趨勢。因此，本文對動態(tài)GNN模型的最新發(fā)展進(jìn)行全面回顧，涵蓋動態(tài)圖的表示與建模技術(shù)，并對現(xiàn)有模型進(jìn)行比較。現(xiàn)有方法的分類體系如圖1所示。我們還探討了新的研究方向，包括大規(guī)模應(yīng)用和預(yù)訓(xùn)練策略，總結(jié)當(dāng)前研究現(xiàn)狀，并展望未來趨勢。

受現(xiàn)有公開數(shù)據(jù)集的影響，節(jié)點分類和鏈接預(yù)測目前被廣泛用作動態(tài)GNN的評估任務(wù)。它們是傳統(tǒng)靜態(tài)圖學(xué)習(xí)任務(wù)在動態(tài)圖上的擴(kuò)展，其特征和標(biāo)簽可能涉及時間維度的變化。部分研究亦聚焦于特定領(lǐng)域的圖數(shù)據(jù)，以完成諸如知識圖譜補(bǔ)全[7]、股價預(yù)測[8]和交通流預(yù)測[9]等任務(wù)。需注意的是，文獻(xiàn)中存在一類動態(tài)圖，其圖結(jié)構(gòu)保持靜態(tài)，但節(jié)點屬性隨時間變化。此類圖被稱為時空圖，不在本綜述的討論范圍之內(nèi)。

本文主要貢獻(xiàn)總結(jié)如下：

● 我們?nèi)婊仡櫫藙討B(tài)GNN的基本概念與特性，構(gòu)建了動態(tài)GNN的知識體系，并系統(tǒng)性地研究了關(guān)鍵技術(shù)與模型。

● 我們詳細(xì)介紹了當(dāng)前主流的動態(tài)GNN模型，并深入分析了它們各自的優(yōu)缺點。

● 我們探討了該領(lǐng)域所面臨的挑戰(zhàn)，重點指出了潛在的未來研究方向與技術(shù)趨勢。

本文其余部分組織如下：第2節(jié)首先介紹動態(tài)圖的重要定義與背景知識；第3節(jié)闡述動態(tài)圖表示學(xué)習(xí)的問題定義，并依據(jù)圖1所示的分類體系全面回顧動態(tài)GNN；第4節(jié)聚焦于為大規(guī)模動態(tài)圖設(shè)計的模型與系統(tǒng)；第5節(jié)總結(jié)常用數(shù)據(jù)集、預(yù)測任務(wù)與基準(zhǔn)測試；我們發(fā)現(xiàn)，遷移學(xué)習(xí)與預(yù)訓(xùn)練等新技術(shù)近期正被應(yīng)用于動態(tài)圖學(xué)習(xí)問題，第6節(jié)對此進(jìn)行了簡要回顧；第7節(jié)討論可能的未來研究方向；第8節(jié)對全文進(jìn)行總結(jié)。

2 符號與背景

2.1 符號

2.2 動態(tài)圖

動態(tài)圖是指涉及時間演化的復(fù)雜圖結(jié)構(gòu)。在這些圖中，圖中的節(jié)點、邊以及屬性均表現(xiàn)出持續(xù)變化的狀態(tài)。動態(tài)圖在多個領(lǐng)域中常見，包括社交網(wǎng)絡(luò)[10]、引文網(wǎng)絡(luò)[11]、生物網(wǎng)絡(luò)[12]等。以社交網(wǎng)絡(luò)為例，新用戶的注冊會導(dǎo)致圖中新增節(jié)點，而現(xiàn)有用戶的停用則導(dǎo)致節(jié)點減少。此外，當(dāng)一個用戶關(guān)注或取消關(guān)注另一個用戶時，這代表圖中邊的創(chuàng)建或消失。另外，諸如用戶的年齡、位置和興趣愛好等屬性也可能隨時間變化，表明節(jié)點屬性也在動態(tài)演化。根據(jù)時間步長的粒度，動態(tài)圖可分為離散時間動態(tài)圖（DTDGs）和連續(xù)時間動態(tài)圖（CTDGs）。

2.3 Hawkes processes

霍克斯過程由霍克斯在1971年提出[13]，是一種用于時間序列事件的數(shù)學(xué)模型。基于過去事件影響當(dāng)前事件的假設(shè)，霍克斯過程模擬了一種具有潛在自激勵模式的點過程。它適用于建模離散序列的演變。給定所有歷史事件直到時間 t，在時間 t 的短時間內(nèi)發(fā)生事件的概率可以通過霍克斯過程的條件強(qiáng)度函數(shù)來定義，表示為

最初，霍克斯過程被用于序列建模[14,15]。隨著圖表示學(xué)習(xí)的不斷發(fā)展，HTNE[16]首次將霍克斯過程引入動態(tài)圖表示學(xué)習(xí)中。它模擬了歷史行為對當(dāng)前行為的進(jìn)化激勵，從而模擬圖生成過程。Lu等人[15]提出了一種動態(tài)圖表示模型，該模型結(jié)合了宏觀圖演化與微觀節(jié)點邊預(yù)測，從而捕捉圖結(jié)構(gòu)的動態(tài)特性和圖規(guī)模的上升趨勢。

3 圖表示學(xué)習(xí)

圖表示學(xué)習(xí)的目標(biāo)是構(gòu)建節(jié)點的低維向量表示，同時保留結(jié)構(gòu)、演化或語義特征等重要信息[17]。這已成為近年來圖數(shù)據(jù)挖掘和分析中的關(guān)鍵問題。學(xué)習(xí)到的表示在各種任務(wù)中都有廣泛的應(yīng)用，包括節(jié)點分類、鏈接預(yù)測和推薦。

它作為原始圖數(shù)據(jù)與圖分析任務(wù)之間的橋梁，通過將每個節(jié)點編碼到向量空間中。這種方法將圖學(xué)習(xí)任務(wù)轉(zhuǎn)化為機(jī)器學(xué)習(xí)應(yīng)用中的相應(yīng)問題。例如，我們可以通過使用學(xué)習(xí)到的表示作為傳統(tǒng)機(jī)器學(xué)習(xí)算法的輸入特征，來有效且高效地解決這些圖分析挑戰(zhàn)。此外，我們可以通過利用合適的分類和聚類技術(shù)來進(jìn)一步增強(qiáng)這一過程，以完成節(jié)點分類和社區(qū)檢測等任務(wù)。

近年來，圖表示學(xué)習(xí)得到了廣泛研究。早期方法試圖將數(shù)據(jù)矩陣分解為低維形式，同時保留原始矩陣中固有的流形結(jié)構(gòu)和拓?fù)鋵傩浴＿@種方法的突出例子包括局部線性嵌入（LLE）[18]和拉普拉斯特征映射（LE）[19]。這些基于矩陣分解的方法進(jìn)一步發(fā)展為結(jié)合高階鄰接矩陣，從而保留圖的結(jié)構(gòu)信息，例如GraRep[20]和HOPE[21]。圖嵌入的另一種策略是通過從隨機(jī)初始節(jié)點遍歷創(chuàng)建多條路徑，以捕獲關(guān)于全局和局部結(jié)構(gòu)信息的上下文信息，即隨機(jī)游走方法。概率模型如Skip-gram[22]和Bag-of-Words[23]隨后被用來隨機(jī)采樣這些路徑并學(xué)習(xí)節(jié)點表示，典型例子包括DeepWalk[24]和Node2vec[25]。深度學(xué)習(xí)技術(shù)的成功為基于深度神經(jīng)網(wǎng)絡(luò)的圖表示學(xué)習(xí)技術(shù)鋪平了道路。基于深度學(xué)習(xí)的圖嵌入方法通常直接將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于整個圖（或其鄰接矩陣），將其編碼到低維空間中。在此領(lǐng)域，著名方法包括SDNE[26]、DNGR[27]、ChebNet[28]、GCN[29]、GAT[30]和GraphSAGE[31]。

3.1 動態(tài)圖模型

根據(jù)定義1和2中描述的不同類型的動態(tài)圖，動態(tài)圖表示學(xué)習(xí)模型可以分為兩個主要類別：離散時間動態(tài)圖表示學(xué)習(xí)和連續(xù)時間動態(tài)圖表示學(xué)習(xí)。前者將動態(tài)圖劃分為多個快照，這些快照可以被視為多個靜態(tài)圖。因此，為靜態(tài)圖設(shè)計的方法可以用來學(xué)習(xí)每個快照的表示，同時也分析不同快照之間的相互關(guān)系和演化趨勢。在連續(xù)時間動態(tài)圖中，圖節(jié)點之間的交互被標(biāo)記有時間戳，有效地根據(jù)其時間戳區(qū)分每條邊。

連續(xù)時間動態(tài)圖表示學(xué)習(xí)指的是利用邊信息及其伴隨的時間戳來學(xué)習(xí)表示的方法。

通過引入矩陣擾動理論，為靜態(tài)圖設(shè)計的基于矩陣分解的表示學(xué)習(xí)方法可以擴(kuò)展到動態(tài)圖的學(xué)習(xí)中。一些假設(shè)和操作構(gòu)成了矩陣擾動理論的基礎(chǔ)。首先，假設(shè)當(dāng)前時間步的鄰接矩陣是前一時間步矩陣的擾動版本。然后，對這兩個矩陣進(jìn)行常見的低秩分解，確保當(dāng)前時間步的表示矩陣從前一時間步平滑更新。通過限制擾動的大小，可以在時間步之間調(diào)節(jié)表示的平滑度[32,33]。然而，這種方法更適合處理DTDGs，因為它可能面臨高計算復(fù)雜性、實時更新困難以及在頻繁變化的CTDGs中捕捉時間依賴性的不足等挑戰(zhàn)。

通過要求在圖上的隨機(jī)游走嚴(yán)格遵循時間戳的順序，可以在動態(tài)圖上執(zhí)行時間游走，特別適合CTDGs。例如，CTDNE[34]在采樣過程中結(jié)合了一種具有時間信息的偏差采樣機(jī)制，確保在較小時間間隔內(nèi)采樣邊的概率更高。EvoNRL[35]則設(shè)計了針對動態(tài)圖中不同場景的策略，即圖中邊或節(jié)點的添加和刪除，每次變化時更新節(jié)點表示。

傳統(tǒng)方法更頻繁地依賴于手動設(shè)計的特定特征和定制模型，導(dǎo)致學(xué)習(xí)效率和適應(yīng)性有限。基于深度學(xué)習(xí)原理，圖神經(jīng)網(wǎng)絡(luò)（GNNs）在靜態(tài)圖中表現(xiàn)出顯著的能力，能夠?qū)W習(xí)復(fù)雜模式和特征，展現(xiàn)出改進(jìn)的表示學(xué)習(xí)性能以及優(yōu)越的泛化能力。因此，最近在動態(tài)圖學(xué)習(xí)領(lǐng)域中，利用GNN啟發(fā)的方法的興趣日益增長。這些方法利用GNN的強(qiáng)大學(xué)習(xí)能力來增強(qiáng)對具有復(fù)雜時間演化模式的動態(tài)圖的理解，這些模式被稱為動態(tài)圖神經(jīng)網(wǎng)絡(luò)（Dynamic GNNs）。最近，關(guān)于設(shè)計動態(tài)GNNs的工作激增。因此，我們在第3.2節(jié)和3.3節(jié)中介紹了處理DTDGs和CTDGs的動態(tài)GNNs。這兩種方法捕捉了各種動態(tài)圖中的典型演化模式，并在幾個動態(tài)圖分析任務(wù)中取得了優(yōu)異的性能。為了突出每種方法的優(yōu)勢和劣勢，我們在表2中提供了深入的比較，重點關(guān)注使用的模型基礎(chǔ)、支持的類型以及處理的圖事件類型。

3.2 用于DTDGs的動態(tài)GNNs

DTDGs由多個按時間順序排列的快照組成，可以建模為序列數(shù)據(jù)，如定義1所述。因此，DTDGs中的時間模式通過不同快照之間的順序關(guān)系來衡量。當(dāng)前的研究方法涉及使用靜態(tài)圖神經(jīng)網(wǎng)絡(luò)模型來分別表示每個圖快照。這些快照隨后按時間順序組織，并作為序列數(shù)據(jù)輸入到序列模型中，以全面確定不同圖快照之間的相互關(guān)系并學(xué)習(xí)時間模式。作為一種代表性的序列模型，遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）通常與GNNs結(jié)合使用，形成DTDGs的主流動態(tài)GNNs。根據(jù)它們的組合方式，可以廣泛地將其分類為堆疊架構(gòu)或集成架構(gòu)。

堆疊動態(tài)GNNs以模塊化方式結(jié)合空間GNNs和時間RNNs來建模動態(tài)圖的離散序列。如圖3(a)所示，不同的組件分別用于空間和時間建模。具體來說，這些模型使用不同的GNNs在每個圖快照上單獨聚合空間信息。然后，來自不同時間步的輸出被饋送到時間模塊進(jìn)行序列建模。因此，給定時間 t 的圖 ，表示計算如下：

3.3 用于CTDGs的動態(tài)GNNs

如定義2所述，CTDGs不是以固定間隔存儲的快照，而是每個事件記錄為一個三元組（節(jié)點、事件類型、時間戳），例如，表示在時間 t 節(jié)點 u 和 v 之間的邊插入事件。因此，連續(xù)動態(tài)圖中的每個事件都有一個時間戳，這可以平滑地跟蹤圖結(jié)構(gòu)的演變，并允許更準(zhǔn)確地分析事件之間的時間關(guān)系和依賴性。此外，離散圖同步聚合時間切片信息，無法區(qū)分事件的順序，而連續(xù)圖則指定了事件的時間順序，并支持建模異步時間間隔。學(xué)習(xí)連續(xù)動態(tài)圖的方法圍繞如何有效地捕獲和表征圖結(jié)構(gòu)隨時間的演變展開，如圖3(c)所示。目前，針對連續(xù)型動態(tài)圖神經(jīng)網(wǎng)絡(luò)有三類方法：（1）基于時間點過程的方法，其中時間點過程由神經(jīng)網(wǎng)絡(luò)參數(shù)化；（2）基于RNN的方法，其中節(jié)點表示由基于RNN的架構(gòu)維護(hù)；（3）基于時間隨機(jī)游走的方法，其本質(zhì)是通過時間隨機(jī)游走捕獲圖的時間和結(jié)構(gòu)屬性。

基于時間點過程的方法。Know-Evolve[47]將知識圖譜建模為交互網(wǎng)絡(luò)，其中時間點過程用于建模事件的發(fā)生。它定義了一個雙線性關(guān)系函數(shù)來表示節(jié)點之間的多關(guān)系交互。該方法的核心是將事實的發(fā)生建模為多變量時間點過程，其條件強(qiáng)度函數(shù)由相關(guān)關(guān)系得分調(diào)節(jié)。這種關(guān)系得分來源于動態(tài)演化的節(jié)點嵌入。此外，基于類似策略，Trivedi等人提出了DyRep[48]，一種用于建模多種圖的方法。DyRep開發(fā)了一個成對強(qiáng)度函數(shù)，用于量化節(jié)點之間關(guān)系強(qiáng)度。它進(jìn)一步采用自注意力機(jī)制來構(gòu)建時間點過程，使模型能夠優(yōu)先考慮當(dāng)前任務(wù)的相關(guān)信息，過濾掉不相關(guān)的細(xì)節(jié)。因此，節(jié)點 u 的結(jié)構(gòu)嵌入定義為：

潛在動態(tài)圖（LDG）[49]是DyREP[48]的增強(qiáng)版本，它整合了神經(jīng)關(guān)系推理（NRI）[66]來編碼時間交互，從而優(yōu)化注意力機(jī)制并提高性能。圖霍克斯神經(jīng)網(wǎng)絡(luò)（GHNN）[50]和圖霍克斯變換器（GHT）[51]使用霍克斯過程建模節(jié)點之間的時間依賴性，并使用連續(xù)時間LSTM和Transformer分別估計強(qiáng)度函數(shù)來學(xué)習(xí)時間演化的節(jié)點表示。TREND[52]還設(shè)計了一個基于霍克斯過程的GNN來學(xué)習(xí)CTDGs的表示，其中每個節(jié)點嵌入的動態(tài)變化通過全連接層（FCL）學(xué)習(xí)，特征級線性調(diào)制（FiLM）用于學(xué)習(xí)FCL的參數(shù)。

基于RNN的方法。這些模型使用RNNs以連續(xù)方式維護(hù)節(jié)點嵌入，從而允許它們實時響應(yīng)圖變化并更新受影響節(jié)點的表示。具體來說，這些模型定義了一個RNN單元來跟蹤每個節(jié)點嵌入的演變。當(dāng)圖發(fā)生變化時，RNN單元可以根據(jù)當(dāng)前輸入和前一時刻的隱藏狀態(tài)計算當(dāng)前時間 t 的新隱藏狀態(tài)。因此，這些方法之間的一個主要區(qū)別在于它們?nèi)绾味x嵌入函數(shù)和定制RNN。

DGNN[53]由更新組件和傳播組件組成。在引入新邊時，更新組件通過捕獲邊添加的順序和交互之間的時間間隔來保持節(jié)點信息的新鮮度，由LSTM模型實現(xiàn)。傳播組件通過考慮影響的強(qiáng)度將新的交互信息傳播到受影響的節(jié)點。

JODIE[54]由兩個操作組成：更新操作和投影操作。前者用于更新節(jié)點的嵌入信息，后者用于預(yù)測未來的嵌入軌跡。此外，每個節(jié)點都有一個靜態(tài)嵌入來表示其固定屬性，以及一個動態(tài)嵌入來反映其當(dāng)前狀態(tài)。JODIE專注于交互網(wǎng)絡(luò)數(shù)據(jù)。在更新操作中，用戶節(jié)點 u 和項目節(jié)點 i 的嵌入由兩個具有相同結(jié)構(gòu)但不同參數(shù)的RNNs更新：

受Time2Vec[67]的啟發(fā)，TGAT[2]引入了一種基于Bochner定理[68]的時間編碼函數(shù)，該函數(shù)可以將連續(xù)時間映射到向量空間。這種方法為自注意力機(jī)制內(nèi)的位置編碼提供了可行的替代方案，有效地利用時間信息。通過利用改進(jìn)的自注意力框架，TGAT[2]提出了一種時間圖注意力機(jī)制。

TGN[3]通過整合TGAT[2]、JODIE[54]和DyREP[48]的方法框架，提出了一種統(tǒng)一的方法，由五個核心模塊組成：記憶、消息函數(shù)、消息聚合器、記憶更新器和嵌入。記憶模塊存儲有關(guān)節(jié)點的歷史信息，嵌入模塊生成實時表示。每當(dāng)發(fā)生涉及節(jié)點的事件時，相應(yīng)的記憶就會更新。此更新函數(shù)可以是學(xué)習(xí)模型，如RNNs或非學(xué)習(xí)模型，如平均或聚合，從而利用先前消息在訓(xùn)練期間刷新記憶，促進(jìn)節(jié)點嵌入的生成。此外，TGN通過巧妙地架構(gòu)每個模塊，可以封裝各種模型，包括JODIE[54]、DyRep[48]和TGAT[2]等。

在線訓(xùn)練期間，無法保證圖更新事件按時間戳順序到達(dá)，這將使RNNs生成的嵌入不穩(wěn)定。ASPAN[55]通過采用異步傳播機(jī)制解決了這一問題。它允許通過指定傳播步驟的數(shù)量異步地在圖中傳播消息，從而確保事件按時間戳順序存儲。

基于時間隨機(jī)游走的方法。受DeepWalk[24]和Node2vec[25]等模型的啟發(fā)，Nguyen等人[34]首次提出了一種基于動態(tài)圖屬性的時間隨機(jī)游走，其中隨機(jī)游走由一系列具有非遞減時間戳的邊組成。因此，從一個頂點到另一個頂點的移動不僅由節(jié)點的鄰接性決定，還由時間約束決定，確保游走與圖的結(jié)構(gòu)和時間序列一致。

從感興趣的鏈接開始，因果匿名游走（CAW）[56]回溯幾個鄰近鏈接以編碼網(wǎng)絡(luò)動態(tài)中的潛在因果關(guān)系。在游走過程中，CAW[56]移除節(jié)點身份，而是根據(jù)其在一組采樣游走中的頻率對節(jié)點身份進(jìn)行編碼。這種相對節(jié)點識別方法確保在移除節(jié)點身份后保留模式結(jié)構(gòu)及其相關(guān)性，實現(xiàn)基于集合的匿名性。為了預(yù)測兩個節(jié)點之間的時間鏈接，提出了CAW-Network（CAW-N）模型。它采樣與這兩個節(jié)點相關(guān)的一些CAWs，分別對這些CAWs進(jìn)行編碼和聚合，以進(jìn)行預(yù)測。

4 大規(guī)模動態(tài)圖的處理與學(xué)習(xí)

對于管理大規(guī)模靜態(tài)圖，有幾種策略。首先，為了提高處理效率，可以通過將圖劃分到多個設(shè)備上同時處理來實現(xiàn)分布式并行訓(xùn)練，這確保了數(shù)據(jù)完整性。其次，為了提高吞吐量和優(yōu)化資源使用，廣泛采用流水線并行、數(shù)據(jù)并行和模型并行等技術(shù)。第三，為了解決計算復(fù)雜性，同時保留關(guān)鍵數(shù)據(jù)的完整性，使用采樣方法和鄰居截斷。同時，通常實施高效的通信方法，如點對點交換，以減少數(shù)據(jù)傳輸時間。

然而，在處理動態(tài)圖時，管理大規(guī)模圖變得更加具有挑戰(zhàn)性。例如，如果我們采用小批量訓(xùn)練技術(shù)，模型必須保持足夠的歷史范圍，優(yōu)化節(jié)點的記憶更新機(jī)制，并在劃分為子圖后通過記憶同步傳遞信息。對于時間序列處理，主要方法包括使用時間編碼捕獲時間信息，按時間順序生成數(shù)據(jù)批次，并確保所有數(shù)據(jù)以整體順序遍歷。總體而言，這些方法和基本前提有助于增強(qiáng)大規(guī)模動態(tài)圖的并行性、可擴(kuò)展性和高效處理能力。

現(xiàn)有方法可以分為兩條主要路線。一種方法在設(shè)計動態(tài)GNNs時優(yōu)先考慮可擴(kuò)展性，從而產(chǎn)生各種旨在高效學(xué)習(xí)動態(tài)圖的算法。第二種方法側(cè)重于開發(fā)可擴(kuò)展的訓(xùn)練框架，使現(xiàn)有算法能夠適應(yīng)大規(guī)模動態(tài)圖。

4.1 動態(tài)圖的可擴(kuò)展GNNs

與其調(diào)整訓(xùn)練框架以適應(yīng)大規(guī)模動態(tài)圖學(xué)習(xí)中的現(xiàn)有算法，一些研究建議開發(fā)專門針對大規(guī)模動態(tài)圖的算法。為了確保模型的效率和可擴(kuò)展性，通常集成采樣和并行訓(xùn)練等技術(shù)進(jìn)行優(yōu)化。按照此框架，SEIGN[45]采用無參數(shù)消息策略進(jìn)行預(yù)處理，并使用Inception架構(gòu)獲取多尺度節(jié)點表示。與EvolveGCN[44]類似，SEIGN使用GRU模塊更新每個圖快照的卷積核權(quán)重以保持其新鮮度。然而，與演化整個GNN模型不同，SEIGN僅優(yōu)化卷積核的參數(shù)，從而增強(qiáng)方法的可擴(kuò)展性。此外，SEIGN引入了節(jié)點表示的演化，提高了最終節(jié)點表示的表達(dá)能力。此外，它促進(jìn)了高效的圖小批量訓(xùn)練，進(jìn)一步提高了模型的可擴(kuò)展性。

kkkEARLY[58]通過僅更新最容易受到事件影響的前k個節(jié)點來降低計算成本，以應(yīng)對CTDGs中的頻繁變化。這些頂級節(jié)點的選擇由兩個主要指標(biāo)指導(dǎo)：局部和全局分?jǐn)?shù)。局部分?jǐn)?shù)強(qiáng)調(diào)圖卷積網(wǎng)絡(luò)的理論分析，解決節(jié)點更新的影響和隨機(jī)游走概率的變化。另一方面，全局分?jǐn)?shù)強(qiáng)調(diào)節(jié)點影響。最終，信息增益函數(shù)整合這些分?jǐn)?shù)以識別最具影響力的頂級節(jié)點。

受靜態(tài)圖上可擴(kuò)展GNNs[69]的啟發(fā)，Zheng等人[59]提出了一種解耦GNN模型，將圖傳播過程與下游任務(wù)的訓(xùn)練過程分開，其中統(tǒng)一的動態(tài)傳播過程可以高效處理連續(xù)和離散動態(tài)圖。通過利用圖傳播過程的身份方程，模型定位受影響的節(jié)點并量化圖變化對其表示的影響。其他節(jié)點表示在下一步中進(jìn)行調(diào)整。這種方法允許從先前結(jié)果進(jìn)行增量更新，避免昂貴的重新計算。此外，由于與圖結(jié)構(gòu)相關(guān)的計算僅在傳播期間發(fā)生，因此后續(xù)的下游任務(wù)訓(xùn)練可以單獨進(jìn)行，而不涉及昂貴的圖操作。因此，可以插入任意序列學(xué)習(xí)模型。同樣，SDG[60]采用基于個性化PageRank的動態(tài)傳播矩陣，替換APPNP[70]的靜態(tài)概率轉(zhuǎn)移矩陣。具體來說，SDG首先使用模型無關(guān)神經(jīng)網(wǎng)絡(luò)提取隱藏節(jié)點特征。然后，這些特征與動態(tài)傳播矩陣相乘，以傳播鄰域節(jié)點信息。動態(tài)傳播矩陣使用推出和加回算法跟蹤圖拓?fù)渥兓箅S機(jī)游走的穩(wěn)態(tài)分布，消除動態(tài)圖中的冗余傳播計算。

4.2 動態(tài)GNNs的可擴(kuò)展訓(xùn)練框架

為DTDGs設(shè)計的框架 為了支持高效的模型并行性，內(nèi)存管理優(yōu)化是增強(qiáng)GNNs在DTDGs上訓(xùn)練效果的普遍方法。為了優(yōu)化單個GPU上動態(tài)圖神經(jīng)網(wǎng)絡(luò)的端到端訓(xùn)練性能，PiPAD[71]引入了流水線執(zhí)行框架和多快照并行處理方式。此外，它采用基于切片的圖表示來高效提取圖的重疊部分，從而實現(xiàn)多個快照的同時并行計算。DGNNBooster[72]使用現(xiàn)場可編程門陣列（FPGA）來提高單個機(jī)器設(shè)置中動態(tài)圖神經(jīng)網(wǎng)絡(luò)的推理速度。它還引入了兩種不同的數(shù)據(jù)流設(shè)計來支持主流DGNN模型。Chakravarthy等人[73]采用梯度檢查點和基于圖差異的CPU-GPU數(shù)據(jù)傳輸?shù)葍?yōu)化技術(shù)，以增強(qiáng)單節(jié)點多GPU系統(tǒng)上的動態(tài)GNN訓(xùn)練。此外，他們引入了一種使用快照分區(qū)訓(xùn)練大規(guī)模動態(tài)GNNs的算法，以在分布式多節(jié)點多GPU系統(tǒng)上高效訓(xùn)練。實驗結(jié)果表明，與傳統(tǒng)方法相比，該方法提供了顯著的改進(jìn)。

為CTDGs設(shè)計的框架 為了克服單機(jī)配置的限制并進(jìn)一步提高動態(tài)圖神經(jīng)網(wǎng)絡(luò)模型處理大規(guī)模動態(tài)圖的可擴(kuò)展性，更普遍的策略涉及將圖劃分到多個設(shè)備上進(jìn)行并行訓(xùn)練。在此背景下，經(jīng)常采用隨機(jī)劃分和基于頂點的分區(qū)。TGL[74]提出了一個通用框架來訓(xùn)練不同的動態(tài)GNNs，包括基于快照的、基于時間編碼的和基于記憶的方法。設(shè)計了時間CSR數(shù)據(jù)結(jié)構(gòu)以實現(xiàn)對時間邊的快速訪問，而并行采樣器支持有效實現(xiàn)各種時間鄰居采樣算法。為了克服使用大批量訓(xùn)練時節(jié)點記憶的及時性問題，提出了一種隨機(jī)塊調(diào)度技術(shù)，從而實現(xiàn)大規(guī)模動態(tài)圖上的高效多GPU訓(xùn)練。許多動態(tài)GNNs維護(hù)節(jié)點級記憶向量以總結(jié)每個節(jié)點的歷史信息。為了有效維護(hù)和更新這些節(jié)點記憶，TGL設(shè)計了郵箱來緩存最新消息。在每個訓(xùn)練迭代中，從郵箱中讀取最新消息，并通過某種組合器進(jìn)行聚合。然后，節(jié)點的記憶狀態(tài)通過GRU等序列模型進(jìn)行更新。這種設(shè)計避免了使用最近的記憶狀態(tài)直接生成郵件，有效避免了潛在的信息泄露。

此外，它還結(jié)合了異步機(jī)制來更新節(jié)點狀態(tài)，使其更好地與流式或批處理訓(xùn)練過程對齊。

為了進(jìn)一步提高效率，DistTGL[75]實現(xiàn)了一種機(jī)制，其中記憶操作被序列化并通過單獨的守護(hù)進(jìn)程異步執(zhí)行，避免了復(fù)雜的同步要求。DistTGL[75]在動態(tài)GNNs中結(jié)合了額外的靜態(tài)節(jié)點記憶，這不僅提高了模型的準(zhǔn)確性，還加速了其收斂速度。還提出了兩種新的訓(xùn)練方法，即時間段并行和記憶并行。這兩種方法使在多個GPU上捕獲與單GPU訓(xùn)練相當(dāng)?shù)膱D事件依賴性成為可能。利用預(yù)取和流水線技術(shù)來減輕與批處理形成相關(guān)的成本，并促進(jìn)與GPU訓(xùn)練的重疊。DistTGL[75]框架在收斂速度和訓(xùn)練吞吐量方面提供了顯著的增強(qiáng)，與TGL[74]相比。這使得基于記憶的動態(tài)GNNs訓(xùn)練能夠在分布式GPU集群上高效擴(kuò)展，實現(xiàn)了接近線性的加速比。通過采用針對特定數(shù)據(jù)集和硬件屬性量身定制的各種并行化算法，提供了識別最有效訓(xùn)練配置的指導(dǎo)。

相比之下，SPEED[76]框架引入了一種流式邊分區(qū)模塊，通過指數(shù)衰減技術(shù)整合時間信息。此外，它通過調(diào)節(jié)共享節(jié)點的數(shù)量有效最小化了復(fù)制比率。還采用了基于區(qū)間屬性的頂點分區(qū)方法，結(jié)合了小批量之間的聯(lián)合和異步流水線技術(shù)。這確保了大規(guī)模動態(tài)圖在多個GPU上的高效并行訓(xùn)練。設(shè)計顯著加快了訓(xùn)練速度并減少了單個GPU上的內(nèi)存消耗。

Liu等人[77]提出了一種強(qiáng)調(diào)分層流水線并行的方法，集成了數(shù)據(jù)預(yù)取、跨小批量的聯(lián)合流水線和異步流水線。此外，為了提高通信效率，他們引入了一種圖和頂點分區(qū)策略以消除冗余。另一個框架STEP[78]為大規(guī)模動態(tài)圖提供了一種無監(jiān)督修剪方法。在每次圖更新后，通過自監(jiān)督對抗學(xué)習(xí)獲取節(jié)點和邊表示。此外，它根據(jù)其重要性選擇邊進(jìn)行采樣，從而生成一個稱為底層圖的圖。STEP利用提供的圖來訓(xùn)練一個基本修剪網(wǎng)絡(luò)。這使得STEP框架能夠有效管理從動態(tài)圖中刪除不必要的元素的過程，特別是在訓(xùn)練和推理階段，特別關(guān)注新添加的邊。

總體而言，這些先進(jìn)的方法共同增強(qiáng)了動態(tài)圖神經(jīng)網(wǎng)絡(luò)在分布式環(huán)境中的有效并行訓(xùn)練，每種方法都有其獨特的優(yōu)勢和潛在用例，如表3所示。

5 數(shù)據(jù)集和基準(zhǔn)測試概述

5.1 數(shù)據(jù)集

近年來，公開提供給公眾的動態(tài)圖數(shù)據(jù)集的數(shù)量和種類顯著增加。這些數(shù)據(jù)集為研究人員驗證和比較算法提供了寶貴的資源，從而促進(jìn)了新研究方向的探索。表4包含了常用動態(tài)圖數(shù)據(jù)集的基本特征。我們可以根據(jù)數(shù)據(jù)集的收集和存儲方法將這些數(shù)據(jù)集分為連續(xù)時間動態(tài)圖（CTDGs）和離散時間動態(tài)圖（DTDGs）。然而，通過適當(dāng)?shù)奶幚恚鼈兛梢韵嗷マD(zhuǎn)換。從這些數(shù)據(jù)集中，我們可以觀察到以下特征：

● 領(lǐng)域和應(yīng)用。這些數(shù)據(jù)集涵蓋了各種實際應(yīng)用，識別或定義適當(dāng)?shù)奶卣饕部赡芫哂刑魬?zhàn)性。

總體而言，目前可用的公共數(shù)據(jù)集為動態(tài)圖的表示學(xué)習(xí)提供了多樣化的資源。然而，這些數(shù)據(jù)集也表現(xiàn)出一些共同特征，例如缺乏節(jié)點和邊特征，這為研究人員帶來了挑戰(zhàn)和機(jī)遇。這是因為在現(xiàn)實世界應(yīng)用中收集特征通常成本高昂，僅從圖結(jié)構(gòu)變化中學(xué)習(xí)模式可以提高模型的泛化能力。如果未來出現(xiàn)具有廣泛特征的新高質(zhì)量公共數(shù)據(jù)集，將非常令人鼓舞，因為這將促進(jìn)更多的研究項目。

5.2 預(yù)測問題

圖學(xué)習(xí)任務(wù)包括三個層次：節(jié)點級、邊級和圖級[11]。在節(jié)點級任務(wù)中，主要關(guān)注單個節(jié)點的屬性，包括節(jié)點分類、回歸、聚類等。邊級任務(wù)強(qiáng)調(diào)邊的信息。例如，鏈接預(yù)測確定兩個節(jié)點之間是否存在邊，而鏈接分類識別邊的類型或?qū)傩浴D級任務(wù)分析整個結(jié)構(gòu)，如對圖進(jìn)行分類（圖分類）或預(yù)測其連續(xù)值（圖回歸）。圖生成任務(wù)旨在生成新圖。此外，還有專門的任務(wù)，如圖生成，其目標(biāo)是基于現(xiàn)有數(shù)據(jù)中觀察到的特定標(biāo)準(zhǔn)或模式生成全新的圖結(jié)構(gòu)。

這三個層次的任務(wù)也存在于動態(tài)圖中。與靜態(tài)環(huán)境的主要區(qū)別在于圖隨時間變化，導(dǎo)致節(jié)點、邊和整個圖的屬性同時發(fā)生變化。對于節(jié)點級任務(wù)，節(jié)點的屬性和連接模式可能會發(fā)生變化，可能影響分類或回歸分析的結(jié)果。在邊級任務(wù)中，邊的存在和屬性可能隨時間變化，例如，新的連接可能出現(xiàn)，而舊的連接消失。對于圖級任務(wù)，隨著新節(jié)點和邊的添加，圖的拓?fù)浣Y(jié)構(gòu)可能變得更加復(fù)雜，從而影響圖分類、回歸和生成的結(jié)果。接下來，我們將以鏈接預(yù)測、異常檢測和社區(qū)發(fā)現(xiàn)為例，探討動態(tài)圖分析的具體應(yīng)用場景。

動態(tài)圖中的鏈接預(yù)測旨在基于先前時間步的連接預(yù)測未來圖中的潛在邊，也稱為時間鏈接預(yù)測。這不僅需要當(dāng)前圖的結(jié)構(gòu)特征，還需要識別其動態(tài)變化中的趨勢。鏈接預(yù)測有廣泛的應(yīng)用。在引文網(wǎng)絡(luò)中，通過檢查作者不斷演變的引用行為和研究重點的變化，我們可以預(yù)測他們可能在未來出版物中引用的作者。

動態(tài)圖中的異常檢測可以分為邊異常檢測和節(jié)點異常檢測。邊異常檢測旨在識別動態(tài)圖中偏離歷史演變模式的邊。這種不規(guī)則性可能源于惡意用戶引入或操縱的連接。相反，節(jié)點異常檢測側(cè)重于識別與同行明顯不同或表現(xiàn)出非典型行為的節(jié)點。異常檢測有廣泛的應(yīng)用，特別是在欺詐檢測和電子商務(wù)中。例如，在電子商務(wù)網(wǎng)站上，用戶可能通過反復(fù)點擊特定產(chǎn)品來操縱系統(tǒng)，人為地提高其受歡迎程度。他們還可以同時點擊一個產(chǎn)品和另一個流行項目，欺騙推薦系統(tǒng)高估兩者之間的相似性。這些連接被視為異常邊，欺騙性用戶被視為異常節(jié)點。

社區(qū)發(fā)現(xiàn)是理解復(fù)雜圖的基本任務(wù)。社區(qū)結(jié)構(gòu)通常在涵蓋各種領(lǐng)域的現(xiàn)實世界網(wǎng)絡(luò)中觀察到，如社交、生物或技術(shù)領(lǐng)域。基于節(jié)點之間連接的密度，圖可以劃分為各種社區(qū)。通常，社區(qū)內(nèi)的節(jié)點具有更密集的連接，而來自不同社區(qū)的節(jié)點之間的連接則較少。這種社區(qū)結(jié)構(gòu)也存在于動態(tài)圖中，但隨著圖結(jié)構(gòu)的變化，社區(qū)配置可能會演變。識別和理解動態(tài)社區(qū)結(jié)構(gòu)及其演變模式可以更深入地理解圖及其社區(qū)形成，從而促進(jìn)對圖中潛在變化的預(yù)測。以社交網(wǎng)絡(luò)為例，具有相似喜好和關(guān)注點的用戶可以被分組到相同的興趣群組中。通過識別這些群組，系統(tǒng)能夠推薦符合他們興趣的新連接或內(nèi)容。

歸納/演繹設(shè)置。在歸納設(shè)置中，模型嘗試在其最初訓(xùn)練的圖上進(jìn)行準(zhǔn)確預(yù)測。它在圖的特定部分上訓(xùn)練，同時完全了解整個結(jié)構(gòu)，包括未標(biāo)記的部分。相比之下，在演繹設(shè)置中，模型從指定的訓(xùn)練圖學(xué)習(xí)，以便對獨立的、完全未知的圖進(jìn)行可靠預(yù)測。在動態(tài)圖中，節(jié)點和邊隨時間頻繁變化，演繹設(shè)置的本質(zhì)是模型有效地泛化到未見過的節(jié)點和動態(tài)演變的結(jié)構(gòu)。

5.3 基準(zhǔn)測試

過去，不同的方法有自己的配置和實現(xiàn)，這使得模型性能的直接比較變得復(fù)雜。最近的工作試圖建立統(tǒng)一的訓(xùn)練和評估框架來糾正這一點。通過提供標(biāo)準(zhǔn)化數(shù)據(jù)集、同步預(yù)處理階段和公平的訓(xùn)練策略，這些框架確保所有方法以相同的方式進(jìn)行測試。然后，研究人員可以輕松地比較同一任務(wù)的不同模型，更清晰地指出每種方法的優(yōu)點和缺點。這些努力表明，動態(tài)圖領(lǐng)域的標(biāo)準(zhǔn)化趨勢日益增強(qiáng)，這有利于不同方法的評估和比較。表5提供了這些基準(zhǔn)測試的鏈接。

6 圖處理中的高級技術(shù)

6.1 動態(tài)遷移學(xué)習(xí)

遷移學(xué)習(xí)利用在一個任務(wù)（稱為源任務(wù)）上訓(xùn)練的模型的知識來促進(jìn)另一個不同但相關(guān)任務(wù)（稱為目標(biāo)任務(wù)）的學(xué)習(xí)。核心思想是在源任務(wù)和目標(biāo)任務(wù)之間共享特定知識。這一概念基于觀察到各種任務(wù)經(jīng)常共享潛在特征或模式。因此，一個任務(wù)的見解可能會使另一個任務(wù)受益[101,102]。動態(tài)遷移學(xué)習(xí)是為源域和目標(biāo)域都演化的情景提出的遷移學(xué)習(xí)設(shè)置。在此背景下，目標(biāo)域的當(dāng)前狀態(tài)依賴于其歷史狀態(tài)，不能直接轉(zhuǎn)移。因此，動態(tài)遷移學(xué)習(xí)需要對源域和目標(biāo)域中不斷變化的數(shù)據(jù)分布進(jìn)行持續(xù)的實時調(diào)整。它還要求將源域中不斷演化的相關(guān)知識及時轉(zhuǎn)移到同時變化的目標(biāo)域，旨在優(yōu)化目標(biāo)任務(wù)的性能。主要挑戰(zhàn)在于有效建模跨域演化并管理不同時間步長之間的時間相互依賴性。

動態(tài)遷移學(xué)習(xí)最初被引入以解決計算機(jī)視覺和自然語言處理領(lǐng)域的各種實際挑戰(zhàn)。最近，研究人員試圖探索其在圖學(xué)習(xí)中的潛力。目前，圖的動態(tài)遷移學(xué)習(xí)研究仍處于早期階段。它主要涉及應(yīng)用圖以外的領(lǐng)域的想法，如使用LSTM或注意力機(jī)制來建模圖的時間模式[103]。在圖論領(lǐng)域之外，已經(jīng)對動態(tài)源域非平穩(wěn)性、目標(biāo)域概念漂移和相關(guān)主題進(jìn)行了大量研究。未來的研究應(yīng)深入探討圖數(shù)據(jù)的特定屬性，旨在設(shè)計更合適的動態(tài)遷移學(xué)習(xí)方法。這將進(jìn)一步使動態(tài)遷移學(xué)習(xí)成為解決各種時間敏感的實際挑戰(zhàn)的關(guān)鍵工具。

6.2 動態(tài)GNNs的預(yù)訓(xùn)練技術(shù)

通常，預(yù)訓(xùn)練模型在大規(guī)模數(shù)據(jù)集上訓(xùn)練以獲得通用特征表示，然后在特定下游任務(wù)上進(jìn)行微調(diào)以提高性能。起源于計算機(jī)視覺和自然語言處理領(lǐng)域，預(yù)訓(xùn)練模型在許多任務(wù)中取得了顯著成功，如語義解析、圖像分類和圖像分割。隨著圖數(shù)據(jù)量的增加，最近將預(yù)訓(xùn)練模型引入圖學(xué)習(xí)領(lǐng)域。相關(guān)工作通常采用自監(jiān)督策略來設(shè)計預(yù)訓(xùn)練任務(wù)，如邊生成[104]、屬性掩蔽[104]和子圖比較[105]。由于動態(tài)圖中的節(jié)點和邊隨時間變化，這些模型面臨描述時間依賴性的問題。因此，PT-DGNN[106]使用基于時間的掩蔽策略來預(yù)測最近的邊或?qū)傩裕瑢W(xué)習(xí)圖的時間演化規(guī)律。另一方面，CPDG[107]對比正負(fù)樣本對。CPDG通過增強(qiáng)正樣本之間的相似性和減少負(fù)樣本之間的相似性來捕獲時間和結(jié)構(gòu)模式。此外，CPDG存儲來自不同時間步的記憶狀態(tài)，以幫助模型保留長期演化信息，進(jìn)一步支持后續(xù)的下游任務(wù)。

然而，仍有許多挑戰(zhàn)需要進(jìn)一步研究。可擴(kuò)展性是該領(lǐng)域的一個主要問題，關(guān)鍵問題是如何預(yù)先訓(xùn)練模型，以便它們能夠有效地處理不同時間粒度的動態(tài)圖，并仍然足夠靈活以執(zhí)行許多不同的下游任務(wù)。此外，動態(tài)圖包含長期穩(wěn)定性模式和短期變異性模式，這意味著模型需要進(jìn)行調(diào)整。此外，每個節(jié)點的結(jié)構(gòu)鄰居信息至關(guān)重要，因此模型需要有效保留這些結(jié)構(gòu)信息。在實際應(yīng)用中，大規(guī)模動態(tài)圖的預(yù)訓(xùn)練需要高效的采樣和訓(xùn)練機(jī)制。同時，預(yù)訓(xùn)練模型學(xué)習(xí)到的時間模式應(yīng)及時整合到后續(xù)任務(wù)中。

總之，當(dāng)前的研究和應(yīng)用主要集中在為動態(tài)圖設(shè)計適當(dāng)?shù)念A(yù)訓(xùn)練任務(wù)、采樣策略和對比學(xué)習(xí)方法。目標(biāo)是實現(xiàn)具有彈性的時間和結(jié)構(gòu)描述，提高模型對各種任務(wù)的適應(yīng)性。同時，重要的是有效包含持久和即時趨勢，然后提高模型訓(xùn)練和遷移的效率。

7 未來趨勢和挑戰(zhàn)

7.1 更復(fù)雜的動態(tài)圖

盡管近年來出現(xiàn)了一些大規(guī)模動態(tài)圖數(shù)據(jù)集，但與靜態(tài)圖數(shù)據(jù)集相比，動態(tài)圖數(shù)據(jù)集仍然缺乏多樣性。這可能導(dǎo)致在多樣化、真實世界的動態(tài)圖應(yīng)用中模型性能不足。

• 首先，EdgeBank[100]的結(jié)果表明，在某些情況下，僅使用歷史信息就能取得良好的結(jié)果。這表明當(dāng)前數(shù)據(jù)集的復(fù)雜性可能不足以顯著區(qū)分不同模型。因此，我們需要構(gòu)建更具挑戰(zhàn)性的數(shù)據(jù)集，包含更豐富的結(jié)構(gòu)信息和時間演變模式，以更好地評估模型的建模能力。

• 其次，像用戶取關(guān)這樣的操作在實際應(yīng)用中很常見，但目前缺乏包含此類邊刪除數(shù)據(jù)的真實世界數(shù)據(jù)集。擴(kuò)展數(shù)據(jù)集可能涉及收集和整合具有真實邊刪除操作的數(shù)據(jù)，以模擬現(xiàn)實世界中圖數(shù)據(jù)的動態(tài)性。這有助于評估模型在處理邊刪除時的魯棒性和性能。

• 最后，當(dāng)前工作中很少提到一些特殊圖，如動態(tài)有向圖[108]和動態(tài)異構(gòu)圖。未來，可以構(gòu)建包含不同網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)（例如小世界、無標(biāo)度）的動態(tài)圖數(shù)據(jù)集，并生成更多特殊圖。

總之，需要更大規(guī)模、更豐富內(nèi)容和更復(fù)雜結(jié)構(gòu)的數(shù)據(jù)集，以促進(jìn)動態(tài)圖學(xué)習(xí)向處理真實世界復(fù)雜網(wǎng)絡(luò)的發(fā)展。

7.2 動態(tài)GNNs的可解釋性

與深度模型可解釋性相關(guān)的框架和方法旨在幫助用戶理解和信任這些模型，使它們能夠更有效地應(yīng)用。在靜態(tài)GNN模型[109]的可解釋性領(lǐng)域已經(jīng)取得了一些進(jìn)展，而動態(tài)GNNs的可解釋性研究似乎仍處于早期階段。Xie等人[110]提出了DGExplainer，旨在為動態(tài)GNNs提供可靠的解釋。DGExplainer將動態(tài)GNN的輸出激活分?jǐn)?shù)重新分配給前一層的神經(jīng)元，以計算輸入神經(jīng)元的相關(guān)性分?jǐn)?shù)，從而識別鏈接預(yù)測和節(jié)點回歸任務(wù)中的重要節(jié)點。DynBrainGNN[111]模型旨在提供預(yù)測和解釋，包含用于精神疾病分析的動態(tài)全連接組（FCs）的內(nèi)置可解釋GNNs。這些研究表明，盡管動態(tài)GNNs的可解釋性是一個相對較新且討論較少的領(lǐng)域，但已經(jīng)有一些研究試圖解決這個問題。

7.3 動態(tài)圖學(xué)習(xí)的LLMs

最近，大型語言模型（LLMs）在自然語言處理方面表現(xiàn)出顯著的能力，在許多方面取得了突破，如文本生成[112]、問答[113]和對話任務(wù)[114]。研究人員試圖將LLMs適應(yīng)到更多領(lǐng)域，以利用其強(qiáng)大的預(yù)訓(xùn)練語言理解能力。LLM具有強(qiáng)大的少樣本、上下文學(xué)習(xí)能力，通過精心設(shè)計提示技術(shù)，可以幫助動態(tài)圖學(xué)習(xí)模型更好地理解空間和時間信息。例如，LLM4DyG[115]研究了僅提供一個示例可以顯著提高LLM在多個動態(tài)圖任務(wù)（如“何時鏈接”、“何時連接”、“何時關(guān)閉”、“周期性鄰居”和“鄰居”）的準(zhǔn)確性。另一方面，LLM可以在給定上下文中執(zhí)行推理并解決動態(tài)圖相關(guān)任務(wù)。這一見解激發(fā)了LLM在動態(tài)圖學(xué)習(xí)任務(wù)中的新應(yīng)用，并可能改變相關(guān)領(lǐng)域的現(xiàn)有方法。盡管LLMs在動態(tài)圖任務(wù)上表現(xiàn)出鼓舞人心的理解能力，但仍然面臨以下挑戰(zhàn)：

• 處理大規(guī)模圖。隨著圖尺寸的增長，LLM的性能顯著下降[116]。原因可能是圖尺寸的增加導(dǎo)致上下文信息激增，使得LLM難以捕捉關(guān)鍵信息。LLMs對大規(guī)模動態(tài)圖的建模能力仍有待驗證。

• 計算效率。當(dāng)前LLMs大多龐大且計算成本高昂。如何提高LLMs的計算速度并提高其學(xué)習(xí)動態(tài)圖的效率是一個需要解決的問題。

• 缺乏結(jié)構(gòu)建模。LLMs缺乏明確建模圖結(jié)構(gòu)的能力，與GNNs相同。僅僅依賴上下文描述來獲取信息可能不夠充分和直接。因此，需要進(jìn)一步研究以提高LLMs對圖拓?fù)浣５哪芰Α?/p>

8 結(jié)論

動態(tài)圖神經(jīng)網(wǎng)絡(luò)是表示學(xué)習(xí)的最新發(fā)展，可以處理隨時間演變的圖結(jié)構(gòu)，并在各個領(lǐng)域具有潛在應(yīng)用。在本文中，我們對動態(tài)GNNs的關(guān)鍵問題進(jìn)行了全面調(diào)查，包括預(yù)測任務(wù)、時間建模方法和大規(guī)模動態(tài)圖的處理。我們總結(jié)了當(dāng)前研究的主要進(jìn)展，并指出了一些有希望的關(guān)鍵方向，例如擴(kuò)展現(xiàn)有模型的范圍和研究動態(tài)GNNs的表達(dá)能力。動態(tài)GNNs仍然面臨挑戰(zhàn)，如可擴(kuò)展性、理論指導(dǎo)和數(shù)據(jù)集構(gòu)建。我們希望本文能為該領(lǐng)域的研究人員提供有價值的參考，并促進(jìn)與動態(tài)GNNs相關(guān)的理論和方法的進(jìn)一步發(fā)展。未來研究的一個重要方向是繼續(xù)擴(kuò)大動態(tài)圖表示學(xué)習(xí)的適用性，處理更復(fù)雜和多樣化的動態(tài)圖結(jié)構(gòu)和演變模式，并使其成為一個具有廣度和深度的統(tǒng)一表示學(xué)習(xí)框架。隨著更多和更實際的應(yīng)用涉及動態(tài)圖分析，動態(tài)GNNs無疑將成為一個持續(xù)活躍且越來越重要的研究領(lǐng)域。

原文鏈接：https://link.springer.com/article/10.1007/s11704-024-3853-2