當AI大模型讀懂時間：時序與時空數據分析的范式革命

原文發表于《科技導報》2025 年第18 期 《面向時間序列和時空數據分析的大模型研究進展 》

近年來，大模型憑借其強大的序列建模能力、優異的表征學習潛力和靈活的預訓練?微調范式，在自然語言處理和計算機視覺領域取得了突破性進展，也為時間序列和時空數據的挖掘分析帶來新的發展機遇。本文綜述了大模型在時間序列與時空數據分析中的研究進展，提出了未來研究亟需在可解釋性增強、多模態聯合建模以及模型架構創新等方面取得突破。

近年來，人工智能領域見證了基礎模型（FMs）的崛起與蓬勃發展。基礎模型從早期預訓練語言模型發展到現在的大語言模型（LLMs）和視覺語言模型（VLMs），在多模態理解、推理和跨域泛化等方面展現出卓越性能。

值得注意的是，時間序列和時空數據與自然語言序列在序列結構上具有本質的相似性。這種結構上的相似性自然地引出一個關鍵問題：我們能否以及如何有效利用現有強大的LLMs，賦能通用的時間序列與時空數據的分析任務？或者說，能否借鑒LLMs的成功范式，構建專門針對時間序列與時空數據特性的基礎模型？探索上述問題，將大模型的技術優勢引入時間序列與時空數據的挖掘分析中已成為當下的學術前沿熱點。

01

基礎理論與關鍵技術

1.1 時間序列與時空數據分析

時間序列（time series）定義為一組按時間排序的隨機變量的集合{Xt |t ∈ T}，時間序列的觀測值可以認為是隨機變量的實現。時空數據（spatio?temporal data）是指同時包含時間維度和空間維度的數據集，用于記錄和分析時空動態變化規律及其內在關聯。

1.2 LLMs

LLMs通常是具有大規模參數和計算能力的自然語言處理模型。這種大模型具有但小模型不具有的能力通常被稱為“涌現能力”（emergent abilities），為序列建模帶來了前所未有的潛力，并重塑了人類使用人工智能的方式。

1.3 預訓練基礎模型

預訓練基礎模型（PFMs）是指在大規模語料庫上進行預訓練的通用人工智能模型。隨著PFMs的巨大成功，針對時間數據設計和預訓練的基礎模型也在不斷涌現，但仍處于早期發展的階段。

1.4 骨干網絡

1）Transformer架構。其核心創新在于對注意力機制的利用，該機制允許模型動態地關注輸入數據的不同部分。根據這種網絡架構的變形，目前主流的框架可分為Encoder?decoder（編碼器?解碼器）、Encoder?only（僅編碼器）、Decoder?only（僅解碼器）3種，如圖1所示。

圖1 3種主流模型訓練框架

2）擴散（Diffusion）模型。其通過一個迭代的正向擴散過程系統地、緩慢地破壞數據分布中的結構，然后學習一個反向去噪過程來恢復數據中的結構，從而得到一個高度靈活且易于處理的生成模型（圖2）。

圖2 擴散模型用于時間序列和時空數據分析

3）其他模型。除Transformer和擴散模型這類近年來備受關注的架構外，一些經典的深度學習模型，包括多層感知機（MLP）、卷積神經網絡（CNN）、循環神經網絡（RNN）和圖神經網絡（GNN）仍然是時間序列與時空數據分析領域的重要基石。

02

LLMs賦能時間序列與時空數據分析

自然語言處理領域LLMs的快速發展揭示了其在序列建模和模式識別方面前所未有的能力，這為時間序列與時空數據分析提供新的研究范式。我們基于LLMs的時序與時空數據分析方法，并依據模型架構設計將其劃分為3類（圖3）。

圖3 微調LLMs組件設計分類

2.1 直接查詢LLMs

PromptCast引入了一種新的基于提示（Prompt）的學習范式，在特定領域場景中，尤其是當結合領域相關的上下文提示和先進的預訓練LLMs時，直接查詢LLMs可能帶來顯著優勢。

2.2 時間數據的標記化設計

Nie等提出了時間序列的補丁表示方法，保留了數據的原始相對順序，并將局部信息聚合到每個補丁中。OFA、LLM4TS、TEST、TEMPO和Time?LLM等工作主要采用這種補丁表示方法對時間序列數據進行標記化。

2.3 提示設計

PromptCast為利用LLMs進行時間序列預測開發了基于模板的提示，而一些方法通過整合LLMs生成的或收集的背景信息來豐富提示設計。為應對分布偏移的挑戰，TEMPO引入一個共享的提示池，以不同的鍵值對的形式存儲，然后通過相似性分數匹配機制為微調選擇最具代表性的軟提示，從而讓模型更好地利用已有的經驗知識。

2.4 微調策略

微調作為一種強大的工具，能夠使大型預訓練模型適應于特定的任務和應用場景。作為一項標準做法，OFA微調了位置嵌入和歸一化層，并凍結了自注意力層和前饋神經網絡。TEMPO進一步使用低秩自適應（LoRA）微調自注意力模塊，以適應不同的數據分布。LLM4TS提出了一種2階段微調方法，從而保障在不破壞語言模型固有特性的基礎上使得模型能夠更好地適配各類不同域的數據及不同的下游任務。

2.5 集成LLMs作為模型組件

相較于依賴直接查詢或微調LLMs來生成輸出，一些研究選擇將凍結的LLMs作為模塊嵌入，以擴展和增強輸入序列的特征表示空間。凍結的LLMs可以作為多階段建模中的一個功能強大的組件，它提供對數據的中間處理或前一個組件的輸出，并將它輸入到隨后的神經網絡或回歸分析。

03

構建專用的時間序列與時空數據基礎模型

3.1 時間序列基礎模型研究進展

自然語言處理和計算機視覺領域的基礎模型近年來呈現指數級增長，而時間序列領域的基礎模型研究仍處于早期階段，近期已有一些開創性的工作開始填補這一空白（表1）。

表1 代表性時間序列基礎模型匯總

TimeGPT?1是由Nixtla提出的第一個時間序列大模型，無需額外訓練就可以在金融、電力、氣象等各種領域生成準確的預測。在TimeGPT?1發布后，時間序列基礎模型的發展進入加速階段，包括Lag?Llama、TimesFM、Chronos、Moirai和Time?MoE等代表性工作。作為首個開源大型預訓練時間序列基礎模型，MOMENT將通過對時間序列的掩碼預測任務進行預訓練。Chronos直接采用與語言模型相同的交叉熵損失函數進行訓練。Time?MoE采用逐點標記化（point?wise tokenization）方法進行時間序列嵌入以完整保留時序信息。

作為時序預測領域的新興技術，時間序列基礎模型各具優勢，適用于不同的應用場景，但也伴隨著一定的局限性，特別是在處理高頻數據、長跨度預測任務時，其效果往往不及傳統統計方法。當面對上下文信息不足的情況時，模型的泛化能力也會明顯下降。此外，由于需要針對不同垂直領域獨立開發，這些模型的訓練過程通常需要消耗大量計算資源。

3.2 時空數據基礎模型研究進展

相較于單一時間序列數據，時空數據普遍呈現出2個關鍵的基本特性：異質性與自相關性。這些固有特性不僅顯著增加了時空數據建模的復雜度，也對基礎模型提出了更高的泛化能力要求。當前時空數據基礎模型的發展仍處于相對分散的狀態，應用場景也呈現出明顯的碎片化特征（表2）。

表2 代表性時空基礎模型匯總

3.2.1 城市時空動態建模

針對城市時空數據的多模態特性，UrbanVLP提出一種視覺?語言?時空聯合預訓練框架，其核心創新在于設計時空對比學習策略，將不同模態的時空模式對齊到共享的潛在空間。類似的，CityFM專注于城市多任務泛化，實現跨場景遷移。OpenCity進一步引入地理編碼先驗知識，增強了模型對空間異質性的建模能力。UniST實現了對城市多樣化時空動態性的統一建模和精準預測，展現出強大的通用性和泛化能力。

對于軌跡數據的PFMs，旨在從輸入數據中學習通用的順序模式。TrajFM采用軌跡屏蔽和自回歸恢復機制來增強其學習能力。UniTraj軌跡基礎大模型實現跨任務、跨區域的泛化能力，并在不同數據質量下保持魯棒性。PTrajM則是引入 Trajectory?Mamba作為可學習模型，實現對連續運動行為的有效提取。

3.2.2 氣象與地球系統建模

氣象預測是時空數據基礎模型的典型應用場景。谷歌的DeepMind研究所開發的天氣預報模型GraphCast顯著提升了中長期氣象預測的精度。微軟團隊發布的ClimaX通過微調技術來解決廣泛的氣候和天氣任務。上海人工智能實驗室發布的FengWu大模型解決多種大氣變量表征和相互影響的問題。華為提出的Pangu?Weather提前一周預測全球天氣。

04

挑戰與機遇

4.1 增強模型的可解釋性

構建系統性理論框架以解析LLMs在時間序列和時空數據分析中的學習模式與應用邏輯，成為亟待突破的關鍵問題。此外，需研發適用于時間序列和時空數據的因果關系識別方法。

4.2 發展多模態模型

LLMs可通過適配學習構建多模態聯合表示—既捕捉時序數據的序列依賴性特征，又保留其他模態的獨特信息特性，實現跨時間分辨率的多模態信息融合，從而充分挖掘不同時間尺度下的互補信息，進一步提升任務表現。

4.3 適應數據分布偏移

最新的研究聚焦于領域對抗訓練等技術，通過對齊不同領域的特征分布，推動模型學習跨域不變性特征；此外，元學習技術通過快速學習新分布的適配規則，僅需少量新分布數據即可實現模型對新分布的快速遷移，進一步強化了基礎模型應對分布偏移的能力。

4.4 創新模型架構

傳統的Transformer架構和基于它們的LLMs具有受限的上下文依賴記憶，特別是在處理長序列時面臨挑戰。需要創新性的方法，如稀疏注意力機制、高效的基于圖的表示以及將Transformer與其他架構結合的混合模型。最近，谷歌提出的Infini?Transformer能夠在有限的內存條件下處理極長的輸入；Meta等開發新架構Megalodon實現了無限上下文處理能力。

05

結論

最新研究表明，大模型在時間序列和時空數據分析中展現出應用潛力。一方面，基于LLMs的提示工程、標記化和參數微調等技術，為自然語言與時序/時空數據的模態對齊提供了可行路徑。另一方面，面向時序與時空特性的專用基礎模型通過跨域預訓練，逐步形成統一的時空動態表征能力。

當前研究仍面臨若干挑戰：

（1）時空數據的異質性和自相關性導致模型泛化能力受限，跨領域遷移時易受分布偏移影響；

（2）多模態對齊存在語義鴻溝，數值型時空數據與文本/視覺等模態的聯合表征仍需突破；

（3）模型可解釋性不足制約其在關鍵領域的可信應用。

未來，面向時間序列與時空數據分析的大模型需聚焦以下方向：

（1）模型架構創新，融合物理機理與數據驅動優勢，提升對非平穩動態的建模能力；

（2）多模態協同學習技術突破，建立時空?語言?視覺的統一表征，實現跨模態知識遷移；

（3）可信賴性增強機制構建，發展因果推理、不確定性量化等技術提升模型可解釋性。

本文作者：羅遠波、孫嘉、陶俐芝

作者簡介：羅遠波，南方海洋科學與工程廣東省實驗室（廣州），助理研究員，研究方向為時間序列建模與地理時空數據智能分析；陶俐芝（通信作者），江西師范大學鄱陽湖濕地與流域研究教育部重點實驗室，助理研究員，研究方向為水文氣象多尺度問題建模與分析。

文章來 源 ： 羅遠波, 孫嘉, 陶俐芝. 面向時間序列和時空數據分析的大模型研究進展[J]. 科技導報, 2025, 43(18): 48?56 .

本文有刪改，

點擊面向時間序列和時空數據分析的大模型研究進展.pdf獲取全文。

內容為【科技導報】公眾號原創，歡迎轉載
白名單回復后臺「轉載」

《科技導報》創刊于1980年，中國科協學術會刊，主要刊登科學前沿和技術熱點領域突破性的研究成果、權威性的科學評論、引領性的高端綜述，發表促進經濟社會發展、完善科技管理、優化科研環境、培育科學文化、促進科技創新和科技成果轉化的決策咨詢建議。常設欄目有院士卷首語、科技新聞、科技評論、專稿專題、綜述、論文、政策建議、科技人文等。