Time-o1：時序架構難突破，損失函數辟蹊徑

解決標簽自相關和任務過載的雙重挑戰。

在時間序列預測領域，研究者們熱衷于設計復雜的網絡架構——Transformer、線性模型輪番登場。 然而，當大家把注意力都放在模型結構創新時，卻忽略了一個關鍵問題：訓練這些模型時使用的損失函數，幾乎都選擇了時域均方誤差（TMSE），這正在悄悄拖累模型性能。

NeurIPS 2025的最新研究揭示了TMSE存在的兩大局限：其一，預測標簽序列普遍存在自相關性，但TMSE默認各預測步相互獨立，導致損失函數有偏;其二，隨著預測步數增加，任務數量線性增長，優化難度上升。來自北京大學、小紅書等機構的研究團隊提出了Time-o1方法，通過巧妙的標簽正交變換技術，解決了這兩大難題，在多個主流模型上實現了顯著的性能提升。

論文題目： Time-o1: Time-series Forecasting Needs Transformed Label Alignment

發表會議： NeurIPS 2025

作者單位： 小紅書、浙江大學、北京大學、松鼠AI等

代碼鏈接： https://github.com/Master-PLC/Time-o1

01
問題分析：被忽視的損失函數設計

在時間序列預測任務中，構建高精度的預測模型需解決兩個核心問題：（1）如何設計神經網絡架構以有效捕捉歷史信息；（2）如何制定合理的損失函數以高效指導模型訓練。 近年來，研究重點主要集中在模型結構創新，例如提出了Transformer、線性模型等眾多架構，而損失函數的設計卻鮮有深入探討。

現有主流方法普遍采用直接預測范式（Direct Forecast，DF）。 在該范式下，模型以一段歷史觀測為輸入，通過神經網絡主體提取表征，再配合線性輸出頭，一次性并行預測未來T步的標簽序列，即輸出一個長度為T的預測向量。 與傳統的迭代預測（iterative forecast）相比，直接預測法因并行性和效率優勢而得到廣泛應用。

在損失函數層面，DF方法通常選用時域均方誤差（TMSE）作為主要優化目標，定義如下：

然而，TMSE類損失函數在訓練時序預測模型時存在兩個關鍵問題，使其成為了性能提升的“天花板” 。

1.1 挑戰一：標簽自相關性導致損失函數有偏

時間序列中，任一觀測值往往與其過去觀測值高度相關，呈現顯著的自相關特點——這是時間序列數據的基本特性。然而，TMSE在計算損失時默認各預測步之間相互獨立，忽略了標簽序列中各時間步之間的自相關，從而導致其作為損失函數是有偏的。具體見下方定理：

[定理1：自相關偏差]設標簽序列 ，其步間相關系數矩陣為 ，則TMSE與真實標簽的負對數似然之間的偏差為：

其中 。當且僅當 的不同步不相關時，該偏差才會消失。

1.2 挑戰二：任務數量激增導致優化難度加大

TMSE將每個預測步視為獨立任務，導致整體任務數量隨預測步數T線性增長。當任務數過多時，多任務學習過程中各任務梯度容易沖突，影響優化收斂，最終降低模型性能。長期預測場景（如制造業生產排期、交通流量預測等）對此問題尤為敏感。

02
Time-o1：在變換域定義損失函數

2.1 實現方法Time-o1的核心思想是使用主成分分析（PCA），將標簽序列變換為按重要性排序的正交主成分。通過對齊主成分，Time-o1不僅能夠有效降低標簽之間的自相關性（問題一），還可以減少并行優化的任務數量（問題二），同時依然保留DF方法高效和易于實現的優勢。

具體來說，對于第 個主成分，其投影向量可通過如下優化問題得到：

其中 表示第 個主成分。優化目標在于最大化 的方差，也就是最大化該成分承載的信息量。對于 ，則要求新的投影軸需與此前各軸保持正交，避免主成分之間的冗余。

理論分析：可以證明，經PCA得到的主成分彼此去相關，從而消除了標簽自相關性在損失計算中帶來的偏差（問題一）。此外，主成分的方差會依序遞減（ 到 ），確保了得到的主成分自然按重要性排序，因此損失函數可以只關注最重要的K個主成分，從而降低優化復雜度（問題二）。所有最優投影向量 可以通過一次奇異值分解（SVD）直接獲得，因此Time-o1可以高效計算。

2.2 實現流程

Time-o1的具體流程可分為以下幾個步驟：

1. 標準化標簽序列：首先對標簽序列進行標準化處理，以確保后續PCA的有效性。

2. 計算投影矩陣：對標準化后的標簽序列執行SVD，保留與最大奇異值對應的 個右奇異向量，拼接得到最優投影矩陣 。

3. 空間變換：將預測序列及標簽序列一同變換至主成分空間，得到標簽序列和預測序列的主成分 ， 。

4. 計算損失函數：定義變換域損失為：

5. 目標融合：將主成分空間損失與原空間MSE加權融合， 用于平衡兩者貢獻：

Time-o1是一種模型無關的損失函數，可以支持各類預測模型。

2.3 案例分析

針對問題一，上圖對比了原始標簽序列和主成分序列的自相關性。 左圖可見，原空間中大量非對角元素明顯偏大，約50.5%超過0.25，顯示標簽序列之間存在強自相關。 右圖則基本實現去相關，非對角元素趨近于零，說明將標簽變換至主成分空間可有效消除自相關性（問題一）。

針對問題二，上圖展示了原標簽與主成分的方差對比。左圖中，標簽序列各步方差分布較為平均，表明不同步在優化時同等重要。右圖中，只有少數幾個主成分方差較大，表明主成分的重要性可以清晰區分，可以通過關注最重要的成分，犧牲極少的標簽信息來降低優化復雜度（問題二）。

03
實驗結果

Time-o1可以顯著提升預測性能。以ETTh1為例，Time-o1將Fredformer的MSE降低了0.016。在其他數據集上的類似提升進一步驗證了其有效性。這些結果表明，改進損失函數可以產生與改進架構相當甚至超過的性能提升。

可視化預測序列發現，雖然使用MSE訓練的DF模型捕獲了一般趨勢，但其預測在處理大變化時（如步驟100-400內的峰值）存在困難。這反映了其在建模高方差分量方面的不足。相比之下，Time-o1通過明確區分和對齊這些重要分量，生成的預測能夠準確捕獲這些高方差分量，對大幅波動的擬合能力更強。

Time-o1相比現有損失函數也取得了較大的性能提升。形狀對齊目標（Dilate、Soft-DTW、DPTA）相比DF提供的性能提升很小，這一現象的原因是它們既不緩解標簽相關性，也不減少任務數量以簡化優化。Time-o1直接解決了這兩個問題，從而實現了整體性能的大幅提升。

論文還進行了消融實驗，研究標簽正交化和減少任務數量對損失函數性能的貢獻。結果表明：僅標簽正交化或僅減少任務數量相比DF都有改進，而結合兩者取得了最佳結果，展示了兩者的協同效應。

除了PCA，Time-o1還支持其他統計變換方法，如SVD、RPCA、FA等。對比實驗表明，不同的統計變換方法相比不做變換的DF方法性能均有提升。相較而言，PCA因能同時實現標簽正交化和降維，取得了最佳性能。

論文還測試了Time-o1在不同神經網絡架構上的表現，包括FredFormer、iTransformer、FreTS、Dlinear等，證明了其與模型無關的特性：可以切實有效提升大多數主流時序預測模型的精度。

04
結論

時間序列預測中的損失函數設計存在兩個關鍵挑戰：其一，標簽自相關導致損失函數有偏；其二，任務數量過多導致優化困難。為此，Time-o1創新性地提出了基于標簽變換的損失函數。該方法首先將標簽序列映射為按重要性排序的正交主成分，再將模型預測對準最重要的主成分，從而同時解決了兩個上述挑戰。

Time-o1不僅驗證了優化損失函數能提升時序預測性能，還首次將特征工程的思想應用于標簽端，為該領域的未來發展提供了新思路。

快來試試Time-o1，讓正交損失成為你性能優化的“最后一棒”！

共同第一作者王浩現為浙江大學控制學院博士研究生，研究方向聚焦于可信學習、多任務學習技術及其在大模型中的應用，以第一作者發表ICML、NeurIPS、KDD等CCF-A類論文十余篇。2022年-2023 年，他曾在螞蟻金服、微軟亞洲研究院科研實習，從事推薦系統理論和實踐研究。2025 年起，他在小紅書參加RedStar實習項目，進行可信獎勵模型、垂域智能體領域的研究工作。

共同第一作者潘黎鋮現為浙江大學控制學院博士研究生，研究方向聚焦于可信學習技術及其在大語言模型中的應用。2024-2025年，他曾在螞蟻金服、微軟亞洲研究院科研實習，從事推薦系統和智能體理論和實踐研究。2025 年起，他在小紅書參與科研實習，進行可信獎勵模型、智能體領域的研究工作。

通訊作者林宙辰博士現任北京大學智能學院、通用人工智能全國重點實驗室教授。他的研究領域包括機器學習和數值優化。他已發表論文360余篇，谷歌學術引用超過42,000次。他是IAPR、IEEE、AAIA、CCF和CSIG會士，多次擔任CVPR、NeurIPS、ICML等會議的Senior Area Chair，現任ICML Board Member。

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。