復值概率測度及其在信息論中的應用

Complex-Valued Probability Measures and Their Applications in Information Theory

復值概率測度及其在信息論中的應用

https://arxiv.org/abs/2603.12297

摘要

本文介紹了用于復值概率測度的一個綜合框架，并探討了它們在信息論和統計分析中的新穎應用。我們將復概率測度定義為經典概率測度的相位調制擴展。在此基礎之上，我們提出了三個基本信息論量：復熵，它通過相位相干性量化分布均勻性；復散度，一種分布間差異性的非對稱度量；以及復度量，一種滿足三角不等式的對稱距離函數。我們針對連續和離散概率分布嚴格建立了這些概念，證明了關鍵性質，如有界性、總變差收斂下的連續性以及清晰的極值行為。與經典測度（香農熵和 Kullback-Leibler 散度）的詳細比較分析突出了所提出框架的獨特幾何和解釋優勢，特別是其通過可調相位參數對分布形狀的敏感性。我們闡明了復熵積分與量子力學的費曼路徑積分表述之間深刻的形式類比，暗示了一個更深層次的概念橋梁。最后，我們通過非參數雙樣本假設檢驗中的一個詳細應用展示了復度量的實用效用，概述了測試程序、優勢、局限性，并提供了一個概念性模擬。這項工作通過復分析和干涉現象的視角為分析概率分布開辟了新途徑，對信息論、統計推斷和機器學習具有潛在影響。

關鍵詞：復散度，復熵，復測度，復概率，信息論。

1 引言

概率論自 1933 年柯爾莫哥洛夫公理化以來 [6]，其根本基礎一直扎根于實數域和非負測度。該框架在建模不確定性、隨機性和跨科學的推斷方面已被證明極其成功。然而，眾多自然現象和工程現象本質上由復數描述，其中相位、旋轉和干涉是基本特征。量子力學依賴于復概率幅，信號處理利用復指數來表示波中的相位信息，而調和分析則依賴于復平面來分解函數。復數在描述自然世界中的這種普遍作用促使我們提出一個基礎性問題：概率本身的數學結構能否有意義地擴展到復數域？

本文通過構建一個復值概率測度的連貫框架，對此給出了肯定的回答。我們將此類測度 Q 定義為由全局相位因子調制的經典（非負）概率測度 P：dQ = eiθdP，其中符號"i"代表虛數單位。雖然 Q 的總變差（其"模"）與 P 相同，但相位的引入使我們能夠將概率分布嵌入到復向量空間中。這不僅僅是一種形式上的練習，而是提供了一個強大的新視角。通過進一步通過像 eiβp(x) 這樣的項，將局部相位角設定為與概率密度函數（PDF）或概率質量函數（PMF）本身成正比，我們可以定義新的量來度量不同概率結果之間的相干性和干涉。

信息論由香農于 1948 年創立 [11]，為量化信息、通信和不確定性提供了一個數學框架。該框架的核心是熵和散度的概念，這些概念已在其原始的通信理論根源之外得到了顯著發展。香農熵被引入作為一種不確定性或信息內容的度量。它量化了與隨機變量相關的平均不確定性或"驚喜"。在連續情形下，微分熵擴展了這一概念，盡管具有不同的解釋性質。隨后，Kullback 和 Leibler 于 1951 年 [7] 引入了 Kullback-Leibler（KL）散度，為度量概率分布之間的差異提供了一種工具。幾十年來，這些概念已被擴展、推廣并應用于遠超其初始范圍的領域，成為現代科學和工程學科（尤其是機器學習，如生成對抗網絡、強化學習和聚類）中不可或缺的工具。KL 散度最常用的推廣是 Bregman 散度 [2] 和 f-散度 [3]。Rényi [8] 引入了以香農熵為特例的一族熵，其在密碼學、生態學和多重分形分析中找到應用。Tsallis [12] 提出了傳統熵的一種非可加推廣，這在統計物理和復雜系統中具有影響力。

隨著大數據和人工智能的發展，現有的信息論框架在理論和應用上似乎都顯得有些不足。我們引入了新的熵和散度概念，希望在某些特定問題上取得比傳統方法更好的結果。我們的想法是將空間從實數擴展到復數，并通過輻角的變化來定義信息的模。

直觀上，它類似于量子物理學中的路徑積分。

本工作的核心貢獻有三方面。首先，我們定義并分析了復熵，這是一種分布均勻性的度量，被解釋為在對相位加權概率求和時相長干涉的程度。其次，我們推導了復散度和復度量，它們為比較兩個分布提供了幾何直觀的工具，其中后者滿足真實距離度量的所有公理。第三，我們嚴格建立了這些量在連續和離散情形下的性質，與香農熵和 f-散度進行了富有啟發性的比較，并揭示了與量子力學路徑積分之間顯著的形式類比。為展示實際相關性，我們呈現了復度量在非參數雙樣本假設檢驗中的詳細應用。

本文結構如下。第 2 節提供了關于復測度的必要背景。第 3 節正式定義了復概率測度和隨機變量。第 4 節介紹了復熵，深入探討了其幾何直觀，詳述了其在連續和離散情形下的性質，并與香農熵進行了比較分析。第 5 節定義了復散度和復度量，建立了它們的性質，將其與 KL 散度及其他散度進行比較，并闡述了與路徑積分的深刻聯系。第 6 節展示了在統計檢驗中的一個充實應用。第 7 節總結并概述了未來研究的有前景方向。

2 數學預備知識：復測度

我們首先回顧一些關于復測度的標準理論（參見 [5, 9]），這構成了我們框架的數學基石。

每個復測度 ν 都可以分解為其實部 νr 和虛部 νi，二者均為有限符號測度。這種分解使我們能夠以自然的方式定義積分。

一個核心概念是總變差測度 |ν|，它刻畫了復測度的“模”。

3 復概率測度與隨機變量

3.1 定義與解釋

我們現在引入本研究的核心對象：一個取值于復平面的概率測度，其靈感來源于物理學中波函數的定義（參見 [1, 10]）。

3.2 復隨機變量

在定義了復概率測度之后，我們現在可以考慮映射到這個新結構的隨機變量。

4 復熵：一種均勻性度量

在奠定了正式基礎之后，我們現在引入第一個主要應用。即一種概率分布均勻性的新穎度量，我們稱之為復熵。

4.1 定義與幾何直觀（連續情形）

與香農熵和微分熵相比，我們對復熵的定義對概率密度函數（PDF）的要求最低。每一個連續分布都可以計算復熵，因為積分總是有限的。然而，當積分發散時，微分熵可能是無窮大。

例 4.1（幾何解釋：向量求和類比）。這一定義背后的直觀是非常幾何化的。將樣本空間中的每個點 x x 視為在復平面中貢獻一個向量。該向量的長度是"概率" p ( x ) 。其方向（相位角）由 β p ( x )
給出。關鍵在于，該角度與"概率"本身成正比。于是，復熵便是所有這些貢獻的向量和的模。

4.2 離散復熵

這一概念自然地擴展到離散分布，這些分布在實踐中經常遇到。

4.3 示例與極限行為

為了具體展示復熵的行為特性，我們考察兩個基本的分布族：均勻分布和高斯分布。此外，我們分析了當這些分布趨近于退化（點質量）分布時復熵的極限行為，并著重強調了極限值對收斂模式的依賴性。

4.3.1 均勻分布

因此，任何均勻分布的復熵恰好為 1，與區間長度和參數 β β 均無關。這驗證了均勻分布達到了可能的最大復熵，與定理 4.1 一致。

4.3.2 高斯分布及通過縮放趨近退化

該積分沒有簡單的閉式形式，但其當 σ → 0 時（即分布變得越來越集中在零附近時）的漸近行為在解析上是可處理的，并且特別富有啟發性。

4.4 與香農熵的比較分析

本質上，香農熵衡量的是不確定性的程度（即我們“不知道”多少），而復熵衡量的是已知概率分布的均勻程度，這一點體現在它們在特定相空間中進行相長干涉的能力上。它們是互補的度量，分別捕捉了分布結構的不同側面。

定理 4.2 指出，混合分布的復熵以各分量縮放復熵的加權平均為上界，其中縮放因子為混合系數。從物理角度來看，混合兩個分布通常會引入相位干涉，從而降低由復熵度量的整體相干性。僅當兩個分量均為均勻分布且它們的相位完美對齊時，混合才能保持相干性。

推論 4.1。如果在其各自支撐集上均為均勻分布，那么在定理 4.2 的條件下，

這些示例和性質加深了對復熵的理解，即它是一種不僅對概率散布敏感，還對分布的精細結構敏感的度量，且由參數 β 調制。極限分析強調了在復熵語境下考慮分布收斂時，所選拓撲的重要性。

4.6 數值計算

復熵可以重寫為

上述模擬是計算復雜積分的標準方法。重要性采樣可以進一步提高近似精度。

5 復散度與復度量：分布比較

除了分析單個分布之外，我們還開發了用于比較兩個分布的工具，從而引出了復散度和復度量的概念。

5.1 定義

5.2 復度量的性質

復度量具有良好的數學性質，使其成為統計分析中的一個穩健工具。

6 應用

為了展示所提出框架的實際效用，我們呈現了一個在統計假設檢驗中的詳細應用，具體而言是非參數雙樣本問題。

6.1 問題設置與方法論

7 結論與未來工作

本文開發了一個用于復值概率測度的綜合框架，并從中推導出了新穎的信息論量：復熵、復散度和復度量。通過引入與分布本身成正比的相位結構，我們創造了通過相干疊加和干涉的視角來度量分布均勻性和相似性的工具。主要成就包括：

• 為連續和離散分布提供了嚴格的定義。
• 建立了基本性質，如有界性、連續性和清晰的極值原理。
• 與香農熵和 KL 散度等經典度量進行了富有洞察力的比較，突出了我們度量的歸一化、以幾何為中心的性質。
• 揭示了與量子力學路徑積分的深刻形式類比，暗示了概率論與量子物理學之間更深層次的概念橋梁。
• 通過在非參數假設檢驗中的詳細應用展示了其實用性。

該框架為未來研究開辟了許多令人興奮的途徑：

• 高維和多變量擴展：推廣定義并研究其在多變量設置中的行為并非易事，但對于現代數據應用至關重要。維數災難和高維中相位的解釋是關鍵挑戰。
• 統計估計理論：開發并分析基于有限樣本的

的估計量。這包括推導收斂速度、漸近分布和高效計算算法。

• 信息幾何：研究復度量在統計流形上誘導的幾何結構。它是否定義了黎曼度量？它的測地線是什么？
• 機器學習應用：探索將復散度用作生成模型（例如，變分自編碼器、生成對抗網絡）中的損失函數，或將復度量用作基于核的方法中的核。這種相位敏感的性質可能有助于對復雜數據分布進行建模。
• 量子啟發算法：利用路徑積分類比來設計用于采樣、優化或分布分析的新量子或經典算法。
• 理論物理聯系：進一步形式化與路徑積分的聯系。復概率測度能否在量子理論的某些半經典或隨機極限中獲得物理解釋？

總之，通過將概率擴展到復數域，我們不僅豐富了其數學結構，還提供了一組具有獨特解釋力和實用潛力的新工具。我們相信，該框架為信息論、統計分析及其他領域提供了一個全新的視角。

原文鏈接：https://arxiv.org/pdf/2603.12297