無先驗可能性推斷的高效蒙特卡洛方法

An efficient Monte Carlo method for valid prior-free possibilistic statistical inference

無先驗可能性推斷的高效蒙特卡洛方法

https://arxiv.org/pdf/2501.10585

摘要

推斷模型(IMs)提供了一種無需先驗、類似貝葉斯后驗的信度，專為統計推斷設計，其特點是具有類似頻率派的校準性質，確保了所述推斷的可靠性。關鍵在于，IM的信度是可能性的而非概率性的，并且由于常見的蒙特卡洛方法近似的是概率量，因此將該框架付諸實踐面臨著巨大的計算挑戰。本文通過開發一種新的、專門設計用于近似可能性IM輸出的蒙特卡洛方法，克服了這些挑戰。該提議基于對可能性IM信度集的一個刻畫，該刻畫將IM的“最佳概率近似”識別為一個可以方便地近似并從中采樣的混合分布。然后，這些樣本可以轉化為對可能性IM的近似。數值結果展示了所提出近似方法的準確性和計算效率。

關鍵詞：置信分布；信度集；高斯可能性；推斷模型；內部概率近似。

1 引言
多年來，人們為推動費希爾的信仰推斷愿景做出了許多努力。在這些努力中，可以說“2010年代原創性的統計創新之一”(Cui and Hannig 2024)是Martin and Liu (2013, 2015a,c)提出、后經Martin and Liu (2015b)綜合的推斷模型(IM)框架。IM框架的獨特之處在于其輸出采用了一種不精確概率的形式——具體來說，是一種可能性測度——因此，推斷基于可能性推理：被賦予小可能性的假設被數據反駁，而其補集被賦予小可能性的假設則被數據確證。這種從概率論到可能性論的轉變有其原則性的動機：IM的可能性滿足一種頻率派風格的有效性性質，而貝葉斯/信仰概率不滿足該性質，即賦予真實假設的IM可能性傾向于不小，因此，數據驅動的IM輸出反駁真實假設或確證錯誤假設是一個可證明的罕見事件。關于IM及其性質的更多細節將在下面的第2節中提供；關于可能性論的一些基本背景在附錄A中給出。盡管IM框架提供了諸多優點，但其推廣速度一直很慢，主要原因是計算上的挑戰。事實上，正如Jacob等人(2021)最近所示，用于近似普通概率的常見蒙特卡洛方法不足以近似不精確概率；需要更多的東西。本文的目標就是為可能性IM識別上述“更多的東西”，并開發相應的計算機制，使IM框架能夠易于在應用的日常使用中訪問。

本文的出發點是這樣的事實：所有（連貫的）不精確概率，包括可能性IM的輸出，都對應于一組成非空的普通或精確概率，稱為信度集。不同種類的不精確概率有其自身的數學性質，而這種區別的一種體現方式就在于對其相關信度集施加的約束類型。可能性測度是最簡單的不精確概率之一，反過來，它們的信度集具有相對簡單的刻畫。特別是，像下面的定理1中的結果使得相對容易地識別信度集中“最佳近似”IM可能性輸出的概率分布。這種最佳近似在數學上相對簡單，但可能難以計算；幸運的是，可以進行進一步的近似。這種第二層次的近似可以采取多種形式，但受Martin and Williams (2025)中漸近結果的啟發，這里我將采用Cella and Martin (2025)中提出的一系列高斯近似。正如Cella和Martin所承認的，這些單個的高斯近似本身并不完全令人滿意，因為它們僅能確保有限意義上的準確性。如果這些單個的近似能夠被恰當地拼接起來，那么將給出一個整體準確的近似——但Cella和Martin未能提供合適的拼接程序。在這里，利用定理1，我提出了一種實現相關統計和計算需求的拼接程序，從而填補了Cella和Martin留下的關鍵空白，并為IM輸出提供了一種有原則的概率近似。我還展示了如何將這個概率近似轉換回一個既易于計算又能準確近似目標IM輸出的可能性測度。

本文的其余部分安排如下。第2節提供了關于可能性IM的必要背景，強調了現有的計算瓶頸。信度集刻畫和提議的蒙特卡洛策略在第3節中介紹。第4節中展示了三個說明性示例，包括邏輯斯蒂回歸和一個涉及刪失數據的半參數問題。在這些例子中，直接但樸素的IM計算代價高昂但并非不可及，因此可以評估所提出近似方法的準確性。第5節通過實證表明，與標準的貝葉斯和基于似然的解相比，所提出的IM近似表現良好。第6節考慮了一個更高維的邏輯斯蒂回歸例子，其中所提出的IM近似可以在幾秒鐘內輕松解決一個在IM文獻中以往努力幾乎無法觸及的問題。本文的見解和成果構成了為實踐者創建IM工具箱所需的一系列發展中的重要第一步。第7節的 concluding remarks 描述了我的愿景，即這些發展能夠且需要走向何方。相關的技術細節在附錄/補充材料中給出。

2 背景

最初的IM發展依賴于隨機集及其相應的信任函數。Martin (2022b)在Martin (2015, 2018)的基礎上進行的最新發展，通過將概率到可能性的變換應用于模型的相對似然，定義了可能性IM。這一轉變在哲學上很重要，但本綜述側重于該可能性IM的細節、性質和計算。

這種純粹由似然驅動的可能性具有許多理想的性質，這里我不打算深入探討。然而，它所缺乏的是，為何賦予關于 Θ 的假設的這些“可能性”具有形成信念的推斷權重，對此缺乏合理性依據。在空無先驗信息的情況下，這些可能性賦值背后沒有貝葉斯依據，因此合理性只能來自類似頻率派的校準性質——即賦予真實假設小的可能性是一個可證明的罕見事件——但純粹基于似然的可能性賦值無法以實際有用的方式滿足這一要求。因此，雖然相對似然在模型擬合方面提供了一種自然的、數據驅動的參數排序，但這對于有原則且可靠的統計推斷來說是不夠的。

然而幸運的是，在概念上，通過應用 Martin (2022a) 所稱的“validification”——一種概率到可能性的變換（例如，Dubois et al. 2004; Hose 2022）——來實現所需的校準是直接的。具體來說，對于觀測數據 Z = z ，可能性IM的輪廓定義為

3 用于IM的蒙特卡洛方法 3.1 對可能性IM的概率近似

原文鏈接：https://arxiv.org/pdf/2501.10585