因果潛在因子模型中的雙重穩健推斷

Doubly Robust Inference in Causal Latent Factor Models

因果潛在因子模型中的雙重穩健推斷

https://arxiv.org/pdf/2402.11652

摘要

本文介紹了一種在存在未觀測混雜因素情形下估計平均處理效應的新估計量，適用于現代數據豐富環境，該環境具有大量觀測單元與結果變量。所提出的估計量具有雙重穩健性，融合了結果填補（outcome imputation）、逆概率加權（inverse probability weighting）以及一種用于矩陣補全（matrix completion）的新型交叉擬合（cross-fitting）程序。我們推導了有限樣本與漸近性質的理論保證，并證明該新估計量的誤差以參數速率收斂至均值為零的高斯分布。模擬結果驗證了本文所分析估計量的形式性質的實際相關性。

1. 引言

本文提出了一種在存在未觀測混雜因素情形下、針對現代數據豐富環境的平均處理效應估計新框架。我們將現代數據豐富環境定義為在大量觀測單元上收集了廣泛結果測量值的環境。我們對數據豐富環境的關注源于數字平臺（例如互聯網零售商、社交媒體公司和共享出行公司）、電子病歷系統、物聯網設備以及其他實時數字化數據系統的興起，這些系統以前所未有的廣度與細粒度收集經濟與社會行為數據。

以互聯網零售商為例。該平臺不僅收集眾多客戶在眾多產品或產品類別上的購買信息，還記錄瀏覽次數、曝光量、轉化率、參與度指標、導航路徑、配送選擇、支付方式、退貨記錄、用戶評價等數據。盡管某些變量（如地理位置、設備或瀏覽器類型）可被安全地視為相對于平臺處理行為（如廣告投放、折扣發放、網頁設計等）預先確定的變量，但大多數變量均為受處理干預、潛在客戶偏好及未觀測產品特征共同影響的結果變量。我們利用現代數據豐富環境中大量結果測量值的可得性，在存在未觀測混雜因素的情況下估計平均處理效應。核心識別思想在于：若高維結果向量的每個元素均受同一低維未觀測混雜因素向量的影響，則有可能消除混雜因素的影響并識別出處理效應。

處理效應估計主要有兩種方法：基于結果的方法（outcome-based methods）與基于分配的方法（assignment-based methods）。仍以互聯網零售平臺為例，客戶與不同產品類別發生交互，平臺針對每個消費者-類別配對決定是否提供折扣，并記錄消費者是否在該類別中購買了產品。基于結果的方法通過填補每個消費者-產品類別配對缺失的潛在結果進行操作：該過程包括預測接受折扣的消費者若未獲得折扣是否會購買（即無折扣下的潛在結果），反之亦然，預測未獲折扣的消費者若獲得折扣是否會購買（即有折扣下的潛在結果）。相比之下，基于分配的方法則估計消費者在各產品類別中獲得折扣的概率，并通過對觀測結果進行與缺失概率成反比的加權來調整缺失的潛在結果。

大量文獻探討了基于結果的方法，尤其在所有混雜因素均被觀測的設定下（參見如Cochran, 1968；Rosenbaum與Rubin, 1983；Angrist, 1998；Abadie與Imbens, 2006等眾多研究）。在存在未觀測混雜因素情形下進行潛在結果填補則構成更為復雜的挑戰。在此背景下，常用框架包括合成控制法及其變體（參見如Abadie與Gardeazabal, 2003；Abadie等, 2010；Cattaneo等, 2021；Arkhangelsky等, 2021）。另一種相關但不同的方法是潛在因子框架（latent factor framework）（Bai與Ng, 2002；Bai, 2009；Xiong與Pelger, 2023），其中高維結果向量的每個元素均受同一低維未觀測混雜因素向量影響。矩陣補全方法（參見如Chatterjee, 2015；Athey等, 2021；Bai與Ng, 2021；Dwivedi等, 2022a；Agarwal等, 2023a）在推薦系統與面板數據模型中得到廣泛應用，與潛在因子模型密切相關。類似地，現有的基于分配的平均處理效應估計程序通常依賴于無未測量混雜假設（參見如Robins等, 2000；Hirano等, 2003；Wooldridge, 2007）、共同趨勢限制（Abadie, 2005）或工具變量的可得性（Abadie, 2003；Sloczynski等, 2024）。

本文提出了一種在存在未觀測混雜因素情形下的平均處理效應雙重穩健估計量（參見Robins等, 1994；Bang與Robins, 2005；Chernozhukov等, 2018）。該估計量在潛在因子框架下同時利用結果過程與處理分配機制的信息，將結果填補與逆概率加權相結合，并引入一種用于矩陣補全的新型交叉擬合方法。我們證明，相較于其他基于結果或基于分配的估計量，所提出的雙重穩健估計量具有更優的有限樣本保證。此外，在矩陣補全誤差率可被證明有效的條件下，無論所用矩陣補全算法的其他性質如何，該雙重穩健估計量均漸近無偏、近似服從高斯分布，并以參數速率收斂。

據我們所知，本文是首篇同時利用分配過程與結果過程中的潛在結構，以獲得存在未觀測混雜因素時平均處理效應雙重穩健估計量的研究。Arkhangelsky與Imbens（2022）在縱向數據下研究了雙重穩健識別，其假設是對處理分配隨時間變化的某一函數（例如個體暴露于處理的次數比例）進行條件化足以消除混雜。Athey等（2021）、Bai與Ng（2021）、Dwivedi等（2022a）、Agarwal等（2023a）以及Xiong與Pelger（2023）提出了應用矩陣補全技術填補潛在結果的估計量。盡管這些研究利用了結果過程中的低秩限制，但并未探究處理分配過程中可能存在類似潛在結構的可能性。本文對此問題進行了探討，并證明納入分配機制結構知識可帶來實質性收益。

1. 設定

1. 估計

在本節中，我們提出一種利用處理分配矩陣A和觀測結果矩陣Y來估計的程序，其中

本節所提出的估計量將矩陣補全作為關鍵子程序加以利用。我們以矩陣補全方法的簡要概述開啟本節。

3.2. 關鍵構建模塊

3.3. 雙重穩健（DR）估計量

4. 主要結果

4.1. 假設
關于數據生成過程的要求。我們對數據的生成方式作出兩項假設。首先，我們對分配概率施加一個正值性條件。

公式(14)要求，在每個單元的兩個分區內，對于每次測量，估計的潛在結果均值和估計的分配概率與分配概率中的誤差聯合獨立。類似地，公式(15)要求，在每個單元的兩個分區內，對于每次測量，估計的分配概率與分配概率和潛在結果中的噪聲聯合獨立。像公式(14)和公式(15)這樣的條件在雙穩健估計文獻中是常見的。Chernozhukov等人(2018)采用交叉擬合裝置，在沒有未測量混雜因素的背景下，強制執行類似于假設4的條件。第5節為矩陣估計提供了一種新穎的交叉擬合流程，在該流程下，假設4對任何MC算法都成立（在對噪聲變量的額外假設下）。

4.3.漸近保證

該模型中滯后處理效應的存在使得為整個處理序列定義因果估計量變得至關重要。附錄I描述了如何將所提出的雙穩健估計擴展到處理序列，并推導了定理1的推廣形式。

5. 帶有交叉擬合的矩陣補全

5.1. 交叉擬合-MC：一種用于矩陣補全的元交叉擬合算法

許多MC算法旨在對隨機缺失模式下的矩陣進行去噪和缺失值插補；研究最常見的缺失模式是每個條目有相同的缺失概率，且獨立于其他所有因素。相比之下，交叉擬合-MC生成的模式中，一個區塊內的所有條目都是確定性缺失的，如圖3(b)所示。最近關于矩陣補全方法與因果推斷模型之間相互作用的研究——特別是在合成控制框架內——已經貢獻了允許塊狀缺失的矩陣補全算法（參見，例如，Athey等人，2021；Agarwal等人，2021；Bai和Ng，2021；Agarwal等人，2023b；Arkhangelsky等人，2021；Agarwal等人，2023a；Dwivedi等人，2022a,b）。然而，將這些方法已知的理論保證應用于本文的設定存在挑戰，原因在于：(i) 使用了交叉擬合——這創建了所有觀測都缺失的區塊——以及 (ii) 在完全缺失的區塊之外，仍然可能存在具有異質缺失概率的缺失觀測。在下一節中，我們將展示如何修改為塊狀缺失模式設計的MC算法，使其能夠應用于我們的帶有交叉擬合和折疊外異質缺失概率的設定。為具體起見，我們采用Bai和Ng（2021）的Tall-Wide矩陣補全算法進行說明。

5.2. 交叉擬合-SVD算法

交叉擬合-SVD是一個端到端的MC算法，通過將交叉擬合-MC元算法與Bai和Ng（2021）的Tall-Wide算法（我們稱之為TW）實例化而獲得。為完整起見，我們在第5.2.1節詳細描述TW算法，然后在第5.2.2節中使用它來描述交叉擬合-SVD。

原文鏈接：https://arxiv.org/pdf/2402.11652