![]()
系列簡(jiǎn)介
這是我們一系列原創(chuàng)技術(shù)貼,從易到難,每天學(xué)習(xí)一點(diǎn)。所有內(nèi)容均為疾控?cái)?shù)據(jù)分析、科研論文相關(guān),或者說很多和現(xiàn)在的熱門監(jiān)測(cè)預(yù)警相關(guān),所以我們這個(gè)系列就叫“監(jiān)測(cè)預(yù)警基礎(chǔ)”。
今天是第6節(jié),前面講了很多的關(guān)于算數(shù)移動(dòng)平均的應(yīng)用,今天算是新的內(nèi)容,講一講指數(shù)加權(quán)移動(dòng)平均,系統(tǒng)學(xué)習(xí)一下究竟什么是指數(shù)加權(quán)!
在傳染病監(jiān)測(cè)預(yù)警中,我們常常面臨這樣的困境:傳統(tǒng)的簡(jiǎn)單移動(dòng)平均對(duì)近期變化的反應(yīng)不夠靈敏,而單周數(shù)據(jù)又波動(dòng)太大、容易誤報(bào)。
今天,我們聚焦一種在疾控監(jiān)測(cè)中極具價(jià)值的高級(jí)工具——指數(shù)加權(quán)移動(dòng)平均(The Exponentially Weighted Moving Average,EWMA)。它能夠更敏銳地捕捉疫情的早期變化,為防控決策贏得寶貴時(shí)間。
![]()
EWMA是由美國(guó)貝爾實(shí)驗(yàn)室的S. W. Roberts博士于1959年提出。原有簡(jiǎn)單控制圖法在處理小波動(dòng)或趨勢(shì)變化時(shí)存在不足,Roberts博士開始探索新的方法,其在簡(jiǎn)單移動(dòng)平均的基礎(chǔ)上引入了權(quán)重的思想。
核心思想就是距今越近,數(shù)據(jù)權(quán)重越大;距今越遠(yuǎn),數(shù)據(jù)權(quán)重越小;隨著時(shí)間的推移呈指數(shù)形式遞減。
EWMA的優(yōu)勢(shì)就是它會(huì)給近期數(shù)據(jù)更高權(quán)重,讓監(jiān)測(cè)系統(tǒng)對(duì)新變化更敏感,同時(shí)對(duì)歷史數(shù)據(jù)“逐漸淡忘”,實(shí)現(xiàn)動(dòng)態(tài)追蹤。
所以EWMA最重要參數(shù)就是,為權(quán)重因子, 0<<1,決定遞減速度。
我們通過比較就能發(fā)現(xiàn)指數(shù)加權(quán)移動(dòng)平均的精髓
![]()
![]()
計(jì)算指數(shù)加權(quán)之后的病例數(shù):
![]()
Zt:今天(t時(shí)刻)的指數(shù)加權(quán)之后的病例數(shù),也就是EWMA值
Xt:今天的新觀測(cè)值,原始數(shù)據(jù)
Z(t-1):昨天的EWMA值,它包含了昨天之前的所有歷史信息
λ:平滑系數(shù),或者交權(quán)重系數(shù)、衰減因子,這就是我們要說的的“指數(shù)”,它決定了新數(shù)據(jù)的權(quán)重和遺忘的速度,范圍在0到1之間。
![]()
額外說明一下,這個(gè)初始值,也就是第一個(gè)EWMA值,通常直接用第一個(gè)數(shù)據(jù)點(diǎn)或目標(biāo)的平均值。
此外,從操作方法上看這個(gè)方法似乎只是移動(dòng)指數(shù)加權(quán),但其本質(zhì)是對(duì)所有歷史數(shù)據(jù)做的加權(quán)平均,它代表一個(gè)“位置”或“中心趨勢(shì)”:就像算術(shù)平均值代表一組數(shù)據(jù)的中心一樣,EWMA值代表了近期而且含歷史影響過程水平的估計(jì)中心,所以叫指數(shù)加權(quán)移動(dòng)平均!
![]()
λ的含義:λ是衡量“新數(shù)據(jù)的權(quán)重”
λ越大(接近1,如0.9):當(dāng)前新數(shù)據(jù)的權(quán)重越大,這意味著模型更信任新數(shù)據(jù),更不信任歷史記憶。因此,它對(duì)新變化反應(yīng)極快,曲線會(huì)緊跟原始數(shù)據(jù)的波動(dòng),靈敏度高,但穩(wěn)定性差,更容易被噪聲干擾。
λ越小(接近0,如0.1):新數(shù)據(jù)的權(quán)重越小,歷史記憶的權(quán)重越大。這意味著模型更信任長(zhǎng)期建立的歷史基線,對(duì)新數(shù)據(jù)持保守態(tài)度。因此,它對(duì)新變化反應(yīng)溫和,曲線非常平滑,能有效過濾短期波動(dòng),穩(wěn)定性強(qiáng),但靈敏度低,對(duì)微小變化反應(yīng)滯后。
λ大靈敏度高,λ小穩(wěn)健性強(qiáng)。如果還沒有很理解,接下來我們直接上數(shù)據(jù)看看,不同λ大小畫出來的線究竟有啥區(qū)別!
我們對(duì)以下數(shù)據(jù)做7日移動(dòng)平均、λ為0.8的移動(dòng)加權(quán)和λ為0.3的移動(dòng)加權(quán)。
![]()
畫出折線圖如下![]()
這樣就可以比較清楚的看出
黑色線(日病例數(shù)):這是實(shí)際每天報(bào)告的病例數(shù),是“真相”,但充滿噪聲,日?qǐng)?bào)告波動(dòng)、周末效應(yīng)等。
黃色線(λ=0.8 的 EWMA):它幾乎緊貼著黑色線上下起伏。每當(dāng)黑色線在12月3日、17日出現(xiàn)尖峰,黃線都幾乎同步地出現(xiàn)一個(gè)陡峭的突起。因?yàn)?λ=0.8 賦予了新數(shù)據(jù)(今日病例數(shù))高達(dá)80%的權(quán)重,所以它像一個(gè)“實(shí)時(shí)跟蹤器”,極度敏感,幾乎無滯后,但也因此繼承了原始數(shù)據(jù)的大部分波動(dòng)。它適合用于需要分鐘級(jí)、小時(shí)級(jí)反應(yīng)的高頻監(jiān)控場(chǎng)景,在日數(shù)據(jù)層面則顯得“躁動(dòng)”。
綠色線(λ=0.3 的 EWMA):它是最平滑、最沉穩(wěn)的一條線。它完全無視了12月3日的單日小尖峰,對(duì)于12月中下旬的整體上升趨勢(shì),它呈現(xiàn)出一條清晰、堅(jiān)定、無抖動(dòng)的上升斜坡。因?yàn)?λ=0.3 賦予新數(shù)據(jù)的權(quán)重僅30%,而70%依賴于歷史(昨天的EWMA值)。這使它擁有強(qiáng)大的“慣性”和“記憶力”,穩(wěn)定性更強(qiáng),能有效過濾掉偶然的日度波動(dòng),只將持續(xù)、一致的趨勢(shì)變化納入曲線。
紅色線(7日移動(dòng)平均):其平滑度介于黃綠之間,像一個(gè)標(biāo)準(zhǔn)的“趨勢(shì)基線”,7日移動(dòng)平均的主要問題是會(huì)完全忘掉7天之前的數(shù)據(jù)。它的行為在數(shù)學(xué)上近似于一個(gè) λ 約等于 0.25 的 EWMA,所以其平滑和穩(wěn)健的特性與綠線(λ=0.3)相似,但因?yàn)槭枪潭ù翱诘暮?jiǎn)單平均,在趨勢(shì)轉(zhuǎn)折時(shí)可能略有一點(diǎn)不同。
好了,這些應(yīng)該明白指數(shù)加權(quán)移動(dòng)平均怎么計(jì)算以及λ的影響了吧!
那么,λ是怎么確定的呢,這么說吧,λ 是通過“基于目標(biāo)的計(jì)算”得到一個(gè)初始建議值,然后通過“手動(dòng)調(diào)整”來最終確定的,它不是憑空試出來的,但也不是一個(gè)固定公式能完全算死的。λ的“最終值”確定必須通過結(jié)合自身歷史數(shù)據(jù)反復(fù)測(cè)試、調(diào)整,以達(dá)到誤報(bào)和漏報(bào)間最佳平衡。
![]()
編輯:普通疾控人 | 審核:詩酒趁年華
文章來源 | 原創(chuàng)
說明 | 轉(zhuǎn)載只為分享,如有侵權(quán)聯(lián)系刪除
?版權(quán)聲明 | 部分信息和圖片來自公開網(wǎng)絡(luò)
轉(zhuǎn)載請(qǐng)注明
再次轉(zhuǎn)載請(qǐng)注明出處
![]()
科普健康 | 宣傳疾控
本號(hào)為多位疾控機(jī)構(gòu)從業(yè)者運(yùn)營(yíng)
重點(diǎn)關(guān)注國(guó)內(nèi)外健康事件
致力于疾控科普
在做好科普服務(wù)大眾的同時(shí)
做好疾控機(jī)構(gòu)的宣傳
讓更多的人了解疾控,擁抱健康
歡迎加「小編」微信(cdcjkr126com)
本文具體說明
本文為原創(chuàng)內(nèi)容,文章為個(gè)人理解所學(xué),不涉及疫情信息及內(nèi)部保密數(shù)據(jù),發(fā)表的目的為自我總結(jié)及給有需求的人士學(xué)習(xí)使用。如有不妥之處,歡迎聯(lián)系小編修改、刪除。
更多精彩視頻,盡在“CDC疾控人”視頻號(hào)
![]()
轉(zhuǎn)發(fā),點(diǎn)贊,在看,安排一下?6
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.