系列簡介

這是我們一系列原創(chuàng)技術(shù)貼，從易到難，每天學(xué)習(xí)一點(diǎn)。所有內(nèi)容均為疾控?cái)?shù)據(jù)分析、科研論文相關(guān)，或者說很多和現(xiàn)在的熱門監(jiān)測預(yù)警相關(guān)，所以我們這個(gè)系列就叫“監(jiān)測預(yù)警基礎(chǔ)”。

今天是第22節(jié)，在前面兩節(jié)Serfling回歸的基礎(chǔ)上，講一講更為常用實(shí)用的調(diào)整Serfling回歸。

我們上一節(jié)講完Serfling回歸模型之后，

大家是不是覺得很簡單，豁然開朗。

但最后我們又講了傳統(tǒng)Serfling回歸模型的那么多缺陷，你是不是又有些垂頭喪氣呢？

好不容易學(xué)會(huì)了一種方法，居然有這么多缺點(diǎn)，到底還能不能用？

答案是，當(dāng)然可以。

傳統(tǒng)Serfling回歸模型我們講了這幾節(jié)，不是白講的，就是為今天打基礎(chǔ)。

傳統(tǒng)Serfling回歸模型有那么多的缺陷，那就會(huì)出來高人將其完善，或者叫調(diào)整，這就是我們今天要講的調(diào)整Serfling回歸模型。

核心理念：從“主觀剔除”到“客觀篩選”

傳統(tǒng)方法的矛盾在于：要建立一個(gè)純凈的“正?！被€，就得先知道哪些是“異?！钡牧餍衅跀?shù)據(jù)；而判斷“異?！钡囊罁?jù)，又恰恰依賴于一個(gè)尚未建立的“正?！被€。這形成了一個(gè)循環(huán)，使得剔除過程非常主觀，嚴(yán)重依賴分析者的經(jīng)驗(yàn)。

調(diào)整模型的智慧在于，它不再要求我們“事先”知道答案，而是讓數(shù)據(jù)通過迭代計(jì)算，自動(dòng)告訴我們最優(yōu)的基線在哪里。其核心思想是：“正常”的數(shù)據(jù)點(diǎn)，應(yīng)該能被模型很好地?cái)M合；而“異?！钡牧餍悬c(diǎn)，本身就是模型的“噪聲”或“離群值”。

整個(gè)過程就像是一個(gè)不斷自我優(yōu)化的算法，其流程圖和步驟如下：

第一步：首次嘗試，建立基準(zhǔn)

不對數(shù)據(jù)做任何主觀剔除，使用全部歷史數(shù)據(jù)進(jìn)行第一次Serfling回歸擬合。這會(huì)得到一個(gè)初始模型（Model 1），計(jì)算其擬合優(yōu)度R?2，并得到每個(gè)時(shí)間點(diǎn)的預(yù)測值 ?。

關(guān)鍵操作：比較每個(gè)點(diǎn)的實(shí)際值Y和預(yù)測值?。只保留那些 Y < ? 的數(shù)據(jù)點(diǎn)。這些點(diǎn)可以理解為模型“預(yù)測得比較準(zhǔn)、甚至高估了”的點(diǎn)，它們更可能代表“非流行”的基線狀態(tài)。而Y > ?的點(diǎn)，是模型低估的點(diǎn)，很可能就是流行期的異常高點(diǎn)。

第二步：模型競賽，擇優(yōu)錄用

用上一步篩選出的“較正?！睌?shù)據(jù)，擬合第二個(gè)模型（Model 2），得到R?2。

現(xiàn)在的核心判決就是比較R?2和R?2。

如果 R?2 > R?2：這說明把那些“異常高點(diǎn)”留在數(shù)據(jù)集里，反而讓模型整體的解釋力更高。這可能意味著疾病的“正常”水平本身就包含了一定的波動(dòng)，或者所謂的“異?！辈⒉粯O端。此時(shí)，選擇第一個(gè)模型（用全數(shù)據(jù)擬合的）作為最終模型，預(yù)警閾值就直接用其預(yù)測值?。當(dāng)實(shí)際值Y超過預(yù)測值?時(shí)，發(fā)出預(yù)警。

如果 R?2 < R?2：這說明剔除一批高值點(diǎn)后，模型對剩余數(shù)據(jù)的擬合更好了，驗(yàn)證了我們“存在異常點(diǎn)”的猜想。但剔除得是否足夠“干凈”呢？需要進(jìn)入迭代優(yōu)化循環(huán)。

第三步：迭代優(yōu)化，逼近最優(yōu)基線

進(jìn)入一個(gè)循環(huán)，目標(biāo)是找到R2最高的模型。從第二輪開始，篩選標(biāo)準(zhǔn)變得更嚴(yán)格：不再與預(yù)測值?比較，而是與預(yù)測值的95%置信區(qū)間上限??比較。這是一個(gè)更寬、更保守的邊界。

循環(huán)操作：在上一輪模型的基礎(chǔ)上，只保留 Y < 上一輪模型的95%置信上限?? 的數(shù)據(jù)點(diǎn)，然后用這批“更加純凈”的數(shù)據(jù)擬合新模型。比較新舊模型的R2。

循環(huán)終止條件：當(dāng)最新一次擬合的R2不再提高（即低于或等于前一次模型的R2）時(shí)，循環(huán)停止。選擇R2達(dá)到最高的那個(gè)模型作為最終模型，并以該模型對應(yīng)的95%置信上限??作為正式的預(yù)警閾值。

這個(gè)過程可以簡單用下面的流程圖理解。

1.客觀自動(dòng)化，可重復(fù)性強(qiáng)：整個(gè)過程中，哪些點(diǎn)被定義為“流行期”數(shù)據(jù)，是由模型根據(jù)R2比較的客觀標(biāo)準(zhǔn)自動(dòng)篩選的，避免了人為劃定流行期的主觀偏差。任何人用同一套數(shù)據(jù)、同一個(gè)程序，都會(huì)得到完全相同的結(jié)果。

2.動(dòng)態(tài)確定閾值，邏輯更嚴(yán)謹(jǐn)：最終預(yù)警閾值（可能是預(yù)測值?，也可能是其95%置信上限??）是根據(jù)模型競賽結(jié)果動(dòng)態(tài)決定的，與所選定的最優(yōu)基線模型嚴(yán)格匹配，邏輯上自洽。

3.提升預(yù)警性能：通過這種方法找到的基線，能更純粹地反映疾病的“背景水平”，因此在此基礎(chǔ)上設(shè)置的預(yù)警閾值通常能更早、更靈敏地捕捉到真正的流行起始，同時(shí)保持良好的特異性。

4.應(yīng)對復(fù)雜情況：當(dāng)疾病的流行季節(jié)發(fā)生偏移或病原體變異導(dǎo)致模式改變時(shí)，這種數(shù)據(jù)驅(qū)動(dòng)的方法比“固定剔除每年第X-X周”的傳統(tǒng)方法更具適應(yīng)性。

總結(jié)來說，調(diào)整Serfling回歸模型的核心貢獻(xiàn)，是將基線構(gòu)建從一個(gè)依賴先驗(yàn)知識(shí)的、主觀的“預(yù)處理步驟”，轉(zhuǎn)變?yōu)橐粋€(gè)內(nèi)生于模型擬合過程的、客觀的“優(yōu)化算法”。它代表著建模思想從“人告訴機(jī)器規(guī)律是什么”到“讓機(jī)器從數(shù)據(jù)中發(fā)現(xiàn)最優(yōu)規(guī)律”的重要進(jìn)步。

編輯：普通疾控人 | 審核：詩酒趁年華

文章來源 | 原創(chuàng)

說明 | 轉(zhuǎn)載只為分享，如有侵權(quán)聯(lián)系刪除

?版權(quán)聲明 | 部分信息和圖片來自公開網(wǎng)絡(luò)

轉(zhuǎn)載請注明

再次轉(zhuǎn)載請注明出處

科普健康 | 宣傳疾控

本號(hào)為多位疾控機(jī)構(gòu)從業(yè)者運(yùn)營

重點(diǎn)關(guān)注國內(nèi)外健康事件

致力于疾控科普

在做好科普服務(wù)大眾的同時(shí)

做好疾控機(jī)構(gòu)的宣傳

讓更多的人了解疾控，擁抱健康

歡迎加「小編」微信(cdcjkr126com)

本文具體說明

本文為原創(chuàng)內(nèi)容，文章為個(gè)人理解所學(xué)，不涉及疫情信息及內(nèi)部保密數(shù)據(jù)，發(fā)表的目的為自我總結(jié)及給有需求的人士學(xué)習(xí)使用。如有不妥之處，歡迎聯(lián)系小編修改、刪除。

更多精彩視頻，盡在“CDC疾控人”視頻號(hào)