Bayesian deep-learning structured illumination microscopy enables reliable super-resolution imaging with uncertainty quantification

貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微術(shù)讓超分辨率成像更可靠，還能衡量結(jié)果的不確定性

光學(xué)超分辨率成像的目標(biāo)是獲取可靠的亞衍射信息，以促進(jìn)科學(xué)發(fā)現(xiàn)。結(jié)構(gòu)化照明顯微術(shù)（SIM）被認(rèn)為是活細(xì)胞超分辨率成像的最佳方式。盡管最近的深度學(xué)習(xí)技術(shù)已經(jīng)顯著推動(dòng)了SIM的發(fā)展，但其透明度和可靠性仍然不確定且有待深入研究，這常常導(dǎo)致結(jié)果不可靠和對(duì)生物現(xiàn)象的錯(cuò)誤解釋。

在這里，我們開(kāi)發(fā)了貝葉斯深度學(xué)習(xí)（BayesDL）用于SIM，它增強(qiáng)了對(duì)密集標(biāo)記結(jié)構(gòu)的重建，同時(shí)能夠量化超分辨率的不確定性。憑借這種不確定性，BayesDL-SIM實(shí)現(xiàn)了高保真度的分布信息引導(dǎo)的SIM成像，允許向用戶傳達(dá)關(guān)于模型結(jié)果的可信度估計(jì)。我們還證明了BayesDL-SIM通過(guò)識(shí)別和防止各種模型誤用場(chǎng)景中的錯(cuò)誤泛化，提高了SIM的可靠性。此外，BayesDL的不確定性在日常超分辨率成像中具有多種用途，例如誤差估計(jì)、數(shù)據(jù)采集評(píng)估等。此外，我們還展示了BayesDL-SIM在活細(xì)胞成像中的有效性和優(yōu)越性，它可靠地揭示了F-肌動(dòng)蛋白的動(dòng)態(tài)變化以及細(xì)胞骨架的重組。這項(xiàng)工作為深度學(xué)習(xí)基礎(chǔ)的SIM方法在實(shí)際應(yīng)用中的可靠實(shí)施奠定了基礎(chǔ)。

近年來(lái)，超分辨率（SR）熒光顯微技術(shù)得到了迅猛發(fā)展，它能夠突破衍射極限，并以前所未有的高分辨率揭示各種生物過(guò)程。在眾多超分辨率技術(shù)中，結(jié)構(gòu)化照明顯微術(shù)（SIM）因其快速成像速度、低光毒性、高光子效率以及與熒光團(tuán)的出色兼容性，被認(rèn)為是最有希望用于活細(xì)胞成像的技術(shù)。SIM通常會(huì)在樣本上應(yīng)用一系列具有不同相位偏移和方向的空間圖案化照明，將通常無(wú)法分辨的高頻信息編碼到顯微光學(xué)傳遞函數(shù)的通帶中。除了硬件部分，作為一種計(jì)算超分辨率技術(shù)，SIM需要重建算法從原始圖像中提取超分辨率信息，然后生成超分辨率SIM（SR-SIM）圖像。傳統(tǒng)的重建方法基于復(fù)雜的頻域工作流程或采用手工制作的分析模型，通常容易產(chǎn)生偽影，或在信號(hào)保留和噪聲抑制之間做出妥協(xié)?；谏疃葘W(xué)習(xí)的SIM（DL-SIM）方法利用深度神經(jīng)網(wǎng)絡(luò)（DNN）以數(shù)據(jù)驅(qū)動(dòng)的方式從配對(duì)的原始和SIM數(shù)據(jù)中捕獲統(tǒng)計(jì)知識(shí)，與傳統(tǒng)方法相比，展現(xiàn)出顯著優(yōu)勢(shì)，例如更高的保真度和更強(qiáng)的抗噪能力，因此成為SIM計(jì)算成像領(lǐng)域的主流標(biāo)準(zhǔn)。

盡管DL-SIM方法廣泛流行，但仍面臨兩個(gè)實(shí)際挑戰(zhàn)。首先，存在噪聲時(shí)的SIM重建本質(zhì)上是一個(gè)不適定的逆問(wèn)題，這意味著對(duì)于任何一組給定的原始圖像，都可能存在許多潛在的超分辨率解決方案。然而，無(wú)論輸入圖像的信噪比（SNR）如何，以及是否適用于重建模型，當(dāng)前的DL-SIM方法只輸出一個(gè)重建結(jié)果，而不考慮其不適定性或超分辨率信息的正確性。其次，生物樣本/結(jié)構(gòu)的多樣性極高，即使是經(jīng)驗(yàn)豐富的用戶也很難判斷輸入圖像是否與訓(xùn)練好的DL-SIM模型在知識(shí)一致性（KC）方面相符，因此評(píng)估和量化KC規(guī)范對(duì)于可靠采用DL-SIM模型至關(guān)重要，但到目前為止尚未實(shí)現(xiàn)。請(qǐng)注意，模型知識(shí)應(yīng)涵蓋成像統(tǒng)計(jì)的所有方面，任何方面的知識(shí)不一致（KIC）都會(huì)導(dǎo)致性能?chē)?yán)重下降和明顯的偽影。然而，由于模型知識(shí)隱含在預(yù)訓(xùn)練權(quán)重中，對(duì)用戶來(lái)說(shuō)是不可見(jiàn)的，因此保持KC規(guī)范并非易事，尤其是對(duì)于沒(méi)有太多深度學(xué)習(xí)經(jīng)驗(yàn)的生物學(xué)家或新手用戶。

在本工作中，我們開(kāi)發(fā)了一種用于SIM的貝葉斯深度學(xué)習(xí)（BayesDL）框架。BayesDL-SIM不僅提高了復(fù)雜結(jié)構(gòu)的保真度，還能夠量化SIM重建中的不同類(lèi)型的不確定性，包括隨機(jī)不確定性（AleaU）和認(rèn)知不確定性（EpisU），其中AleaU表征由于原始數(shù)據(jù)中超分辨率信息不完整而導(dǎo)致的成像不適定性，而EpisU則突出了重建模型在其泛化過(guò)程中的知識(shí)缺陷。具體來(lái)說(shuō)，通過(guò)將潛在的超分辨率流形建模為異方差概率分布，BayesDL-SIM量化了AleaU，并首次實(shí)現(xiàn)了精確的分布信息引導(dǎo)的超分辨率成像。此外，我們不是使用確定性模型，而是在隨機(jī)貝葉斯神經(jīng)網(wǎng)絡(luò)（BNN）內(nèi)進(jìn)行貝葉斯后驗(yàn)推斷，以量化EpisU。憑借BayesDL-SIM賦予的EpisU，現(xiàn)在可以識(shí)別由各種KIC引起的錯(cuò)誤泛化，從而幫助防止不可靠成像和隨后的生物誤解釋。此外，BayesDL的不確定性還作為一種有價(jià)值的工具，在日常超分辨率成像中展現(xiàn)出多種用途，例如超分辨率缺陷估計(jì)、數(shù)據(jù)采集評(píng)估等。此外，我們?cè)诨罴?xì)胞成像實(shí)驗(yàn)中展示了BayesDL-SIM的優(yōu)越性，表明BayesDL-SIM能夠?qū)崿F(xiàn)活細(xì)胞中肌動(dòng)蛋白動(dòng)態(tài)的高保真度、可靠、長(zhǎng)期可視化。

結(jié)果

貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微術(shù)（BayesDL-SIM）的開(kāi)發(fā)

與目前旨在通過(guò)確定性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)從原始圖像到高質(zhì)量真實(shí)結(jié)構(gòu)化照明顯微術(shù)（GT-SIM）圖像的一一映射關(guān)系的DL-SIM方法不同，我們開(kāi)發(fā)了用于SIM的貝葉斯深度學(xué)習(xí)（BayesDL），這是一個(gè)能夠以最高精度推斷超分辨率結(jié)構(gòu)的同時(shí)，還能對(duì)SIM成像中的兩種不確定性（即隨機(jī)不確定性和認(rèn)知不確定性）進(jìn)行推理的貝葉斯框架。具體來(lái)說(shuō)，BayesDL-SIM將源于超分辨率不適定性的隨機(jī)不確定性（AleaU）形式化為潛在SIM圖像的概率分布，同時(shí)將認(rèn)知不確定性（EpisU）形式化為給定由參數(shù)θ參數(shù)化的網(wǎng)絡(luò)時(shí)模型參數(shù)θ的概率分布。隨后，BayesDL-SIM預(yù)測(cè)潛在SIM圖像的分布為：

其中 N 是數(shù)據(jù)項(xiàng)的數(shù)量，是真實(shí)的SIM圖像，分別表示估計(jì)的高斯均值和標(biāo)準(zhǔn)差，其對(duì)參數(shù)的依賴關(guān)系通過(guò)下標(biāo) θ 來(lái)突出。BayesDL網(wǎng)絡(luò)可以通過(guò)與成對(duì)的原始和真實(shí)SIM圖像一起，以端到端的方式訓(xùn)練來(lái)最小化異方差損失。誠(chéng)然，異方差損失允許在SIM重建的同時(shí)量化AleaU。然而，我們發(fā)現(xiàn)它可能會(huì)損害重建的保真度。為了避免異方差損失對(duì)重建質(zhì)量的不利影響，我們提出了一種解耦訓(xùn)練（DeT）方案，該方案包括兩個(gè)步驟：（1）施加雙域損失來(lái)指導(dǎo)與SIM重建相關(guān)的參數(shù)優(yōu)化；（2）凍結(jié)在第一步中訓(xùn)練的參數(shù)，并應(yīng)用異方差損失進(jìn)行AleaU學(xué)習(xí)。

為了量化EpisU，我們通過(guò)將我們的BayesDL網(wǎng)絡(luò)轉(zhuǎn)換為貝葉斯神經(jīng)網(wǎng)絡(luò)（BNN），然后執(zhí)行貝葉斯后驗(yàn)推斷來(lái)捕獲后驗(yàn)分布。盡管如此，對(duì)于深度神經(jīng)網(wǎng)絡(luò)（DNNs）來(lái)說(shuō)，貝葉斯后驗(yàn)推斷通常是難以處理的。在這里，我們采用了一種稱為隨機(jī)梯度Langevin動(dòng)力學(xué)（SGLD）的近似貝葉斯推斷方法，其基本策略是在訓(xùn)練期間向參數(shù)更新中注入噪聲，以這種方式，模型參數(shù)的軌跡將收斂到真實(shí)的后驗(yàn)分布。

在推斷階段，我們還遵循方程（1），并使用蒙特卡洛（MC）技術(shù)來(lái)近似積分。通過(guò)從SGLD推斷的后驗(yàn)中采樣 θ，可以生成多個(gè)推斷（稱為MC樣本）。預(yù)測(cè)均值作為最終的超分辨率SIM結(jié)果，并由以下公式給出：

在這項(xiàng)研究中，我們使用了恒定的五個(gè)蒙特卡洛（MC）樣本，以獲得最佳的性能-復(fù)雜度權(quán)衡（補(bǔ)充圖6）。我們建議感興趣的讀者參閱補(bǔ)充說(shuō)明4，以獲取有關(guān)BayesDL-SIM的開(kāi)發(fā)和實(shí)現(xiàn)的完整細(xì)節(jié)。

BayesDL-SIM實(shí)現(xiàn)了精確的分布信息引導(dǎo)的超分辨率成像

首先，我們?cè)诙喾N由熒光蛋白標(biāo)記的亞細(xì)胞結(jié)構(gòu)上測(cè)試了BayesDL與其他最先進(jìn)的SIM方法的重建性能，包括包被網(wǎng)格蛋白的坑（CCPs）、微管（MTs）和F-肌動(dòng)蛋白。我們觀察到，與DFCAN和RCAN相比，BayesDL-SIM能更精確地重建復(fù)雜或微弱的結(jié)構(gòu)，同時(shí)防止產(chǎn)生與傳統(tǒng)SIM相比的不良偽影（圖1c和補(bǔ)充視頻1-3）。我們還展示了BayesDL-SIM在處理嘈雜原始數(shù)據(jù)方面的優(yōu)越性，其中Hessian-SIM特征是過(guò)多的重建偽影，DFCAN和RCAN導(dǎo)致一些詳細(xì)結(jié)構(gòu)的混亂或缺失，而B(niǎo)ayesDL-SIM表現(xiàn)出優(yōu)越的抗噪性，并仍然產(chǎn)生忠實(shí)的超分辨率SIM結(jié)果（補(bǔ)充圖7a和補(bǔ)充視頻1-3）。沿著F-肌動(dòng)蛋白的線掃描輪廓也表明，BayesDL-SIM結(jié)果與真實(shí)SIM結(jié)果的一致性更好（圖1g和補(bǔ)充圖7e）。此外，為了進(jìn)一步定量評(píng)估DL-SIM方法，我們計(jì)算了兩個(gè)指標(biāo)，即峰值信噪比（PSNR）和圖像分辨率，后者通過(guò)去相關(guān)算法測(cè)量，這意味著B(niǎo)ayesDL-SIM提供了比其他方法更優(yōu)的重建保真度和分辨率（圖1b和補(bǔ)充圖7d）。與其他先進(jìn)SIM方法的更多比較可以參考補(bǔ)充圖9。更重要的是，除了能夠精確預(yù)測(cè)超分辨率SIM強(qiáng)度（即底層超分辨率分布的均值）之外，BayesDL-SIM還為其重建結(jié)果量化了像素級(jí)的隨機(jī)不確定性（即底層超分辨率分布的標(biāo)準(zhǔn)差），如圖1d和補(bǔ)充圖7b所示，從而捕獲了涵蓋所有可能SIM解決方案的整個(gè)超分辨率流形。為了驗(yàn)證可靠性，我們?cè)诿糠N亞細(xì)胞結(jié)構(gòu)上執(zhí)行了模型校準(zhǔn)，表明真實(shí)SIM強(qiáng)度的經(jīng)驗(yàn)頻率與預(yù)測(cè)的高斯分布非常匹配（圖1f和補(bǔ)充視頻1-3）。也就是說(shuō)，BayesDL-SIM精確捕獲了據(jù)我們所知，以前SIM方法未實(shí)現(xiàn)的底層超分辨率分布。一項(xiàng)相關(guān)工作是CARE，它也允許使用拉普拉斯似然估計(jì)超分辨率分布。我們?nèi)姹容^了BayesDL-SIM和CARE-SIM，并證明了BayesDL-SIM優(yōu)于CARE-SIM，突出表現(xiàn)在交叉絲狀物的保真度顯著提高和校準(zhǔn)誤差降低約4倍（補(bǔ)充圖11）。

憑借BayesDL-SIM的分布信息引導(dǎo)的超分辨率成像能力，可以評(píng)估SIM重建結(jié)果的可信度。直觀地說(shuō)，具有較小隨機(jī)不確定性（AleaU）的像素似乎更可信。然而，我們注意到，隨機(jī)不確定性（即標(biāo)準(zhǔn)差）與熒光強(qiáng)度成正比，這給評(píng)估不同熒光強(qiáng)度區(qū)域的可信度帶來(lái)了挑戰(zhàn)。在這里，我們?cè)O(shè)計(jì)了一種可信度分析方法。指定一個(gè)錯(cuò)誤率容忍度（δ），超出此容忍度的結(jié)果被認(rèn)為是不可信的，我們計(jì)算在指定容忍度內(nèi)所有可能強(qiáng)度的累積概率作為可信度，其范圍從0到1（方法和補(bǔ)充圖10）。不出所料，CCP圖像中的非特征區(qū)域表現(xiàn)出高可信度，因?yàn)檫@些區(qū)域是平坦的，易于重建，而對(duì)于MT和F-肌動(dòng)蛋白，聚焦結(jié)構(gòu)往往比具有失焦熒光背景的區(qū)域更可信（圖1e和補(bǔ)充圖7c）。用戶還可以獲得其他定制容忍度δ的所需可信度圖（補(bǔ)充圖10）。分布信息引導(dǎo)成像的另一個(gè)有價(jià)值方面是，能夠根據(jù)用戶指定的可信度概率為每個(gè)像素提供可信區(qū)間（CI），而不是單一的強(qiáng)度值（方法）。例如，給定高斯分布的3-σ概率（0.9974），可以獲得相應(yīng)的3-σ CI（淺藍(lán)色陰影，圖1g和補(bǔ)充圖7e），這意味著真實(shí)熒光強(qiáng)度落在3-σ CI內(nèi)的概率恒定為0.9974。類(lèi)似地，用戶也可以以相同的方式定制其他可信度概率的CI。

我們通過(guò)分別實(shí)現(xiàn)帶有（w/）和不帶有（w/o）DeT方案的BayesDL-SIM，進(jìn)一步分離了所提出的DeT方案的積極效果?？梢杂^察到，不使用DeT方案的BayesDL-SIM傾向于產(chǎn)生過(guò)度平滑的結(jié)果，同時(shí)量化的AleaU校準(zhǔn)適度，而整合DeT方案可以避免由AleaU學(xué)習(xí)引起的性能下降，提高SIM保真度，并使校準(zhǔn)誤差減少3倍以上（補(bǔ)充圖12a-f）。此外，我們證實(shí)DeT方案也可以使概率性CARE-SIM模型受益（補(bǔ)充圖12g-j），表明它是一種通用方法。

BayesDL-SIM因錯(cuò)誤泛化而警告不可靠的超分辨率成像

在實(shí)踐中，DL-SIM模型的一個(gè)常見(jiàn)陷阱是，它們只有在符合知識(shí)一致性（KC）規(guī)范時(shí)才能對(duì)未見(jiàn)數(shù)據(jù)進(jìn)行良好的泛化。然而，由于大規(guī)模SIM數(shù)據(jù)的不可獲取性，DL-SIM模型通常提取特定成像設(shè)置的專(zhuān)有知識(shí)，而不是通用知識(shí)。生物樣本（例如不同的組織、細(xì)胞類(lèi)型）和光學(xué)系統(tǒng)（例如不同的顯微鏡模式、成像條件）固有的巨大變異性加劇了SIM模型誤用的風(fēng)險(xiǎn)，這違反了KC規(guī)范，導(dǎo)致錯(cuò)誤泛化，并產(chǎn)生不可靠的超分辨率結(jié)果。另一方面，DL-SIM模型是黑盒，它們的錯(cuò)誤泛化通常只能在事后通過(guò)真實(shí)SIM圖像來(lái)評(píng)估，而這些圖像在實(shí)踐中往往不可用。因此，開(kāi)發(fā)一種事前評(píng)估方法，幫助用戶識(shí)別知識(shí)不一致（KIC）場(chǎng)景，從而防止錯(cuò)誤泛化并提高超分辨率的可靠性，是非常必要的。在本節(jié)中，我們展示了BayesDL-SIM通過(guò)量化認(rèn)知不確定性（EpisU）為這一挑戰(zhàn)提供了一個(gè)有希望的解決方案。

我們首先檢驗(yàn)用不同亞細(xì)胞結(jié)構(gòu)訓(xùn)練的深度SIM模型是否能夠共享它們的知識(shí)。為了處理F-肌動(dòng)蛋白的原始圖像，與用F-肌動(dòng)蛋白數(shù)據(jù)訓(xùn)練的BayesDL-SIM模型提供的忠實(shí)重建相比，用CCP或MT訓(xùn)練的模型在解析F-肌動(dòng)蛋白絲方面無(wú)能為力，其中許多弱信號(hào)被移除，一些強(qiáng)肌動(dòng)蛋白絲變得不連續(xù)。定量測(cè)量與我們的視覺(jué)觀察結(jié)果一致。這種有問(wèn)題的圖像是由不同亞細(xì)胞結(jié)構(gòu)的知識(shí)不一致問(wèn)題引起的，可能在日常成像實(shí)驗(yàn)中不易察覺(jué)，特別是對(duì)于沒(méi)有深度學(xué)習(xí)經(jīng)驗(yàn)的生物學(xué)家。幸運(yùn)的是，我們發(fā)現(xiàn)BayesDL-SIM可以成為一個(gè)可行的工具，通過(guò)在訓(xùn)練和推理不匹配時(shí)，用更高的EpisU（平均增加約400%）標(biāo)記不可靠超分辨率SIM結(jié)果的前景（FG）像素，從而向用戶發(fā)出警告，提醒他們對(duì)成像結(jié)果要小心。

接下來(lái)，我們?cè)跓晒庵樯蠝y(cè)試BayesDL-SIM，以識(shí)別由密度變化引起的知識(shí)不一致問(wèn)題。將綠色FluoSpheres（Thermofisher，F(xiàn)8803，100納米直徑）以1:1000和1:10,000的稀釋度溶解在雙重蒸餾水中，以產(chǎn)生不同密度的熒光珠。我們通過(guò)編程積累了兩個(gè)數(shù)據(jù)集，一個(gè)包含正態(tài)分布的珠子（密度范圍從0到4 μm^-2），另一個(gè)由稀疏珠子組成（密度范圍從0到0.5 μm^-2）。兩個(gè)BayesDL網(wǎng)絡(luò)分別在這兩個(gè)數(shù)據(jù)集上以相同的程序進(jìn)行訓(xùn)練（分別稱為正常密度和稀疏密度模型）。在推理階段，我們注意到正常密度模型能夠?yàn)橄∈韬兔芗樽赢a(chǎn)生高質(zhì)量的重建，因?yàn)樗谟?xùn)練期間已經(jīng)看到了各種密度的珠子，而只提取了關(guān)于稀疏珠子知識(shí)的稀疏密度模型在處理稀疏珠子方面表現(xiàn)出色，但傾向于過(guò)度分離間距較近的珠子。這表明熒光珠密度的知識(shí)不一致可能在圖像塊級(jí)別出現(xiàn)，然后局部損害模型泛化。更重要的是，BayesDL-SIM能夠敏感地檢測(cè)局部密度知識(shí)不一致，將忠實(shí)重建的珠子標(biāo)記為可忽略的EpisU，而將過(guò)度分離的珠子標(biāo)記為3-4倍更大的EpisU。

空間采樣率是光學(xué)成像系統(tǒng)中另一個(gè)具有相當(dāng)變異性的重要屬性。即使在同一臺(tái)顯微鏡中，空間采樣率也可以隨著物鏡的放大倍數(shù)和數(shù)值孔徑（NA）的不同配置而有很大差異。在DL-SIM成像中，空間采樣率也影響神經(jīng)網(wǎng)絡(luò)中的特征表示，使其成為模型知識(shí)的一個(gè)重要方面。因此，空間采樣率的知識(shí)一致性/不一致性問(wèn)題值得探索。在這項(xiàng)工作中，樣本通過(guò)我們的多模式SIM系統(tǒng)捕獲和數(shù)字化，采樣率為每像素31.2納米。為了簡(jiǎn)單起見(jiàn)，我們通過(guò)2倍上采樣和下采樣模擬其他采樣率的成像，分別對(duì)應(yīng)每像素15.6和62.4納米的采樣率。當(dāng)將訓(xùn)練在原始數(shù)據(jù)（采樣率為每像素31.2納米）上的BayesDL-SIM模型應(yīng)用于其他采樣率數(shù)據(jù)的重建時(shí)，重建的超分辨率SIM圖像中出現(xiàn)了嚴(yán)重的模糊或重影偽影，并伴隨著重建保真度的顯著惡化。這表明空間采樣率也是重建模型的專(zhuān)有知識(shí)。同樣，我們?cè)趦蓚€(gè)知識(shí)不一致案例中觀察到前景EpisU的明顯增加（超過(guò)250%），這有效地幫助確定了由于SIM模型缺乏對(duì)目標(biāo)數(shù)據(jù)的適當(dāng)采樣率知識(shí)而超分辨率的不可靠結(jié)構(gòu)。

此外，我們還證實(shí)了遷移學(xué)習(xí)是緩解知識(shí)不一致問(wèn)題的有效方法，它可以通過(guò)在少量目標(biāo)數(shù)據(jù)上微調(diào)模型權(quán)重來(lái)幫助縮小模型和數(shù)據(jù)之間的知識(shí)差距。感興趣的讀者可以參考補(bǔ)充說(shuō)明7和8以獲取更多描述。這些結(jié)果確立了我們BayesDL-SIM的可用性和優(yōu)越性，它為防止DL-SIM模型的知識(shí)不一致引起的錯(cuò)誤泛化以及隨之而來(lái)的不可靠超分辨率成像結(jié)果提供了一個(gè)可行的解決方案。

貝葉斯深度學(xué)習(xí)（BayesDL）作為一種多功能工具

適用于常規(guī)超分辨（SR）成像。在本節(jié)中，我們展示了貝葉斯深度學(xué)習(xí)的多功能性，使其成為常規(guī)超分辨成像實(shí)驗(yàn)的有前景的工具。首先，我們說(shuō)明貝葉斯深度學(xué)習(xí)量化的不確定性為評(píng)估超分辨成像誤差提供了有價(jià)值的評(píng)估。由于模型容量有限，超分辨成像誤差是不可避免的，而且在沒(méi)有作為金標(biāo)準(zhǔn)的真實(shí)圖像（GT）的情況下，實(shí)際中很難評(píng)估這些誤差。盡管已經(jīng)開(kāi)發(fā)了如SQUIRREL34之類(lèi)的方法，僅使用衍射受限（例如，寬場(chǎng)）圖像來(lái)估計(jì)超分辨誤差，但我們發(fā)現(xiàn)SQUIRREL的誤差估計(jì)與真實(shí)重建誤差的分布不同（圖3a–c）。相比之下，我們注意到貝葉斯深度學(xué)習(xí)的兩種不確定性與真實(shí)超分辨誤差的相關(guān)性更好，高不確定性值傾向于與顯示出明顯誤差的超分辨結(jié)構(gòu)對(duì)齊。為了進(jìn)一步深入研究，我們通過(guò)稀疏化圖35,36（方法）對(duì)結(jié)構(gòu)化照明顯微鏡（SIM）重建誤差與貝葉斯深度學(xué)習(xí)不確定性之間的關(guān)系進(jìn)行了定量分析。在所有三種亞細(xì)胞結(jié)構(gòu)中，貝葉斯深度學(xué)習(xí)不確定性的稀疏化圖與真實(shí)超分辨誤差的稀疏化圖的一致性超過(guò)了SQUIRREL（圖3d–f）。這些觀察結(jié)果展示了貝葉斯深度學(xué)習(xí)在沒(méi)有真實(shí)SIM圖像的情況下提供超分辨成像誤差的替代測(cè)量的潛在用途。此外，值得注意的是，與表觀不確定性（EpisU）相比，偶然不確定性（AleaU）更能準(zhǔn)確地反映超分辨誤差分布（圖3d–f）。

考慮到偶然不確定性（AleaU）表征了原始數(shù)據(jù)中的超分辨信息質(zhì)量，貝葉斯深度學(xué)習(xí)可以用于改善超分辨成像流程中的數(shù)據(jù)采集。例如，受到更嚴(yán)重噪聲污染的原始圖像會(huì)導(dǎo)致超分辨結(jié)構(gòu)化照明顯微鏡（SR-SIM）結(jié)果的重建保真度降低，同時(shí)加劇了超分辨信息提取的模糊性，并導(dǎo)致偶然不確定性（AleaU）增加（補(bǔ)充圖18）。因此，用戶可以優(yōu)化他們的成像參數(shù)，以實(shí)現(xiàn)獲取產(chǎn)生盡可能小的偶然不確定性的原始數(shù)據(jù)的目標(biāo)。此外，貝葉斯深度學(xué)習(xí)框架可以擴(kuò)展到包括其他超分辨成像方法。我們將貝葉斯深度學(xué)習(xí)應(yīng)用于具有較少原始圖像的結(jié)構(gòu)化照明顯微鏡（SIM）和使用衍射受限寬場(chǎng)圖像的單圖像超分辨成像（SISR）（補(bǔ)充注釋4d）。類(lèi)似地，由貝葉斯深度學(xué)習(xí)量化的偶然不確定性（AleaU）可以評(píng)估不同超分辨方法傳達(dá)的物理超分辨信息。能夠傳達(dá)更多超分辨信息的超分辨方法在解析密集標(biāo)記樣本方面具有更強(qiáng)的能力，同時(shí)產(chǎn)生更小的偶然不確定性（AleaU）（補(bǔ)充圖19）。這種效應(yīng)在單圖像超分辨成像（SISR）中最為顯著，因?yàn)槌直嫘畔⒃趯拡?chǎng)數(shù)據(jù)中并不存在，只能通過(guò)純模型猜測(cè)來(lái)生成。

生成對(duì)抗網(wǎng)絡(luò)（GAN）是熒光成像中另一種流行的神經(jīng)范式，在以往的研究工作中展現(xiàn)出了強(qiáng)大的能力。貝葉斯深度學(xué)習(xí)（BayesDL）也適用于基于GAN的超分辨成像，通過(guò)引入一個(gè)輔助鑒別器為重建模型提供額外的對(duì)抗損失（補(bǔ)充注釋4d、e）。盡管GAN模型增強(qiáng)了對(duì)致密肌動(dòng)蛋白網(wǎng)的恢復(fù)，并在傅里葉域內(nèi)更寬的范圍內(nèi)推斷高頻信息，但超分辨保真度卻遭受了退化（重建誤差平均增加了約40%），如補(bǔ)充圖20a–d所示?；贕AN的成像的一個(gè)更嚴(yán)重問(wèn)題是幻覺(jué)（hallucination），因?yàn)槠涿鞔_的訓(xùn)練目標(biāo)是在成像條件下（即使缺乏足夠的超分辨信息）生成足夠且有說(shuō)服力的細(xì)節(jié)。幻覺(jué)問(wèn)題通常過(guò)于逼真且微妙，難以檢測(cè)。貝葉斯深度學(xué)習(xí)通過(guò)量化GAN模型的表觀不確定性（EpisU），提供了一種有效的幻覺(jué)檢測(cè)方法?？梢钥吹剑珿AN偽造的不可靠細(xì)節(jié)通常被標(biāo)記為具有大約300%–400%更大的前景表觀不確定性（FG-EpisU），尤其是在低信噪比（SNR）條件下（補(bǔ)充圖20a、e）。根據(jù)這些觀察結(jié)果，我們認(rèn)為GAN在高頻增強(qiáng)方面的驚人能力部分來(lái)源于生成不可靠的幻覺(jué)。當(dāng)使用基于GAN的模型來(lái)表征新的細(xì)胞過(guò)程時(shí)，用戶應(yīng)對(duì)具有顯著表觀不確定性的超分辨結(jié)構(gòu)保持謹(jǐn)慎。

貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）實(shí)現(xiàn)了對(duì)活細(xì)胞中密集F-肌動(dòng)蛋白的可靠可視化。

憑借貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）卓越的超分辨性能，我們將其應(yīng)用于探測(cè)活細(xì)胞標(biāo)本中的動(dòng)態(tài)生物過(guò)程。細(xì)胞黏附是細(xì)胞在基底上附著和鋪展的基本生物過(guò)程，已被證明容易受到以往超分辨顯微鏡采用的高激發(fā)功率的影響。在這里，在將表達(dá)mEmerald-Lifeact的活細(xì)胞放置在蓋玻片上后，我們的貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）在低光照成像條件下實(shí)現(xiàn)了長(zhǎng)達(dá)三小時(shí)的細(xì)胞黏附長(zhǎng)期跟蹤，在此過(guò)程中，細(xì)胞骨架的重組用于細(xì)胞形態(tài)調(diào)整被清晰地觀察到（圖4a和補(bǔ)充視頻4）。與以往的結(jié)構(gòu)化照明顯微鏡（SIM）方法（包括Hifi-SIM和DFCAN）相比，貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）提高了密集肌動(dòng)蛋白絲的重建保真度，并實(shí)現(xiàn)了高保真度、長(zhǎng)期、分布信息指導(dǎo)的活細(xì)胞超分辨成像，能夠提供重建可信度圖和強(qiáng)度置信區(qū)間（圖4b）。此外，我們還在三種常見(jiàn)的光毒性誘導(dǎo)細(xì)胞死亡（KIC）場(chǎng)景中測(cè)試了活細(xì)胞超分辨成像，表明貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）能夠通過(guò)產(chǎn)生1.5-2.5倍更大的前景表觀不確定性（FG-EpisU），在整個(gè)成像期間一致地識(shí)別由KIC誘導(dǎo)的不可靠結(jié)構(gòu)（圖4c、d和補(bǔ)充視頻4）。

在活細(xì)胞超分辨成像中，熒光信噪比（SNR）與成像時(shí)長(zhǎng)之間存在權(quán)衡。保持一個(gè)不錯(cuò)的信噪比水平可能會(huì)導(dǎo)致快速光漂白，而降低信噪比水平可能會(huì)使原始數(shù)據(jù)無(wú)法使用。為了解決這種權(quán)衡，我們采用貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）在極端低信噪比條件下進(jìn)行活細(xì)胞SIM成像。與現(xiàn)有的稀疏結(jié)構(gòu)化照明顯微鏡（Sparse-SIM）和scUNet-SIM相比，貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）在從噪聲原始數(shù)據(jù)中解析細(xì)節(jié)方面顯示出更大的能力（補(bǔ)充圖21a和補(bǔ)充視頻5）。更值得注意的是，它能夠可靠地可視化多達(dá)10,000幀超分辨圖像的肌動(dòng)蛋白動(dòng)態(tài)，且沒(méi)有明顯的保真度下降（補(bǔ)充圖21b、c和補(bǔ)充視頻5），并且重建的肌動(dòng)蛋白絲的平均長(zhǎng)度持續(xù)增加（補(bǔ)充圖21e和補(bǔ)充視頻5）。此外，我們注意到，通過(guò)平均光子計(jì)數(shù)測(cè)量的熒光信噪比在成像過(guò)程中逐漸下降，相應(yīng)地，重建結(jié)果的前景偶然不確定性（FG-AleaU）也隨之增加（補(bǔ)充圖21d、f）?？傮w而言，這些數(shù)據(jù)展示了貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）在活細(xì)胞超分辨成像中的可靠性和優(yōu)越性。

科學(xué)超分辨成像的最高優(yōu)先級(jí)是可靠性。然而，以往的超分辨技術(shù)通常過(guò)于自信，認(rèn)為其結(jié)果是可靠的，而事實(shí)并非總是如此。例如，傳統(tǒng)的基于模型的超分辨方法容易產(chǎn)生固定模式的偽影，并且需要精心調(diào)整參數(shù)以獲得最令人滿意的視覺(jué)效果；目前基于深度學(xué)習(xí)（DL）的方法盲目地進(jìn)行端到端的圖像轉(zhuǎn)換，而沒(méi)有明確的輸出來(lái)告知用戶模型的置信度程度。為了應(yīng)對(duì)超分辨顯微鏡中的可靠性需求，在本研究中，我們?yōu)榻Y(jié)構(gòu)化照明顯微鏡（SIM）開(kāi)發(fā)了貝葉斯深度學(xué)習(xí)（BayesDL）框架，該框架結(jié)合了神經(jīng)網(wǎng)絡(luò)和貝葉斯學(xué)習(xí)，旨在將前者可擴(kuò)展性和表達(dá)能力與后者在不確定性量化方面的優(yōu)勢(shì)相結(jié)合。我們強(qiáng)調(diào)，貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）的實(shí)施與現(xiàn)有的監(jiān)督深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（DL-SIM）方法相比，并沒(méi)有給數(shù)據(jù)采集和準(zhǔn)備帶來(lái)額外的負(fù)擔(dān)。值得注意的是，所提出的貝葉斯深度學(xué)習(xí)框架與其他網(wǎng)絡(luò)架構(gòu)具有兼容性和可擴(kuò)展性。在固定細(xì)胞和活細(xì)胞上的廣泛實(shí)驗(yàn)表明，所提出的貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）即使在極低信噪比（SNR）條件下，也能顯著提高結(jié)構(gòu)化照明顯微鏡（SIM）的保真度，超越現(xiàn)有的最先進(jìn)的SIM方法，同時(shí)量化其重建的兩種良好校準(zhǔn)的不確定性，即偶然不確定性（AleaU）和表觀不確定性（EpisU），從而提高了深度SIM模型的透明度，并有助于防止不可靠的超分辨成像結(jié)果。

貝葉斯深度學(xué)習(xí)（BayesDL）量化的偶然不確定性（AleaU）和表觀不確定性（EpisU）傳達(dá)了不同的信息，因此服務(wù)于不同的目的。在常規(guī)生物成像實(shí)驗(yàn)中，用戶可以首先檢查表觀不確定性（EpisU）圖，以確定模型在已知類(lèi)別（Known Category，KC）場(chǎng)景中是否正確地進(jìn)行了泛化。我們已經(jīng)證實(shí)了貝葉斯深度學(xué)習(xí)表觀不確定性（EpisU）在識(shí)別由于錯(cuò)誤泛化而導(dǎo)致的不可靠超分辨結(jié)果方面的有效性，這一效果在多種已知類(lèi)別外（Known Category Outside，KIC）案例中是一致的。在成功檢查表觀不確定性（EpisU）之后，用戶可以參考偶然不確定性（AleaU）來(lái)獲取預(yù)測(cè)的超分辨分布，而不是當(dāng)前DL-SIM方法提供的單一重建結(jié)果?；诜植夹畔⒌某直娉上瘢€可以結(jié)合統(tǒng)計(jì)分析定制可信度和強(qiáng)度置信區(qū)間（CIs）。此外，貝葉斯深度學(xué)習(xí)的兩種不確定性在常規(guī)超分辨成像中還顯示出額外的多功能性。例如，偶然不確定性（AleaU）和表觀不確定性（EpisU）都比SQUIRREL更適合作為超分辨成像誤差的替代測(cè)量；偶然不確定性（AleaU）可用于數(shù)據(jù)采集評(píng)估，從而指導(dǎo)成像參數(shù)的優(yōu)化；表觀不確定性（EpisU）可用于基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的成像，以檢測(cè)不可靠的幻覺(jué)。這些發(fā)現(xiàn)確立了貝葉斯深度學(xué)習(xí)不確定性融入日常超分辨成像實(shí)驗(yàn)的潛力。

盡管貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）表現(xiàn)令人印象深刻，但可以預(yù)見(jiàn)其進(jìn)一步改進(jìn)。最近發(fā)表的一項(xiàng)工作在模型訓(xùn)練過(guò)程中引入不確定性，以調(diào)節(jié)損失函數(shù)中的像素級(jí)注意力。受此啟發(fā)，我們推測(cè)貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）量化的不確定性可以反過(guò)來(lái)進(jìn)一步提升SIM重建。此外，我們已經(jīng)證明了貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）在三維結(jié)構(gòu)化照明顯微鏡（3D-SIM）成像中的優(yōu)越性。在高信噪比（SNR）條件下，貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）優(yōu)于其他DL-SIM方法，同時(shí)與傳統(tǒng)的Open-3DSIM相當(dāng)（補(bǔ)充圖22）。即使在低信噪比（SNR）條件下，貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）仍然能夠產(chǎn)生體面的超分辨結(jié)構(gòu)化照明顯微鏡（SR-SIM）結(jié)果，且沒(méi)有明顯的偽影（補(bǔ)充圖23）。其在三維結(jié)構(gòu)化照明顯微鏡（3D-SIM）重建中不確定性量化的適用性也得到了驗(yàn)證（補(bǔ)充圖22和23）。鑒于貝葉斯深度學(xué)習(xí)在單圖像超分辨（SISR）和SIM成像中表現(xiàn)出的有效性，合理推測(cè)其積極影響可以擴(kuò)展到其他超分辨顯微鏡類(lèi)型（例如，定位顯微鏡和光片顯微鏡）。此外，為了應(yīng)對(duì)在某些苛刻條件下獲取足夠的高質(zhì)量真實(shí)圖像（GT）數(shù)據(jù)過(guò)于繁瑣甚至不切實(shí)際的挑戰(zhàn)（例如，快速移動(dòng)和光敏感的生物過(guò)程），將無(wú)監(jiān)督學(xué)習(xí)或零樣本學(xué)習(xí)技術(shù)與貝葉斯深度學(xué)習(xí)相結(jié)合也將具有價(jià)值。

此外，我們希望澄清貝葉斯深度學(xué)習(xí)（BayesDL）不確定性與NanoJ和rFRC中提出的類(lèi)似概念之間的區(qū)別。首先，NanoJ和rFRC都是用于評(píng)估超分辨圖像質(zhì)量的工具，而貝葉斯深度學(xué)習(xí)旨在量化基于深度學(xué)習(xí)的圖像重建中的不確定性。其次，NanoJ通過(guò)檢測(cè)超分辨圖像與衍射受限圖像之間的差異來(lái)識(shí)別偽影，因此在超分辨尺度上無(wú)能為力。rFRC僅僅訓(xùn)練兩個(gè)模型，并需要對(duì)輸入數(shù)據(jù)進(jìn)行兩次采樣以大致評(píng)估不確定性，實(shí)際上無(wú)法提供定量和全面的不確定性信息。相比之下，貝葉斯深度學(xué)習(xí)基于貝葉斯理論開(kāi)發(fā)，通過(guò)分布近似和貝葉斯推斷量化偶然不確定性（AleaU）和表觀不確定性（EpisU）。第三，貝葉斯深度學(xué)習(xí)不確定性已被證明是良好校準(zhǔn)的，而其他兩種方法尚未實(shí)現(xiàn)。

總之，貝葉斯深度學(xué)習(xí)（BayesDL）相對(duì)于其他DL-SIM方法的主要優(yōu)勢(shì)在于其能夠在已知類(lèi)別（KC）場(chǎng)景中實(shí)現(xiàn)精確的分布信息超分辨成像，同時(shí)在已知類(lèi)別外（KIC）場(chǎng)景中提醒用戶注意錯(cuò)誤的泛化，從而防止用戶信任不可靠的結(jié)果。然而，貝葉斯深度學(xué)習(xí)（BayesDL）仍然存在一個(gè)局限性，即它只能識(shí)別各種已知類(lèi)別外（KIC）場(chǎng)景，但不能直接有效地對(duì)KIC數(shù)據(jù)進(jìn)行泛化。因此，我們認(rèn)為開(kāi)發(fā)一種能夠在已知類(lèi)別外（KIC）場(chǎng)景中有效泛化的通用算法是未來(lái)研究的一個(gè)有前景的方向。

總體而言，所提出的貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）有助于實(shí)現(xiàn)持續(xù)高保真的活細(xì)胞超分辨成像，并確保現(xiàn)代智能顯微鏡算法后端傳遞的亞衍射信息的可靠性。因此，它代表了促進(jìn)DL-SIM模型可靠應(yīng)用的一個(gè)顯著進(jìn)步，并為實(shí)用的基于深度學(xué)習(xí)的計(jì)算超分辨顯微鏡的發(fā)展奠定了基礎(chǔ)。

方法

多模態(tài)結(jié)構(gòu)化照明顯微鏡系統(tǒng)

多模態(tài)結(jié)構(gòu)化照明顯微鏡系統(tǒng)是基于一臺(tái)發(fā)明的熒光顯微鏡（Ti2E，Nikon）構(gòu)建的。來(lái)自激光組合器的激發(fā)光包含三條激光束，分別為488 nm（Genesis-MX-SLM，Coherent）、560 nm（2RU-VFL-P-500-560，MPB Communications）和640 nm（LBX-640-500，Oxxius）。這些激光被準(zhǔn)直后通過(guò)一個(gè)聲光可調(diào)諧濾波器（AOTF，AOTFnC-400.650，AA Quanta Tech），該濾波器可以根據(jù)成像需求靈活選擇激發(fā)波長(zhǎng)并控制其功率和曝光時(shí)間。然后，從AOTF輸出的激光光被擴(kuò)展并送入一個(gè)照明圖案生成器，該生成器由一個(gè)偏振分束器、一個(gè)消色差半波片和一個(gè)鐵電空間光調(diào)制器（SLM，QXGA-3DM，F(xiàn)orth Dimension Display）組成。通過(guò)調(diào)整SLM上顯示的光柵圖案的周期和方向，可以生成不同的照明模式，例如1.41數(shù)值孔徑（NA）的全內(nèi)反射結(jié)構(gòu)化照明顯微鏡（TIRF-SIM）和1.35 NA的3相×3方向的格里諾夫干涉（GI-SIM）。為了最大化圖案對(duì)比度，使用由液晶單元（Meadowlark，LRC200）和四分之一波片組成的偏振旋轉(zhuǎn)器來(lái)調(diào)整線性偏振，以保持s偏振。除了±1階以外的高衍射階被空間掩模濾除。接下來(lái)，激發(fā)光被傳遞到物鏡（1.49 NA，Nikon）的后焦平面。由不同照明模式激發(fā)的多張?jiān)紙D像通過(guò)相同的物鏡收集，通過(guò)一個(gè)分色分束器（Chroma，ZT405/488/560/647tpc）分離，并最終由科學(xué)級(jí)互補(bǔ)金屬氧化物半導(dǎo)體（sCMOS）相機(jī)（Hamamatsu，Orca Flash 4.0 v3）捕獲。

細(xì)胞培養(yǎng)和制備

COS-7細(xì)胞（如圖4和補(bǔ)充圖21所示）在含有10%胎牛血清（FBS）和1%青霉素及鏈霉素的Dulbecco改良Eagle培養(yǎng)基（DMEM，Gibco）中培養(yǎng)，溫度為37°C，二氧化碳濃度為5%。根據(jù)標(biāo)準(zhǔn)程序（Lipofectamine 3000，Invitrogen），細(xì)胞通過(guò)逆轉(zhuǎn)錄病毒系統(tǒng)感染以穩(wěn)定表達(dá)Lifeact-mEmerald。轉(zhuǎn)染后的細(xì)胞被接種到50 mg/mL膠原蛋白包被的蓋玻片上，在成像前達(dá)到50%-70%的匯合度。

數(shù)據(jù)采集和預(yù)處理

本研究中所有相關(guān)數(shù)據(jù)均使用自制的多模態(tài)結(jié)構(gòu)化照明顯微鏡系統(tǒng)采集。為了驗(yàn)證貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）的優(yōu)越性，我們使用了我們之前發(fā)表的BioSR數(shù)據(jù)集。對(duì)于每種樣本類(lèi)型，至少采集了50個(gè)不同感興趣區(qū)域（ROIs）的原始圖像，圖像大小為502×502×9（高度×寬度×幀數(shù)）。每個(gè)ROI以恒定的1毫秒曝光時(shí)間依次捕獲，但至少有9種不同的激發(fā)功率水平，以覆蓋各種熒光信噪比（SNR）水平（平均光子計(jì)數(shù)范圍從0到超過(guò)600）。最高信噪比水平的原始圖像隨后通過(guò)傳統(tǒng)結(jié)構(gòu)化照明顯微鏡算法重建，以作為大小為1004×1004的相應(yīng)真實(shí)結(jié)構(gòu)化照明顯微鏡（GT-SIM）圖像。為了便于模型訓(xùn)練，應(yīng)進(jìn)行數(shù)據(jù)預(yù)處理步驟。我們首先從所有原始圖像中減去平均相機(jī)背景。然后采用滾動(dòng)球法去除焦外熒光并提高GT-SIM圖像的對(duì)比度。此外，為了將熒光強(qiáng)度拉伸至一個(gè)共同范圍，對(duì)原始圖像和GT-SIM圖像均進(jìn)行了百分位數(shù)歸一化處理：

統(tǒng)計(jì)分析和評(píng)估方法

可信度評(píng)估。貝葉斯深度學(xué)習(xí)結(jié)構(gòu)化照明顯微鏡（BayesDL-SIM）的分布信息超分辨成像的另一個(gè)用途是，它能夠?qū)χ亟ǖ某直娼Y(jié)構(gòu)化照明顯微鏡（SR-SIM）圖像進(jìn)行可信度評(píng)估。偶然不確定性（AleaU）是可信度的直接度量，但它隨著強(qiáng)度的增加而增長(zhǎng)。這里我們提出了一種可信度評(píng)估方法。首先，用戶需要指定一個(gè)錯(cuò)誤率容忍度（δ），超過(guò)此容忍度的超分辨結(jié)果被認(rèn)為是不可信的。也就是說(shuō)，錯(cuò)誤率低于容忍度的重建結(jié)果被認(rèn)為是用戶可以使用的。然后，計(jì)算在指定容忍度內(nèi)所有可能強(qiáng)度的累積概率，作為適當(dāng)?shù)目尚哦榷攘浚?/p>

請(qǐng)注意，計(jì)算出的可信度是逐像素估計(jì)的，范圍從0到1，值越高表示結(jié)果的可信度越好。

模型校準(zhǔn)。模型校準(zhǔn)通過(guò)測(cè)量預(yù)測(cè)概率與觀察頻率之間的一致性，從統(tǒng)計(jì)學(xué)上評(píng)估預(yù)測(cè)超分辨分布的精確度。給定任何概率κ，我們首先按照方程（6）計(jì)算其對(duì)應(yīng)的置信區(qū)間CI(κ)。然后我們統(tǒng)計(jì)GT-SIM像素的熒光強(qiáng)度落在其對(duì)應(yīng)置信區(qū)間CI(κ)內(nèi)的頻率κ'。通過(guò)逐漸調(diào)整概率κ從0到1，可以充分描繪概率與頻率之間的相關(guān)性，并隨后構(gòu)成校準(zhǔn)圖。直觀上，超分辨分布的預(yù)測(cè)越準(zhǔn)確，與校準(zhǔn)圖中的理想校準(zhǔn)線κ = κ'的一致性就越高。此外，我們定義了校準(zhǔn)誤差的度量，即計(jì)算概率與頻率之間的平均絕對(duì)誤差（MAE）。校準(zhǔn)誤差越小，模型校準(zhǔn)得越好。

稀疏化圖。稀疏化圖用于定量和明確地描繪數(shù)據(jù)實(shí)體（例如不確定性與誤差）之間的關(guān)系。具體來(lái)說(shuō)，它首先根據(jù)預(yù)定義的排序標(biāo)準(zhǔn)將重建的超分辨結(jié)構(gòu)化照明顯微鏡（SR-SIM）圖像的所有像素按降序排序，然后逐漸移除一部分像素，并計(jì)算剩余像素相對(duì)于GT-SIM的MAE。我們分別采用SQUIRREL誤差、偶然不確定性（AleaU）和表觀不確定性（EpisU）作為排序標(biāo)準(zhǔn)。同時(shí)，為了參考，還展示了以真實(shí)超分辨誤差為排序標(biāo)準(zhǔn)的“預(yù)言家”（oracle）。稀疏化圖越接近預(yù)言家，其對(duì)應(yīng)的排序標(biāo)準(zhǔn)與真實(shí)超分辨誤差的相關(guān)性就越好。

FG-AleaU和FG-EpisU。貝葉斯深度學(xué)習(xí)（BayesDL）為其重建的超分辨（SR）圖像的每個(gè)像素量化不確定性。然而，引起用戶興趣的是前景（FG）像素而不是背景像素。為此，我們提出了兩個(gè)度量標(biāo)準(zhǔn)，即FG-AleaU和FG-EpisU，以表征FG像素的不確定性。為了簡(jiǎn)化符號(hào)，這里我們將重建的超分辨圖像稱為，并將AleaU和EpisU都稱為σ。FG-AleaU和FG-EpisU的計(jì)算方法如下三個(gè)步驟：(1) 對(duì)超分辨圖像執(zhí)行如方程(5)所示的百分位數(shù)歸一化；(2) 使用Otsu分割方法對(duì)歸一化的超分辨圖像進(jìn)行分割，然后獲得其對(duì)應(yīng)的FG掩模（記為M）；(3) 根據(jù)FG掩模M中非零元素提供的索引，從不確定性圖中提取FG像素的不確定性（即FG-AleaU或FG-EpisU）。

其他評(píng)估指標(biāo)。為了定量評(píng)估超分辨圖像的保真度，我們計(jì)算了常用的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）指標(biāo)，這些指標(biāo)是在超分辨圖像和真實(shí)圖像（GT-SIM）之間計(jì)算的。此外，我們還計(jì)算了歸一化均方根誤差（NRMSE），其定義為：

其中 B 是像素?cái)?shù)量， 分別表示最大值函數(shù)和最小值函數(shù)。在超分辨（SR）分辨率評(píng)估方面，我們采用去相關(guān)分析來(lái)從去相關(guān)函數(shù)的局部最大值估計(jì)最高的超分辨頻率。為了定量測(cè)量原始結(jié)構(gòu)化照明顯微鏡（SIM）圖像的熒光信噪比（SNR）水平，我們使用平均光子計(jì)數(shù)的度量。平均光子計(jì)數(shù)度量的計(jì)算詳見(jiàn)補(bǔ)充注釋7。此外，我們通過(guò)首先使用Otsu算法對(duì)肌動(dòng)蛋白圖像進(jìn)行分割，并將結(jié)果的二值分割圖轉(zhuǎn)換為8位類(lèi)型，來(lái)測(cè)量不同肌動(dòng)蛋白絲的長(zhǎng)度。然后我們使用ImageJ的插件AnalyzeSkeleton（2D/3D）來(lái)提取各種骨架信息，包括骨架化的肌動(dòng)蛋白長(zhǎng)度。

原文：https://www.nature.com/articles/s41467-025-60093-w