IT之家 12 月 20 日消息，科技媒體 9to5Mac 今天（12 月 20 日）發(fā)布博文，報(bào)道稱蘋果攜手普渡大學(xué)，為徹底解決極低光照環(huán)境下的拍攝難題，聯(lián)合開發(fā)了一項(xiàng)名為 DarkDiff 的全新 AI 技術(shù)。

IT之家援引博文介紹，在極低光照條件下，手機(jī)拍攝的照片往往充滿噪點(diǎn)。為了掩蓋這些噪點(diǎn)，傳統(tǒng)算法通常會(huì)進(jìn)行過度平滑處理，導(dǎo)致照片丟失細(xì)節(jié)，呈現(xiàn)出類似“油畫”的涂抹感。

蘋果與普渡大學(xué)的研究團(tuán)隊(duì)為解決這一頑疾，推出了一種名為“DarkDiff”的新型 AI 模型。該研究并未沿用傳統(tǒng)的后期修圖思路，而是開創(chuàng)性地將預(yù)訓(xùn)練的生成式擴(kuò)散模型“重新指派”給相機(jī)的圖像信號(hào)處理（ISP）流程，從源頭提升畫質(zhì)。

DarkDiff 的核心創(chuàng)新在于介入時(shí)機(jī)，不同于在成像后才進(jìn)行 AI 修補(bǔ)，DarkDiff 在相機(jī) ISP 處理原始傳感器數(shù)據(jù)（Raw Data）的早期階段就已介入。

ISP 負(fù)責(zé)白平衡和去馬賽克等基礎(chǔ)處理，生成線性 RGB 圖像后，DarkDiff 隨即接手進(jìn)行降噪和細(xì)節(jié)生成。這種深度集成，讓 AI 能夠理解照片在黑暗區(qū)域應(yīng)有的紋理細(xì)節(jié)，而非簡單地模糊像素。

生成式 AI 常因“幻覺”問題而篡改畫面內(nèi)容（如無中生有地生成物體）。為防止此類情況，DarkDiff 引入了“局部圖像塊注意力機(jī)制”。

該機(jī)制強(qiáng)制模型關(guān)注圖像的局部結(jié)構(gòu)，確保 AI 在增強(qiáng)細(xì)節(jié)的同時(shí)，嚴(yán)格忠實(shí)于原始場(chǎng)景。此外，研究人員還使用了“無分類器引導(dǎo)”技術(shù)，通過調(diào)節(jié)引導(dǎo)強(qiáng)度，在平滑度與銳利度之間找到最佳平衡，避免生成偽影。

研究人員為了驗(yàn)證效果，使用了索尼 A7SII 相機(jī)在極暗環(huán)境下拍攝測(cè)試樣本，曝光時(shí)間短至 0.033 秒。將 DarkDiff 處理后的圖像與使用三腳架長曝光（時(shí)長為測(cè)試圖 300 倍）拍攝的參考圖進(jìn)行對(duì)比，結(jié)果顯示 DarkDiff 在色彩還原和細(xì)節(jié)清晰度上均優(yōu)于現(xiàn)有的 Raw 增強(qiáng)模型。

盡管效果驚人，但 DarkDiff 距離量產(chǎn)仍有距離。研究人員坦言，該技術(shù)的處理速度遠(yuǎn)慢于傳統(tǒng)算法，且巨大的算力需求若在手機(jī)本地運(yùn)行將極快耗盡電池，未來可能需要依托云端處理。

此外，模型在識(shí)別低光場(chǎng)景下的非英文文本時(shí)仍存在局限，該研究目前更多展示了蘋果在計(jì)算攝影領(lǐng)域的探索方向，短期內(nèi)未必會(huì)直接裝載于新款 iPhone。

參考