国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

類(lèi)腦視覺(jué)“感存算”之鐵電貫穿

0
分享至


本文將要展現(xiàn)的這一研究,已被同行公眾號(hào)推廣過(guò)。筆者作為這一工作的打醬油作者,希望從一個(gè)完全不同的視角去展現(xiàn)自己的心得體會(huì)。如果讀者對(duì)此不覺(jué)得厭煩,不妨讀一讀這篇筆記,并非是完全無(wú)用的。謹(jǐn)致謝忱!

1.引子

筆者有一群親密的合作伙伴。他們才華橫溢、勤奮努力,也領(lǐng)引著Ising學(xué)習(xí)新知識(shí),使其不至于落后“量子材料”研究前沿太多。其中一位,是華南師范大學(xué)先進(jìn)材料研究所IAM的樊貞教授。這個(gè)瘦削而精干的小伙子,是新加坡NUS王家功和IMRE姚奎兩位老師培養(yǎng)出來(lái)的鐵電后起之秀。原本他從事的是正統(tǒng)而經(jīng)典的鐵電物理與材料研究,但數(shù)年前加入IAM團(tuán)隊(duì)后,他就甩開(kāi)那些傳統(tǒng)方向,開(kāi)始干一些在Ising聽(tīng)起來(lái)莫名其妙的新鮮事,雖然現(xiàn)在看來(lái)也不再新鮮。Ising經(jīng)常沽名釣譽(yù)一般聲稱(chēng)參與了一些人工智能(artificial intelligence, AI)、類(lèi)腦計(jì)算(neuromorphic computing)的研究,很大程度上是因?yàn)檫@個(gè)樊貞老師的引領(lǐng)。

之所以說(shuō)莫名其妙,乃是因?yàn)樵谌祟?lèi)的印象中,人腦是最高級(jí)的“器件”與“架構(gòu)”。這里帶引號(hào)是因?yàn)?,在人?lèi)正常(對(duì)不對(duì)再另說(shuō))的認(rèn)知中,似乎沒(méi)有詞語(yǔ)足以形容大腦的NB了!對(duì)大腦內(nèi)部的學(xué)習(xí)、記憶、響應(yīng)和思維運(yùn)算過(guò)程的描繪,應(yīng)該是人類(lèi)知識(shí)中最高等級(jí)的學(xué)問(wèn),想想都不大可能會(huì)被一些簡(jiǎn)單如類(lèi)腦計(jì)算的“玩意”所仿真和重現(xiàn)。過(guò)去一些年,筆者參與樊貞他們關(guān)于鐵電類(lèi)腦材料和器件的一些研討,漸漸發(fā)現(xiàn)他們?cè)谧龅?、追蹤的,竟然是一些隨時(shí)間不斷變化、很不確定、漲落很大的動(dòng)態(tài)過(guò)程。一個(gè)材料的某種性質(zhì),竟然在服役過(guò)程中是不斷變化的,而我們還要說(shuō)這是好材料、NB類(lèi)腦!這種認(rèn)知,過(guò)于藐視像筆者這種在材料和物理研究中摸爬滾打數(shù)十年的老人(資深者)。特別是,那些在物理人看來(lái)很糟糕、不可靠的數(shù)據(jù)曲線,竟然被認(rèn)為是正確標(biāo)記了人類(lèi)大腦可能的運(yùn)算過(guò)程,令人感覺(jué)不安、不踏實(shí)。

舉個(gè)不恰當(dāng)?shù)睦樱何覀兠磕陞⒓芋w檢,都做心電圖、腦電波檢測(cè),對(duì)吧?即便如人體這般復(fù)雜,但那些輸出的曲線卻很光滑、很有規(guī)律:伴隨心臟跳動(dòng),曲線一顫一抖的,很有律動(dòng)與質(zhì)感!現(xiàn)在,樊貞他們說(shuō),人的大腦進(jìn)行感覺(jué)、識(shí)別、推演和存儲(chǔ)運(yùn)算的過(guò)程,是一些很不確定、漲落很大的過(guò)程。這免不得會(huì)讓我們?nèi)ァ百|(zhì)疑”那些心電圖數(shù)據(jù)是假的、是被“光滑”過(guò)的?

更讓Ising很早就確信不疑的認(rèn)知是:人的大腦,還是最精密、最豐富和最確定的物理系統(tǒng)!人腦之高度,必定是那樣一種高度,以至于人類(lèi)數(shù)百年來(lái)發(fā)展的科技所制造的一切技術(shù)產(chǎn)品,只能望洋興嘆/ 難以企及。事實(shí)上,隨便翻閱一本人類(lèi)大腦的書(shū)籍,就能建立這種認(rèn)知,如圖1 所示。然而,通過(guò)后來(lái)的慢慢學(xué)習(xí),筆者發(fā)現(xiàn)樊貞他們可能是對(duì)的!人腦,也許真的沒(méi)有那么神奇和萬(wàn)能。假以時(shí)日,在人工智能AI的加持下,從事類(lèi)腦計(jì)算研究的人們,在硬件上加強(qiáng)突破、在軟件上合縱連橫,說(shuō)不定還真的能夠觸摸到人類(lèi)大腦的邊界。

本文的主要?jiǎng)訖C(jī),就是反省回顧一下筆者對(duì)類(lèi)腦研究偏材料一側(cè)的認(rèn)知漸進(jìn)過(guò)程,以就教于讀者和這個(gè)領(lǐng)域的學(xué)者們。


圖 1. 人類(lèi)對(duì)大腦分區(qū)和各個(gè)區(qū)域的功能劃分認(rèn)知。

可以看到,如果這些認(rèn)知所述是真實(shí)存在的,人類(lèi)若要去“類(lèi)腦”人腦,可能還真是一件富有挑戰(zhàn)的工程。本文要觸及的視覺(jué)計(jì)算區(qū)域,用紅色和對(duì)應(yīng)的紅框加注:那個(gè)所謂的“occipital lobe枕葉”區(qū)域,在筆者Ising的認(rèn)知中基本是一片空白??梢院鷣y聯(lián)想是:那個(gè)叫“枕葉”的部位,是晚上睡眠時(shí)接觸枕頭的區(qū)域。枕葉處于那個(gè)部位,難道是為了使得視覺(jué)功能得到最好的休息?

From A. R. Singh et al, In: Brain, Mind and Consciousness: An International, Interdisciplinary Perspective (A.R. Singh and S.A. Singh eds.), MSM, 9(1), p6-41 (2011).

2.人腦之我見(jiàn)

首先,在蕓蕓眾生的感性認(rèn)知中,人腦是怎么個(gè)工作和運(yùn)行的呢?人工智能和類(lèi)腦計(jì)算的人們?cè)缇秃蜕飳W(xué)家及醫(yī)生們一起,建立了大腦信息記憶與存儲(chǔ)處理的學(xué)問(wèn)。筆者沒(méi)時(shí)間去認(rèn)真學(xué)習(xí),亦或是偶爾去學(xué)了、但學(xué)不會(huì)那些高深的學(xué)問(wèn)和知識(shí)框架。作為大外行,筆者這里不妨梳理一些自己淺薄的認(rèn)知,分享給讀者,看看這梳理是否合理:

(1) 相信很多讀者,包括筆者,原來(lái)一直沒(méi)有去細(xì)想:人腦不是足夠強(qiáng)大么?人腦里那么多突觸、那么多神經(jīng)元,構(gòu)成那么多存儲(chǔ)器,是那么聰穎智慧,再加上胸懷那么多理想、情懷(胸中自然不能懷,就是腦懷),亦背負(fù)那么多真善美/ 假丑惡,為何人類(lèi)學(xué)習(xí)和記憶卻需要借助“聽(tīng)、說(shuō)、讀、寫(xiě)”?嗯,現(xiàn)在反省之下有點(diǎn)明白:因?yàn)槿四X從來(lái)就無(wú)法永久存儲(chǔ)“信息和數(shù)據(jù)”。人腦用一用、動(dòng)一動(dòng)、記憶一下下、思考一會(huì)兒,如果不重復(fù)學(xué)習(xí),就會(huì)丟失這些信息,即“忘記”,也就是這些信息數(shù)據(jù)很快衰滅。注意,這里的“很快”,是一個(gè)感性詞語(yǔ),沒(méi)有科學(xué)上明確的意義。正因?yàn)槿绱?,人?lèi)才在身軀演化的千時(shí)萬(wàn)刻之間,形成了一整套學(xué)習(xí)、記憶、復(fù)習(xí)的輔助方法,即“聽(tīng)、說(shuō)、讀、寫(xiě)”成可以長(zhǎng)久保存的、以供archived和翻閱的書(shū)本知識(shí)!人類(lèi)剩下的,就那點(diǎn)本事了:大腦一忘卻,就去翻書(shū)本!

(2) 有讀者對(duì)此可能不完全同意。事實(shí)上,人類(lèi)除非個(gè)別人,幾乎所有人都永久記得自己的父母是誰(shuí)、子女在哪里、祖國(guó)是何方?,F(xiàn)在對(duì)此問(wèn)題的認(rèn)知是,此乃人類(lèi)大腦的另一類(lèi)過(guò)程所致:長(zhǎng)期不斷反復(fù)的訓(xùn)練,導(dǎo)致體系走向一個(gè)長(zhǎng)壽命、穩(wěn)態(tài)甚至基態(tài)的記憶!對(duì)此,人類(lèi)大腦那一塊存儲(chǔ)著“父母”、“兒女”和“祖國(guó)”的區(qū)域,是記憶的基態(tài)區(qū)域!這也預(yù)示著,人腦中能夠形成如基態(tài)一般永久記憶的結(jié)構(gòu)或單元并非沒(méi)有,只是不多。只有那些最重要的信息 (即被反復(fù)訓(xùn)練的信息),才會(huì)被存儲(chǔ)到這些基態(tài)中。絕大部分即時(shí)的、不重要的或書(shū)本上已經(jīng)有牢實(shí)記載的信息,都會(huì)在大腦中很快消退。

(3) 現(xiàn)在,人類(lèi)對(duì)人工智能AI佩服得五體投地。Ising小人小度量,以為個(gè)種原因是:基于人工智能大模型的類(lèi)腦學(xué)習(xí)運(yùn)算,太快太厲害了,特別是對(duì)知識(shí)的整理和分析更是讓AI驚為天人!這里,AI架構(gòu),無(wú)非是一臺(tái)基于超高能耗的學(xué)習(xí)分析推理機(jī)器。為了追逐速度,AI架構(gòu)不惜耗費(fèi)大量能量和計(jì)算推理功夫,以至于許多AI和大數(shù)據(jù)公司不得不在水電資源極為豐富的貴州和煤炭資源極為豐富的內(nèi)蒙烏蘭察布建造數(shù)據(jù)存儲(chǔ)中心,以應(yīng)對(duì)巨大的計(jì)算供能和環(huán)境制冷需求。而人腦的運(yùn)算分析,則追逐高效、粗糙化(coarse-grained),并不完全是當(dāng)下AI大模型那種全覆蓋方式。反過(guò)來(lái)說(shuō),大腦處理和運(yùn)算,其實(shí)很可能崇尚“機(jī)會(huì)主義”做派:為了節(jié)省能耗和精力,大部分都是“臨時(shí)抱佛腳”式的處理。如此,人類(lèi)才對(duì)AI大模型這么佩服和唧唧稱(chēng)贊。既然AI如此耗電,所得有些神奇之處,并不奇怪。而人類(lèi)追求的,則是一份汗水、一份收獲,有一點(diǎn)吃虧都不大愿意!

(4) 事實(shí)上,人腦運(yùn)算可能還有一項(xiàng)卓越功能。在人類(lèi)發(fā)明創(chuàng)造的物理計(jì)算中,存在所謂“存儲(chǔ)墻”、“功耗墻”、“頻率墻”等很多walls,外加外部傳感設(shè)備與計(jì)算中心之間的數(shù)據(jù)傳輸瓶頸。而這些所謂walls和瓶頸,在人腦運(yùn)行中似乎不存在,或者不那么顯性地存在,雖然圖 1 也煞有其事地對(duì)人腦進(jìn)行分區(qū)。這些功能區(qū),被認(rèn)為大致上是一體化的,啟示類(lèi)腦計(jì)算似乎也需要破除這些“墻”,以打通“任督二脈”^_^。

(5) 除此之外,人的大腦,還永不停息地與自己的同類(lèi)(人類(lèi))、與物質(zhì)世界的方方面面、與夢(mèng)鄉(xiāng)的時(shí)光反演隧道等,進(jìn)行交流和學(xué)習(xí)。這也是大腦具有極高運(yùn)行效率的一部分,從而不斷促進(jìn)大腦結(jié)構(gòu)的重塑和梳理,并以特定的形態(tài)構(gòu)成最優(yōu)化的人性與行為特征。

(6) 最后,提及一下筆者深有感受的“年少記憶牢實(shí),老來(lái)總是健忘”。筆者年輕時(shí),記憶力不算超群,但屬于還不錯(cuò)的那一類(lèi)。而今,記憶力不算沒(méi)有,但很糟糕。那些經(jīng)過(guò)長(zhǎng)時(shí)間訓(xùn)練到達(dá)的記憶狀態(tài),它們夯實(shí)而穩(wěn)定,顯示我們對(duì)兒時(shí)的時(shí)光記憶猶新、張口就來(lái)!但是,最近時(shí)日的朝夕乾坤,就很容易大面積地被忘記。這也是一個(gè)動(dòng)態(tài)的物理結(jié)構(gòu)演化到最后的結(jié)果:自由度少了、維度少了、遍歷性差了,整個(gè)體系進(jìn)入到一種接近基態(tài)的亞穩(wěn)態(tài)那里。在那里,動(dòng)力學(xué)慢、效率低、“溫度低”,最終的穩(wěn)態(tài)可能就是大腦癡呆態(tài)?!筆者還有一種相關(guān)的感受,并用歪理來(lái)加以解釋?zhuān)耗晟贂r(shí),風(fēng)雪之下大汗淋漓亦無(wú)妨;年老時(shí),陽(yáng)光普照之下亦要戴個(gè)帽子保個(gè)暖和。為什么呢?這是為了維持大腦足夠的“溫度”環(huán)境,維持動(dòng)力學(xué)活躍度,不至于很快就進(jìn)入凍結(jié)基態(tài)?!

如上六條描述,讓人類(lèi)大腦運(yùn)行的簡(jiǎn)單特征有了一個(gè)模糊圖畫(huà),也讓類(lèi)腦計(jì)算運(yùn)行有了可比擬參照的對(duì)象。既然人類(lèi)的大腦在處理信息、進(jìn)行推理計(jì)算方面如此這般,類(lèi)腦物理的研究就有了起點(diǎn)。當(dāng)然,Ising在此說(shuō)類(lèi)腦,是真正的班門(mén)弄斧。恭請(qǐng)各位魯班們,不必過(guò)于較真筆者的筆下胡謅!

筆者說(shuō)自己在胡謅,是有根據(jù)的。筆者瀏覽過(guò)北京大學(xué)黃如和楊玉超老師團(tuán)隊(duì)在《半導(dǎo)體學(xué)報(bào)》上發(fā)表的一篇短評(píng)“Embracing the era of neuromorphic computing”[Y. H. Wang et al, J. Semicond., 42, 010301 (2021); http://doi.org/10.1088/1674-4926/42/1/010301],其中插圖被引用在圖2(A)中。可以看到,電子科學(xué)與計(jì)算機(jī)科學(xué)的人們,一步就將圖1的人腦變成了如現(xiàn)代計(jì)算機(jī)硬件架構(gòu)一般的類(lèi)腦^_^!與此對(duì)應(yīng),從事腦科學(xué)研究的醫(yī)生和生物學(xué)家們,則積極接駁這一高度交叉學(xué)科,推動(dòng)類(lèi)腦科技的發(fā)展,如圖2(B)所示[Y. Qi et al, Neuromorphic computing facilitates deep brain-machine fusion for high-performance neuroprosthesis. Front. Neurosci. 17, 1153985 (2023); https://doi.org/10.3389/fnins.2023.1153985]。也就是說(shuō),圖2所示的風(fēng)景,才是當(dāng)下類(lèi)腦計(jì)算的現(xiàn)狀與未來(lái)風(fēng)景。

反過(guò)來(lái),筆者也看過(guò)中國(guó)科技大學(xué)袁嵐峰教授(科技傳播系)訪談復(fù)旦大學(xué)馮建峰教授(大數(shù)據(jù)學(xué)院院長(zhǎng))的一個(gè)視頻。其中,馮老師提到:類(lèi)腦運(yùn)行計(jì)算,實(shí)際上是一種(準(zhǔn))連續(xù)的模擬信號(hào)(據(jù)筆者所知,似乎不是模擬信號(hào)),而非人腦神經(jīng)中的電脈沖刺激。而且,人腦中的神經(jīng)元功能,可能是無(wú)序的、似乎不是類(lèi)腦計(jì)算中那一個(gè)一個(gè)的狀態(tài)開(kāi)關(guān)。因此,當(dāng)下的類(lèi)腦計(jì)算,與真實(shí)的人腦運(yùn)算,可能還不是“一回事”。


圖 2. 神經(jīng)形態(tài)類(lèi)腦計(jì)算的架構(gòu)。

(A) 類(lèi)腦計(jì)算的可能計(jì)算路線圖。(B) 類(lèi)腦計(jì)算促進(jìn)深度腦機(jī)融合。

(A) from Y. H. Wang et al, J. Semicond., 42, 010301 (2021); http://doi.org/10.1088/1674-4926/42/1/010301。(B) from Y. Qi et al, Front. Neurosci. 17, 1153985 (2023); https://doi.org/10.3389/fnins.2023.1153985。

3.視覺(jué)類(lèi)腦之感存算

這個(gè)不是“一回事”,可是麻煩事!讀者不妨?xí)簳r(shí)放下麻煩問(wèn)題,繼續(xù)跟筆者天馬行空、上下閑逛。

誠(chéng)然,有了魯班們不會(huì)計(jì)較的前提,Ising就可以繼續(xù)從樊貞那里學(xué)習(xí)類(lèi)腦計(jì)算了。這類(lèi)腦,當(dāng)然是一門(mén)大學(xué)科和交叉學(xué)科,包括方方面面,如大腦的結(jié)構(gòu)功能基礎(chǔ)認(rèn)知和模擬、計(jì)算大模型LLM的建構(gòu)、軟件算法和硬件實(shí)現(xiàn)、各種應(yīng)用場(chǎng)景與評(píng)估等,內(nèi)涵實(shí)在太大、太廣泛而無(wú)法一一展現(xiàn)。圖3(A)乃是來(lái)自人工智能AI專(zhuān)業(yè)的梳理示意圖。感興趣的讀者,隨便DS (deepseek) 一下,得到的AI知識(shí)都是成堆的那種。筆者掛一漏萬(wàn),在這里只打算討論一點(diǎn)視覺(jué)感知類(lèi)腦硬件材料上的知識(shí)。

要做成類(lèi)腦,首先要有感知的全套功能,即“感存算”一體化功能!物理人將其稱(chēng)之為In-sensor computing systems (傳感內(nèi)計(jì)算系統(tǒng))。樊貞他們所從事的主要方向,屬于此中的視覺(jué)“感存算”,也即圖3(A) 中最核心的那個(gè)“computer vision”。如下,姑且針對(duì)這一視覺(jué)“感存算”架構(gòu),寫(xiě)幾段讀書(shū)筆記。

3.1. 感

感,實(shí)際上指感知模塊,是人腦開(kāi)始工作的首要一步。這里有兩個(gè)步驟,第一個(gè)步驟是生物感知信號(hào)(如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué))的收集,第二步是信息的優(yōu)化、或說(shuō)信息的清晰明確化。傳統(tǒng)技術(shù)中,這兩個(gè)步驟自然是分立的:先感知到數(shù)據(jù),再將數(shù)據(jù)按照某些算法或模型進(jìn)行優(yōu)化清晰化。看起來(lái),完成這兩步,就要求感知模塊既要有足夠的時(shí)空分辨率(陣列空間集成密度),又要有足夠的感知度。很多物理人有一個(gè)感覺(jué),即華為手機(jī)的第二步太強(qiáng)大。眼睛看起來(lái)很模糊的月亮圖像,那些眼睛未可見(jiàn)的細(xì)節(jié)在華為手機(jī)中都清晰明了。這背后的話中話可能是:華為相機(jī)未必真的全是感知度高,還有可能是存在外加算法的加持?百度AI的解讀也有類(lèi)似“計(jì)算光學(xué)與AI算法”的內(nèi)容,雖然華為手機(jī)鏡頭的硬件感知度的確很強(qiáng)大。

要達(dá)到高品質(zhì)感知度,就得消耗更多能量。因此,尋找那些可以高度集成并能有足夠感知參數(shù)范圍的新介質(zhì),毫無(wú)疑問(wèn)是重要的。指針大約指向哪些介質(zhì)?或者大概率是哪些材料類(lèi)別?能量消耗最大的來(lái)源,毫無(wú)疑問(wèn)是電荷流動(dòng)帶來(lái)的焦耳熱。因此,絕緣體介質(zhì)是首選之一,或者說(shuō)鐵電是感知介質(zhì)的候選之一!

3.2. 存

信息感知或提取之后,需要通過(guò)某種信號(hào)驅(qū)動(dòng)而保存下來(lái) (非易失存儲(chǔ))。這同樣有很多功能要求,如速度快、密度高、存儲(chǔ)壽命長(zhǎng)等,都是做類(lèi)腦的物理人耳熟能詳?shù)母拍蠲~。然而,信息存儲(chǔ)領(lǐng)域的物理人最自豪的事情之一,可能就是手中有太多可付諸使用的信息存儲(chǔ)方案。即便只討論磁存儲(chǔ)一類(lèi),就積累了眾多高、快、強(qiáng)的體系。

不過(guò),這些方案一旦要應(yīng)用到類(lèi)腦計(jì)算系統(tǒng),如果要做到存算一體化,就需要克服“存儲(chǔ)墻”和“功耗墻”問(wèn)題?;诋?dāng)前的技術(shù)架構(gòu),存算一體,大概不能依賴(lài)磁場(chǎng)讀寫(xiě),而必須依賴(lài)自旋極化電流讀寫(xiě)、或磁電耦合電場(chǎng)讀寫(xiě)。這一架構(gòu),遭遇的第一個(gè)瓶頸,就是能耗。電流驅(qū)動(dòng)讀寫(xiě),當(dāng)然首選磁性金屬作讀寫(xiě)介質(zhì)。此時(shí),無(wú)論是磁性金屬本體還是異質(zhì)結(jié),焦耳熱總歸是存在的。利用電壓或柵極讀寫(xiě),因?yàn)樽孕騾⒘刻焐鷶y帶的能帶劈裂,用于磁存儲(chǔ)的磁性半導(dǎo)體之能隙就不可能很大。如此,磁性半導(dǎo)體,不大可能是電壓讀寫(xiě)方案的優(yōu)選。事實(shí)上,自旋電子學(xué)各種讀寫(xiě)存儲(chǔ)操作中,伴隨的漏電流能耗也還有繼續(xù)下降的空間。特別指出,用于存儲(chǔ)的磁介質(zhì),哪怕是最近正熱火朝天的交錯(cuò)磁體,付諸實(shí)際存儲(chǔ)讀寫(xiě)時(shí),依然是利用能帶劈裂帶來(lái)的磁電阻信號(hào)攜帶信息,依然有能耗問(wèn)題。自旋電子學(xué)的物理人,依然在為了“增效降耗”而努力著。

作為非易失磁存儲(chǔ)的一個(gè)替代方案,鐵電存儲(chǔ)也是克服所謂“存儲(chǔ)墻”和“功耗墻”之類(lèi)的優(yōu)選,以實(shí)現(xiàn)存算一體讀寫(xiě)。當(dāng)然,鐵電存儲(chǔ)也有一些問(wèn)題和瓶頸。限于筆者立場(chǎng),請(qǐng)?jiān)试S筆者不在此絮叨這些問(wèn)題^_^。

類(lèi)腦非易失存儲(chǔ)的另一個(gè)問(wèn)題,是存儲(chǔ)狀態(tài)的數(shù)目。無(wú)論如何,足夠多態(tài)而不僅是兩態(tài)的存儲(chǔ)能力,是未來(lái)類(lèi)腦的發(fā)展趨勢(shì),也貼合神經(jīng)形態(tài)操作的模式。這一趨勢(shì),正合阻變和相變存儲(chǔ)的胃口,而磁存儲(chǔ)在這方面則稍顯遜色。鐵電存儲(chǔ),如果用到導(dǎo)電疇壁和量子隧穿等存儲(chǔ)方案,其位置稍遜色于阻變,但優(yōu)于磁存儲(chǔ)。

3.3. 算

對(duì)感知的信息進(jìn)行運(yùn)算和處理,可能是人腦和類(lèi)腦最難、最復(fù)雜的層面。當(dāng)然,也可能是因?yàn)楣P者不諳此道而感覺(jué)特別難。不論是數(shù)學(xué)和計(jì)算機(jī)科學(xué)上的模擬計(jì)算或脈沖讀寫(xiě),還是醫(yī)學(xué)認(rèn)為的人腦中所謂時(shí)序依賴(lài)的疊加塑造運(yùn)算,所依賴(lài)的硬件,應(yīng)該都是由一個(gè)一個(gè)諸如場(chǎng)效應(yīng)晶體管FET那般、1T1C邏輯開(kāi)關(guān)單元那般組成的陣列。這些陣列,提供了矩陣相加或相乘、卷積積分迭代功能,有利于實(shí)現(xiàn)邏輯計(jì)算。筆者這里只針對(duì)最簡(jiǎn)單的場(chǎng)效應(yīng)晶體管開(kāi)關(guān),來(lái)討論運(yùn)算功能。

場(chǎng)效應(yīng)晶體管FET,通過(guò)對(duì)柵極施加電脈沖,開(kāi)斷晶體管的導(dǎo)電溝道,實(shí)現(xiàn)0/1態(tài)轉(zhuǎn)換(運(yùn)算)。對(duì)鐵電柵極FET而言,就是施加脈沖電場(chǎng)改變鐵電柵極的極化方向,控制FET流過(guò)溝道并存儲(chǔ)到近鄰鐵電電容中之電荷多少。如此,就實(shí)現(xiàn)了信息的存取。注意到,因?yàn)殍F電極化是非易失的,這里所謂“算”,就是鐵電柵極在電脈沖下要能實(shí)現(xiàn)快速翻轉(zhuǎn)。如此,也就同時(shí)實(shí)現(xiàn)了存儲(chǔ)器對(duì)信息的存取。這,就是存算一體操作。

3.4. 感存算一體

感知內(nèi)計(jì)算,最重要的特征就是感知信息的“感存算”一體化。存算一體,被認(rèn)為是實(shí)現(xiàn)人腦的突觸與神經(jīng)元集成運(yùn)行的關(guān)鍵,所以能耗低、速度快。在過(guò)去數(shù)十年試圖突破所謂馮? 諾依曼存算分離的努力中,諸如阻變存儲(chǔ)器RRAM、鐵電存儲(chǔ)器FeRAM 等,都能通過(guò)非易失電阻變化、電容變化,實(shí)現(xiàn)存算一體化。

在這兩類(lèi)存算一體單元中,開(kāi)關(guān)過(guò)程帶來(lái)的后果,如貢獻(xiàn)電阻的阻變、貢獻(xiàn)電容的鐵電疇,它們的狀態(tài)都同時(shí)被記錄下來(lái)。這與人腦中的神經(jīng)元(載流子或電荷) 輸運(yùn)和突觸狀態(tài)很類(lèi)似。阻變組態(tài)和鐵電疇組態(tài)的變化,類(lèi)似于更新突觸權(quán)重,從而實(shí)現(xiàn)邊計(jì)算、邊存儲(chǔ)、邊學(xué)習(xí),節(jié)省了載流子傳輸帶來(lái)的大量能量交換,功耗顯著降低。所謂自主完成學(xué)習(xí),就是這個(gè)涵義。這一問(wèn)題,在此不作細(xì)致討論。感興趣的讀者,可以AI或搜索一些科普資料來(lái)臨時(shí)腦補(bǔ)一下,也實(shí)踐感受一下“感存算”一體化管不管用^_^。

現(xiàn)在的難度是,如何實(shí)現(xiàn)“感+ 存+ 算”在同一個(gè)屋檐下,如何實(shí)現(xiàn)感存算一體和融合。傳統(tǒng)技術(shù)中,信息提取或傳感,如視/ 聽(tīng)/ 觸三類(lèi)信號(hào)的提取,都是靠額外的傳感器完成的,即傳感與存算是獨(dú)立分開(kāi)的,如圖3(B) 中的(conventional computing architecture) 所示。傳統(tǒng)電腦中CPU和內(nèi)存雖然也是分離的,但總算是相互臨近、集成在主板中心同一塊區(qū)域。而諸如顯卡,卻是通過(guò)主板與CPU聯(lián)系,交換信息費(fèi)時(shí)費(fèi)地費(fèi)能。顯卡本身就自帶自己的CPU和中央處理器集團(tuán):GPU(圖形處理器),自行負(fù)責(zé)圖形和并行計(jì)算;?顯存(VRAM),則為GPU提供高速臨時(shí)存儲(chǔ);?供電模塊/散熱系統(tǒng)/視頻輸出接口(如HDMI、DP)?等,則提供運(yùn)行的輔助服務(wù)。這一獨(dú)立王國(guó),經(jīng)過(guò)幾十年的發(fā)展,既為諸如英偉達(dá)這樣的超級(jí)AI公司提供基礎(chǔ)支撐,更為當(dāng)下的“感存算”提供指引。

看起來(lái),類(lèi)腦中的“感存算”,只有通過(guò)硬件層面的深度融合,才能突破傳統(tǒng)架構(gòu)中的“存儲(chǔ)墻”和“能耗墻”等,走向真正的類(lèi)腦計(jì)算。

這其中,視/ 聽(tīng)/ 觸三類(lèi)傳感信號(hào),信息量最大的是圖像的傳感、提取與處理。英偉達(dá)取得巨大成功之一招領(lǐng)先,也就是勝在高性能顯卡直接被用于運(yùn)算的HBM技術(shù)上。所以,所謂的“感存算”,可能首先是圖像信息的感知提取與處理,正如圖 3(B) 所展示的架構(gòu)那樣。目前看,光學(xué)成像與信息轉(zhuǎn)換是最關(guān)鍵的技術(shù)路線。實(shí)際上,感存算融合,就是光學(xué)傳感與存算單元融合起來(lái):要找到一種介質(zhì),既能實(shí)現(xiàn)既光學(xué)敏感,又能實(shí)時(shí)存儲(chǔ)和開(kāi)關(guān)計(jì)算功能。


圖 3. 類(lèi)腦視覺(jué)計(jì)算的概念架構(gòu)。

(A) 人工智能的目標(biāo),其中視覺(jué)計(jì)算是最核心的一塊,包括計(jì)算機(jī)“看到”和“辨認(rèn)”圖像。類(lèi)似的sensing感知和computing計(jì)算概念,可以拓展到其它類(lèi)型如觸覺(jué)、味覺(jué)等。(B) 目前計(jì)算機(jī)視覺(jué)“感存算”的現(xiàn)狀。這里,常規(guī)的視覺(jué)計(jì)算架構(gòu)包括攝像、A/D模數(shù)轉(zhuǎn)換、存儲(chǔ)、CPU計(jì)算、后期人工智能操作等步驟。這些步驟都是在硬件和軟件分立架構(gòu)中分步實(shí)現(xiàn)的。感存算一體架構(gòu),則包括陣列感知成像后直接進(jìn)行品質(zhì)和數(shù)字化處理、實(shí)現(xiàn)非易失存儲(chǔ)(integration of sendig, memory, and pre-processing),也包括緊接著進(jìn)行的診斷和辨認(rèn)計(jì)算(high-level processing & classification)。

(A) from https://ar.inspiredpencil.com/pictures-2023/artificial-intelligence-computer-vision。(B) from Y. Shi et al, Emerging 2D materials hardware for in-sensor computing, Nanoscale Horiz. 10, 205 (2025); https://doi.org/10.1039/D4NH00405A。

4.視覺(jué)的鐵電貫穿

稍微學(xué)習(xí)一下當(dāng)下諸多感存算一體化感知器件的進(jìn)展,能感受到成熟領(lǐng)先的方案不多。各條道上的物理人都在八仙過(guò)海、各顯神通。如果將光學(xué)傳感作為發(fā)展目標(biāo),則基于鐵電材料感知內(nèi)計(jì)算的“感存算”方案,算是比較有潛力的一類(lèi)。筆者感性一些,稱(chēng)之為視覺(jué)“感存算”系統(tǒng),正如標(biāo)題所示。按照競(jìng)爭(zhēng)上崗的說(shuō)辭:鐵電感存算在short-list上。

這么說(shuō)的道理在于:

4.1. 光學(xué)傳感

光的吸收和轉(zhuǎn)換,需要帶隙,因此金屬和窄帶隙半導(dǎo)體材料不成、不是好的選項(xiàng)。鐵電半導(dǎo)體之所以是首選之一,乃是因?yàn)槠鋷蹲銐蚱ヅ淇梢?jiàn)光、并易于被調(diào)控。鐵電體的光電效應(yīng)、非線性光學(xué)效應(yīng)和高效電場(chǎng)可調(diào)性,應(yīng)該都是其它材料難以比擬的。物理人以此為常識(shí),筆者在此不再啰嗦。不過(guò),這里拿鐵電材料來(lái),不是要做光學(xué)鏡片之類(lèi)。對(duì)視覺(jué)“感存算”而言,這里的首要問(wèn)題,是要實(shí)現(xiàn)對(duì)入射光強(qiáng)度和波長(zhǎng)的敏感捕捉,并集成到“感+存”之中(算的實(shí)現(xiàn),隨后就會(huì)提及)。

一方面,對(duì)光的捕捉,是能帶帶隙設(shè)計(jì)的事情。設(shè)計(jì)的目標(biāo)是使得承載圖像信息的光像素能夠被最佳吸收,從而激發(fā)最多的載流子、形成激子并分離出電荷信號(hào)而被記錄下來(lái)。其次,是實(shí)現(xiàn)高靈敏度,包括對(duì)光強(qiáng)的敏感,以提高圖像襯度和分辨。再次,可能算是更高層面的設(shè)計(jì),即從圖像提取角度,感知材料要能對(duì)不同波長(zhǎng)的可見(jiàn)光、紅外和紫外光有一定的選擇吸收性。

另一方面,在此基礎(chǔ)上,利用鐵電半導(dǎo)體的獨(dú)特優(yōu)勢(shì),實(shí)現(xiàn)更為高效的感存算。其中一種機(jī)制,即1960年代提出、這幾年被重新審視的所謂“鐵電體光伏”效應(yīng)(ferroelectric bulk-photovaltaic effect, FBPV),如圖 4 所示。這一機(jī)制發(fā)揮作用的量子物理,在圖中有所展示,圖題也給出了相關(guān)文獻(xiàn),在此不再重復(fù)。而基于大學(xué)物理的認(rèn)知,所謂“鐵電體光伏”效應(yīng),理解起來(lái)就再簡(jiǎn)單不過(guò)了:既然是鐵電體,就存在自發(fā)的鐵電極化,對(duì)應(yīng)地鐵電體內(nèi)就存在與極化P方向相反的、穩(wěn)定不變的內(nèi)電場(chǎng)Eint。很大程度上,這一內(nèi)電場(chǎng)不會(huì)很大,但足以驅(qū)動(dòng)體內(nèi)載流子運(yùn)動(dòng),也可協(xié)助光生激子的拆分。由此帶來(lái)的正負(fù)電極兩端的電勢(shì)差,即為體光伏開(kāi)路電壓Voc。

這些效應(yīng)形成的信號(hào)電壓輸出,即光學(xué)傳感的電學(xué)信號(hào)。如果這一信號(hào)能被原位實(shí)時(shí)用于感存算一體化過(guò)程,即是最佳效果。其中,這一電壓如果能夠直接用來(lái)對(duì)鐵電電容進(jìn)行讀寫(xiě),則實(shí)時(shí)“存”的功能就得以實(shí)現(xiàn)。

4.2. 非易失存儲(chǔ)(FeRAM)

鐵電作為高品質(zhì)、低能耗的非易失存儲(chǔ)器,被關(guān)注超過(guò)三十年。曾經(jīng)有幾家重量級(jí)大公司參與一線研發(fā),使得一些低密度FeRAM在市場(chǎng)上廣泛使用(如筆者所知,電子秤產(chǎn)品中有用到FeRAMs)。從技術(shù)路線和器件結(jié)構(gòu)上看,鐵電存儲(chǔ)器并無(wú)太多變化,只是諸如HfO2這樣神一樣的材料正在登堂入室,替代如PZT等傳統(tǒng)鈣鈦礦鐵電氧化物。

就目前的感存算集成器件而言,筆者并不很了解鐵電存儲(chǔ)是否有updated更新的架構(gòu)。存算一體的概念和實(shí)踐,已經(jīng)只爭(zhēng)朝夕一些年了,進(jìn)展很大。其中最令人矚目的進(jìn)展,可能要算HfO2了:這一正在被用作Si基集成電路FET的氧化物柵極層,被發(fā)現(xiàn)存在鐵電性,從而將FeRAM推到了工業(yè)界32 Gb/inch2的規(guī)模。鐵電存儲(chǔ),從1990年代國(guó)內(nèi)外開(kāi)始吆喝,到今天工業(yè)界(如美光公司)基于疊層架構(gòu)的商用FeRAMs研發(fā)成功,歷經(jīng)三十余年,大概是鐵電物理與材料最耀眼的成就。

下面會(huì)看到,樊貞他們亦是利用具有光感的鐵電電容(就是簡(jiǎn)單的PZT陶瓷薄片陣列),通過(guò)施加脈沖電場(chǎng)實(shí)現(xiàn)鐵電疇結(jié)構(gòu)調(diào)制,以完成視覺(jué)感知的“存+算”一體開(kāi)關(guān)操作。

4.3. 鐵電類(lèi)腦器件

在轉(zhuǎn)向樊貞的鐵電感存算之前,再簡(jiǎn)單提及已在鐵電物理人手里把玩了一些年的鐵電類(lèi)腦器件。目前能夠見(jiàn)諸報(bào)道的有突觸單元、神經(jīng)元器件、存算一體原型和生物電子元器件等幾大類(lèi)。

這些器件,在結(jié)構(gòu)上大概分為電容和隧道結(jié)兩大類(lèi)型。鐵電電容一類(lèi),主要依靠脈沖電場(chǎng)操控電容器中鐵電疇組態(tài)和宏觀極化大小,也就是束縛電荷多少,來(lái)表達(dá)突觸可塑性。諸如長(zhǎng)時(shí)程增強(qiáng)/抑制(LTP/LTD)等功能,都得以實(shí)現(xiàn),為實(shí)現(xiàn)神經(jīng)形態(tài)中的權(quán)重存儲(chǔ)與更新提供物理參數(shù)。目前看,這一路線的發(fā)展似乎顯得四平八穩(wěn),可圈可點(diǎn)之處不多。

另一類(lèi)器件,在結(jié)構(gòu)上以鐵電隧道結(jié)為主。通過(guò)脈沖操控隧道結(jié)中不同鐵電疇組態(tài)下的隧道電阻,以阻變演化來(lái)實(shí)現(xiàn)類(lèi)似的突觸可塑性。這方面,筆者較為熟悉的國(guó)內(nèi)團(tuán)隊(duì)有中科大李曉光團(tuán)隊(duì)、清華南策文團(tuán)隊(duì)、華東師大段純剛團(tuán)隊(duì)、復(fù)旦大學(xué)江安全團(tuán)隊(duì)、華南師大高興森團(tuán)隊(duì)等,還有電子科大、湘潭大學(xué)、中科院深圳先研院等院所,都有不錯(cuò)的工作進(jìn)展。這里列舉疏漏很多,請(qǐng)相關(guān)讀者不以為意。

鋪墊廢話了那么多,接下來(lái),該鐵電感存算了吧!


圖 4. 鐵電體光伏效應(yīng)的物理科普。

(A) 展示鐵電光伏效應(yīng)的結(jié)構(gòu)示意圖與基于鐵電極化引入的內(nèi)部退極化場(chǎng)(內(nèi)電場(chǎng))驅(qū)動(dòng)體內(nèi)載流子輸運(yùn)機(jī)制。這一機(jī)制與傳統(tǒng)半導(dǎo)體光伏的p-n機(jī)制不同。鐵電體光伏效應(yīng)的概念在1960年代就被提出,但未能付諸實(shí)際應(yīng)用的主要原因是那個(gè)時(shí)代熟知的鐵電體能隙太大,載流子傳輸缺乏現(xiàn)實(shí)意義。(B) 鐵電體光伏的所謂“shift漂移機(jī)制”與所謂的“ballistic彈道機(jī)制”相互競(jìng)爭(zhēng),勝出者掌控體光伏效應(yīng)。相關(guān)討論可見(jiàn)鏈接之參考文獻(xiàn)。目前看,漂移機(jī)制占據(jù)上風(fēng)。(C) 處于陽(yáng)極(anode、正極)和陰極(cathode、負(fù)極)之間的鐵電體之能級(jí)結(jié)構(gòu)。在光照下,開(kāi)路光伏電壓Voc = Prd/[ε0(εr-1)],其中Pr是鐵電剩余極化、d是鐵電層厚度、ε0和εr是真空介電常數(shù)和鐵電電介質(zhì)相對(duì)介電常數(shù)。對(duì)一般鐵電體,介電常數(shù)偏大,因此就鐵電光伏而言,最好挑選那些介電常數(shù)小、極化大的體系,雖然這樣的體系不多。

(A) from Arti Chauhan et al, Results in Phys. 14, 102403 (2019), https://doi.org/10.1016/j.rinp.2019.102403。(B) from Y. Liu et al, Bulk Photovoltage Effect in Ferroelectric BaTiO3, J. Phys. Chem. Lett. 13, 11071 (2022), https://pubs.acs.org/doi/10.1021/acs.jpclett.2c03194。(C) From Yuji Matoba et al, Bull. Chem. Soc. Japan 96, 247 (2023); https://doi.org/10.1246/bcsj.20230011。

5.樊貞的視覺(jué)感存算

實(shí)話說(shuō),鐵電感存算一體化,不是一件容易的事情。樊貞他們的工作,并非真的一步登天將這一體化做好了。他們也多是在前人基礎(chǔ)上開(kāi)始了新的探索嘗試罷了。樊貞他們的主體工作,按照筆者現(xiàn)在的理解,可被梳理成如下兩小節(jié)。

5.1. 創(chuàng)新思路

(1) 先從目前的視覺(jué)感存算系統(tǒng)研發(fā)工作開(kāi)始。主線大概分為兩類(lèi),即圖像品質(zhì)加工、圖像識(shí)別計(jì)算!所謂圖像品質(zhì)加工提升,就是將感知的圖像信號(hào)存儲(chǔ)下來(lái)、并實(shí)時(shí)進(jìn)行包括降低信號(hào)噪聲、提升襯度品質(zhì)和視覺(jué)舒適度(visual adaptation)等處理。這些處理硬件上相對(duì)簡(jiǎn)單,通過(guò)重復(fù)拍攝或斬波(chop),形成脈沖信號(hào),圖像的襯度和亮度將得以提升。對(duì)類(lèi)腦材料,外部信號(hào)引入,將不斷激發(fā)、訓(xùn)練,體系不斷展現(xiàn)功能疊加響應(yīng),因此圖像品質(zhì)加工提升的目標(biāo)容易達(dá)到,也即被稱(chēng)為是低端的信息處理(low-level processing, dynamic photoresponse 動(dòng)態(tài)光感知,簡(jiǎn)稱(chēng)DP)。所謂圖像識(shí)別計(jì)算,包括辨認(rèn)和編碼,被稱(chēng)為是高端處理計(jì)算(high-level computing, programmable photoresponsivity可編程光感知, 簡(jiǎn)稱(chēng)PP),其實(shí)質(zhì)就是對(duì)陣列單元進(jìn)行編碼讀寫(xiě)(開(kāi)關(guān)),并不斷比對(duì),最終實(shí)時(shí)完成圖像的識(shí)別和編碼。

(2) 兩類(lèi)任務(wù)的完成,都得借助硬件和軟件協(xié)同。這里,只討論硬件處理。目前的技術(shù)中這兩類(lèi)任務(wù)是分離進(jìn)行的,整個(gè)系統(tǒng)在數(shù)據(jù)交換速率、能耗和系統(tǒng)集成方面與高效類(lèi)腦計(jì)算要求有很大距離。樊貞他們想做的,就是一次性能將這兩類(lèi)任務(wù)置于同一器件中實(shí)時(shí)完成。所謂視覺(jué)的感存算一體,就是這個(gè)意涵。

(3) 難度在哪里呢?!難度在于DP過(guò)程是含時(shí)的,而PP過(guò)程則希望得到的狀態(tài)穩(wěn)定可靠、聽(tīng)從操控。DP和PP兩者難以和睦相處。當(dāng)然,有些PP過(guò)程可能會(huì)依賴(lài)于光線輻照(光照成像)強(qiáng)度和時(shí)間,但光源關(guān)閉后體系依然要能夠弛豫回到初態(tài)。這一要求,與DP過(guò)程不適配。

(4) 怎么辦呢。樊貞他們苦思冥想之后,大約也是在文獻(xiàn)和同行啟發(fā)之下,開(kāi)始關(guān)注能否將如上提及的鐵電體光伏效應(yīng)引入進(jìn)來(lái)。他們?cè)O(shè)計(jì)的器件結(jié)構(gòu)示意圖,大約如圖5 所示。為了對(duì)應(yīng)閱讀,這里的圖5,乃是筆者基于樊貞論文中的圖1 [K. Liu et al, NC 17, 408 (2026); https://www.nature.com/articles/s41467-025-67103-x]進(jìn)行加工優(yōu)化后的樣子。正是因?yàn)橛辛诉@番創(chuàng)意,樊貞他們能夠取得進(jìn)展。即便是以經(jīng)典鐵電體PZT [(Pb0.97La0.03)(Zr0.52Ti0.48)O3]陶瓷薄片為載體,他們也得到了第一批不錯(cuò)的結(jié)果。對(duì)詳細(xì)內(nèi)容感興趣的讀者,請(qǐng)移步他們的論文一覽究竟。

下一節(jié),筆者對(duì)他們的創(chuàng)意思路,做一番基于自身立場(chǎng)的“曲解”和“誤讀”。

5.2. 框架設(shè)計(jì)

對(duì)樊貞創(chuàng)意進(jìn)行解讀不難,難在體會(huì)他們花費(fèi)了多少心思和努力才設(shè)計(jì)出來(lái)的這一框架。他們的這份“難”,值得敬佩:

(1) Box (A):光學(xué)傳感矩陣陣列(a1),由N×N個(gè)基本單元(a2)組成。每個(gè)單元(a2)由紅藍(lán)兩個(gè)直角三角元(◤+◢)近鄰而成。在陣列密度足夠高的前提下,兩個(gè)三角元的光學(xué)成像可視為是identical的。紅色三角元(簡(jiǎn)稱(chēng)“紅三角元”◤)顯示于(a3),藍(lán)三角元形(◢)顯示于(a4)。電子和空穴的顏色符號(hào)顯示于(a5)。藍(lán)三角元◢ /紅三角元◤的初始態(tài)是一樣的,顯示于(a6):均由一鐵電光伏電容與一鐵電存儲(chǔ)電容并聯(lián)而成。光伏電容,因?yàn)橐休d光生載流子激發(fā)與傳輸,其帶隙必然小,難以長(zhǎng)久維持鐵電極化態(tài)而不發(fā)生退化。為此,并聯(lián)一個(gè)帶隙足夠大、剩余極化大、翻轉(zhuǎn)電場(chǎng)足夠低的鐵電存儲(chǔ)電容,以長(zhǎng)久存儲(chǔ)光伏電容記錄下來(lái)的鐵電極化狀態(tài),是必要的。初始態(tài)時(shí),光伏電容需預(yù)先被極化。極化后的剩余極化為Pr。光伏電容體內(nèi)的內(nèi)電場(chǎng)為Eint,與Pr反向。

(2) Box (B):展示視覺(jué)成像與品質(zhì)優(yōu)化過(guò)程(dynamic photoresponse, DP)。紅三角元◤內(nèi)部的光伏電容在感光(光脈沖輻照)后,產(chǎn)生光生電子和空穴,顯示于(b1)。電子/空穴在在內(nèi)電場(chǎng)Eint作用下反向而行,電子向上遷移并聚集于上電極,空穴向下遷移并聚集于底電極。電荷同時(shí)聚集于存儲(chǔ)電容電極中,形成內(nèi)電場(chǎng)翻轉(zhuǎn)鐵電疇,實(shí)現(xiàn)非易失存儲(chǔ),顯示于(b2)。在顯示于(b3)的一系列optical inputs驅(qū)動(dòng)下,光伏電容兩端的電荷不斷聚集,顯示于(b4);同時(shí)存儲(chǔ)電容器兩端電荷也不斷聚集,顯示于(b5)。經(jīng)歷這一系列optical inputs驅(qū)動(dòng)后,兩個(gè)電容的開(kāi)路電壓信號(hào)(electrical outputs)亦不斷升高,顯示于(b6)。這一過(guò)程,即視覺(jué)圖像感知與品質(zhì)提升過(guò)程,最后實(shí)現(xiàn)contrast enhancement (貓的圖像不斷清晰化),顯示于(b6)上方。

(3) Box (C):展示與紅三角元◤毗鄰的藍(lán)三角元◢是如何實(shí)現(xiàn)圖像的診斷與鑒定的(diagnosis & identification)。這一Box,包括兩個(gè)串聯(lián)起來(lái)的Box (C1)和Box (C2)。

(4) Box (C1):展示的過(guò)程,與紅三角元◤的Box (B)完全一樣,但是針對(duì)的是藍(lán)三角元◢。在此不再重復(fù)描述。紅藍(lán)三角元毗鄰,組合成陣列單元(a2),因此它們光學(xué)感知到的信息是幾乎一樣的。

(5) Box (C2):展示光學(xué)感知信號(hào)的診斷與識(shí)別(diagnosis & identification),緊接著B(niǎo)ox (C1)其后進(jìn)行。對(duì)光伏電容(d1)進(jìn)行正反電脈沖(electrical inputs)寫(xiě)入[同時(shí)也是對(duì)存儲(chǔ)電容(d2)的寫(xiě)入],顯示于(d3)。這一寫(xiě)入序列,實(shí)際上是在操控光伏和存儲(chǔ)電容器中的鐵電疇,以得到不同的極化態(tài)輸出,顯示于(d4)/(d5);對(duì)應(yīng)的電信號(hào)輸出(electrical outputs)顯示于(d6)。隨后,借助軟件操作,將這些輸出與參考視覺(jué)圖像進(jìn)行比對(duì),以診斷光感知的視覺(jué)信號(hào)是什么。這一過(guò)程,覆蓋(a1)所示的所有陣列單元,從而最終完成對(duì)整個(gè)圖像的視覺(jué)診斷和認(rèn)定,實(shí)現(xiàn)視覺(jué)計(jì)算。

(6) 最后,注意到,Box (C2)中的電脈沖寫(xiě)入,已經(jīng)破壞了藍(lán)三角元◢存儲(chǔ)的圖像信號(hào)。幸虧,同樣的(identical)的信號(hào)保存在毗鄰的紅三角元◤中。此乃“笨拙的”非易失信息存儲(chǔ)。整個(gè)設(shè)計(jì),很好完成了對(duì)此單元的視覺(jué)“感存算”一體化任務(wù)。

如上描繪,如果覆蓋到(a1)所示的視覺(jué)感存算陣列之每一個(gè)單元上,就可完成對(duì)一幅完整圖像的視覺(jué)“感存算”一體化處理。筆者取本文標(biāo)題為“視覺(jué)感存算的鐵電貫穿”,算是扣住了這一工作的核心元素。樊貞他們?cè)谶^(guò)去兩年甚至更長(zhǎng)時(shí)間內(nèi),完成了對(duì)這一框架設(shè)計(jì)的實(shí)驗(yàn)實(shí)現(xiàn)與驗(yàn)證,寫(xiě)成了一篇很有創(chuàng)意的論文,刊登于2026年初的《Nature Communications》上,引起同行關(guān)注。相關(guān)公眾號(hào)《感存算一體》在2025年底論文手稿online時(shí)就寫(xiě)了《》的推文,對(duì)這一結(jié)果進(jìn)行了解讀。本文在此不再重復(fù)這一論文對(duì)數(shù)據(jù)的細(xì)節(jié)描述和相關(guān)討論。


圖 5. 華南師大IAM樊貞團(tuán)隊(duì)“視覺(jué)感存算”的創(chuàng)新架構(gòu)。詳細(xì)描述見(jiàn)正文第5.2節(jié),此處不再詳加解讀。

6.作為結(jié)語(yǔ)的議論

筆者撰文的一貫風(fēng)格,就是偶有夸張和感性表達(dá)。因此,本文存在若干不那么嚴(yán)謹(jǐn)夯實(shí)之處,是可以預(yù)見(jiàn)的。將類(lèi)腦計(jì)算中的視覺(jué)感知與計(jì)算一體化,算得上是不錯(cuò)的進(jìn)展,渲染一下未必不可。然而,要對(duì)“人腦”運(yùn)行進(jìn)行系統(tǒng)全面的“類(lèi)腦”復(fù)現(xiàn),看起來(lái)還有萬(wàn)水千山。人腦處理視覺(jué),應(yīng)該只算其系統(tǒng)功能之滄海一粟。人腦還有觸覺(jué)、聽(tīng)覺(jué)、(聞)味覺(jué)等等,更有操控人體各個(gè)器官的驅(qū)動(dòng)、響應(yīng)、交流和協(xié)同等等。這些,大概不是一個(gè)視覺(jué)上的“感存算”所能代表的。

話又說(shuō)回來(lái),萬(wàn)事開(kāi)頭難。視覺(jué)上的“感存算”,淌開(kāi)了人腦對(duì)所有功能“感存算”之大江大河。所謂滄海桑田,未來(lái)大約可期。這一小步,與萬(wàn)千同行們各自邁出的千萬(wàn)步一起,預(yù)示著物理人對(duì)大腦海闊天空的最終占領(lǐng)不是不可能的事情。這是創(chuàng)新的價(jià)值。

當(dāng)然,在思路上的創(chuàng)新之外,要實(shí)現(xiàn)真實(shí)的類(lèi)腦視覺(jué)應(yīng)用,除了最難而未必可期的陣列化、規(guī)模化、產(chǎn)業(yè)化之外,樊貞他們腳下還有很多牽絆和障礙。即便是本文涉及的這一小步,亦有一些踉蹌之處:

(1) 所謂鐵電光伏材料,因?yàn)閹兑笏拗?,要么載流子濃度偏低,要么遷移率是個(gè)問(wèn)題,要么鐵電性能不夠好。這些物理限制,通常都是trade-off的關(guān)系,經(jīng)常無(wú)法兼顧。

(2) 材料問(wèn)題亦是挑戰(zhàn)。未來(lái)的感存算,終歸還是要回歸到Si基半導(dǎo)體上。鐵電氧化物與Si的集成,依然是挑戰(zhàn),即便是HfO2亦有一些問(wèn)題等待克服。

(3) 利用所謂的above-bandgap體光伏效應(yīng),即便不管p-n結(jié)物理,只利用鐵電極化構(gòu)建的內(nèi)電場(chǎng)來(lái)驅(qū)動(dòng)載流子分立,也未必就能解決所有問(wèn)題。且不論這樣的好材料有多少,實(shí)際上此類(lèi)驅(qū)動(dòng)依賴(lài)于內(nèi)電場(chǎng)Eint大小。一旦光生載流子在光伏電容兩端建立起自己的電場(chǎng)Eph,體內(nèi)實(shí)際電場(chǎng)即不斷減小,因?yàn)樗鼈儍烧呤欠聪虻摹?/p>

(4) 且不論軟件運(yùn)算層面的一些糾葛,在硬件運(yùn)算層面,存儲(chǔ)電容的配置給系統(tǒng)帶來(lái)了額外復(fù)雜性。在樊貞的版本中,存儲(chǔ)與診斷之間不能共存的問(wèn)題尚未很好解決,亦需要下一步更好應(yīng)對(duì)。

嚴(yán)苛如筆者這樣的物理人,還可針對(duì)這一工作提出更多質(zhì)疑和問(wèn)題。如此再提下去,既沒(méi)有必要,亦是對(duì)作為主將的樊貞教授、作為打醬油作者的筆者自己,之大不尊重!

最后指出,本文描述可能多有夸張、不周之處,敬請(qǐng)讀者諒解。對(duì)詳細(xì)內(nèi)容感興趣的讀者,可點(diǎn)擊文尾的“閱讀原文”而御覽他們的論文原文。

In-sensor image memorization, low-level processing, and high-level computing by using above-bandgap photovoltages

Kun Liu, Shan Tan, Zhen Fan( 樊貞), Haipeng Lin, Jiali Ou, Haoyue Deng, Jinghao Chen, Wenjie Li, Wenjie Hu, Boyuan Cui, Zhiwei Chen, Ruiqiang Tao, Guo Tian, Xubing Lu, Guofu Zhou, Xingsen Gao & Jun-Ming Liu

Nature Communications 17, Article number: 408 (2026)

https://www.nature.com/articles/s41467-025-67103-x

卜算子·空山霜野

赤壤出空山,約起涂芳甸

無(wú)矩?zé)o規(guī)任意拼

砌個(gè)風(fēng)流亂

斜面若分形,易野如天演

許我巡游沃瘠間

遍歷桑疇看


(1) 筆者Ising,任職南京大學(xué)物理學(xué)院,兼職《npj Quantum Materials》執(zhí)行編輯。

(2) 小文標(biāo)題“類(lèi)腦視覺(jué)感存算之鐵電貫穿”乃宣傳式的言辭,不是物理上嚴(yán)謹(jǐn)?shù)恼f(shuō)法。這里是指樊貞博士他們發(fā)展了一種針對(duì)視覺(jué)上的“感存算”一體化器件架構(gòu):借助鐵電的體光伏效應(yīng)和非易失存算功能,有機(jī)會(huì)打通視覺(jué)和信息之類(lèi)腦計(jì)算中遭遇的存儲(chǔ)墻、感存墻等,實(shí)現(xiàn)三位一體一把抓。

(3) 為撰寫(xiě)本文,作為外行的筆者參閱過(guò)諸多網(wǎng)絡(luò)神文名篇,包括《知乎》《百度》和《Bing》上的資料。在此謹(jǐn)致謝意!本文夾塞了許多筆者粗知陋見(jiàn),請(qǐng)讀者不以為意!

(4) 文底圖片乃 (20260228) 拍攝于江南嚴(yán)冬霜野處,有紅梅初放之態(tài)。文底小詞 (20260129) 原本寫(xiě)嚴(yán)冬時(shí)節(jié)江東蕭瑟大地上生命初啟。用在這里感懷一下樊貞教授他們年輕一代學(xué)者探索從無(wú)到有的精氣神。畢竟,鐵電視覺(jué)的感存算,第一個(gè)系統(tǒng)性的嘗試即是這篇工作。

(5) 封面圖片取自樊貞他們論文的圖 1,展現(xiàn)了視覺(jué)低端圖像品質(zhì)處理和高端圖像診斷辨認(rèn)計(jì)算的會(huì)合集成。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
王欣瑜首盤(pán)3-5時(shí)因傷選擇退賽,科斯蒂亞晉級(jí)WTA250魯昂站八強(qiáng)

王欣瑜首盤(pán)3-5時(shí)因傷選擇退賽,科斯蒂亞晉級(jí)WTA250魯昂站八強(qiáng)

懂球帝
2026-04-17 01:51:07
女生長(zhǎng)的太漂亮是什么體驗(yàn)?網(wǎng)友:母以子貴,父以女榮

女生長(zhǎng)的太漂亮是什么體驗(yàn)?網(wǎng)友:母以子貴,父以女榮

另子維愛(ài)讀史
2026-03-10 22:56:08
10個(gè)小時(shí)從北京到廣西,蘇林體驗(yàn)的高鐵,我們?cè)瓉?lái)早已習(xí)以為常!

10個(gè)小時(shí)從北京到廣西,蘇林體驗(yàn)的高鐵,我們?cè)瓉?lái)早已習(xí)以為常!

全城探秘
2026-04-16 14:14:12
霍爾木茲海峽,“隔空決戰(zhàn)”

霍爾木茲海峽,“隔空決戰(zhàn)”

中國(guó)新聞周刊
2026-04-16 12:05:59
邵氏五虎將只剩一人!早已息影30年,如今定居加拿大,生活很愜意

邵氏五虎將只剩一人!早已息影30年,如今定居加拿大,生活很愜意

以茶帶書(shū)
2026-04-16 19:07:49
美股收漲,納指12連陽(yáng),中國(guó)資產(chǎn)大爆發(fā),半導(dǎo)體狂飆,奈飛盤(pán)后重挫

美股收漲,納指12連陽(yáng),中國(guó)資產(chǎn)大爆發(fā),半導(dǎo)體狂飆,奈飛盤(pán)后重挫

第一財(cái)經(jīng)資訊
2026-04-17 07:23:35
國(guó)民黨申請(qǐng)鄭麗文480萬(wàn)訪陸經(jīng)費(fèi),吳思瑤反對(duì),韓國(guó)瑜出手

國(guó)民黨申請(qǐng)鄭麗文480萬(wàn)訪陸經(jīng)費(fèi),吳思瑤反對(duì),韓國(guó)瑜出手

原來(lái)仙女不講理
2026-04-16 21:12:49
中間這位曾經(jīng)是多少人的女神,現(xiàn)在也美人遲暮了

中間這位曾經(jīng)是多少人的女神,現(xiàn)在也美人遲暮了

手工制作阿殲
2026-04-16 19:40:15
NBA裁定盧卡·東契奇有資格角逐獎(jiǎng)項(xiàng)后,他的第一反應(yīng)是:感謝

NBA裁定盧卡·東契奇有資格角逐獎(jiǎng)項(xiàng)后,他的第一反應(yīng)是:感謝

好火子
2026-04-17 05:30:04
紀(jì)委不會(huì)查這3種情況,很多人不知道,要切記!

紀(jì)委不會(huì)查這3種情況,很多人不知道,要切記!

細(xì)說(shuō)職場(chǎng)
2026-04-16 15:27:18
蘋(píng)果讓Pro用戶(hù)往攝像頭上貼貼紙

蘋(píng)果讓Pro用戶(hù)往攝像頭上貼貼紙

像素與芯片
2026-04-16 23:29:10
WTI原油開(kāi)盤(pán)走低,現(xiàn)跌1.7%

WTI原油開(kāi)盤(pán)走低,現(xiàn)跌1.7%

每日經(jīng)濟(jì)新聞
2026-04-17 06:11:05
女人暗示可以發(fā)生關(guān)系,這3個(gè)潛意識(shí)舉動(dòng)藏不住真心

女人暗示可以發(fā)生關(guān)系,這3個(gè)潛意識(shí)舉動(dòng)藏不住真心

熱心市民小黃
2026-04-17 07:13:30
爭(zhēng)議!張雪又亂說(shuō)話了 反轉(zhuǎn)后自己刪除視頻 網(wǎng)友:老老實(shí)實(shí)造車(chē)吧

爭(zhēng)議!張雪又亂說(shuō)話了 反轉(zhuǎn)后自己刪除視頻 網(wǎng)友:老老實(shí)實(shí)造車(chē)吧

念洲
2026-04-16 07:35:45
CBA又一巨人殺手!掀翻浙江后力挫江蘇:福建為季后賽瘋狂續(xù)命!

CBA又一巨人殺手!掀翻浙江后力挫江蘇:福建為季后賽瘋狂續(xù)命!

籃球快餐車(chē)
2026-04-17 02:18:56
馬筱梅深夜淚崩,張?zhí)m發(fā)文隔空撐腰

馬筱梅深夜淚崩,張?zhí)m發(fā)文隔空撐腰

蒂蒂茱家
2026-04-16 10:53:37
白天作陪晚上同宿?明碼標(biāo)價(jià)8000一回!高端伴游淪為色情交易窩點(diǎn)

白天作陪晚上同宿?明碼標(biāo)價(jià)8000一回!高端伴游淪為色情交易窩點(diǎn)

網(wǎng)絡(luò)易不易
2026-01-20 10:17:46
弗洛倫蒂諾賽后批評(píng)全隊(duì):連續(xù)兩個(gè)賽季無(wú)冠是不可接受的

弗洛倫蒂諾賽后批評(píng)全隊(duì):連續(xù)兩個(gè)賽季無(wú)冠是不可接受的

懂球帝
2026-04-16 19:07:06
為圓生子夢(mèng),李大雙棄丁克17年妻子,娶外國(guó)美女,如今兒子已1歲

為圓生子夢(mèng),李大雙棄丁克17年妻子,娶外國(guó)美女,如今兒子已1歲

攬星河的筆記
2026-04-15 19:03:52
過(guò)午不食?55歲男子堅(jiān)持2年不吃晚飯,去體檢后,他的胃怎樣了?

過(guò)午不食?55歲男子堅(jiān)持2年不吃晚飯,去體檢后,他的胃怎樣了?

白話電影院
2026-04-09 14:36:58
2026-04-17 07:56:49
中國(guó)物理學(xué)會(huì)期刊網(wǎng) incentive-icons
中國(guó)物理學(xué)會(huì)期刊網(wǎng)
最權(quán)威的物理學(xué)綜合信息網(wǎng)站
4214文章數(shù) 21932關(guān)注度
往期回顧 全部

科技要聞

Anthropic推出Opus 4.7,坦言依不及Mythos

頭條要聞

以媒:從媒體上得知與黎巴嫩?;?以色列高官又驚又怒

頭條要聞

以媒:從媒體上得知與黎巴嫩?;?以色列高官又驚又怒

體育要聞

皇馬拜仁踢出名局,但最搶鏡的還是他

娛樂(lè)要聞

絲芭傳媒創(chuàng)始人王子杰去世,享年63歲

財(cái)經(jīng)要聞

海爾與醫(yī)美女王互撕 換血抗衰誰(shuí)的生意?

汽車(chē)要聞

空間大五個(gè)乘客都滿(mǎn)意?體驗(yàn)嵐圖泰山X8

態(tài)度原創(chuàng)

家居
房產(chǎn)
藝術(shù)
數(shù)碼
公開(kāi)課

家居要聞

智能舒適 簡(jiǎn)約風(fēng)尚

房產(chǎn)要聞

人人人人!封關(guān)后首屆消博會(huì),擠爆了!

藝術(shù)要聞

這 4 個(gè)紅底黑字,藏著毛主席給一位普通母親的最高贊譽(yù),看完淚目

數(shù)碼要聞

2999元!大疆Pocket 4出手就是王炸,兩年半等待值了

公開(kāi)課

李玫瑾:為什么性格比能力更重要?

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版