美國能源部勞倫斯伯克利國家實驗（Lawrence Berkeley National Laboratory ）的科學家開發(fā)了一種有趣且應用潛力巨大的新型智能傳感器，如同訓練有素的搜救犬：它首先“嗅探”出示例樣本——比如一種農作物或葉子的光譜特征。然后，它能夠在全新的、此前從未見過的環(huán)境中尋找指定的目標。

光譜成像工具（即捕捉超出肉眼可見RGB光譜顏色的相機）對于獲取物體材料和結構屬性的信息至關重要。將其與機器學習相結合，為識別現實世界中的物體特征提供了一條強大的應用方法，這些應用包括半導體制造、污染物追蹤和作物監(jiān)測。

現在，通過將AI算法嵌入相機傳感器本身，的研究人員已經消除了長期困擾光譜成像技術性能的數據處理瓶頸。其結果是一個能夠快速、高效地識別化學品和表征材料的智能傳感器。

“我們的重點是使現有光譜機器視覺技術的速度、分辨率和能效提升兩個數量級以上�！鳖I導這項設備研究的Ali Javey表示。Javey是Berkeley Lab的高級教職科學家，同時也是加州大學伯克利分校材料科學與工程教授。這項工作與加州大學洛杉磯分校的Aydogan Ozcan緊密合作完成。

該傳感器設計展示了如何將新穎的功能構建到半導體器件本身，以提高其效率和實用性，并開啟一類新的AI視覺硬件。

用光構建算法

傳統(tǒng)光譜成像技術將傳感器和計算模塊分離開來。傳感器首先捕獲一堆圖像，每一張對應某種顏色。然后，密集的圖像堆棧被發(fā)送到數字處理器進行進一步計算，從而產生物體識別結果。

問題就出在這里。

“傳感器必須收集并向數字處理器發(fā)送比普通相機多得多的數據，大致比普通相機大十到一百倍�！盉erkeley Lab材料科學部門博士后、該研究的第一作者Dehui Zhang表示。

因此，傳感器和計算機硬件往往不堪重負，使物體識別任務變得極其緩慢且能耗極高。

相反，Berkeley Lab團隊開發(fā)的傳感器在圖像捕獲——即光電檢測——過程中本身就執(zhí)行AI計算和光譜分析。

“光電檢測可以被感知為一種自動的物理計算過程�！盳hang解釋道。

當光線照射到傳感器時，其強度會自動映射到電流的強度上。由于傳感器對光的響應度可以輕松調節(jié)，研究人員擁有一個旋鈕，用于選擇哪些光譜特征被突出顯示，哪些被抑制。

因此，傳感器被電路讀取的電流，就充當了對圖像光譜內容的推斷�！拔覀冏C明了這一計算過程在數學上類似于通常用于數字機器學習的算法。”Zhang說。

這一類比使得將傳感器用作機器學習計算機并對入射光本身執(zhí)行機器學習計算成為可能。

訓練機器

任何AI或機器視覺模型首先都需要學習它應該識別什么。這意味著向它“展示”足夠多的感興趣光譜特征的示例——例如，來自真實葉子與人造葉子的紅外線圖案；或者圖像中屬于鳥類羽毛而非樹皮（顏色相似）的像素——使其能夠在未經試過的測試案例中找到這些特征。

在訓練步驟中，研究人員向傳感器展示了森林環(huán)境中彩色鳥類的數十張圖像。傳感器沒有檢查每張圖像的每個像素，而是“嗅探”了一個隨機選擇的像素子集，每個像素被標記為屬于鳥類或不需要的背景。

外部計算機向傳感器發(fā)送電信號，命令它“識別鳥類”或“識別背景”，并記錄每個命令下傳感器的輸出。然后，軟件確定教導傳感器突出鳥類區(qū)域同時抑制其他所有內容的最佳命令組合。

在測試步驟中，他們向傳感器展示了一張新圖像并告訴它找鳥，使用訓練期間開發(fā)的命令組合。傳感器僅對屬于鳥類的像素輸出正信號。這一結果意味著傳感器已經從示例中學習識別目標物體，即使它們屬于從未見過的圖像。

“對我來說，最令人興奮的部分是賦予傳感器智能的概念�！盝avey說。

普通傳感器僅僅收集原始環(huán)境信息，將智能識別任務留給數字處理器。通過聯(lián)合設計半導體材料、器件和算法，使傳感器能夠在不需要數據數字后處理的情況下學習和計算。

但這項技術的應用遠不止識別鳥類。使用能夠探測可調響應度的中紅外光的黑磷光電二極管，研究人員實驗性地展示了其他幾種有趣的可能性。他們成功識別了半導體樣品中的氧化層厚度——制造巨頭需要其完美均勻——以及不同植物葉片的水合狀態(tài)、光學圖像中的物體分割，以及培養(yǎng)皿中的透明化學品。

“我也對這種設備未來更廣泛應用持樂觀態(tài)度。”Javey說。未來，智能傳感器不僅可以用于光譜機器視覺，還可以用于“其他先進光學傳感及更多領域”。

這項工作由美國能源部基礎能源科學辦公室資助。它獲得了能源部微電子能效研究先進技術中心的支持，這是能源部三個微電子科學研究中心之一。