大規(guī)模全光生成式 AI 芯片首次實現(xiàn)！

當前的大規(guī)模生成式 AI 在生成圖像或視頻時，往往速度慢、耗電大、成本高，限制了生成模型在端側和實時場景的應用。

上海交通大學集成電路學院圖像通信所團隊開發(fā)了全光計算芯片 LightGen，突破性地實現(xiàn)了對大規(guī)模語義媒體生成模型的支持。

其能夠完成高分辨率（≥512×512）圖像語義生成、3D 生成（NeRF）、高清視頻生成及語義調控。與此同時，還支持多項大規(guī)模生成式任務，包括去噪、局部與全局特征遷移等。

值得關注的是，在取得和前沿電子神經(jīng)網(wǎng)絡相仿生成質量的同時，采用較滯后性能的輸入設備條件下，LightGen 同時將算力與能效相較頂尖數(shù)字芯片提升 2 個數(shù)量級，讓生成式任務的實時生成交互成為可能。

未來，在采用前沿設備使得信號輸入頻率不是瓶頸的情況下，LightGen 理論算力相較頂尖數(shù)字芯片能提升 7 個數(shù)量級。

（來源：陳一彤）

LightGen 為解決生成式 AI 部署落地的算力缺口提供了一種新方法，在不影響性能的前提下，實現(xiàn)了更高的速度和能效，助力推動新一代算力芯片在人工智能領域應用。

審稿人對該研究評價稱：“這項工作意義重大，代表著光子計算領域的一個新里程碑，因為它首次實現(xiàn)了基于光學芯片的真正生成式人工智能，而這在此之前尚未實現(xiàn)過?！?/p>

近日，相關論文以《大規(guī)模智能語義視覺生成全光芯片》（All-optical synthesis chip for large-scale intelligent semantic vision generation）為題發(fā)表在 Science[1]。上海交通大學陳一彤助理教授擔任第一作者及通訊作者。

圖丨相關論文（來源：Science）

在傳統(tǒng)的電子芯片中，信息的載體是電子，主要靠晶體管的開關切換完成計算。然而，當規(guī)模越來越大，系統(tǒng)會被晶體管開關頻繁翻轉帶來的功耗、延遲、發(fā)熱等問題拖累。

光計算芯片的不同之處在于信息被編碼到光上，通過光場的變化完成計算，光場在傳播過程中把大量的運算并行計算出來?？梢灶惐葹?，電芯片就像是銅線電話傳消息，以電為載體；而光計算芯片則像是光纖寬帶，常具有速度更快、能耗更低的優(yōu)勢。

圖丨大規(guī)模全光生成計算芯片 LightGen（來源：Science）

據(jù)悉，早在 2019 年，陳一彤就開始思考如何全光實現(xiàn)生成式模型，并在后來發(fā)表了 Science Advances 認證的國際首個全光生成式網(wǎng)絡[2]。思考這個想法時，當前流行的生成式模型尚未大幅度走入公眾視野，也還未引起廣泛的關注度。

當下，生成式模型在全球帶來變革性影響的同時，陳一彤課題組也攻克了百萬級光學神經(jīng)元全光芯片片上集成、全光維度變換和無真值訓練算法等一系列問題，最終兩股進步力量融合促進了 LightGen 芯片的誕生。

圖丨LightGen 生成的采樣圖像示例（來源：Science）

其中，百萬級神經(jīng)元為生成任務需要龐大的神經(jīng)元規(guī)模問題提供了方案；全光維度轉換則面向生成式任務對維度變換的需求，解決了模擬光信號維度難以定義更遑論全光超高速轉換的問題；而無預定義真值訓練算法則讓生成式任務沒有標準答案的情況下，光子芯片如何訓練的問題得以解決。

將三者結合，才把光計算從以往主要擅長決策任務推進到可以比肩數(shù)字模型的語義生成。

論文指出，LightGen 實現(xiàn)了百萬級光學神經(jīng)元的集成和大尺寸的輸入輸出，這并非簡單地重復小規(guī)模的光子芯片，而是對語義生成至關重要的質的飛躍。

需要了解的是，LightGen 并不是電輔助光做生成，而是讓全光芯片完整實現(xiàn)一種“輸入-理解-操控-生成”的閉環(huán)。研究團隊認為，LightGen 有望在內容生產流程中率先實現(xiàn)商業(yè)化，如實時預覽、極速出圖等最“吃”算力且又最需要實時反饋的環(huán)節(jié)。

圖丨陳一彤（來源：陳一彤）

“LightGen 可以讓創(chuàng)作者獲得‘所見即所得’的預覽速度，幫創(chuàng)作者把渲染生成迭代從單次數(shù)小時壓縮到數(shù)秒甚至亞秒級，提高生產效率?！毖芯繄F隊告訴 DeepTech。

未來，LightGen 從實驗室走向可用的技術產品，還需要解決制定標準化工藝流程、量產測試標準等系列工程問題。據(jù)悉，研究團隊已與產業(yè)方展開密切合作。

參考資料：

1.https://www.science.org/doi/10.1126/science.adv7434

2.https://www.science.org/doi/10.1126/sciadv.adf8437

運營/排版：何晨龍