大腦通過神經(jīng)元之間的電化學(xué)信號(hào)傳遞實(shí)現(xiàn)信息處理功能,這一生物機(jī)制在計(jì)算機(jī)領(lǐng)域得到了數(shù)學(xué)化的抽象表達(dá)。以 DeepSeek、ChatGPT 等大語言模型為例,它們本質(zhì)上是在高維數(shù)學(xué)空間中構(gòu)建信息互聯(lián)網(wǎng)絡(luò),通過矩陣運(yùn)算等數(shù)學(xué)操作模擬神經(jīng)元的計(jì)算功能。
上海理工大學(xué)顧敏院士和張啟明教授團(tuán)隊(duì)近期的一項(xiàng)研究實(shí)現(xiàn)了重要的范式突破——利用光傳播的物理特性構(gòu)建了光學(xué)神經(jīng)元之間的連接網(wǎng)絡(luò),首次在光學(xué)系統(tǒng)中完整實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的計(jì)算功能。
研究人員通過利用三維雙光子納米光刻技術(shù)集成微型光學(xué)衍射神經(jīng)網(wǎng)絡(luò)(DN2s, Diffractive Neural Networks)和多模光纖,在一根 0.35 米長(zhǎng)的多模光纖的遠(yuǎn)端面上開發(fā)了一款尺寸僅為 150 微米×150 微米的新型 AI 芯片,光學(xué)神經(jīng)元密度達(dá) 106 個(gè)神經(jīng)元/立方厘米。
該技術(shù)的創(chuàng)新性體現(xiàn)在多個(gè)方面:
首先,在硬件層面,光學(xué)神經(jīng)網(wǎng)絡(luò)擺脫了對(duì)傳統(tǒng)電子芯片的依賴。與需要大量 GPU 堆疊的大模型訓(xùn)練不同,該技術(shù)通過光學(xué)多層神經(jīng)網(wǎng)絡(luò)的光連接過程直接實(shí)現(xiàn)計(jì)算功能,這一技術(shù)路徑為 AI 算力提供了新的方向。
其次,在具體應(yīng)用場(chǎng)景中這項(xiàng)技術(shù)也展現(xiàn)出顯著優(yōu)勢(shì),例如在多模光纖圖像傳輸場(chǎng)景下,系統(tǒng)可不依賴傳統(tǒng) CPU 即可完成同等功能。
值得關(guān)注的是,該技術(shù)直接通過光纖實(shí)現(xiàn)了全光學(xué)圖像傳輸,成像速度約為 100 幀/秒,且訓(xùn)練資源需求極低,僅需不到 4 萬個(gè)超參數(shù)和 4-6 小時(shí)的訓(xùn)練時(shí)間。與同體積的傳統(tǒng)光纖相比,光纖傳輸?shù)男盘?hào)通量提升了約 1 萬倍,圖像最小分辨率達(dá) 14 微米,在點(diǎn)對(duì)點(diǎn)圖像傳輸模式下分辨率可提升至 1.5 微米。
這意味著在接近頭發(fā)絲直徑(約 100 微米)的圓形光纖通道中,系統(tǒng)能精確傳輸約 1 萬個(gè)信號(hào)點(diǎn),而當(dāng)前互聯(lián)網(wǎng)廣泛使用的單模光纖僅能傳輸單個(gè)信號(hào)點(diǎn)。 這項(xiàng)技術(shù)有望在多個(gè)領(lǐng)域產(chǎn)生革命性影響。顧敏院士對(duì) DeepTech 表示,這種數(shù)量級(jí)的性能躍遷有望實(shí)現(xiàn)接近 8G 量級(jí)的信號(hào)傳輸通量,為從現(xiàn)有 5G/6G 向更高階通信標(biāo)準(zhǔn)的發(fā)展提供了關(guān)鍵技術(shù)支撐。
在量子信息處理領(lǐng)域,基于光學(xué) AI 芯片的解決方案或能顯著提升短距離量子計(jì)算芯片的信號(hào)傳輸與信息恢復(fù)能力。該課題組正在探索該技術(shù)與量子通信的融合應(yīng)用,目前已完成片上多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的集成驗(yàn)證,并在開展基于該芯片平臺(tái)的量子密鑰分發(fā)研究。 其次,醫(yī)學(xué)內(nèi)窺鏡成像方面,在研究大腦神經(jīng)活動(dòng)時(shí),可作為一種類似微針的細(xì)小內(nèi)窺鏡探頭(直徑僅約 100 微米),在不損傷受體大腦組織的前提下,對(duì)活體神經(jīng)元在信息處理過程中的動(dòng)態(tài)情況進(jìn)行觀測(cè)。
這一突破性進(jìn)展不僅為大腦功能研究提供了全新工具,更有望將診療范圍擴(kuò)展到傳統(tǒng)胃鏡難以觸及的狹窄解剖區(qū)域,如胰腺導(dǎo)管、小腸隱窩等特殊部位,為現(xiàn)有內(nèi)窺鏡檢查的技術(shù)盲區(qū)提供新的解決方案。 顧敏曾任澳大利亞斯威本大學(xué)副校長(zhǎng)及杰出教授、澳大利亞研究委員會(huì)桂冠教授;澳大利亞皇家墨爾本理工大學(xué)副校長(zhǎng)及杰出教授。他于 2019 年年末全職回國,現(xiàn)任上海理工大學(xué)校務(wù)委員會(huì)執(zhí)行主席、光子芯片研究院院長(zhǎng)、教授。主要研究領(lǐng)域包括現(xiàn)代光子學(xué),光電子成像和物理光學(xué)等。
在光子技術(shù)領(lǐng)域,多模光纖因其高容量信息傳輸能力而備受關(guān)注。然而,多模光纖的高散射特性使得直接通過光纖傳輸圖像變得極具挑戰(zhàn)性。
該研究源于研究人員在 2021 年年初提出的疑問:是否能夠有效解決多模光纖信息傳輸過程中的散斑效應(yīng)?為此,他們提出并驗(yàn)證了多種解決方案,包括算法優(yōu)化以及利用光學(xué)人工智能等方法。
經(jīng)過系統(tǒng)評(píng)估,研究人員最終選擇了基于光學(xué)神經(jīng)網(wǎng)絡(luò)的解決方案,這是一種被動(dòng)式的多層神經(jīng)網(wǎng)絡(luò)架構(gòu),其兼具速度快和能耗低的顯著優(yōu)勢(shì)。從本質(zhì)上來看,該方法利用光學(xué)神經(jīng)網(wǎng)絡(luò)對(duì)光場(chǎng)在傳輸過程中產(chǎn)生的畸變進(jìn)行校正,進(jìn)而恢復(fù)因多模光纖散射而失真的圖像。
這與我們?nèi)粘I钪惺褂玫幕婎^類似,水流在管道中的流動(dòng)狀態(tài)具有不確定性,多模光纖中的光傳輸同樣存在復(fù)雜的散射現(xiàn)象。
該論文第一作者、上海理工大學(xué)蔚浩義特聘副教授解釋說道:“我們?cè)O(shè)計(jì)的這種結(jié)構(gòu)相當(dāng)于具有光學(xué)神經(jīng)網(wǎng)絡(luò)功能的智能花灑,能夠動(dòng)態(tài)調(diào)整光的傳播路徑,使其恢復(fù)到初始的規(guī)整狀態(tài)。” 該課題組希望將多模光纖與光學(xué)神經(jīng)網(wǎng)絡(luò)進(jìn)行系統(tǒng)集成,然而在直徑僅約 100 微米的光纖端面上構(gòu)建多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),面臨著巨大的技術(shù)挑戰(zhàn)。
為此,研究人員創(chuàng)新性地提出了微納級(jí)聯(lián)方案:通過將微小的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)級(jí)聯(lián)組合,并將其集成在 CMOS 芯片上。這種設(shè)計(jì)只需將多模光纖與芯片進(jìn)行三維空間的機(jī)械對(duì)準(zhǔn),即可顯著提升系統(tǒng)的圖像恢復(fù)能力。
值得注意的是,這種性能提升呈現(xiàn)指數(shù)增長(zhǎng)趨勢(shì)——從當(dāng)前的三層結(jié)構(gòu)擴(kuò)展到十層結(jié)構(gòu)時(shí),信息處理能力有望實(shí)現(xiàn)質(zhì)的飛躍。“據(jù)我們預(yù)計(jì),該方案不僅能有效解決光纖彎曲帶來的信號(hào)失真問題,還能應(yīng)對(duì)信息通量持續(xù)增長(zhǎng)的技術(shù)需求。”蔚浩義表示。 研究人員采用此前該團(tuán)隊(duì)自主研發(fā)的三維納米級(jí)激光打印技術(shù),為實(shí)現(xiàn)微小光學(xué)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)奠定了重要的基礎(chǔ)。
傳統(tǒng)的 GPU 芯片中所使用的光刻技術(shù)只能在二維平面上進(jìn)行刻蝕,如果想用傳統(tǒng)的方法實(shí)現(xiàn)三維刻蝕,需要進(jìn)行非常復(fù)雜的類似于搭積木的多層疊加工藝。
而三維納米激光打印技術(shù)最大的優(yōu)勢(shì)在于,其能夠?qū)崿F(xiàn)納米級(jí)精度的一體成型打印。這意味著,研究人員能夠在 100 微米大小的光纖端面上,精確加工出任意的復(fù)雜光學(xué)結(jié)構(gòu)。
值得關(guān)注的是,該技術(shù)的最小加工分辨率可達(dá) 9 納米,并能夠穩(wěn)定實(shí)現(xiàn)十幾納米的加工精度。這不僅在國內(nèi)處于領(lǐng)先地位,也為光學(xué)神經(jīng)網(wǎng)絡(luò)的微型化提供了關(guān)鍵技術(shù)支撐。
盡管此前技術(shù)方面已有一定基礎(chǔ)但不容忽視的是,相關(guān)系統(tǒng)還不完善。于是,蔚浩義帶領(lǐng)課題組成員投入了很多精力“純手工”打造出了這個(gè)系統(tǒng)。在此基礎(chǔ)上,研究團(tuán)隊(duì)成功制造出了體積小、性能高的光學(xué)神經(jīng)網(wǎng)絡(luò)芯片。這種芯片不僅在圖像傳輸?shù)姆直媛噬媳憩F(xiàn)出色,還能夠在彎曲光纖的情況下保持較穩(wěn)定的傳輸性能。 該技術(shù)的實(shí)現(xiàn)也離不開研究人員對(duì)光纖彎曲技術(shù)的持續(xù)攻關(guān)。在探索性實(shí)驗(yàn)中,他們嘗試通過控制光纖彎曲角度來優(yōu)化傳輸性能,但發(fā)現(xiàn)現(xiàn)有方法存在固有局限:由于無法將所有可能的彎曲狀態(tài)都納入神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集,系統(tǒng)的適應(yīng)能力受到制約。也就是說,神經(jīng)網(wǎng)絡(luò)的“智能度”是有限的。
針對(duì)這一挑戰(zhàn),研究人員創(chuàng)造性地提出了光電融合的解決方案:一方面,充分發(fā)揮光神經(jīng)網(wǎng)絡(luò)在信息處理速度和能效比方面的優(yōu)勢(shì);另一方面,通過級(jí)聯(lián)在計(jì)算機(jī)上預(yù)訓(xùn)練的電神經(jīng)網(wǎng)絡(luò),構(gòu)建混合計(jì)算架構(gòu)來協(xié)同處理光纖彎曲導(dǎo)致的復(fù)雜圖像畸變問題。這一創(chuàng)新思路為突破現(xiàn)有技術(shù)瓶頸提供了新的研究方向。
此外,通過空間光調(diào)制器投射的 HeLa 細(xì)胞圖像的直接光學(xué)傳輸還展示了遷移學(xué)習(xí),這些圖像并不在訓(xùn)練數(shù)據(jù)集中。審稿人一致認(rèn)為這項(xiàng)研究具有重要的應(yīng)用價(jià)值。
最終,相關(guān)論文以《通過多模光纖使用遠(yuǎn)端面微型衍射神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)全光圖像傳輸》(All-optical image transportation through a multimode fibre using a miniaturized diffractive neural network on the distal facet)為題發(fā)表在 Nature Photonics 上 [1]。
上海理工大學(xué)蔚浩義特聘副教授是第一作者,張啟明教授和顧敏院士擔(dān)任共同通訊作者。目前,相關(guān)代碼和數(shù)據(jù)已開源 在轉(zhuǎn)化應(yīng)用方面,課題組已利用該技術(shù)成功實(shí)現(xiàn)細(xì)胞組織的高分辨率成像與圖像傳輸,目前正與多家醫(yī)療機(jī)構(gòu)合作推進(jìn)臨床前研究,預(yù)計(jì)將于今年內(nèi)完成實(shí)驗(yàn)室級(jí)內(nèi)窺鏡系統(tǒng)的原型開發(fā)。
技術(shù)的產(chǎn)業(yè)化進(jìn)程也取得了重要進(jìn)展,據(jù)介紹,紅杉資本已與該團(tuán)隊(duì)達(dá)成戰(zhàn)略合作,將在技術(shù)成熟階段直接參與產(chǎn)業(yè)化孵化,加速其從實(shí)驗(yàn)室走向臨床應(yīng)用。
目前,生物細(xì)胞圖像信息與神經(jīng)網(wǎng)絡(luò)的結(jié)合已能實(shí)現(xiàn)預(yù)期功能。為進(jìn)一步提升醫(yī)療體驗(yàn),研究人員正致力于縮小內(nèi)窺鏡探頭的尺寸,使其在體內(nèi)幾乎無感。然而,玻璃材質(zhì)的光纖存在斷裂風(fēng)險(xiǎn),可能對(duì)患者造成傷害,因此研究人員正聚焦于解決光纖涂層的技術(shù)難題,確保其即使斷裂也不危及患者安全。
這一技術(shù)突破需要與新興的光學(xué)計(jì)算范式相結(jié)合。衍射神經(jīng)網(wǎng)絡(luò)憑借其快速計(jì)算和低能耗特性,盡管它不能完全取代電子芯片,但能在特定信息通量處理方面可彌補(bǔ) GPU 的不足,為解決能耗問題提供新思路,有望發(fā)展為未來光學(xué)計(jì)算的新范式。
在技術(shù)融合層面,光刻技術(shù)與多層神經(jīng)網(wǎng)絡(luò)的結(jié)合未來有望形成完整的產(chǎn)業(yè)鏈。該產(chǎn)業(yè)鏈可參照電子芯片模式:上游以三維激光納米打印光刻機(jī)等光刻技術(shù)為核心,配套光刻膠等材料研發(fā);下游則針對(duì)不同功能的神經(jīng)網(wǎng)絡(luò)芯片進(jìn)行開發(fā)。
這種架構(gòu)涉及材料科學(xué)、電子工程等多學(xué)科的協(xié)同。其中,衍射神經(jīng)網(wǎng)絡(luò)的光學(xué)特性與光刻技術(shù)的微納加工能力形成天然互補(bǔ)。通過整合光纖涂層、光學(xué)計(jì)算和光刻工藝等技術(shù),不僅能推動(dòng)醫(yī)療內(nèi)窺鏡的微型化發(fā)展,還有可能帶動(dòng)從基礎(chǔ)材料到終端應(yīng)用的完整產(chǎn)業(yè)鏈升級(jí)。
|