硅基光子芯片在神經(jīng)形態(tài)計(jì)算的應(yīng)用

研究背景：

近年來(lái)，基于傳統(tǒng)計(jì)算機(jī)的神經(jīng)網(wǎng)絡(luò)計(jì)算受到內(nèi)存限制，已經(jīng)不能滿足計(jì)算速度和能耗的需求。在電子硬件領(lǐng)域，研究人員持續(xù)地進(jìn)行更深入、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)的研究，通過(guò)硬件方面的創(chuàng)新來(lái)釋放傳統(tǒng)電子系統(tǒng)的潛能。例如，GPU(圖形處理單元)通過(guò)聚集大量的處理核心，獲得具有極高的并行計(jì)算能力(遠(yuǎn)超CPU)，促進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。

然而，神經(jīng)形態(tài)計(jì)算對(duì)高性能、高能效和更大帶寬的需求是無(wú)止境的。隨著以摩爾定律為標(biāo)志的電子晶體管的指數(shù)級(jí)增長(zhǎng)逐漸接近了物理極限，傳統(tǒng)的硅基電子元件已經(jīng)達(dá)到了瓶頸區(qū)。更多底層電子元器件被相繼提出，來(lái)試圖滿足神經(jīng)形態(tài)計(jì)算的需求，如：憶阻器、相變存儲(chǔ)器(PCM)、鐵電隨機(jī)存取存儲(chǔ)器(FeRAM)和磁性隨機(jī)存取存儲(chǔ)器(MRAM)等，這些都是具有高處理速度、巨大存儲(chǔ)容量和良好長(zhǎng)期穩(wěn)定性的創(chuàng)新型存儲(chǔ)器，與傳統(tǒng)電子元件相比，它們可以更好地執(zhí)行高效的神經(jīng)形態(tài)計(jì)算。然而，電子器件從根本上受到帶寬和互連性之間的權(quán)衡的影響，這限制了高速神經(jīng)形態(tài)計(jì)算的進(jìn)步。

在過(guò)去的幾年里，光子芯片開(kāi)始在學(xué)術(shù)界受到極大的關(guān)注，因?yàn)樵诩晒庾有酒拿恳粚佣伎梢詫?shí)現(xiàn)光速數(shù)據(jù)處理和并行傳輸。與電子不同，光具有更多維度，例如波長(zhǎng)、偏振和空間模式，這導(dǎo)致神經(jīng)形態(tài)計(jì)算或深度學(xué)習(xí)更具創(chuàng)造性和可行性。此外，成熟先進(jìn)的硅光子技術(shù)為大規(guī)模光子制造和集成提供了完美的平臺(tái)。在最近的所有方案中，硅光子學(xué)被認(rèn)為是神經(jīng)形態(tài)計(jì)算最有前途的技術(shù)之一。

硅基光子芯片可以完美兼容成熟的CMOS工藝;因此，它也可以與CMOS電子芯片集成，而無(wú)需額外的復(fù)雜技術(shù)?；诠杌庾有酒纳窠?jīng)形態(tài)計(jì)算研究進(jìn)展迅速，本工作便對(duì)這些工作進(jìn)行了綜述介紹。

光-電協(xié)同設(shè)計(jì)：

大多數(shù)關(guān)于ONN的工作都是基于光電硬件實(shí)現(xiàn)的。然而，在光電硬件中，由于器件在求和和激活功能中更多地工作在電域，因此在電光和反向轉(zhuǎn)換中會(huì)消耗大量功率。例如，光電探測(cè)器經(jīng)常用于將光信號(hào)轉(zhuǎn)換為電輸出，這對(duì)ONN的速度和功率效率施加了限制。此外，O/E/O神經(jīng)元依賴于利用電光傳遞函數(shù)非線性的調(diào)制器。然而，調(diào)制器和光電探測(cè)器容易受到噪聲的影響，它們的噪聲積累會(huì)嚴(yán)重影響基于光電混合硬件的ONN的精度和能耗。

全光實(shí)現(xiàn)似乎是解決光電混合硬件問(wèn)題的一種有前途的方法。與電子實(shí)現(xiàn)相比，全光神經(jīng)元通常依賴于許多材料中出現(xiàn)的半導(dǎo)體載流子或光敏性。最明顯的優(yōu)點(diǎn)是光信號(hào)流不需要任何轉(zhuǎn)換;因此，它們本質(zhì)上比O/E/O方法更快。同時(shí)，使用無(wú)源光學(xué)元件的全光方案可以很容易地與CMOS技術(shù)集成。光子實(shí)現(xiàn)還提供了光子通信中的高帶寬和非線性實(shí)現(xiàn)中的低復(fù)雜性的優(yōu)點(diǎn)。然而，全光神經(jīng)元仍然面臨許多挑戰(zhàn)，如級(jí)聯(lián)性，由于光器件存在插入損耗，需要更加高效的光器件來(lái)進(jìn)行補(bǔ)償。

從更實(shí)際的角度來(lái)看，電子和光子協(xié)同設(shè)計(jì)硬件可以進(jìn)一步推動(dòng)神經(jīng)形態(tài)計(jì)算，這將是核心研究路線之一，直到所需的光學(xué)器件跨越當(dāng)前的挑戰(zhàn)。參考文獻(xiàn)中的Zhou等人展示了光電混合AI計(jì)算芯片架構(gòu)的可能路線，該架構(gòu)由三層組成：底層硬件層、算法層和頂層應(yīng)用層，可以作為未來(lái)光混合電路的指南。

圖1 ONN中的加權(quán)函數(shù)。(a)將調(diào)制器用作神經(jīng)元的廣播和權(quán)重網(wǎng)絡(luò)。(b)具有16個(gè)可調(diào)微環(huán)(MRR)權(quán)重和光纖到芯片光柵耦合器的4節(jié)點(diǎn)循環(huán)廣播和權(quán)重網(wǎng)絡(luò)的顯微照片。(c)類似于神經(jīng)突觸功能的集成光子突觸示意圖。(d)光子突觸活動(dòng)區(qū)域的掃描電子顯微鏡圖像。(e)基于級(jí)聯(lián)的Sb2S3-SiN的加權(quán)和求和混合光子開(kāi)關(guān)，實(shí)現(xiàn)光子學(xué)版的FPGA。(f)由單?；旌瞎璨▽?dǎo)組成的NLAF模塊。

圖2 ONN中的激活函數(shù)。(a)所提出的光對(duì)光激活函數(shù)的示意圖。(b)用于評(píng)估4輸入WDMRNN的實(shí)驗(yàn)裝置。(c)、(d)該研究中實(shí)現(xiàn)的網(wǎng)絡(luò)示意圖，由幾個(gè)突觸前輸入神經(jīng)元和一個(gè)通過(guò)PCM突觸連接的突觸后輸出神經(jīng)元組成。

用于神經(jīng)形態(tài)計(jì)算的硅光芯片：

MRR和光電探測(cè)器可以分別用于實(shí)現(xiàn)電光轉(zhuǎn)換和光電轉(zhuǎn)換。除了這三種器件之外，其他基于硅光子學(xué)的組件，如激光器、耦合器和調(diào)制器，也是光學(xué)電路和神經(jīng)網(wǎng)絡(luò)的關(guān)鍵部分。至于片上激光器，盡管許多研究人員仍然使用片外激光器來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)，垂直腔面發(fā)射激光器(VCSEL)和微盤激光器都支持可擴(kuò)展神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，是未來(lái)發(fā)展的關(guān)鍵。此外，波導(dǎo)在硅光子學(xué)中非常重要，因?yàn)樗鼈兿喈?dāng)于電學(xué)領(lǐng)域的金屬線;在最小化光損耗，包括傳播損耗和彎曲損耗的方面，研究人員也投入了大量研究。此外，MRR、微盤和MZI被廣泛用于設(shè)計(jì)調(diào)制器、開(kāi)關(guān)和濾波器。盡管硅光子學(xué)現(xiàn)在可以被視為一個(gè)成熟的技術(shù)平臺(tái)，但以高效率將光連接到硅光子組件和從硅光子組件發(fā)出光的問(wèn)題仍然是一個(gè)挑戰(zhàn)。

圖3 基于孤子微梳的計(jì)算。(a)用于生成克爾頻率梳的高Q諧振器平臺(tái)。(b)克爾梳與其他三次和二次非線性效應(yīng)的相互作用的圖示。(c)多路復(fù)用全光MVM草圖。(d)用于頻率梳生成的基于高Q Si3N4光子芯片的微諧振器的光學(xué)顯微照片。(e)制造的16×16的光學(xué)顯微照片。

圖4 用于集成光子學(xué)計(jì)算的相變材料。(a)、(b)、(c)提出的存儲(chǔ)元件的示意圖。(d)具有25個(gè)不同存儲(chǔ)元件的陣列的光學(xué)顯微鏡圖像。(e)使用硅中部分蝕刻的脊形波導(dǎo)的平臺(tái)的3D方案。

利用PCM、孤子微梳和超表面的設(shè)備在神經(jīng)形態(tài)計(jì)算中引起了極大的關(guān)注。Xu等人引入了ONN的時(shí)間-波長(zhǎng)復(fù)用的概念，并應(yīng)用克爾微梳來(lái)實(shí)現(xiàn)光子感知器。2021年1月，Xu等人展示了一種通用光學(xué)矢量卷積加速器，該加速器基于由集成微梳源啟用的同時(shí)交錯(cuò)時(shí)間、波長(zhǎng)和空間維度。與此同時(shí)，費(fèi)爾德曼等人提出了一種使用相變材料存儲(chǔ)器陣列和孤子微梳的集成光子張量核心方案。此外，具有用于操縱光波前的亞波長(zhǎng)諧振器的超表面可以實(shí)現(xiàn)自由空間和龐大系統(tǒng)的小型化，以實(shí)現(xiàn)衍射神經(jīng)網(wǎng)絡(luò)(DNN)。通過(guò)使用孤子微梳、PCM和超表面，實(shí)現(xiàn)基于硅光子學(xué)的神經(jīng)形態(tài)計(jì)算的新方法為突破先前集成光子機(jī)器學(xué)習(xí)的瓶頸提供了有效途徑。

圖5 超表面的基本概念。將超表面設(shè)計(jì)到光子芯片中進(jìn)行神經(jīng)形態(tài)計(jì)算也是當(dāng)前火熱的研究方向之一。

圖6 通過(guò)光干涉實(shí)現(xiàn)神經(jīng)形態(tài)計(jì)算。(a)實(shí)驗(yàn)所用OIU的光學(xué)顯微照片。(b)兩層ONN實(shí)驗(yàn)的示意圖。(c)細(xì)化層實(shí)施方案。(d)所提出的架構(gòu)的單層示意圖。

圖7 通過(guò)光共振實(shí)現(xiàn)神經(jīng)形態(tài)計(jì)算。(a)M×N向量矩陣乘法器的無(wú)中斷權(quán)重和聚合架構(gòu)。(b)光學(xué)CNN的實(shí)驗(yàn)示意圖。

圖8 算法。(a)基于GA的ONN學(xué)習(xí)算法的流程圖。(b)基于PSO的ONN學(xué)習(xí)算法的流程圖。(c)、(d)、(e)所提出的梯度信息實(shí)驗(yàn)測(cè)量方法的示意圖。(f)、(g)、(h)、(i)一維問(wèn)題的貝葉斯優(yōu)化圖示。(j)、(k)、(l)使用GAN生成手寫數(shù)字。

總結(jié)：

這篇綜述詳細(xì)回顧了基于硅光子學(xué)的神經(jīng)形態(tài)計(jì)算的最新進(jìn)展，介紹了基于硅光子芯片的神經(jīng)形態(tài)計(jì)算中微架構(gòu)功能、設(shè)備、架構(gòu)和算法。神經(jīng)形態(tài)硅光子學(xué)這個(gè)結(jié)合了光子學(xué)的速度和并行性與深度學(xué)習(xí)的自適應(yīng)性的新興領(lǐng)域，理論上可以以比傳統(tǒng)電子學(xué)快幾個(gè)數(shù)量級(jí)的速度進(jìn)行運(yùn)算。利用WDM等新概念、PCM、孤子微梳和超表面等新設(shè)備、可行的制造技術(shù)和先進(jìn)的算法，可以在下一代光學(xué)神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)前所未有的發(fā)展。本工作總結(jié)了當(dāng)前的挑戰(zhàn)，并指出了未來(lái)光學(xué)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的可能機(jī)會(huì)。

電子-光子協(xié)同設(shè)計(jì)：在沒(méi)有電子控制器的情況下，電子-集成電路-光子協(xié)同設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)是當(dāng)前人工神經(jīng)網(wǎng)絡(luò)更實(shí)用的途徑，然后電子控制才能成為光學(xué)領(lǐng)域的競(jìng)爭(zhēng)候選者。盡管單片制造提供了在同一基板上集成電子和光子學(xué)的絕佳機(jī)會(huì)，但電子元件引起的高延遲和功耗對(duì)電子控制器提出了挑戰(zhàn)。在ONN中，控制器應(yīng)實(shí)時(shí)、高速、高效地管理光子設(shè)備并維持神經(jīng)元的穩(wěn)定運(yùn)行。

片上集成：片上ONN是當(dāng)前研究的主流，因?yàn)槌墒斓腃MOS技術(shù)對(duì)于大規(guī)模和高度集成的ONN具有巨大的優(yōu)勢(shì)。然而，片上光網(wǎng)絡(luò)的成本在資金開(kāi)銷、人工費(fèi)用、技術(shù)要求等方面都非常昂貴。例如，由于大面積要求和相位噪聲損壞，有望以集成方式制造的相干架構(gòu)受到MZI問(wèn)題的阻礙。此外，由于許多其他光子器件(例如MR和PCM)的熱串?dāng)_和制造工藝變化，片上集成會(huì)受到壽命不穩(wěn)定的影響。此外，片上硅激光器更容易受到環(huán)境因素的影響，并且仍然是學(xué)術(shù)界的一大難題。

訓(xùn)練：正如之前所討論的，在許多工作中，訓(xùn)練過(guò)程通常是在數(shù)字計(jì)算機(jī)上完成的。一方面，為當(dāng)前可以在光域中實(shí)時(shí)工作的ONN設(shè)計(jì)一種有效的訓(xùn)練方法至關(guān)重要。另一方面，探索可以有效支持神經(jīng)網(wǎng)絡(luò)訓(xùn)練的光子架構(gòu)是有前途但具有挑戰(zhàn)性的，因?yàn)榉聪騻鞑?duì)當(dāng)前的光子神經(jīng)網(wǎng)絡(luò)提出了額外的要求。最近使用超表面實(shí)現(xiàn)衍射神經(jīng)網(wǎng)絡(luò)的工作邁出了重要一步，并顯示了未來(lái)網(wǎng)絡(luò)訓(xùn)練方法的可能性。此外，基于憶阻器混合硬件的光子加速器支持反向傳播，這也是一個(gè)很好的例子。

可擴(kuò)展性：可擴(kuò)展性是ONN和電子ANN之間最明顯的問(wèn)題。ONNS取得的進(jìn)步是不可磨滅的，但問(wèn)題是與電氣ANN相比，許多工作側(cè)重于小規(guī)模ONN，后者可以具有數(shù)百萬(wàn)個(gè)權(quán)重參數(shù)。解決這個(gè)問(wèn)題最實(shí)用的方法是優(yōu)化和改進(jìn)光學(xué)元件。另一方面，需要提出更多適用于光神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，以降低網(wǎng)絡(luò)的復(fù)雜度;因此，他們可以為擴(kuò)展光子網(wǎng)絡(luò)鋪平道路。

在未來(lái)，硅基光子芯片用于神經(jīng)形態(tài)計(jì)算仍然有許多困難需要解決，盡管如此，光子神經(jīng)網(wǎng)絡(luò)已經(jīng)在智能信號(hào)處理、高性能計(jì)算、非線性規(guī)劃和控制等傳統(tǒng)計(jì)算機(jī)技術(shù)無(wú)法企及的許多領(lǐng)域得到了應(yīng)用，這些廣闊的前景促使人們將光神經(jīng)網(wǎng)絡(luò)的帶向更輝煌的未來(lái)。