視網(wǎng)膜形態(tài)芯片及其不同的圖像信息處理方式

在人腦處理的信息中，超過80%都是通過眼睛獲得的。人眼不僅可以進行信息的探測和同步處理，而且整體功耗極?。ㄟh小于20瓦）。相比而言，傳統(tǒng)的機器視覺系統(tǒng)需要先探測再處理，使用的圖像傳感器在探測目標圖像的同時會產(chǎn)生大量冗余信息，此類信息通過有限的帶寬傳輸給所連接的計算機進行處理和分析，從而導致較大的時間延遲和較高的功耗。因此，構(gòu)建一個可以媲美人眼、具備同步進行信息探測和處理功能的類腦視覺傳感器是人們一直追求的夢想，對于智能工業(yè)、自動駕駛、智能安防等應用的發(fā)展也至關重要。近日，南京大學物理學院繆峰教授團隊基于二維材料異質(zhì)結(jié)，在可重構(gòu)類腦視覺傳感器領域取得重要進展。

二維材料有望成為后摩爾時代重要的基礎電子材料，該領域的發(fā)展也讓人們可以對原子層材料進行樂高式的堆疊和集成。近年來，南京大學繆峰團隊（https://nano.nju.edu.cn）利用“原子樂高”分別在耐高溫憶阻器（Nature Electronics 2018）、彈道雪崩探測器件（Nature Nanotechnology 2019）、室溫高靈敏紅外探測器（Science Advances 2017）等方向取得突破。

在此基礎上，該團隊近日提出，利用二維材料范德華異質(zhì)結(jié)器件的結(jié)構(gòu)特點和可調(diào)的光響應特性，能夠?qū)崿F(xiàn)對人眼視網(wǎng)膜的層狀結(jié)構(gòu)和感光細胞、雙極細胞的生物特性模擬，基于這種類視網(wǎng)膜形態(tài)器件，團隊進一步構(gòu)建了能夠?qū)Ω兄膱D片信息進行同步處理的類腦視覺器件陣列。該工作有望為未來開發(fā)基于范德華異質(zhì)結(jié)的新型類腦視覺芯片提供物理和技術基礎。相關研究成果以《Gate tunable van der Waals heterostructure for reconfigurable neural network vision sensor》（基于柵極可調(diào)范德華異質(zhì)結(jié)的可重構(gòu)神經(jīng)網(wǎng)絡視覺傳感器）為題于 2020年6月24日發(fā)表在Science Advances上。南京大學物理學院博士生王晨宇和梁世軍副研究員為共同第一作者，繆峰教授和美國麻省大學的楊建華教授為該工作的共同通訊作者，該工作同時得到了王振林教授課題組、陳坤基教授課題組和王肖沐教授課題組的實驗協(xié)助，和國家杰出青年科學基金、國家自然科學基金等項目的資助，以及微結(jié)構(gòu)科學與技術協(xié)同創(chuàng)新中心的支持。

研究成果

人類視覺系統(tǒng)強大的信息處理能力很大程度上依賴于視網(wǎng)膜的結(jié)構(gòu)和功能。視網(wǎng)膜中的主要細胞包括感光細胞、雙極細胞等，這些細胞之間是垂直分層分布的結(jié)構(gòu)。光透過瞳孔入射到視網(wǎng)膜上后，感光細胞將入射光轉(zhuǎn)換為電學信號，流經(jīng)雙極性細胞，利用雙極性細胞的生物特性對電學信息進行一定的加工和處理，加工后的圖像信息僅僅保留其主要的特征，再傳輸至大腦皮層進行進一步的圖像處理和理解。通過這種方式，視網(wǎng)膜在一定程度上實現(xiàn)了信息探測和處理的同步進行。為了實現(xiàn)對視網(wǎng)膜結(jié)構(gòu)和功能的逼真模擬，在該工作中，繆峰團隊提出可以通過“原子樂高”的方式搭建基于二維材料垂直異質(zhì)結(jié)的類腦視覺傳感器，這些垂直結(jié)構(gòu)不僅能夠自然地模仿視網(wǎng)膜的垂直分層結(jié)構(gòu)，而且異質(zhì)結(jié)中包含的不同二維材料可被用來模擬視網(wǎng)膜中不同細胞的功能。

在實驗中，繆峰團隊首先將機械剝離的薄層硒化鎢和氮化硼以及氧化鋁制備成垂直異質(zhì)結(jié)器件。該異質(zhì)結(jié)器件在無背柵或者正背柵電壓作用下，呈現(xiàn)出正的光電導行為，類似于雙極細胞的正的光響應；當所加背柵電壓為負的時候，器件展現(xiàn)出了負光電響應特征與雙極細胞的負響應類似。研究團隊通過一系列的對比實驗結(jié)果，指出器件的負光學響應來源于光誘發(fā)帶電雜質(zhì)產(chǎn)生的電場屏蔽效應。通過控制垂直異質(zhì)結(jié)器件的柵壓，團隊首次實現(xiàn)了對感光細胞和雙極細胞的生物功能的模擬，器件的響應時間和功耗均接近人類視網(wǎng)膜的水平（圖1）。

圖 1. 視網(wǎng)膜和視網(wǎng)膜形態(tài)器件。（a）視網(wǎng)膜的垂直分層結(jié)構(gòu)包括了視錐細胞和雙極性細胞以及視神經(jīng)節(jié)細胞；（b）雙極性細胞在不同刺激條件下所具有的生物光學響應特征；（c）類視網(wǎng)膜形態(tài)器件的光學圖；（d）垂直異質(zhì)結(jié)器件在不同柵壓作用下展現(xiàn)出不同的光學響應，類似于視網(wǎng)膜結(jié)構(gòu)中雙極性細胞的生物特征。

進一步，研究團隊將垂直異質(zhì)結(jié)器件組裝成 3×3 的一個陣列，利用異質(zhì)結(jié)器件柵壓可調(diào)的光電響應特征，將圖像處理中常用的數(shù)學卷積核映射到3×3 的器件陣列中，實現(xiàn)了可重構(gòu)的圖像信息處理功能（圖2），包括邊緣增強、圖像風格化、圖像強度校正等。研究發(fā)現(xiàn)這些實驗結(jié)果與采用相同卷積核處理后的模擬結(jié)果一致，這表明基于垂直異質(zhì)結(jié)陣列能夠被用于在硬件上直接進行圖片信息的處理。

圖 2. 可重構(gòu)的視網(wǎng)膜形態(tài)芯片及其不同的圖像信息處理方式。（a）背柵獨立控制的可重構(gòu)視覺傳感器陣列示意圖；利用傳感器陣列對南京大學?；請D片進行（b）圖像風格化（c）邊緣增強（d）強度校正處理，所處理后的圖片信息和采用相同卷積核的模擬結(jié)果一致。

基于范德華異質(zhì)結(jié)器件的功能應用除了同步的探測和信息的處理之外，研究團隊發(fā)現(xiàn)器件陣列還可以用于圖片的分類任務。通過將器件電導作為神經(jīng)網(wǎng)絡的權值，背柵的調(diào)節(jié)變化作為更新神經(jīng)網(wǎng)絡權值的一種手段，范德華異質(zhì)結(jié)器件陣列可以執(zhí)行神經(jīng)網(wǎng)絡的功能。研究團隊在實驗中采用軟件輔助硬件的訓練方法實現(xiàn)了對輸入圖像“N”，” J”， “U”字母的快速識別（圖3）。這一項工作從原理上證明，利用范德華異質(zhì)結(jié)的特性模擬人類視網(wǎng)膜結(jié)構(gòu)和功能的研究思路有望將來被用來實現(xiàn)新型的類腦視覺芯片。

圖 3. 基于范德華異質(zhì)結(jié)視覺形態(tài)的傳感器神經(jīng)網(wǎng)絡及訓練示意圖和識別結(jié)果。（a）待識別的圖片字母信息；（b）異質(zhì)結(jié)視覺形態(tài)傳感器神經(jīng)網(wǎng)絡訓練示意圖；（c）N”，” J”， “U”三類字母平均識別結(jié)果與訓練次數(shù)的關系；（d）N”，” J”， “U”三類字母的分類情況與訓練次數(shù)的關系。
責任編輯:pj