物理波動(dòng)力學(xué)計(jì)算在模擬循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用

（文章來源：量子認(rèn)知）

對(duì)人腦神經(jīng)元網(wǎng)絡(luò)系統(tǒng)進(jìn)行抽象建立模型構(gòu)成的人工神經(jīng)網(wǎng)絡(luò)，簡稱神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是大量的稱為節(jié)點(diǎn)的神經(jīng)元的元素的集合，通常以緊密互連的束狀排列。簡而言之，神經(jīng)元是具有多個(gè)輸入和單個(gè)輸出的特征的細(xì)胞。單元的輸出是其輸入的直接函數(shù)，每個(gè)單元在輸出的總體貢獻(xiàn)中得到不同的“關(guān)注”。這種“注意力”水平稱為權(quán)重。輸出會(huì)帶有某種閾值效應(yīng)，僅在神經(jīng)元超過這個(gè)閾值時(shí)才產(chǎn)生激發(fā)響應(yīng)。連接到激發(fā)神經(jīng)元的相關(guān)輸入被“激發(fā)”，該過程在整個(gè)網(wǎng)絡(luò)中進(jìn)行，直到最終輸出。

對(duì)神經(jīng)元行為進(jìn)行建模的數(shù)學(xué)形式表示，可以是離散或脈沖形式的模型，這是現(xiàn)在人工智能中常用的數(shù)字電子技術(shù)實(shí)現(xiàn)的神經(jīng)元器件；還可以是連續(xù)形式表示的模型，這是代表人體中神經(jīng)細(xì)胞活動(dòng)的最接近表示，是通過模擬電子技術(shù)實(shí)現(xiàn)的神經(jīng)元器件。

用模擬電子技術(shù)實(shí)現(xiàn)的神經(jīng)元器件，稱為模擬神經(jīng)元。用模擬神經(jīng)元組成的網(wǎng)絡(luò)稱為模擬神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, 簡稱RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸且所有節(jié)點(diǎn)，即循環(huán)單元，按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)。模擬循環(huán)神經(jīng)網(wǎng)絡(luò)，就是通過模擬電子技術(shù)，而不是數(shù)字電子技術(shù)，實(shí)現(xiàn)的循環(huán)神經(jīng)網(wǎng)絡(luò)。

機(jī)器學(xué)習(xí)在執(zhí)行復(fù)雜的信息處理任務(wù)方面取得了顯著成功，例如計(jì)算機(jī)視覺識(shí)別和機(jī)器翻譯，這是過去傳統(tǒng)計(jì)算方法難以實(shí)現(xiàn)的。但是，這些應(yīng)用程序的計(jì)算需求呈指數(shù)級(jí)增長，這促使人們努力開發(fā)新的專用硬件平臺(tái)，以快速高效地執(zhí)行機(jī)器學(xué)習(xí)模型。其中包括神經(jīng)形態(tài)硬件平臺(tái)，其架構(gòu)模仿大腦的生物電路。此外，利用連續(xù)物理系統(tǒng)的自然演化來執(zhí)行計(jì)算的模擬計(jì)算平臺(tái)也正在成為實(shí)現(xiàn)機(jī)器學(xué)習(xí)的重要方向。

模擬機(jī)器學(xué)習(xí)提供了更節(jié)能、更快速、更切合人的神經(jīng)網(wǎng)絡(luò)的平臺(tái)?；诼晫W(xué)和光學(xué)的波物理學(xué)是為時(shí)變信號(hào)構(gòu)建模擬處理器的自然選擇。

最近，斯坦福大學(xué)應(yīng)用物理與電氣工程系的研究團(tuán)隊(duì)確定了循環(huán)神經(jīng)網(wǎng)絡(luò)中波物理動(dòng)力學(xué)與計(jì)算之間的映射，該映射關(guān)系表明，可以使用神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練技術(shù)來訓(xùn)練物理波系統(tǒng)，以學(xué)習(xí)時(shí)間數(shù)據(jù)中的復(fù)雜特征。作為示例，研究人員證明了逆設(shè)計(jì)的非均勻介質(zhì)可以對(duì)原始音頻信號(hào)進(jìn)行元音分類，因?yàn)樵家纛l信號(hào)的波形在其中分散并傳播，從而實(shí)現(xiàn)了與遞歸神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)數(shù)字實(shí)現(xiàn)相當(dāng)?shù)男阅堋?/p>

為了證明波動(dòng)力學(xué)和循環(huán)神經(jīng)網(wǎng)絡(luò)之間的等效性，研究人員確定了循環(huán)神經(jīng)網(wǎng)絡(luò)的功能及其與波動(dòng)力學(xué)的關(guān)系。通過在逐步過程中對(duì)每個(gè)輸入序列成員應(yīng)用相同的基本操作，循環(huán)神經(jīng)網(wǎng)絡(luò)可以將輸入序列轉(zhuǎn)換為輸出序列。然后，循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)將對(duì)先前步驟的內(nèi)存進(jìn)行編碼，以在每個(gè)步驟中進(jìn)行更新。隱藏狀態(tài)可以保留對(duì)過去信息的記憶，并了解數(shù)據(jù)的時(shí)間結(jié)構(gòu)和長期依賴關(guān)系。

這樣，研究團(tuán)隊(duì)提出了一種基于波的模擬循環(huán)神經(jīng)網(wǎng)絡(luò)，具有許多良好的質(zhì)量指標(biāo)，從而創(chuàng)立了一個(gè)最具希望的處理時(shí)間編碼信息。使用物理學(xué)來執(zhí)行計(jì)算可能會(huì)激發(fā)出一個(gè)模擬機(jī)器學(xué)習(xí)設(shè)備的新平臺(tái)，以便比其數(shù)字同類產(chǎn)品更自然、更有效地執(zhí)行計(jì)算。研究團(tuán)隊(duì)使用傳播介質(zhì)的大小確定了模擬循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏狀態(tài)的大小及其存儲(chǔ)容量。他們表明波動(dòng)方程的動(dòng)力學(xué)在概念上與循環(huán)神經(jīng)網(wǎng)絡(luò)等效。這種概念上的聯(lián)系將為新型的模擬硬件平臺(tái)鋪平道路，其中不斷發(fā)展的時(shí)間動(dòng)力學(xué)將在物理和大數(shù)據(jù)處理中扮演重要角色。
? ? ? （責(zé)任編輯：fqj）