網(wǎng)絡(luò)學(xué)習(xí)算法 - 基于優(yōu)化神經(jīng)網(wǎng)絡(luò)的FIR濾波器的設(shè)計(jì)方案

　　首先定義權(quán)值矩陣：

?

　　設(shè)置性能指標(biāo)：

為訓(xùn)練樣本數(shù)。

?

　　于是權(quán)值修正的公式為：

?

　　式中：α為學(xué)習(xí)速率。

　　迭代的終止條件可設(shè)為性能指標(biāo)J滿足一定條件，而關(guān)于學(xué)習(xí)速率α的選取會(huì)直接影響到神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性。目前，已經(jīng)有人提出了其適當(dāng)?shù)倪x取范圍，例如羅玉雄等人已經(jīng)證明，當(dāng)滿足0<α<(2/|| C ||2)時(shí)(這里||·||2表示的是歐氏范數(shù)的平方)，神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的;曾喆昭等人也提出并證明了當(dāng)滿足0<α<(4/N)時(shí)，神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的。

　　3 模擬退火算法

　　由于以上的網(wǎng)絡(luò)學(xué)習(xí)算法從本質(zhì)上來(lái)說(shuō)，還是一種BP算法，所以不可避免地會(huì)存在BP算法的缺陷，初始值的選取會(huì)影響最終結(jié)果，且容易陷入局部極小值。

　　模擬退火算法與初始值無(wú)關(guān)，算法求得的解與初始解狀態(tài)(是算法迭代的起點(diǎn))無(wú)關(guān);模擬退火算法具有漸近收斂性，在理論上已得到嚴(yán)格證明，當(dāng)初溫充分高，降溫足夠慢，每一溫度下抽樣足夠長(zhǎng)，最終溫度趨于零時(shí)，算法最終以概率1收斂到全局最優(yōu)解。模擬退火算法通過(guò)概率判斷來(lái)接受新狀態(tài)是算法在局部極小解處有機(jī)會(huì)跳出并最終趨于全局最優(yōu)的根本原因。于是將模擬退火算法加到前面的算法中去，就可以很好地彌補(bǔ)上述算法的不足。

　　模擬退火算法的步驟如下：

　　(1)由一個(gè)產(chǎn)生函數(shù)從當(dāng)前解S產(chǎn)生一個(gè)位于解空間的新解S'。

　　(2)計(jì)算與新解所對(duì)應(yīng)的目標(biāo)函數(shù)差。這里以最小阻帶衰減為評(píng)價(jià)函數(shù)C(S)，這個(gè)函數(shù)可以由所得解S輕易地求出，于是目標(biāo)函數(shù)差△t=C(S')-C(S);

　　(3)判斷新解是否被接受，其依據(jù)是一個(gè)接受準(zhǔn)則，最常用的接受準(zhǔn)則是Metropolis準(zhǔn)則。若△t≥0，則接受S'作為新的當(dāng)前解S;否則，以概率exp(-△t/T)接受S'作為新的當(dāng)前解S。

　　(4)當(dāng)新解被確定接受時(shí)，用新解代替當(dāng)前解，同時(shí)修正評(píng)價(jià)函數(shù)。此時(shí)，當(dāng)前解實(shí)現(xiàn)了一次迭代，可在此基礎(chǔ)上開始下一輪試驗(yàn);當(dāng)新解被判定為舍棄時(shí)，則在原當(dāng)前解的基礎(chǔ)上繼續(xù)下一輪試驗(yàn)。

　　將模擬退火融入原算法，其實(shí)主要是用原算法來(lái)實(shí)現(xiàn)模擬退火中第(1)步的產(chǎn)生解S，于是可得到總的算法：

　　(1)初始化，初始溫度T(充分大)，初始解狀態(tài)S(是算法迭代的起點(diǎn))，每個(gè)T值的迭代次數(shù)L，初始權(quán)值W，性能指標(biāo)J，學(xué)習(xí)速率α，并且設(shè)定目標(biāo)向量(理想幅頻響應(yīng)Hg(ωk));

　　(2)對(duì)k=1，2，…，L做第(3)～(8)步驟;

　　(3)計(jì)算誤差E(k)，使用權(quán)值修正公式：W=W+αE(k)C(Ωk)修正權(quán)值;

　　(4)滿足性能指標(biāo)J轉(zhuǎn)步驟(5)，否則轉(zhuǎn)步驟(3);

　　(5)由步驟(4)產(chǎn)生的W得出新解S';

　　(6)以濾波器的最小阻帶衰減為評(píng)價(jià)函數(shù)，計(jì)算△t，其中△t=C(S)-C(S);

　　(7)若△t>0，則接受S'作為新的當(dāng)前解，否則以概率exp(-△t/T)接受S'作為新的當(dāng)前解;

　　(8)如果滿足終止條件，則輸出當(dāng)前解作為最優(yōu)解，終止條件通常取為連續(xù)若干個(gè)新解都沒有被接受;

　　(9)減小T，轉(zhuǎn)步驟(2)。當(dāng)T→0時(shí)，終止算法。