神經(jīng)網(wǎng)絡(luò)算法是由多個(gè)神經(jīng)元組成的算法網(wǎng)絡(luò)。
邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程;它先將信息化成概念,并用符號(hào)表示,然后,根據(jù)符號(hào)運(yùn)算按串行模式進(jìn)行邏輯推理;這一過程可以寫成串行的指令,讓計(jì)算機(jī)執(zhí)行。然而,直觀性的思維是將分布式存儲(chǔ)的信息綜合起來,結(jié)果是忽然間產(chǎn)生的想法或解決問題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn):
1、信息是通過神經(jīng)元上的興奮模式分布儲(chǔ)在網(wǎng)絡(luò)上。
2、信息處理是通過神經(jīng)元之間同時(shí)相互作用的動(dòng)態(tài)過程來完成的。
思維學(xué)普遍認(rèn)為,人類大腦的思維分為抽象(邏輯)思維、形象(直觀)思維和靈感(頓悟)思維三種基本方式。
神經(jīng)網(wǎng)絡(luò)的基本原理是:每個(gè)神經(jīng)元把最初的輸入值乘以一定的權(quán)重,并加上其他輸入到這個(gè)神經(jīng)元里的值(并結(jié)合其他信息值),最后算出一個(gè)總和,再經(jīng)過神經(jīng)元的偏差調(diào)整,最后用激勵(lì)函數(shù)把輸出值標(biāo)準(zhǔn)化。
神經(jīng)網(wǎng)絡(luò)算法是用來干什么的
神經(jīng)網(wǎng)絡(luò)算法是由多個(gè)神經(jīng)元組成的算法網(wǎng)絡(luò)。
邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程;它先將信息化成概念,并用符號(hào)表示,然后,根據(jù)符號(hào)運(yùn)算按串行模式進(jìn)行邏輯推理;這一過程可以寫成串行的指令,讓計(jì)算機(jī)執(zhí)行。然而,直觀性的思維是將分布式存儲(chǔ)的信息綜合起來,結(jié)果是忽然間產(chǎn)生的想法或解決問題的辦法。
神經(jīng)網(wǎng)絡(luò)利用現(xiàn)有的數(shù)據(jù)找出輸入與輸出之間得權(quán)值關(guān)系(近似),然后利用這樣的權(quán)值關(guān)系進(jìn)行仿真,例如輸入一組數(shù)據(jù)仿真出輸出結(jié)果,當(dāng)然你的輸入要和訓(xùn)練時(shí)采用的數(shù)據(jù)集在一個(gè)范疇之內(nèi)。
1.利用神經(jīng)生理與認(rèn)知科學(xué)研究人類思維以及智能機(jī)理。
2.利用神經(jīng)基礎(chǔ)理論的研究成果,用數(shù)理方法探索功能更加完善、性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型,深入研究網(wǎng)絡(luò)算法和性能,如:穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等;開發(fā)新的網(wǎng)絡(luò)數(shù)理理論,如:神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)等。
神經(jīng)網(wǎng)絡(luò)算法三大類
神經(jīng)網(wǎng)絡(luò)一般可以分為以下常用的三大類:CNN(卷積神經(jīng)網(wǎng)絡(luò))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))、Transformer(注意力機(jī)制)。
1、CNN(卷積神經(jīng)網(wǎng)絡(luò))
卷積神經(jīng)網(wǎng)絡(luò)是LeCun于1989年提出,用Lenet卷積網(wǎng)絡(luò)來識(shí)別信封或郵件上的手寫數(shù)字。卷積神經(jīng)網(wǎng)絡(luò)是一種專門用來處理具有類似網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)的 神經(jīng)網(wǎng)絡(luò)。卷積網(wǎng)絡(luò)在諸多應(yīng)用領(lǐng)域都表現(xiàn)優(yōu)異?!熬矸e神經(jīng)網(wǎng)絡(luò)” 一詞表明該網(wǎng)絡(luò)使用了 卷積(convolution)這種數(shù)學(xué)運(yùn)算。
2、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))
循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network)或 RNN (Rumelhart et al., 1986c)是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。就像卷積網(wǎng)絡(luò)是專門用于處理網(wǎng)格化數(shù)據(jù) X(如一個(gè)圖像)的神經(jīng)網(wǎng)絡(luò),循環(huán)神經(jīng)網(wǎng)絡(luò)是專門用于處理序列 x (1), 。 。 。 , x(τ) 的神經(jīng)網(wǎng)絡(luò)。
3、Tansformer(注意力機(jī)制)
卷積只能通過疊加很深的層才能獲得全局感受野,循環(huán)神經(jīng)網(wǎng)絡(luò)不好訓(xùn)練且慢。2017年《Attention is all you need》誕生了一種全新的網(wǎng)絡(luò)架構(gòu),self-attention。使用self-attention的BERT巨大的提升了自然語(yǔ)言處理的精度和速度,近些年來BERT,GPT2,GPT3,基本都是基于Transformer的架構(gòu)了。另外從2020年的vit開始,Transformer也開始進(jìn)入圖像處理領(lǐng)域大放異彩,如swin transformer。
文章綜合CSDN(aifans_bert)、好學(xué)者百科、飛槳(一心煉銀)
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4726瀏覽量
100332 -
卷積神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
4文章
359瀏覽量
11820
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論