神經(jīng)網(wǎng)絡(luò)算法是用來干什么的 神經(jīng)網(wǎng)絡(luò)的基本原理

神經(jīng)網(wǎng)絡(luò)算法含義

神經(jīng)網(wǎng)絡(luò)算法是由多個(gè)神經(jīng)元組成的算法網(wǎng)絡(luò)。

邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程；它先將信息化成概念，并用符號(hào)表示，然后，根據(jù)符號(hào)運(yùn)算按串行模式進(jìn)行邏輯推理；這一過程可以寫成串行的指令，讓計(jì)算機(jī)執(zhí)行。然而，直觀性的思維是將分布式存儲(chǔ)的信息綜合起來，結(jié)果是忽然間產(chǎn)生的想法或解決問題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn)：

1、信息是通過神經(jīng)元上的興奮模式分布儲(chǔ)在網(wǎng)絡(luò)上。

2、信息處理是通過神經(jīng)元之間同時(shí)相互作用的動(dòng)態(tài)過程來完成的。

思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。

神經(jīng)網(wǎng)絡(luò)的基本原理是：每個(gè)神經(jīng)元把最初的輸入值乘以一定的權(quán)重，并加上其他輸入到這個(gè)神經(jīng)元里的值（并結(jié)合其他信息值），最后算出一個(gè)總和，再經(jīng)過神經(jīng)元的偏差調(diào)整，最后用激勵(lì)函數(shù)把輸出值標(biāo)準(zhǔn)化。

神經(jīng)網(wǎng)絡(luò)算法是用來干什么的

神經(jīng)網(wǎng)絡(luò)算法是由多個(gè)神經(jīng)元組成的算法網(wǎng)絡(luò)。

邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程；它先將信息化成概念，并用符號(hào)表示，然后，根據(jù)符號(hào)運(yùn)算按串行模式進(jìn)行邏輯推理；這一過程可以寫成串行的指令，讓計(jì)算機(jī)執(zhí)行。然而，直觀性的思維是將分布式存儲(chǔ)的信息綜合起來，結(jié)果是忽然間產(chǎn)生的想法或解決問題的辦法。

神經(jīng)網(wǎng)絡(luò)利用現(xiàn)有的數(shù)據(jù)找出輸入與輸出之間得權(quán)值關(guān)系（近似），然后利用這樣的權(quán)值關(guān)系進(jìn)行仿真，例如輸入一組數(shù)據(jù)仿真出輸出結(jié)果，當(dāng)然你的輸入要和訓(xùn)練時(shí)采用的數(shù)據(jù)集在一個(gè)范疇之內(nèi)。

1.利用神經(jīng)生理與認(rèn)知科學(xué)研究人類思維以及智能機(jī)理。

2.利用神經(jīng)基礎(chǔ)理論的研究成果，用數(shù)理方法探索功能更加完善、性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)算法和性能，如：穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等;開發(fā)新的網(wǎng)絡(luò)數(shù)理理論，如：神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)等。

神經(jīng)網(wǎng)絡(luò)算法三大類

神經(jīng)網(wǎng)絡(luò)一般可以分為以下常用的三大類：CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）、Transformer（注意力機(jī)制）。

1、CNN（卷積神經(jīng)網(wǎng)絡(luò)）

卷積神經(jīng)網(wǎng)絡(luò)是LeCun于1989年提出，用Lenet卷積網(wǎng)絡(luò)來識(shí)別信封或郵件上的手寫數(shù)字。卷積神經(jīng)網(wǎng)絡(luò)是一種專門用來處理具有類似網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)的 神經(jīng)網(wǎng)絡(luò)。卷積網(wǎng)絡(luò)在諸多應(yīng)用領(lǐng)域都表現(xiàn)優(yōu)異?！熬矸e神經(jīng)網(wǎng)絡(luò)” 一詞表明該網(wǎng)絡(luò)使用了 卷積（convolution）這種數(shù)學(xué)運(yùn)算。

2、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network）或 RNN （Rumelhart et al.， 1986c）是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。就像卷積網(wǎng)絡(luò)是專門用于處理網(wǎng)格化數(shù)據(jù) X（如一個(gè)圖像）的神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)是專門用于處理序列 x （1）， 。 。 。 ， x（τ） 的神經(jīng)網(wǎng)絡(luò)。

3、Tansformer（注意力機(jī)制）

卷積只能通過疊加很深的層才能獲得全局感受野，循環(huán)神經(jīng)網(wǎng)絡(luò)不好訓(xùn)練且慢。2017年《Attention is all you need》誕生了一種全新的網(wǎng)絡(luò)架構(gòu)，self-attention。使用self-attention的BERT巨大的提升了自然語(yǔ)言處理的精度和速度，近些年來BERT，GPT2，GPT3，基本都是基于Transformer的架構(gòu)了。另外從2020年的vit開始，Transformer也開始進(jìn)入圖像處理領(lǐng)域大放異彩，如swin transformer。

文章綜合CSDN（aifans_bert）、好學(xué)者百科、飛槳（一心煉銀）