深度學(xué)習(xí)中會(huì)用到的微積分知識(shí)

導(dǎo)數(shù)：

導(dǎo)數(shù)（Derivative），也叫導(dǎo)函數(shù)值。又名微商，是微積分中的重要基礎(chǔ)概念。當(dāng)函數(shù) y=f(x)的自變量 x 在一點(diǎn) x0 上產(chǎn)生一個(gè)增量 Δx 時(shí)，函數(shù)輸出值的增量 Δy 與自變量增量 Δx 的比值在 Δx 趨于 0 時(shí)的極限 a 如果存在，a 即為在 x0 處的導(dǎo)數(shù)，記作f'(x0) 或 df(x0)/dx。

微分：

微分在數(shù)學(xué)中的定義：由函數(shù) B=f(A) ，得到 A、B 兩個(gè)數(shù)集，在 A 中當(dāng) dx 靠近自己時(shí)，函數(shù)在 dx 處的極限叫作函數(shù)在 dx 處的微分，微分的中心思想是無窮分割。

導(dǎo)數(shù)和微分的區(qū)別

導(dǎo)數(shù)和微分的區(qū)別一個(gè)是比值、一個(gè)是增量。

導(dǎo)數(shù)是函數(shù)圖像在某一點(diǎn)處的斜率，也就是縱坐標(biāo)增量（Δy）和橫坐標(biāo)增量（Δx）在 Δx-->0 時(shí)的比值。
微分是指函數(shù)圖像在某一點(diǎn)處的切線在橫坐標(biāo)取得增量 Δx 以后，縱坐標(biāo)取得的增量，一般表示為dy。

所以二者有本質(zhì)區(qū)別。

偏導(dǎo)數(shù)

一個(gè)多變量的函數(shù)的偏導(dǎo)數(shù)，就是它關(guān)于其中一個(gè)變量的導(dǎo)數(shù)而保持其他變量恒定。