電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程9.6之遞歸神經(jīng)網(wǎng)絡(luò)的簡潔實現(xiàn)

PyTorch教程9.6之遞歸神經(jīng)網(wǎng)絡(luò)的簡潔實現(xiàn)

2512935 2023-06-05 | pdf | 0.20 MB | 次下載 | 免費

資料介紹

與我們大多數(shù)從頭開始的實施一樣，第 9.5 節(jié)旨在深入了解每個組件的工作原理。但是，當(dāng)您每天使用 RNN 或編寫生產(chǎn)代碼時，您會希望更多地依賴于減少實現(xiàn)時間（通過為通用模型和函數(shù)提供庫代碼）和計算時間（通過優(yōu)化這些庫實現(xiàn)）。本節(jié)將向您展示如何使用深度學(xué)習(xí)框架提供的高級 API 更有效地實現(xiàn)相同的語言模型。和以前一樣，我們首先加載時間機(jī)器數(shù)據(jù)集。

						import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

						 

						from mxnet import np, npx
from mxnet.gluon import nn, rnn
from d2l import mxnet as d2l

npx.set_np()

						from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l

						 

						No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

					

						import tensorflow as tf
from d2l import tensorflow as d2l

9.6.1. 定義模型

我們使用由高級 API 實現(xiàn)的 RNN 定義以下類。

							class RNN(d2l.Module): #@save
  """The RNN model implemented with high-level APIs."""
  def __init__(self, num_inputs, num_hiddens):
    super().__init__()
    self.save_hyperparameters()
    self.rnn = nn.RNN(num_inputs, num_hiddens)

  def forward(self, inputs, H=None):
    return self.rnn(inputs, H)

							 

Specifically, to initialize the hidden state, we invoke the member method begin_state. This returns a list that contains an initial hidden state for each example in the minibatch, whose shape is (number of hidden layers, batch size, number of hidden units). For some models to be introduced later (e.g., long short-term memory), this list will also contain other information.

							class RNN(d2l.Module): #@save
  """The RNN model implemented with high-level APIs."""
  def __init__(self, num_hiddens):
    super().__init__()
    self.save_hyperparameters()
    self.rnn = rnn.RNN(num_hiddens)

  def forward(self, inputs, H=None):
    if H is None:
      H, = self.rnn.begin_state(inputs.shape[1], ctx=inputs.ctx)
    outputs, (H, ) = self.rnn(inputs, (H, ))
    return outputs, H

							 

Flax does not provide an RNNCell for concise implementation of Vanilla RNNs as of today. There are more advanced variants of RNNs like LSTMs and GRUs which are available in the Flax linen API.

							class RNN(nn.Module): #@save
  """The RNN model implemented with high-level APIs."""
  num_hiddens: int

  @nn.compact
  def __call__(self, inputs, H=None):
    raise NotImplementedError

							 

							class RNN(d2l.Module): #@save
  """The RNN model implemented with high-level APIs."""
  def __init__(self, num_hiddens):
    super().__init__()
    self.save_hyperparameters()
    self.rnn = tf.keras.layers.SimpleRNN(
      num_hiddens, return_sequences=True, return_state=True,
      time_major=True)

  def forward(self, inputs, H=None):
    outputs, H = self.rnn(inputs, H)
    return outputs, H

							 

繼承自9.5 節(jié)RNNLMScratch中的類，下面的類定義了一個完整的基于 RNN 的語言模型。請注意，我們需要創(chuàng)建一個單獨的全連接輸出層。RNNLM

							class RNNLM(d2l.RNNLMScratch): #@save
  """The RNN-based language model implemented with high-level APIs."""
  def init_params(self):
    self.linear = nn.LazyLinear(self.vocab_size)

  def output_layer(self, hiddens):
    return self.linear(hiddens).swapaxes(0, 1)

							 

							class RNNLM(d2l.RNNLMScratch): #@save
  """The RNN-based language model implemented with high-level APIs."""
  def init_params(self):
    self.linear = nn.Dense(self.vocab_size, flatten=False)
    self.initialize()
  def output_layer(self, hiddens):
    return self.linear(hiddens).swapaxes(0, 1)

							 

							class RNNLM(d2l.RNNLMScratch): #@save
  """The RNN-based language model implemented with high-level APIs."""
  training: bool = True

  def setup(self):
    self.linear = nn.Dense(self.vocab_size)

  def output_layer(self, hiddens):
    return self.linear(hiddens).swapaxes(0, 1)

  def forward(self, X, state=None):
    embs = self.one_hot(X)
    rnn_outputs, _ = self.rnn(embs, state, self.training)
    return self.output_layer(rnn_outputs)

							 

							class RNNLM(d2l.RNNLMScratch): #@save
  """The RNN-based language model implemented with high-level APIs."""
  def init_params(self):
    self.linear = tf.keras.layers.Dense(self.vocab_size)

  def output_layer(self, hiddens):
    return tf.transpose(self.linear(hiddens), (1, 0, 2))

							 

9.6.2. 訓(xùn)練和預(yù)測

在訓(xùn)練模型之前，讓我們使用隨機(jī)權(quán)重初始化的模型進(jìn)行預(yù)測。鑒于我們還沒有訓(xùn)練網(wǎng)絡(luò)，它會產(chǎn)生無意義的預(yù)測。

							data = d2l.TimeMachine(batch_size=1024, num_steps=32)
rnn = RNN(num_inputs=len(data.vocab), num_hiddens=32)
model = RNNLM(rnn, vocab_size=len(data.vocab), lr=1)
model.predict('it has', 20, data.vocab)

							 

'it hasgggggggggggggggggggg'

							data = d2l.TimeMachine(batch_size=1024, num_steps=32)
rnn = RNN(num_hiddens=32)
model = RNNLM(rnn, vocab_size=len(data.vocab), lr=1)
model.predict('it has', 20, data.vocab)

							 

'it hasxlxlxlxlxlxlxlxlxlxl'

							data = d2l.TimeMachine(batch_size=1024, num_steps=32)
rnn = RNN(num_hiddens=32)
model = RNNLM(rnn, vocab_size=len(data.vocab), lr=1)
model.predict('it has', 20, data.vocab)

							 

'it hasnvjdtagwbcsxvcjwuyby'

接下來，我們利用高級 API 訓(xùn)練我們的模型。

							trainer = d2l.Trainer(max_epochs=100, gradient_clip_val=1, num_gpus=1)
trainer.fit(model, data)

https://file.elecfans.com/web2/M00/A9/C8/poYBAGR9NrKAA2V1ABG9IJKp_s8858.svg

							trainer = d2l.Trainer(max_epochs=100, gradient_clip_val=1, num_gpus=1)
trainer.fit(model, data)

https://file.elecfans.com/web2/M00/A9/C8/poYBAGR9NrmAC0QYABHpbt_PvZk929.svg

							with d2l.try_gpu():
  trainer = d2l.Trainer(max_epochs=100, gradient_clip_val=1)
trainer.fit(model, data)

							 

https://file.elecfans.com/web2/M00/A9/C8/poYBAGR9NsGAZ5qbABHCG7mYLzs874.svg

與第 9.5 節(jié)相比，該模型實現(xiàn)了相當(dāng)?shù)睦Щ蠖?，但由于實現(xiàn)優(yōu)化，運行速度更快。和以前一樣，我們可以在指定的前綴字符串之后生成預(yù)測標(biāo)記。

神經(jīng)網(wǎng)絡(luò)rnn pytorch

下載該資料的人也在下載下載該資料的人還在閱讀

更多 >

PyTorch如何實現(xiàn)多層全連接神經(jīng)網(wǎng)絡(luò) 532次閱讀
遞歸神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu) 295次閱讀
遞歸神經(jīng)網(wǎng)絡(luò)的實現(xiàn)方法 186次閱讀
BP神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的關(guān)系 530次閱讀
BP神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)的區(qū)別 340次閱讀
基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)方式 239次閱讀
PyTorch神經(jīng)網(wǎng)絡(luò)模型構(gòu)建過程 276次閱讀
深度神經(jīng)網(wǎng)絡(luò)與基本神經(jīng)網(wǎng)絡(luò)的區(qū)別 307次閱讀
使用PyTorch構(gòu)建神經(jīng)網(wǎng)絡(luò) 412次閱讀
神經(jīng)網(wǎng)絡(luò)架構(gòu)有哪些 324次閱讀
fireflyNCC S1--PLAI神經(jīng)網(wǎng)絡(luò)量化工具介紹 1295次閱讀
如何使用Numpy搭建神經(jīng)網(wǎng)絡(luò) 3500次閱讀
教你用PyTorch快速準(zhǔn)確地建立神經(jīng)網(wǎng)絡(luò) 3186次閱讀
BP神經(jīng)網(wǎng)絡(luò)概述 4.4w次閱讀
基于Numpy實現(xiàn)同態(tài)加密神經(jīng)網(wǎng)絡(luò) 7774次閱讀

1山景DSP芯片AP8248A2數(shù)據(jù)手冊
1.06 MB | 532次下載 | 免費
2RK3399完整板原理圖（支持平板，盒子VR）
3.28 MB | 339次下載 | 免費
3TC358743XBG評估板參考手冊
1.36 MB | 330次下載 | 免費
4DFM軟件使用教程
0.84 MB | 295次下載 | 免費
5元宇宙深度解析—未來的未來-風(fēng)口還是泡沫
6.40 MB | 227次下載 | 免費
6迪文DGUS開發(fā)指南
31.67 MB | 194次下載 | 免費
7元宇宙底層硬件系列報告
13.42 MB | 182次下載 | 免費
8FP5207XR-G1中文應(yīng)用手冊
1.09 MB | 178次下載 | 免費

本月

1OrCAD10.5下載OrCAD10.5中文版軟件
0.00 MB | 234315次下載 | 免費
2555集成電路應(yīng)用800例(新編版)
0.00 MB | 33566次下載 | 免費
3接口電路圖大全
未知 | 30323次下載 | 免費
4開關(guān)電源設(shè)計實例指南
未知 | 21549次下載 | 免費
5電氣工程師手冊免費下載(新編第二版pdf電子書)
0.00 MB | 15349次下載 | 免費
6數(shù)字電路基礎(chǔ)pdf(下載)
未知 | 13750次下載 | 免費
7電子制作實例集錦下載
未知 | 8113次下載 | 免費
8《LED驅(qū)動電路設(shè)計》溫德爾著
0.00 MB | 6656次下載 | 免費

總榜

1matlab軟件下載入口
未知 | 935054次下載 | 免費
2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
78.1 MB | 537798次下載 | 免費
3MATLAB 7.1 下載 (含軟件介紹)
未知 | 420027次下載 | 免費
4OrCAD10.5下載OrCAD10.5中文版軟件
0.00 MB | 234315次下載 | 免費
5Altium DXP2002下載入口
未知 | 233046次下載 | 免費
6電路仿真軟件multisim 10.0免費下載
340992 | 191187次下載 | 免費
7十天學(xué)會AVR單片機(jī)與C語言視頻教程下載
158M | 183279次下載 | 免費
8proe5.0野火版下載(中文版免費下載)
未知 | 138040次下載 | 免費

搜索歷史

PyTorch教程9.6之遞歸神經(jīng)網(wǎng)絡(luò)的簡潔實現(xiàn)

資料介紹

9.6.1. 定義模型

9.6.2. 訓(xùn)練和預(yù)測

評論

下載排行

本周

本月

總榜