Facebook新推出了一個(gè)深度學(xué)習(xí)工具包：PyTorch Hub

為了解決日益增長(zhǎng)的論文可復(fù)現(xiàn)性需求，F(xiàn)acebook推出了PyTorch Hub，類似TensorFlow Hub的一個(gè)模型共享庫(kù)，加載ResNet、BERT、GPT、VGG、PGAN還是MobileNet等經(jīng)典模型只需一行代碼。用戶可以提交、瀏覽模型，極大的改善了論文的可復(fù)現(xiàn)性難題。

機(jī)器學(xué)習(xí)論文的可復(fù)現(xiàn)性一直是個(gè)難題。許多機(jī)器學(xué)習(xí)相關(guān)論文要么無(wú)法復(fù)現(xiàn)，要么難以重現(xiàn)。有時(shí)候論文讀者經(jīng)常為了調(diào)用各種經(jīng)典機(jī)器學(xué)習(xí)模型，還要重復(fù)造輪子。

隨著提交給arXiv以及各種會(huì)議上的論文數(shù)量開(kāi)始暴漲，可復(fù)現(xiàn)性的重要性也越來(lái)越凸顯。

很多論文選擇隨文附上代碼和訓(xùn)練模型，在一定程度上對(duì)使用者起到了幫助作用，但成效并不明顯。復(fù)現(xiàn)過(guò)程中，仍有大量工作需要論文讀者自己摸索。

PyTorch Hub是什么？

近日，F(xiàn)acebook新推出了一個(gè)深度學(xué)習(xí)工具包：PyTorch Hub，這是一個(gè)簡(jiǎn)單的API和工作流，提供基本的構(gòu)建模塊從而可以改善機(jī)器學(xué)習(xí)研究的可重現(xiàn)性。

PyTorch Hub包含了一系列與圖像分類、圖像分割、生成以及轉(zhuǎn)換相關(guān)的預(yù)訓(xùn)練模型庫(kù)，例如ResNet、BERT、GPT、VGG、PGAN、MobileNet等經(jīng)典模型，

PyTorch Hub試圖以最傻瓜的方式，提高研究工作的復(fù)現(xiàn)性。有多簡(jiǎn)單呢？圖靈獎(jiǎng)得主Yann LeCun發(fā)推表示，只需要一行代碼就可以調(diào)用所有倉(cāng)庫(kù)里的模型，通過(guò)一個(gè)pull請(qǐng)求來(lái)發(fā)布你自己的模型。

同時(shí)，PyTorch Hub整合了Google Colab，并集成了論文代碼結(jié)合網(wǎng)站Papers With Code，可以直接找到論文的代碼。

PyTorch Hub怎么用？

復(fù)現(xiàn)別人的成果是PyTorch Hub主打功能，那么具體怎么樣用呢？PyTorch官方提出三步走策略：瀏覽可用模型；加載模型；探索已加載的模型。

瀏覽可用模型

直接用torch.hub.list() API列出所有可用的入口點(diǎn)即可。代碼示例：

>>> torch.hub.list('pytorch/vision')>>>['alexnet','deeplabv3_resnet101','densenet121',...'vgg16','vgg16_bn','vgg19', 'vgg19_bn']

加載模型

使用PyTorch加載模型很簡(jiǎn)單，正如LeCun所說(shuō)，只需要一行代碼即可使用。比如從GitHub里加載一個(gè)模型：

mode = torch.hub.load(github, model, force_reload=False, *args, **kwargs)

加載一個(gè)PyTorch預(yù)訓(xùn)練的模型：

model=torch.hub.load('pytorch/vision','deeplabv3_resnet101',pretrained=True)

在此之外，我們還需要了解一些其它的相對(duì)比較復(fù)雜的事情，包括探索已加載的模型、復(fù)現(xiàn)別人成果的工作流，以及如何快速發(fā)布自己的模型。

探索已加載的模型

從PyTorch Hub加載模型后，可以使用dir(model)查看模型的所有可用方法，示例代碼：

>>> dir(model)>>>['forward'...'to''state_dict',]

還可以用help(model.forward)對(duì)運(yùn)行該模型所需參數(shù)有更深入的了解。

>>> help(model.forward)>>>Help on method forward in module pytorch_pretrained_bert.modeling:forward(input_ids, token_type_ids=None, attention_mask=None, masked_lm_labels=None)...我自己的模型也能發(fā)嗎？

只需要在預(yù)訓(xùn)練模型（包括模型定義及預(yù)訓(xùn)練權(quán)重）加入一個(gè)hubconf.py文件，就可以通過(guò)PyTorch Hub將模型發(fā)布到GitHub倉(cāng)庫(kù)。以torchvision的hubconf.py文件為例：

# Optional list of dependencies required by the packagedependencies = ['torch']from torchvision.models.alexnet import alexnetfrom torchvision.models.densenet import densenet121, densenet169, densenet201, densenet161from torchvision.models.inception import inception_v3from torchvision.models.resnet import resnet18, resnet34, resnet50, resnet101, resnet152, esnext50_32x4d, resnext101_32x8dfrom torchvision.models.squeezenet import squeezenet1_0, squeezenet1_1from torchvision.models.vgg import vgg11, vgg13, vgg16, vgg19, vgg11_bn, vgg13_bn, vgg16_bn, vgg19_bnfrom torchvision.models.segmentation import fcn_resnet101, deeplabv3_resnet101from torchvision.models.googlenet import googlenetfrom torchvision.models.shufflenetv2 import shufflenet_v2_x0_5, shufflenet_v2_x1_0from torchvision.models.mobilenet import mobilenet_v2

torchvision中，模型有3個(gè)特性：

每個(gè)模型文件可以被獨(dú)立執(zhí)行或?qū)崿F(xiàn)某個(gè)功能

不需要除了PyTorch之外的任何軟件包（在hubconf.py中編碼為 dependencies[‘torch’]）

他們不需要單獨(dú)的入口點(diǎn)，因?yàn)槟Ｐ驮趧?chuàng)建時(shí)可以無(wú)縫地開(kāi)箱即用

最小化包依賴性可減少用戶加載模型時(shí)遇到的困難。以HuggingFace’s BERT為例：

dependencies = ['torch', 'tqdm', 'boto3', 'requests', 'regex']from hubconfs.bert_hubconf import (bertTokenizer,bertModel,bertForNextSentencePrediction,bertForPreTraining,bertForMaskedLM,bertForSequenceClassification,bertForMultipleChoice,bertForQuestionAnswering,bertForTokenClassification和TensorFlow Hub有什么區(qū)別？

前Google Brain員工mat kelcey吐槽“Hub”這個(gè)詞簡(jiǎn)直是機(jī)器學(xué)習(xí)模型項(xiàng)目的共享單詞，TensorFlow Hub了，PyTorch也Hub了。

那么和PyTorch Hub相比，更早推出的TensorFlow Hub有什么區(qū)別呢？

TensorFlow Hub是一個(gè)共享可重用的機(jī)器學(xué)習(xí)平臺(tái)，主要面向開(kāi)發(fā)者，谷歌希望TensorFlow Hub能夠?yàn)檠芯咳藛T和開(kāi)發(fā)人員提供一種便利的方式，能夠更方便的在社區(qū)中共享模型。從某種意義上來(lái)講，除了架構(gòu)本身，共享預(yù)訓(xùn)練模型的同時(shí)，也共享了開(kāi)發(fā)模型的計(jì)算時(shí)間和數(shù)據(jù)集。示例代碼：

!pip install "tensorflow_hub==0.4.0"!pip install "tf-nightly"import tensorflow as tfimporttensorflow_hubashubtf.enable_eager_execution()module_url = "https://tfhub.dev/google/tf2-preview/nnlm-en-dim128/1"embed = hub.KerasLayer(module_url)embeddings = embed(["A long sentence.", "single-word","http://example.com"])print(embeddings.shape)#(3,128)

TensorFlow Hub還有一個(gè)非常關(guān)鍵的特性是它的Web端體驗(yàn)。開(kāi)發(fā)人員可以針對(duì)開(kāi)發(fā)用例來(lái)瀏覽TF模塊，通過(guò)TensorFlow Hub推出新的Web體驗(yàn)可以更容易的進(jìn)行搜索和瀏覽，同時(shí)為multi-publisher平臺(tái)奠定了基礎(chǔ)。

網(wǎng)址：

https://tfhub.dev/

從官方的介紹來(lái)看，TF Hub的出發(fā)點(diǎn)是開(kāi)發(fā)用例，而PyTorch Hub的出發(fā)點(diǎn)是論文復(fù)現(xiàn)。目前看來(lái)TF Hub的內(nèi)置模型更多一點(diǎn)；此外，TF Hub提供的web方式瀏覽模型的體驗(yàn)更好，搜索模型更加方便。

相關(guān)資源，方便大家快速上手：

PyTorch Hub API手冊(cè)：

https://pytorch.org/docs/stable/hub.html

模型提交地址：

https://github.com/pytorch/hub

瀏覽可用模型：

https://pytorch.org/hub

在 Paper with Code 上瀏覽更多模型：

https://paperswithcode.com/