到底該怎么將這些頂尖工具用到我的模型里呢？

NLP方向近日各種大神工具層出不窮。然而，實(shí)踐才是硬道理，如何將它們應(yīng)用到自己的模型是個(gè)關(guān)鍵問題。本文就對(duì)此問題進(jìn)行了介紹。

近期的NLP方向，ELMO、GPT、BERT、Transformer-XL、GPT-2，各種預(yù)訓(xùn)練語言模型層出不窮，這些模型在各種NLP任務(wù)上一次又一次刷新上線，令人心馳神往。但是當(dāng)小編翻開他們的paper，每一個(gè)上面都寫著四個(gè)大字：“弱者退散”，到底該怎么將這些頂尖工具用到我的模型里呢？答案是Hugging Face的大神們開源的pytorch-pretrained-BERT。

Github 地址：

https://github.com/huggingface/pytorch-pretrained-BERT

模型簡(jiǎn)介

近期的各種預(yù)訓(xùn)練語言模型，橫掃各種NLP任務(wù)，這里我們介紹三個(gè)最火的預(yù)訓(xùn)練模型：

BERT，由Google AI團(tuán)隊(duì)，發(fā)表于2018年10月11日。它的文章是：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。

Transformer-XL, 由Google AI和Carnegie Mellon大學(xué)，發(fā)表于2019年1月9日。它的文章是：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context。

GPT-2，由OpenAI 團(tuán)隊(duì)，發(fā)表于2019年2月14日，它的文章是：Language Models are Unsupervised Multitask Learners。

基本上，每一個(gè)文章，都在發(fā)表的時(shí)候，刷新當(dāng)時(shí)的幾乎所有NLP任務(wù)的State-of-the-Art，然后引發(fā)一波熱潮。 當(dāng)然，目前風(fēng)頭正盛的是GPT-2，它前幾天剛發(fā)表。

開源實(shí)現(xiàn)

然而，讓小編翻開他們的paper，發(fā)現(xiàn)每一個(gè)上面都寫著四個(gè)大字：“弱者退散”，到底該怎么將這些頂尖工具用到我的模型里呢，Hugging Face 的大神們，緊跟前沿，將所有的預(yù)訓(xùn)練語言模型都實(shí)現(xiàn)并開源了。更令人欽佩的是，它們還做了很多封裝，讓大家都可以才在這些巨人模型的肩膀上。

Hugging Face開源的庫叫pytorch-pretained-bert, 你可以在本文開頭找到鏈接。接下來的部分，我們介紹一下它的安裝和使用。

安裝使用

你可以直接使用 Pip install 來安裝它：

pip install pytorch-pretrained-bert

pytorch-pretrained-bert 內(nèi) BERT，GPT，Transformer-XL，GPT-2。

為了獲取一句話的BERT表示，我們可以：

拿到表示之后，我們可以在后面，接上自己的模型，比如NER。

我們也可以獲取GPT的表示：

Transformer-XL表示：

以及，非?；鸬?，GPT-2的表示：

有了這些表示，我們可以在后面，接入自己的模型，比如：

文本分類

https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/examples/run_classifier.py

閱讀理解

https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/examples/run_squad.py

語言模型

https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/examples/run_lm_finetuning.py

等等